欧洲人极力回避的另一个群体是日本人。20世纪初，日本出人意料地进攻并打败了旅顺港的俄国舰队，随后日本移民开始来到中国和上海。1905年经西奥多·罗斯福总统调停，日俄在美国新罕布什尔州签订了《朴次茅斯和约》，规定俄国在南满的所有租界都移交给日本。一战后，日本加入盟国，获得了德国在山东所拥有的资产，随后更多的日本平民来到上海。日本人聚居在虹口区，那里很快便被大家称为“小东京”，因为几乎所有的店主和商人都是日本人，并主要为日本公民提供服务。他们不需要讲洋泾浜英语，因为他们很少和欧洲人打交道。不过，为了在日常生活中与身边的中国人接触，他们也学会了一些上海话的词汇。

1930年“小东京”大约有20000名日本人，大都过着舒适的生活。他们送小孩去日文学校，并享受着比在日本多得多的行动自由，但他们心里也很清楚，日本政府对与外国人和中国人交往一向心存戒备。他们几乎很少和其他群体来往：西方人因为他们是亚洲人而加以回避，中国人则因他们侵占了东北而憎恨他们。虽然1922年同盟国要求日本将山东归还了中国，但这并未能平息中国人对日本侵占东北的强烈愤怒。在虹口和浦东的日本工厂里，身受社会和政治不公之苦、工资低廉的中国工人常在大学生的鼓动下举行罢工。为了抗议日本对东北的殖民侵略，租界里时常举行反日示威游行，日本的商品（无论是中国制造还是日本制造）也经常成为被抵制的对象。就在中国人对日本表示愤怒，并称他们为“日本鬼子”时，日本人则将中国人视为西方帝国主义奴役下的劣等种族。不管怎么说，他们从不认为自己对东北的占领等同于西方列强的殖民主义和帝国主义。