1954年，病重的汤恩伯躺在日本东京庆应大学医院的病床内，面容憔悴，头发散乱，神情呆滞，为了治病，他几乎已经散尽家财，但是病情始终没有好转。

数年前跟随蒋校长赴台的汤恩伯，因为上海防守的失利，以及后来出卖恩师陈仪的事情，遭到口诛笔伐，权力尽失，被投闲置散，1953年他被查出癌症，提出申请想去医疗条件更好的日本治疗，但蒋校长认为其已经没有任何价值，没有资格用公费去治病，就这样拖了数月，汤恩伯变卖家产，才跑去日本治病，并于1954年6月29日病死于日本医院。