蔡公时牺牲时，公署内一共有18名中国人，仅有他的勤务兵张汉儒1人成功逃生。

据张汉儒事后回忆：5月3日晚11点左右，突然有20几名日本兵前来砸门，门没开就推倒院墙进入，“将全署役员捆绑”，以有“日本兵在公署附近中枪，搜查公署内有无枪弹”为由强行翻箱倒柜，在没有找到枪弹后便用皮带刺刀在“对各人之头面或敲击或刺削”，继续逼问“你们把枪弹藏在哪了”，公署内中国人顿时满脸刀伤红肿，有一人“左耳被割，拖于肩际”。
之后又有日本军官传令，蔡公时懂日语，听后告知大家“日人奉令枪毙我们，我们不能活了，大家有何想法”，“全署员兵被缚，同哭无语”。
随后日本兵用长绳五根将所有人捆绑，张汉儒“借日兵手电光得见诸人之形状：大半有耳无鼻，有鼻无耳，血肉模糊”。面对暴敌淫威，诸役员“群相痛骂，日兵更怒，竟刀枪拳足一齐并下。尽力侮辱后，将十余人分三四组，“所着衣服全身剥下”，“横拖倒拽扯出”。院外枪声突起，蔡公时等17人皆被残杀，而他自己则趁混乱之际，利用“门角地下遗有剪刀一把，遂暗以脚勾到手”，“剪断绳索”“踰垣逃脱”，然后在路旁消防水桶躲藏，等到天亮用钱买了件上衣，“裝作扯水的，逃出日本警戒線外”，方才幸免于难。

幸存者张汉儒趁乱逃脱之后，也不知遇难者尸体究竟下落何处，而根据当地传言，中国外交人员的尸骨被日本兵浇上汽油烧了，之后是蔡公时的夫人郭景鸾在日军撤离后到了济南，多方寻找，最后在公署的院子里大面积挖掘，最终发现了部分尸体的残骸：烧而未化的头骨4只，脚手骨、肉炭等等。

但这些烈士的骸骨最终没能入土为安，他们先是被国民政府放在南京外交部地下室多年，1937年撤离时没有带走，等到1946年时遗骨早已不见踪影。有传言说，南京沦陷后，这箱遗骨被日军发现，为毁灭日兵枪杀外交人员证据而再度被毁。