1943年春，驻常德的国军部队奉调为中国远征军，余程万率74军57师8000余人进驻常德。
余程万到常德后下令修筑工事、巩固城防、积极备战，发出“城存与存，城亡与亡”的作战号令。
10月余程万被提升为74军中将副军长兼57师师长，11月常德会战打响。当时，鬼子第11军司令横山勇集结10多万兵力向常德地区发起进攻。国军集结了第6、9战区约43万人，在常德及外围地区与日军交战。
11月24日，横山勇率3万余鬼子突破重重防线，直逼常德城。第二天，日军以伤亡千余人的代价突破常德城外三道防线，将常德包围。
蒋介石当时在参加开罗会议，他得到消息后下令余程万死守常德，至少要坚持到26日。蒋介石又令各路增援部队火速救援常德，发起反包围。
战至26日，57师守城时限已满。国军各路援军迟迟无法抵达常德，余程万不想将常德拱手送给鬼子。此时57师伤亡过半，常德已成孤城。余程万一面催促援军，一面继续与敌奋战。
27日鬼子向常德城发起猛攻，还使用了毒气弹。29日鬼子攻入常德，双方展开巷战。横山勇下令火攻，余程万又带着将士们与敌展开肉搏，迫使日军退出常德。
12月1日，除去在城外打游击战的少数将士，57师在常德城中还剩下200多人，武器弹药严重缺乏。余程万眼看部队陷入绝境，便向孙连仲长官发去“绝命电”。
12月2日蒋介石命人给余程万发电报，要求他与常德共存亡！
12月3日凌晨余程万召开军事会议，表达了坚守常德的想法，几个团长对他说现在坚守没什么意义，只能白白牺牲，不如突围出去寻找援军，也可为57师留下火种！余程万听后决定留下第169团团长柴意新等51人死守阵地，自己带百余人突围。在与日军激战后，余程万带着83人突围，与前来增援的滇军第58军新11师32团相遇。留在常德的柴意新当晚中炮牺牲，余部坚守至6日全军覆没，常德失守。
由于事出仓促，余程万突围时没有通报全军，大家都以为他殉国了，一直到他主动联系王耀武，王耀武这才得知他已擅自撤出常德。他在电话里对余程万说：“你糊涂啊！知不知道蒋委员长已经下了死命令，要你死守常德，你现在突围出来，蒋委员长怪罪下来，该怎么办？”，“现在你只能想办法补救了，无论如何，你都必须夺回常德，而且你必须是第一个冲入常德的人！”。王耀武令新11师32团协助57师收复常德。
余程万12月7日兵不血刃地收复了常德，因为日军攻克常德后只留下一个联队守城，余程万率军抵达常德时日军这个联队就跑了。余程万进城后在断壁残垣间又找了三百多名57师官兵，这些人是被打散后到处打游击的。
蒋介石得知余程万擅自撤离常德后大骂：胆怯无能，其状貌短小，不言而知其为非可托大事者。何应钦也说余程万“应死不死”。余程万被捕后押送重庆受审，罪名是：在没有上级命令的情况下，擅自撤离常德。
消息很快就在国民党内部传开，绝大多数人都认为余程万可免一死，毕竟余程万守城时限已过，在全军覆没的情况下才被迫撤退，更何况后来又收复了常德，虽有罪过，但罪不至死。
王耀武认为余程万已经尽力，再追究其罪责就太不公平了。他联系了第九战区司令长官薛岳和第六战区代司令长官孙连仲，详细汇报了57师的战斗经过及余程万突围的本意。三人联名向蒋介石求情，王耀武又请老上司俞济时向蒋介石说好话。军法总监何成浚也倾向于从轻量刑。常德当地的官员百姓认为余程万堪称孤胆英雄，纷纷请愿，希望蒋介石刀下留人。
1944年桂柳会战爆发，桂系学习“敌进我退”的战法未战先撤，桂林、柳州等城市相继丢失。如此一来，蒋介石就不好再深究余程万了，最终余程万被判刑五年。
1945年1月，74军军长施中诚请求蒋介石让余程万戴罪服役，蒋介石便给余程万减刑至两年半，调回军中服役。后来余程万屡有军功，蒋介石便免除他的刑罚，任命他为74军中将副军长。
余程万时常想起57师那些阵亡将士，他认为有必要把将士们的英雄事迹记录下来，让更多人熟知。于是他请张恨水写一本关于“虎贲”军的故事。后来张恨水以《虎贲万岁》为名写下一本小说，他在小说的开头写下了一段话：我写小说，向来暴露多于颂扬，这部书却有个例外，暴露之处很少。常德之战，守军不能说毫无弱点，但我们知道，这八千人实在已尽了他们可能的力量。一师人守城，战死得只剩下83人，这是中日战争史上难找的一件事，我愿意这书借着第57师烈士的英灵，流传下去，不再让下一代及后代人稍有不良的印象，所以改变了我的作风。