彭老总担任国防部部长后，狠抓军队整顿，并规定军人不得在饭店、酒馆喝酒。
一次，彭总到前门大街暗访，正撞见从前门饭馆走出两名喝得醉醺醺的军人。他把二人唤来，二人认出这是彭老总，酒吓醒了一半，规规矩矩敬了礼。彭总压住火气质问："部队有规定不能上街下馆子喝酒，你们为什么明知故犯？" 一名军官辩解，说是给从烟台出差来京的老乡饯行。彭总说："老乡来看你，请吃顿饭也不是不可以，可部队食堂就吃不下吗？你这是明知故犯。" 问明二人一个是在京公安军处长、一个是山东驻军营长后，彭总吩咐给各自部队打电话：脱下军装，转业走人，安置到地方工作。随行的政治部副主任徐立清觉得处理过重，彭总回答："一条都不重，好不容易抓个典型，就这样严肃处理，否则定下的军规就如同废纸一张。"
彭总对部下铁面无私，对自己也从不搞特殊。一次他检查某团工作，团里备下丰盛宴席，彭总不肯就座："主席教育我们不要大吃大喝，你们怎么让我犯错误，赶紧撤掉，把这些好菜好肉倒进战士们的饭盆里，否则我就不吃。" 杨成武也吩咐撤席，换上大盆四个家常菜，彭总这才上桌，边吃边说："我就爱吃家常饭，过去在陕北打游击，一碗二米饭配几撮咸菜就是美味，凭着小米饭和简陋装备，照样把胡宗南打跑了。现在国家底子薄，千万不能忘本，要俭省节约、学会过日子。"
对外严执军纪，对内苛守本分，这正是彭老总。