1971年底，铁道部开始更新客运机车队、淘汰已经老旧的“胜利6”型和“人民”型蒸汽机车。给大连机车车辆厂下达任务：要求大连机车车辆厂在短时间内拿出一款够用的客运用途内燃机车。目的是在重新设计的新型客运型内燃机车研制成功之前能有一款“过渡产品”让中国铁路的客运机车队快速的“内燃机”化。
时间紧任务急，已经彻底没有另起炉灶的可能性，更何况有外形美观的东风内燃机车这个“现成货”可用，所以新的内燃机客运牵引车头理所当然的就基于东风内燃机车的基础上做加减法。选定的改装对象是还在生产线上的东风1651号和东风1657号。
新车将牵引电动机齿轮传动比由4.41改为3.38，使机车构造速度由100公里/小时提高到120公里/小时，并更改了制动系统的制动倍率。另外，由于东风型货运内燃机车旁承的复原装置的特性并不利于机车通过曲线，复原力矩会加剧机车通过曲线时的轮缘磨耗，因此新的客运内燃机车的旁承被改为使用普通的平面摩擦式旁承以提高可靠性。
1972年初，东风1651号和东风1657号机车改装完毕，随后交通部机辆组于对这两辆改装样车组织了几次运行试验，在京广铁路、京包铁路进行客车车厢牵引试验和运用考核；在京广铁路全程试验中，东风1651号和东风1657号车以双节机车编组的方式牵引15节客车车厢由北京火车站出发，运行32小时47分钟后到达广州火车站（中途停靠15个较大车站），最高试验速度达到125公里/小时，超过了改造预期的120公里/小时速度。试验结果显示，改装后的东风1651号和东风1657号机车性能发挥良好、运用情况可靠，可满足牵引旅客列车的需要。
随即，铁道部批准改进后的客运型内燃机车于1972年当年在大连机车车辆厂投入批量生产并将新机车正式命名为东风3型干线客运内燃机车。而原东风1651号和东风1657号机车作为新的东风3型干线客运内燃机车的头两台“生产型”获得了东风3-0001和东风3-0002的编号。东风3型干线客运内燃机车至1974年停产为止总共生产了225台（东风3-0001～0225），再加上成都机车车辆厂于1981年试制的1台（东风3-0226），总共生产了226台，使得中国铁路在短短的5年时间里完全替换下了“胜利”型和“人民”型蒸汽机车，一举扭转了客运铁路线上内燃机车头短缺的局面，完成了客运机车头的“内燃机”化。
1972年起，东风3型客运内燃机车正式在大连机车车辆工厂投入批量生产，优先配属到运量大、车次密集、原有车头老旧、急需新机车替换的客运机务段。主要配置给广州铁路局长沙机务段、上海铁路局上海机务段、郑州铁路局郑州机务南段、北京铁路局石家庄机务段、广州铁路局广州机务段和沈阳铁路局沈阳机务段。
二十世纪七十年代后期开始，东风3型客运内燃机车暴露出牵引功率较低的缺陷（毕竟是仓促上马的临时替代品），随着东方红3型内燃机车、北京型内燃机车投入批量生产、再加上从罗马尼亚进口的ND2型内燃机车的到货，东风3型客运内燃机车完成了其“临时替补队员”的历史使命，各局机务段的东风3型机车开始逐步退出客运牵引任务。
至二十世纪八十年代后期，东风3型客运机车已经从中国铁路的机车序列中消失，绝大多数的东风3型机车均已经修改了传动齿轮比，改造成最高速度为100公里/小时的东风型机车。原本当做短期替补的东风3自己也没想到——这一替补就服务了十多年，成为了中国铁路运输的一个黄金经典，火车迷将东风3型内燃机车和东风型内燃机车一并尊称为“老东风”。