1963年，铁道部成立了“大功率牵引动力内燃化、电气化领导小组”，确定了由戚墅堰工厂生产6L207E柴油机和ND2型调车内燃机车（“N”、“D”分别代表内燃机车、电力传动，是汉语拼音首字母缩写），其中，柴油机由大连机车车辆厂和戚机厂共同设计，主发电机和牵引电动机由上海电机厂等单位协作，整车由戚机厂设计并试制。
1964年10月，首台ND2型调车内燃机车在戚墅堰机车车辆工厂试制成功。1964年12月，这台机车交付北京铁路局北京内燃机务段试用，同年经铁道部鉴定批准后投入批量生产。1966年9月，ND2型机车奉铁道部命令正式更名为东风2型机车。原ND2的名称于1972年重新启用，用于命名从罗马尼亚进口的060DA型内燃机车。
东风2型内燃机车总共生产了148台，其中戚墅堰机车车辆工厂在1964年至1983年间生产145台，成都机车车辆工厂于1985年至1986年间生产3台。1976年，东风2型内燃机车获得铁道部授予全路铁路科技优秀项目奖。