1975年12月16日，康生因前列腺癌在北京逝世，享年77岁，死前为排名第四的领导人（仅次于毛泽东、周恩来和王洪文）。

中共中央发布的讣告称他为“中国共产党的优秀党员，是中国人民的伟大的革命战士和马克思主义理论家，是党和国家卓越的领导人之一、中国人民的伟大的无产阶级革命家，光荣的反修战士。”

1980年10月16日，中共中央根据中央纪律检查委员会的《中共中央转发中央纪律检查委员会关于康生、谢富治问题的两个审查报告的批语》（“康生、谢富治两人，政治品质表现恶劣，在‘文化大革命’期间，直接参与林彪、江青等人篡党夺权的反革命阴谋活动，犯下严重罪行。”），把他开除党籍，并撤销悼词。

后中央组织部决定，将其骨灰迁出八宝山革命公墓。被最高人民法院特别法庭认定为“林彪、江青反革命集团案主犯”。

位于山东省青岛市的康生出生地——康生故居在1977年12月23日被列入山东省文物保护单位，1980年10月21日撤销。11月2日，最高人民检察院将康生列为林彪、江青集团，因已死不再追究刑事责任。