1961年，由于众所周知的原因，吴芝圃被降职为河南省委第二书记，不久后他又被调离河南，改任中南局书记处书记。

尽管职务级别一降再降，但吴芝圃仍然兢兢业业地对待工作，他每天花费大量精力到基层搞调研，默默无闻地无私奉献着。由于长期夜以继日地工作，再加上患有严重的糖尿病，吴芝圃多次因身体透支晕倒，但他仍然坚持带病上岗。

吴芝圃在生活中一直保持艰苦朴素的作风，当时国家正值困难时期，他主动要求降低伙食标准，一日三餐只有四菜一汤，且多为普通的素菜。吴芝圃平时的主要爱好就是读书，每月的工资大部分都被他用来买书，以至于家庭经济经常捉襟见肘，甚至子女的学费都要靠借。为了节省开支，他的家里只雇了一个保姆和一个厨师。

1967年10月，吴芝圃因遭受残酷的迫害，含冤去世。改革开放后，上级正式宣布为他平反昭雪，并专门召开了隆重的追悼大会，推倒了原有强加给他的一切污蔑和抹黑之词，高度评价他的革命一生特别是在河南任职期间的卓越功绩。

吴芝圃的后代如今过着低调平静的生活，他们中的大多数人虽然都定居在海外，但他们仍然怀有坚定的爱国情怀，每年都会回国参加一些纪念吴芝圃的活动。

吴芝圃生前并没有留下回忆录，这是因为低调谦逊的他不想过多地宣扬自己，如今他的后人们有一个共同的愿望，那就是加大宣传力度，包括修葺吴芝圃的故居、结集出版书籍、定期举办纪念活动等，目的是让世人了解这位老一辈革命家的光辉事迹。