岳飞含冤遇害后，韩世忠心灰意冷，主动交出兵权，闭门谢客，不再谈论战事，与旧部也断了联系。此后，他常骑着小驴四处溜达，自号清凉居士，可内心的苦闷，唯有自己知晓。
韩世忠年轻时在陕西军中服役，彼时西夏边境冲突不断，他跟随种师道在河湟一带奔波多年，慢慢摸索出作战的门道。
1120 年，韩世忠奉命参与平定江南方腊叛乱，那时他已是副将，手下不过几百人。战斗异常艰苦，敌军据山扎寨，韩世忠亲自披甲登山，左臂中箭仍毫不退缩。王渊战败退守建德，韩世忠却一路追剿，擒斩方腊主力，战后晋升正将。
韩世忠在军中口碑极佳，帐下士卒都称他虽治军严格但赏罚分明，军纪严谨，不许士兵抢掠百姓。
靖康元年，韩世忠奉诏镇守建康，不料北宋都城沦陷，赵构南渡。金兵来势汹汹，韩世忠被任命为镇江制置使，负责控制长江防线。他在镇江设重关、筑水寨。1130 年，金兀术南下，韩世忠率八千兵力在黄天荡堵截。金军三十万，前后围攻一个多月都未能攻克，兀术亲自上阵，还险些中箭。金军粮草耗尽，被迫绕道撤退。
战后赵构加封韩世忠为枢密使，他却表示：“兵权不宜久握，臣请求收回制置之印。” 赵构没有答应。
此后几年，韩世忠多次上奏恢复中原之策，与岳飞交往密切。岳飞写信称：“若与韩帅合兵，京畿可定。” 韩世忠回信干脆：“愿为岳元帅前锋。”
1138 年，秦桧专政，主和派得势。韩世忠上疏说：“若为一人苟且偷安，失天下人心，何以为国？” 赵构不予回应，还暗中削其兵权。
岳飞被捕后，韩世忠亲入秦桧府第质问：“何以‘莫须有’三字定罪？” 秦桧称：“此非我意。” 韩世忠沉默离去，心知留不得了。
1141 年，他上表辞职，称身体困乏难以任事。赵构大喜，封他为太保、英国公。
韩世忠换上布衣骑着驴离开将军府，旧部哭着相送，他回望不语，只是挥手让众人退下。
隐居后的韩世忠常听客商讲北地战事。听到金军又越河而下，他整夜踱步，沉默不语。有人来访提及岳飞，他要么闭目不答，要么离席而去。张浚寄诗劝他出山，他回信说：“老朽不能复起。”
1145 年，诗人刘克庄在西湖畔见到他，他衣袍虽洗尽风霜，仍有军中英气。他饮了几盏酒说：“我心不宁。” 问及北伐，他叹气说：“中原未复，何颜为将？”
1151 年，韩世忠病重。他让家人取出旧甲，擦拭灰尘后穿戴整齐躺于床榻说：“此甲随我半生，今日再披。” 有人问遗言，他只说：“靖康之耻，不可忘也。”
韩世忠在浙西守土十余年，从未擅离职守。虽未收复中原，但终身不言屈辱，是南宋少有的抗金良将。临终前，他交代不得厚葬，也不要奏章祀典，只留手令：“我非忠臣，亦不负民。”