从昌邑王到皇帝，再到庶民、海昏侯，刘贺短暂而戏剧的一生，给后世留下了两座墓葬。江西南昌，海昏侯墓惊艳世人；山东巨野，废弃的昌邑王坟冢露天而莽荒。
刘贺继任昌邑王之后，就着手给自己修一个墓。墓址选择在金山，位于今巨野县东南20余公里，不知用了几年工夫，墓葬基本成型，墓道总长90米，最高处15米。在山体中凿开一片洞天，如劈似削。山内主墓室、左右耳室粗具规模。在这座大墓西侧，还有一座2号墓，应该是为刘贺的王妃准备的，但刚刚营造，便因为刘贺进京登基而废止。于是，这座墓便成了一个半拉子工程。
但在后世一千多年里，这个烂尾的墓葬，却成了当地著名景点。
宋代人来了，称之清凉洞。在崖壁上，洋洋洒洒写下一通《清凉洞记》，时在宋徽宗崇宁二年（1102年）。古人不清楚“清凉洞”的来源，便附会了几个传说：秦始皇东巡泰山途中，在此驻跸，所以叫作秦始皇避暑宫。又，隋末唐初，秦王李世民在此歇马，故又称秦王避暑洞。
在墓道尽头，墓室上方的崖壁上，大字镌刻着“敕赐大明禅院”六字。原来，这座墓在金代被开发成了寺庙，并于大定三年（1163年）得到官府的合法认证，改名大明禅院。后来，又改名金山寺。墓室内仍存有元泰定四年（1327年）所造佛像一尊。
宋金元明清民国，过往行人僧侣将这里视为景点、寺庙，在崖壁上累累铭刻，留给了40多则题记，却绝少将其与一位曾位极九五至尊、也曾贬入尘埃的藩王联系在一起。