在他看来，征服匈奴是武帝未能完成而昭帝应当继续完成的任务。至于轮台诏发布后，暂时停止出师征伐，只是“陛下垂大惠，哀元元之未赡，不忍暴士大夫于原野”，因而延缓了而非取消了征服匈奴的任务。
其实，霍光对儒生的态度与桑弘羊相去不远。《汉书》卷六八《霍光传》载光兄孙霍山语曰：“诸儒生多寥人子，远客饥寒，喜妄说狂言，不避忌讳，大将军常雠之。”
班固夸大了霍光时期政策转变的力度。实际上，霍光执政十九年，有“轻徭薄赋，与民休息”的一面，也有“因循守职，无所改作”的一面。总地看，他所推行的并非“孝文时政”,而是武帝晚年确定的方针。
首先，武帝所建各项制度，包括贤良、文学攻击最力的盐铁、均输等经济制度，霍光起初都沿用不改，盐铁之议后，在儒生们的压力下，也只废除了酒榷和关内铁官，其他皆照旧。
其次，在对外政策方面，霍光的主张与桑弘羊亦无本质的不同。《汉书》卷九六《西域传》: “昭帝乃用桑弘羊前议，以杆弥太子赖丹为校尉，将军田轮台，轮台与渠犁地皆相连也。”桑弘羊前议就是被武帝轮台诏否定的屯田轮台以东之议。
霍光并未因武帝曾否定此议而放弃经营西域。这表明，他对轮台诏的理解也和桑弘羊大致相同。以此为前提，霍光多次对西域和匈奴用兵。