高力士虽然是宦官，但他是有老婆的~明媒正娶的老婆，姓吕。吕氏的父亲是个小官，高力士看到吕氏，一见钟情，因为人家是大美女，“女有姿色，力士娶之为妇”。婚礼排场极大，被形容“不亚于为皇子册妃、公主下嫁”。

高力士对岳父一家非常照顾，吕氏在世时生活也极排场，但作为宦官之妻，她“守活寡”的客观处境难以改变。吕氏父亲吕玄晤本来是京城小吏，嫁女之后，吕玄晤“擢刀笔吏至少卿，后出为岐州刺史”，一跃成为高官，而且“吕氏子弟皆王傅”，非常显贵。

高力士封齐国公后，吕氏受封齐国夫人。但吕氏去世很早，高力士为妻子办了很隆重的葬礼，朝中官员、地方节度使争相致祭，车辆从高力士府邸直到城东墓地，络绎不绝。

高力士得势后，找到了自己的生母麦氏。麦氏本来是隋朝名将麦铁杖曾孙女，因为夫家卷入叛乱，与儿子失散。麦氏被送到长安后，凭借说出高力士“胸前七颗黑痣”、母亲手上的金环，终于母子相认。玄宗封麦氏为越国夫人。

除了生母，高力士还同堂供养自己的养父高延福和其妻，“均养之恩，咸不寐于十起”，被时人称赞为孝。可见高力士对自己的家人非常好。

除了父母，高力士还和其他宦官一样，收养了儿子女儿作为后代。其中有一个养女，成婚后守寡，因为和养父的关系，对宫中事物非常熟悉。后来唐德宗寻访失踪的生母沈太后时，女官李真一发现此女与沈氏年龄、相貌相似，且有相似伤疤，遂迎入上阳宫，冒充太后。因为此女对宫中旧事说的头头是道，差点就成功了

结果高力士养子高承悦怕欺君之罪牵连自己，向德宗说明实情。德宗又派高力士养孙樊景超去洛阳复核，樊景超当面叫她“姑”，可见她在高家的辈分，至此真相大白。

这本来是欺君之罪，但德宗害怕如果深责此女，会导致民间不再积极寻访沈太后于是，只说“宁受百欺，冀得一真”，仍希望找到真太后。最后高力士的养女全身而退。也有人认为，她从小熟悉宫廷，不可能不知道欺君之罪的结果，应该是受人胁迫才犯下此大罪。

没想到，高力士死了，他的影响居然还能一这种奇怪的形式在历史上写上最后一笔....