大模型的 KV Cache 会不会是未来赛博朋克「超梦」的雏形？

给大家分享昨晚直播的切片，话题是，AI 浏览器的变革下，未来内容分发方式是否会有变化？上周正好有NVIDIA DGX Spark 的相关内容，其中P/D 分离技术的一个重点就是在机器之间传输 KV Cache, 我的灵感正源于此，KV Cache 其实是可以理解为大模型对当前对话的"体验"， 那么另一个人也想获得这样的体验，是不是只要把KV Cache复制给他正在使用的大模型就可以了？这会不会是"体验型社交媒体"的雏形？

当前脑洞归脑洞，目前 KV Cache 高效迁移起码面临的的问题有，首先这玩意不小，大模型的动辄上GB, 以及，KV Cache 是有兼容性问题的，不是导出来就能放到其他大模型去用的。

anyway，我觉得可以无限脑洞聊聊，大家对这个想法怎么看？

#ai创造营##ai生活指南# http://t.cn/AXAznu9U