闭源大厂藏得住参数,但藏不住它脑子里的知识。
其实仅靠聊天,就能扒下 OpenAI 和 Anthropic 的底裤,估算出他们的模型体积。
李博杰利用 AI Agent 构建了“不可压缩知识探针(IKP)”,涵盖 1400 个问题,7 层稀有度的数据集,对近三年27 家厂商的 188 个大模型的“事实记忆”进行了持续测试,主要得出了以下三点洞察:
1、仅凭事实准确率,就能反推模型参数量,其中 GPT-5.5 ~9T,Claude Opus 4.7 ~4T,GPT-5.4 ~2.2T,Claude Sonnet 4.6~1.7T,Gemini 2.5 Pro~1.2T(90% 置信区间:0.3-3 倍规模)。
2、模型记住的是做出有影响力工作的人,而非发表了大量增量型论文的作者。
3、 事实容量不会随时间被压缩,目前还没见顶,参数越大装得越多。
传送门:www.zhihu.com/pin/2032769685012361774
#HOW I AI##科技先锋官#
发布于 北京
