桂曙光 26-04-19 14:59
微博认证:宏迈微电子董事长 科技博主 头条文章作者 微博原创视频博主

为什么大语言模型需要这么多参数?因为文字是人类发明的最高效的信息压缩格式。一本10万字的书,文件大小不到200KB。而一段10分钟的短视频,文件大小可能超过200MB——是书的1000倍。但这段视频传递的有效信息量,很可能还不如书的一个章节。

人类花了5000年发明文字,本质上是在做一件事:把复杂的世界经验,压缩成最精炼的符号系统。读书之所以"难",恰恰因为你在做"解压缩"——把高度浓缩的信息,在大脑中还原成完整的认知图景。『http://t.cn/AXxLurPv』http://t.cn/AXxLurPv

发布于 北京