#智能时刻的观察[超话]#
用通俗易懂的语言解释“TurboQuant”:想象一下像 ChatGPT 或 Gemini 这样的智能 AI 聊天机器人。当你与它交流一段时间或者给它阅读一份长文档时,它必须记住你之前说过的所有内容。它将这些记忆存储在计算机内部一个名为“键值缓存”的特殊笔记本中。这个笔记本增长速度极快。它会占用大量的内存(RAM),从而导致一切运行速度变慢。在手机、笔记本电脑甚至普通电脑上,这意味着:
• 人工智能在处理较长时间的对话时会卡住。
• 它需要昂贵且强大的硬件。
• 回答速度会变慢。
谷歌研究刚刚发布了“TurboQuant”,这是一种新的压缩技巧:
• 这个记忆笔记本至少能缩小 6 倍(有时甚至更多)。
• 使人工智能的速度提高 8 倍。• 且在不损失准确性的情况下做到这一点(人工智能和之前一样聪明)
。这就像把一个巨大的照片文件用完美的压缩工具压缩到原来大小的 1/6,而当你打开它时,图像仍然看起来完全一样,没有模糊的边缘,也没有缺失的细节。
这实际上对普通人意味着:
• 人工智能聊天机器人现在可以处理更长的对话而不会变慢或耗尽内存。
• 它在手机、笔记本电脑以及价格较低的电脑上运行效果更佳——无需使用大型数据中心的图形处理器即可实现。
• 未来的人工智能(包括谷歌自身的模型)运行起来会更加迅速且成本更低。• 微博中的那个小动画展示了色彩斑斓的条形图(代表人工智能的内存)被整齐地排列进一个小小的网格中。这正是 TurboQuant 在幕后所做的事情。
#人工智能# • 总结来说:谷歌找到了一种更聪明的方法,既能让人工智能的内存变得很小且运行速度极快,又不会牺牲质量。这种幕后突破将很快让人工智能在日常应用中显得更加实用。没有魔法,只是极其巧妙的数学运算最终完美奏效了。
发布于 北京
