tombkeeper
26-11-22 22:42 微博认证:2025微博新锐新知博主 科技博主

之前介绍过的 Strata(http://t.cn/AXWV0FO1),最新版已经支持 Inkling-2-Mini 了(http://t.cn/AXTaF7i9)。最低 4G 显存的卡就能跑。在 RTX 5090 上单会话输出速度 250.3 tok/s,64 个并发总输出速度能到的 4089.7 tok/s,非常惊人。

2023 年初 GPT-4 发布后,我们公司另一个实验室的负责人专门找我聊了一下午,话题大致可以总结为“人类什么时候完蛋以及怎么完蛋”。我们推演的方向之一是 AI 如果能自主发起网络攻击并不断繁殖、不断演化怎么办——大致就是我之前写的这个故事:http://t.cn/AXTaF7iC 。

我当时跟他说只要 AI 还依赖数据中心,问题总归都还有办法解决。然而,现在看来,也许几年内个人电脑上就能跑 Fable 5.2 这个级别的模型了。

发布于 北京