GPT-6.1 Sol Ultrafast上线了
速度翻8倍,价格翻3倍。之前GPT-6.1 Sol 也不快,图2是之前有人测试的,Astra最高可以到300多t/s, Sol应该比这个还要在快点吧
还有人问 #AI回答太快会影响质量吗# ,这个就全凭供应商良心了。
毕竟加快推理速度有好多方法,有花钱的也有省钱的(量化之类)。
OpenAI模型也不开源,就靠大家自己体验了~
关于具体推理加速的方案,之前小米出MiMo-V2.5-Pro-UltraSpeed的时候发过一篇文章介绍基本思路,有兴趣可以找来看看。
发布于 山东
