小马甲不小
26-08-26 22:23 微博认证:汽车博主

给国产芯片点个赞[good]

智谱:牛来大模型Ox-Alpha,请求流量全部由国产芯片提供算力支持。

过去一周,我们首次在大规模流量中尝试用大国产芯片集群提供服务,这些芯片通过自研高带宽互联网络连接。

与同一硬件上的初始基线相比,端到端服务性能提升了3倍,硬件效率和单token成本已达到与主流英伟达GPU相当的水平。这证明国产芯片完全可以在大规模场景下高效、经济地支撑前沿模型的推理需求。

#牛来模型确认为智谱GLM系列#

发布于 四川