与同一硬件上的初始基线相比，端到端服务性能提升了3倍，硬件效率和单token成本已达到与主流英伟达GPU相当的水平。
这证明国产芯片完全可以在大规模场景下高效、经济地支撑前沿模型的推理需求。
发布于 陕西
猫在飞fly
与同一硬件上的初始基线相比，端到端服务性能提升了3倍，硬件效率和单token成本已达到与主流英伟达GPU相当的水平。
这证明国产芯片完全可以在大规模场景下高效、经济地支撑前沿模型的推理需求。