超聚变
26-11-19 17:52 微博认证:超聚变数字技术股份有限公司官方微博

#FusionXpark GB10无交换机级联实测:4台互联,推理吞吐最高提升超2.5倍#

能不能让多台设备直接互联、不挂交换机,照样高效协同推理?超聚变用4台#FusionXpark GB10#给出了答案。4台FusionXpark GB10通过环形组网直连,以mesh硬件转发承载数据面,配合rocenate协议完成机间通讯软件栈基于SGLang v2.3多机并行调度(TP4+EP1),运行DGX OS。不再依赖独立交换机,也能实现多机协同推理。这意味着:4台设备、几根直连线缆,就是一套可扩展的#桌面AI推理集群# 。调优后,首字延迟(TTFT)最高降低44%,输出吞吐最高提升257%(超2.5倍)——同样的4台设备、同样的模型,只是让多机调度协同得更聪明。

发布于 河南