很多领导咨询今天海光发布会的重要意义,统一解读供参考[抱拳]:
[玫瑰]如何提升有效算力→超节点和推理提速
1、算力趋势一:超节点。
例如NV72超节点(72GPU+36CPU),国内主流CPU仅2家(海光、鲲鹏)、GPU很多家,OEM需要统一标准来实现整个机柜的基础设施统一化。
➡海光HSL应运而生
2、算力趋势二:硬件资源不变,通过KV Cache和PD分离来提高推理效率。
但PD分离带来新问题(额外的通信开销、调度复杂度增加),需要统一总线、统一内存访问来解决。
➡海光HSL应运而生
3、#主流GPU厂商均选择加入海光HSL生态:昆仑芯、寒武纪、壁仞、沐曦、摩尔线程、燧原,以及四大OEM浪潮 中兴 联想 华三。
欢迎联系:中泰科技孙行臻/王心悦
发布于 湖南
