#DeepSeek组件与英伟达对应#大模型运行不是插上芯片就行,还需要矩阵计算、注意力加速、芯片间通信、数据筛选等组件。以前这些工具主要围绕英伟达CUDA开发,现在DeepGEMM、DeepEP、FlashMLA、DeepSelect等功能,在昇腾上也有了对应方案。打个比方,以前施工队只熟悉一套进口工具,现在国产工具的扳手、电钻、测量仪也逐渐配齐,换设备不必把施工方法全部推倒重来。这样做可以降低模型适配不同芯片的成本,不用每换一个平台就把大量代码推倒重写。配套组件还能优化计算、通信和数据调度,让咱国产芯片的性能尽可能发挥出来。工具链逐渐完善后,企业使用国产算力的技术门槛和试错成本都会下降,也更愿意进行迁移和部署。DS比我们期望的要更给力,越来越好啦!
发布于 山东
