#人工智涨ultra的行业观察#
我们相信:
昇腾950DT推理性能达到H200的86%左右的性能……
那肯定是FP8和FP4的混合精度推理,不然不可能到这个吞吐……
那么这就意味着,在950DT上跑出这个性能,模型的表达能力可能会更差一些,特别是原生不支持FP4精度的模型……
当然,通用日常任务中FP4和FP8的精度差异能控制在1%以内……
但是在以下场景里
● 超长上下文检索;
● 多轮工具调用;
● 代码仓库级推理;
● 低概率但高价值的答案;
● 复杂采样、温度敏感任务;
● 线上 Serving 的稳定性。
低精度更容易暴露问题,尤其是当缩放因子、KV Cache 压缩、投机解码、重计算策略没完全对齐时。当然如果训练加入FP4,训练时更好的适应这种低精度数值表达后,会更接近FP8。
所以我有一个想法,后续AI落地,可能会根据任务类型,计算精度来定价。
能耗和沉默成本不一样哈……
另外,你们要明白一个道理:
参数≠实际性能≠实际生产力≠能挣钱
很复杂的……
很多人在拿一些技术上的信息差在忽悠……
发布于 广东
