【无问芯穹CTO李伯勋:卖Token不易 模型推理算力市场远未饱和】“到底是卖算力赚钱,还是卖 token(词元) 赚钱?这是目前所有推理服务厂商都会面临的核心问题。” 上海无问芯穹智能科技股份有限公司CTO李伯勋在6月12日的北京智源大会上指出,以词元作为大模型服务的计费单位的“卖Token”业务并不好做。http://t.cn/AXa44jmK
李伯勋分析,模型即服务(MaaS)的门槛很高,要求模型部署后的精度对齐、高速低成本、高可靠稳定性和高算力供给。他举例,一些客户反映,使用供应商的模型的精度比原厂模型的精度差30%,即便是同样的开源模型,如果模型部署和细节设计不同,最后的结果也是不同的。
“好的大模型被准确部署,和好的大模型没有被准确部署,它的生产力也会不一样,”他指出,许多供应商会使用量化等步骤,来降低成本,但大模型的精度也会变差。
