技术优化能省一部分算力,压缩 KV 缓存、换架构,都能降低开销。但再厉害的优化,抵不住潮水一样涌上来的并发请求。而且长对话是算力黑洞,每多一轮对话,显存占用非线性往上走。芯片下单、建智算中心,都要按季度甚至按年算,扩容赶不上流量爆发。
一边是 C 端免费体验,一边是 API 付费通道,等于用限流的方式,把算力资源做分流。对行业来说,这也是国产大模型的典型矛盾:模型能力跑出来了,用户来了,但算力供给是硬门槛。#deepseek算力#
发布于 北京
技术优化能省一部分算力,压缩 KV 缓存、换架构,都能降低开销。但再厉害的优化,抵不住潮水一样涌上来的并发请求。而且长对话是算力黑洞,每多一轮对话,显存占用非线性往上走。芯片下单、建智算中心,都要按季度甚至按年算,扩容赶不上流量爆发。
一边是 C 端免费体验,一边是 API 付费通道,等于用限流的方式,把算力资源做分流。对行业来说,这也是国产大模型的典型矛盾:模型能力跑出来了,用户来了,但算力供给是硬门槛。#deepseek算力#