Cerebras 联合创始人兼首席技术官 Sean Lie 在白板上演示如何用晶圆级芯片部署拥有 3 万亿参数的 Kimi K3 模型~ #微博视频号续航计划#
看他们家正在搞K3.1 Pro的高速版本，速度能超过2000Token每秒

主要讲了三个问题：
1. 如何把完整模型装进片上内存：利用每片 WSE（Wafer-Scale Engine）约44GB 的高带宽片上 SRAM，将权重放置在片上。
2. 如何把模型映射到多片芯片：模型有93层（约69个线性层 + 24个密集层），每层权重约16GB。线性层可放2层/片，密集层1层/片，总共约59片晶圆即可覆盖整个模型。激活值通过 RDMA over Ethernet 在晶圆间流水线传递。
3. 如何支持高并发请求：计算 KV 缓存 占用（密集层需要：计算 KV Cache 占用（密集层需要），在剩余内存下支持约190个并发请求（具体计算中出现了44GB - 16GB = 28GB、每请求KV大小等数字）。 http://t.cn/AXYVYhYa