蚁工厂
26-09-24 08:03 微博认证:科技博主

李博杰的《深入理解 AI Infra:量化分析与系统设计》跟着DeepSeek的DSec 论文更新了一下
地址:github.com/bojieli/ai-infra-book
本书从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。
这次更新的:
“DeepSeek 的 Agent 沙箱平台 DSec 是《深入理解 AI Infra》一个很好的例子。跟我当年在微软用 FPGA 加速网络、Bing 搜索,在华为用 UB 去掉抽象层的开销一样,都是打破旧的抽象边界,实现极致性能。传统操作系统和云要服务大量互不相关的程序,所以必须通用,有足够好的可编程性。而 AI Infra 的负载就是 LLM 和 Agent 用的沙箱,通信模式事先已知,可以协同设计。

Agent RL 和传统云计算的很多假设都是不同的:
1. 云上的负载来自大量相互独立的租户,可以靠统计复用把峰谷削平。RL 负载则是一个作业一次申请 32K 个沙箱,需求高度相关。
2. 云上的容器按自己的节奏运行。沙箱约九成时间在等模型生成,CPU 平均只用 5%。所以优化目标不是 CPU 成本,而是不让 GPU 空等。
3. serverless 平台假设少数热门镜像被大量复用。RL 用的镜像数量极大、复用极少。
4. 威胁模型不同。云安全防的是外部攻击者。RL 里运行在沙箱里的程序,本身就在被优化去寻找漏洞。
5. DSec 知道哪些 GPU 作业被抢占了,所以能主动暂停对应的沙箱,通用的容器云做不到。

书里面也加入了 DSec 的内容,主要在第 11 章”

发布于 山东