蚁工厂
26-09-07 19:05 微博认证:科技博主

官方教程:从零手搓SGLang
地址:github.com/datawhalechina/zero-to-sglang
本项目由 Datawhale 和 RadixArk(SGLang 团队创立的公司)共同发起。是面向大模型开发者的 SGLang 系统化开源教程:从推理基础与环境搭建开始,逐步学习模型部署、结构化生成、服务开发和性能优化, 结合实战案例带你从 0 到 1 掌握 SGLang,构建高性能 LLM 推理应用

✨ 你能学到什么
📖 读懂推理:KV Cache、prefill/decode、compute-bound vs memory-bound,这些概念到底在说什么
🏗️ 手搓引擎:从 0 到 1 写出一个 mini-sglang,每一步都落在代码上
🛠️ 看懂真实引擎:RadixAttention、Paged KV Cache、Continuous Batching 这些 SGLang 核心是怎么实现的
⚙️ 摸到前沿:量化、分层缓存、DP Attention / EP / PP、Prefill-Decode 分离
🚀 参与开源:学会 profiling 和 trace 分析,走通 SGLang 的 PR 全流程

课程还在进行中,目前已完成的章节如图2.

发布于 山东