蚁工厂
25-12-18 08:17 微博认证:科技博主

SGLang 团队新建了一个为了教学而设计的、更可读版本的 SGLang: mini-SGLang ⚡,很适合用来学习大模型推理的真实工作原理
地址: github.com/sgl-project/mini-sglang
该项目将 SGLang 从 30万行精简到了 5000 行。保留了核心设计,简化了复杂性。性能未受影响——几乎与在线版本的 SGLang 完全相同。它是为工程师、研究人员和学生设计的,帮助他们了解大模型推理的真实工作原理,并通过代码比论文学到更多。
图2是主要开发者的信息,交大ACM班的徐子绎。
#科技先锋官#

发布于 山东