tiny-llm ，一个从零实现大语言模型推理系统的实战课程，目标是让开发者理解 vLLM 这样的推理引擎如何工作。
地址：github.com/skyzh/tiny-llm

传统 vLLM 等项目拥有大量高度优化的 CUDA 内核和复杂的工程代码，学习门槛较高。tiny-llm 采用更容易理解的方式：基于 Apple Silicon（M 系列 Mac）、MLX 框架和 Qwen3 模型，从最基础的矩阵运算开始，用 Python、C++ 和 Metal 自己实现推理算子，逐步构建完整的推理服务。