技术博客 HiCache in SGLang
地址：www.sglang.io/blog/hicache
这是一篇介绍SGLang推理引擎系统里缓存方案的文章。也是一篇可视化做的很好的文章。
HiCache 的主要思路是通过 GPU 显存、CPU 内存和外部存储构建三级缓存体系，将有限的显存空间扩展为更大容量的分层缓存系统。
在 DeepSeek-V4-Flash 多轮对话测试中，相比仅使用 GPU 缓存，HiCache 实现了 15.5 倍的有效输入吞吐提升，缓存命中率接近 98%。

这篇文章介绍了 HiCache 的整体架构，还介绍背后的关键工程优化，包括 KV Cache 内存布局转换、数据传输与 GPU 计算重叠、缓存预取和回写策略，以及对混合注意力架构中 Recurrent State 和推测解码状态的支持。