【系统层面LLM进展总结】
- 文章从分支预测、预取等系统概念介绍了LLM模型在推理阶段的优化研究，如 speculated decoding大幅降低了时间成本。
- Vision Transformer利用输入图片的背景像素作为寄存器，储存中间结果，类似寄存器概念。
- MemGPT把外部信息看作虚拟内存，LLM通过调用接口管理信息流入流出，有助扩充上下文窗口。
- 将LLM设计为事件驱动开启新思路，但需参考操作系统研究工作。
- 将系统和AI接轨，展示了交叉学习的价值。虽然面向视觉和语言任务，分析思路同样重要。
- 未来如何进一步提升LLM推理效率，例如利用多核等硬件优化，以及LLM本身支持的新研究方向，都值得关注。
- 通过系统视角梳理了LLM研究进展，倡导跨学科学习，将有助提升LLM应用水平。
《At the Intersection of LLMs and Kernels - Research Roundup》 http://t.cn/A6WQSeYB #机器学习#