AI在推理时），需要记住对话的上下文，也叫KV，这玩意特别占内存。

用户越多、对话越长、推理越复杂，需要的内存就线性增长。#A股# ​