做了2w次实验之后，我才知道deepseek的kv cache到底优化有多好
http://t.cn/AXihSBbQ
deepseek的缓存请求命中率无论是在工作时间，还是非工作时间一直保持着100%命中率，且这种命中率在达到了12小时之后，依然维持着100%。
第二名是minimax，它在非工作时间可以达到90%的缓存命中率，但是在工作时间段会下降到70%左右的缓存命中率。但是非常奇怪的事情就是minimax的在第一分钟的缓存丢失率甚至更高，这可能与内部的缓存读取机制有关系。
接下来分别是kimi,openai和glm。
#AI创造营#