你能想象么?阿里百炼的隐式缓存,图里这一分钟内十次相同输入的请求,缓存只命中了三次,其中一次还只命中了一半的token🤣并且最搞笑的是,上一个请求命中了缓存,下一次请求又没命中了。非常让人迷惑。
加上阿里百炼那神秘的账单,我真的想恶意揣测一下百炼这样子是何居心了。
叠甲:我只测了 qwen-flash 的隐式缓存,不知道其他模型会不会这样。
发布于 浙江
你能想象么?阿里百炼的隐式缓存,图里这一分钟内十次相同输入的请求,缓存只命中了三次,其中一次还只命中了一半的token🤣并且最搞笑的是,上一个请求命中了缓存,下一次请求又没命中了。非常让人迷惑。
加上阿里百炼那神秘的账单,我真的想恶意揣测一下百炼这样子是何居心了。
叠甲:我只测了 qwen-flash 的隐式缓存,不知道其他模型会不会这样。