今日三佳问题：
（1）kv cache是否适合encoder-decoder架构？
（2）为啥gpt3.5的completion的价格会比prompt要贵？
（3）llm serving时，怎么考虑内存和显存之间的关系？
发布于 浙江
zhpmatrix
今日三佳问题：
（1）kv cache是否适合encoder-decoder架构？
（2）为啥gpt3.5的completion的价格会比prompt要贵？
（3）llm serving时，怎么考虑内存和显存之间的关系？