宝玉xp
23-06-22 05:42 微博认证:前微软Asp.Net最有价值专家 2025微博年度新知博主 科技博主

我们在调用LLM的API时,有时候需要调整温度(temperature)参数,这个参数有什么用呢?

在Google的“生成式AI学习”课程的“Encoder-Decoder Architecture: Overview 编码器-解码器架构”这期视频里面,里面谈到了temperature参数的作用。

如果温度很高,它会使得所有Token的得分变得接近于0,这意味着这个Token更有可能被选中。会有更多的多样性,更多的内容可以被预测,这会使得模型变得更有创造性。但如果温度太高,神经网络只会预测出无意义的东西。

如果温度非常低,最高的概率得分会被乘以一个非常大的数,这会使得最高得分的Token有更大的被选中的概率,也就是说,模型的行为会更加确定。

完整视频:http://t.cn/A6pjFsSK http://t.cn/A6pjFsoO

发布于 美国