NVIDIA 刚刚发布了专为gpt-oss-120b设计的加速模型
NVIDIA 刚刚发布了个新模型 gpt-oss-120b-Eagle3-throughput, 这个模型是专门为了搭配 gpt-oss-120b 而设计的, 它可以用来作为 gpt-oss-120b 的前置模型进行推测性解码, 从而提升 gpt-oss-120b 模型的输出速度.
给不了解推测性解码的同学介绍一下, 推测性解码技术就是先用一个小模型来输出, 然后批量将这些输出塞给大模型, 让大模型纠正, 这样只要小模型"蒙对了" 速度就会很快, 而在正常语境下停用词(在语言中频率极高，但对区分句子核心语义贡献很小的词)还是很多的. 所以提速效果明显.
#ai创造营##ai生活指南#
发布于 日本