麻省理工科技评论
24-03-14 18:22 微博认证:《麻省理工科技评论》杂志官方微博

#大语言模型# 【罗格斯大学团队提出思想链概念,提高大模型的算数推理能力】

日前,美国#罗格斯大学# 博士生金明宇和所在团队,通过引入思想链(CoT,Chain of Thought)的概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。

CoT 的原理是通过提供#推理# 过程的示例,来教会模型处理推理,详细说明导致最终答案的每个步骤。这种提示方法能够有效地教会模型不要匆忙完成推理过程,而是逐步地解决问题。

这符合人类自然解决问题的方式,也就是将复杂的任务分解为更简单、更易于管理的步骤。

与直接将输入映射到输出的指令跟踪模型不同,CoT 将中间推理步骤合并到导致最终输出的提示中。这种方法在涉及常识、算术和符号推理的任务中表现出显著的性能改进。

CoT 通过将复杂的推理分解为逐步的过程来促进工作流程,从而帮助模型按顺序解决问题的每个部分,而这对于需要深思熟虑的推理任务是至关重要的。

研究发现,CoT 提示对于较大的模型特别有效,当模型参数达到至少 100 亿时,性能开始显著提高,在 1000 亿参数时能观察到最明显的好处。

戳链接查看详情:http://t.cn/A6YFZ3o0