#大语言模型# 【罗格斯大学团队提出思想链概念,提高大模型的算数推理能力】
日前,美国#罗格斯大学# 博士生金明宇和所在团队,通过引入思想链(CoT,Chain of Thought)的概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。
CoT 的原理是通过提供#推理# 过程的示例,来教会模型处理推理,详细说明导致最终答案的每个步骤。这种提示方法能够有效地教会模型不要匆忙完成推理过程,而是逐步地解决问题。
这符合人类自然解决问题的方式,也就是将复杂的任务分解为更简单、更易于管理的步骤。
与直接将输入映射到输出的指令跟踪模型不同,CoT 将中间推理步骤合并到导致最终输出的提示中。这种方法在涉及常识、算术和符号推理的任务中表现出显著的性能改进。
CoT 通过将复杂的推理分解为逐步的过程来促进工作流程,从而帮助模型按顺序解决问题的每个部分,而这对于需要深思熟虑的推理任务是至关重要的。
研究发现,CoT 提示对于较大的模型特别有效,当模型参数达到至少 100 亿时,性能开始显著提高,在 1000 亿参数时能观察到最明显的好处。
戳链接查看详情:http://t.cn/A6YFZ3o0
