蚁工厂 26-01-11 10:13
微博认证:科技博主

[柯基] Google Research 团队提出了一种极其简单却有效的提示词优化技术:重要的事说三遍!
arxiv上的论文题目为:Prompt Repetition Improves Non-Reasoning LLMs

论文发现在不使用推理功能时,简单地将 Prompt 复制粘贴一遍作为输入,就能提升各大主流模型性能。特别是查找任务(如 NameIndex,从列表中找第 N 个名字)中,提升效果极佳,Gemini 2.0 Flash-Lite 的准确率从 21.33% 飙升至 97.33% 。

原理可能是LLM 通常是因果语言模型,生成的 Token 无法注意到后面的 Token 。通过重复提示词,模型在处理第二遍输入时,可以对第一遍输入的所有 Token 进行注意力计算,从而模拟出类似“双向注意力”或“重读问题”的效果 。

一般任务说两遍就够了,重要的、难的任务说三遍会更好。
“重要的事说三遍”真有哲理……
#科技先锋官##AI创造营#

发布于 山东