[CL] Prompt Engineering a Prompt Engineer
http://t.cn/A6WQMeaK
研究如何利用语言模型自动优化描述任务的提示语以改进模型的表现。文章提出将“提示优化提示优化器”作为研究对象，即利用元提示语指导语言模型更好地优化提示。文章接着讨论了优化提示语过程的一般框架，包括初始提示生成、新的提示提出以及搜索过程。最后，提出几个构成元提示语的主要组成部分，如两步描述任务的指引模板、用例细致检查的模板、优化历史跟踪等。它通过系统实验比较了这些组成部分的影响，并得到一个表现较好的组合方法PE2。实验结果显示，PE2方法找到的提示语在数学推理和指令归纳等多个领域的数据集上都优于基线，提高了几个百分点。通过检查PE2进程生成的提示变化记录，可以看出它能纠正不完整或错误的提示，并给出有意义的修改建议。总体来说，PE2方法利用了当前语言模型优化提示语能力的一些限制，在保持简洁明了的前提下很好地完成了自动提示优化任务。文章也讨论了PE2的一些不足，但整体为自动提示优化领域做出了重要贡献。