【微软推出 AI 代码审查工具,可将准确率提升至 >80%】
微软宣布推出一种可以提高大型语言模型性能的新工具 Jigsaw。根据介绍,Jigsaw 部署了理解程序语法和语义的后处理技术,利用用户反馈来提高未来的性能;该工具旨在使用多模式输入为 Python Pandas API 合成代码。Pandas 是数据科学中广泛使用的 API,具有数百个用于 manipulating dataframes 或具有行和列的表的函数。
微软方面称,其经验表明,随着这些大型语言模型演变为根据意图合成代码,Jigsaw 可以在提高系统准确性方面发挥重要作用。
微软认为 Jigsaw 可以“完全自动化”检查代码是否编译、处理错误信息以及测试代码是否产生开发人员希望输出的内容的整个过程。
Jigsaw 获取英语查询并使用适当的上下文对其进行预处理,以构建可以馈送到大型语言模型的输入。微软在实验中发现,Jigsaw 可以在 30% 的时间内创建正确的输出。如果代码失败,那么修复过程在后处理阶段开始。
微软在各种数据集上评估了 Codex 和 Jigsaw (with Codex),并测量了准确率。Codex 给出了约 30% 的开箱即用的准确性,Jigsaw 则将准确率提高到 60% 以上;通过用户反馈,准确率可提高到 80% 以上。
