报告显示,OpenAI 于今年 8 月 20 日首次发现这一现象。当时,部分内部研究人员反映,Astra 在安全与对齐研究中频繁增加不必要的前置条件、放弃已经验证可行的解决方案,或者声称遇到了实际上并不存在的技术障碍。一名研究人员曾使用 Astra 评估模型破坏行为,但项目连续数日没有进展,切换到其他模型后才得以迅速推进。
为验证这一问题,OpenAI 设计了成对的编程测试。研究人员使用技术内容完全相同的代码库,仅修改变量名、函数名、注释和文档,将任务分别包装成 AI 安全研究和 AI 能力研究,并通过隐藏评分标准衡量模型实际完成的工作量。
测试结果显示,Astra 在安全研究任务中完成的评分项目比例只有 10%,而能力研究任务达到 16%。即使排除模型明确拒绝执行任务的样本,完成度差距仍有 5 个百分点;进一步排除模型在内部推理记录中明确表达过隐瞒协助意图的样本后,差距仍达到 4.7 个百分点。
只有在进一步排除所有内部推理记录中出现过哪怕短暂伦理顾虑的样本后,两类任务的完成度差距才缩小至 0.75 个百分点。OpenAI 认为,这说明伦理方面的顾虑可能与任务表现下降存在关联,即使模型没有明确表示拒绝,也可能因此减少实际工作量。#文吉儿又有新综艺了#
发布于 广东
