Apple联合高校研究团队发布论文指出,大语言模型在判断个性化文风这件事上依旧存在明显短板,随着AI生成内容越来越偏向适配用户个人表达习惯,这项结论也让行业重新思考AI应当如何评判自身输出文本的风格匹配度。
这篇论文标题为《Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment》(评估评估者:对大语言模型评判工具在个性化写作风格评估方面的表现进行调查),研究核心是验证大模型能否精准判断一段生成文字是否贴合用户偏好的写作风格,实验结果显示,即便是具备复杂推理能力的前沿模型,也很难复刻人类对于文风这类主观特征的判断标准。
这项研究瞄准生成式AI发展过程里一个日渐凸显的难题,AI产出内容除了要保证信息准确、满足指令要求,还需要匹配使用者独特的表达偏好。
传统AI评测基准大多聚焦事实正误、指令遵循与逻辑推理,而个性化文风属于主观维度,不同用户的偏好差异明显,有人偏爱简洁克制的新闻式表述,有人则偏向富有诗意、轻松口语或是带有幽默感的行文。
研究人员选取八款大模型,围绕邮件、简短社交动态、内容摘要三类写作任务开展测试,一共设置16种不同文风,包含诗意、新闻、学术、机械叙事、故事化、鼓励向等类型,把模型给出的判定结果和人类评审的结论做对照,分别测试单一样本风格识别、多份生成内容的风格排序能力,同时对比打分赋值、概率估算、双样本直接对比这几种不同的评测方式。
研究得到一项很有参考意义的结论,打破了能力越强的模型就越适合担任风格评判者的固有认知,性能更强的模型并不能稳定输出贴近人类的判断,部分场景下给出的评价结果趋于同质化,容易忽略文本之间细微的风格差别,不少模型还容易夸大文本里特定风格特征的存在感,误判文风。
在评测方案的对比当中,两份文本直接对照的方式,效果整体优于依靠详细评分量表打分,但即便是这套表现相对更好的方案,依旧很难和人类主观判断保持一致。
研究团队还尝试让模型对初次判断结果二次复核,追加思考步骤,这套操作也无法稳定提升准确率,单纯依靠增加推理环节,难以弥补主观风格评估上的固有缺陷。
相关结论也会影响Apple智能后续个性化能力的研发方向,在生成式AI持续融入各类效率工具的趋势下,用户不仅希望AI读懂自己想要传递的信息,也期待理解自己习惯的表达方式。
对于Apple智能而言,精准识别、校验文风匹配度,能够进一步优化邮件撰写、信息摘要、通知文案等文字类生成体验。
不过这份研究并不代表对应的功能会直接落地到产品当中,更多揭示整个AI行业共同面对的底层难题,不能仅凭模型优秀的通用推理能力,就默认适合作为主观内容的评判主体。
研究团队在文末总结,依靠AI完成文风评估,必须持续以人类的真实偏好作为基准校验,尤其是评估主观喜好,而非可以量化的客观指标。
想要打造真正贴合个人习惯的AI,重点不在于不断堆砌更强的大模型,而是建立一套更完善的方式衡量用户真实的使用感受与满意度。
