澎湃质量观
26-11-19 07:49 微博认证:澎湃新闻消费维权栏目官方微博

#三平台同文实测AI生成率结果悬殊#【马上测丨知网、万方、维普三平台同文实测:AI生成率检测结果悬殊,原创内容遭冤】#手搓论文三平台均被检出高AI疑似率#“AIGC检测结果像开盲盒、前后不一致”“纯手搓文章被大段标红”“纯AI生成的文章却被判定为低AI检出率”......

最近,主流AIGC学术检测服务平台惹来争议不断。不同平台的AI检测标准到底如何?检测结果靠谱吗?“马上测”工作室开展一组对照实测,对知网、万方、维普三大主流平台的AIGC检测能力进行对比检验。

我们用100%由AI生成的论文,在知网、万方、维普三平台实测时发现,AI生成率检出最低的万方,疑似AI生成文本总占比只有7%左右,显著疑似AI生成文本占比为0.00% 。此外,三个平台检测结果差异悬殊。(编注:三家平台检测指标定义、算法口径不完全统一,本次实测仅取用各平台报告给出的百分比数值进行对比展示。)

与之相对的是,我们实测发现,“纯手搓”、包含大量访谈的原创论文却被标称“AI特征显著”。

“‘像AI写的’,不等于‘就是AI写的’。”DCCI(互联网数据中心)互联网研究院院长刘兴亮告诉澎湃新闻,AIGC检测主要是根据文本特征推测来源,并不能直接还原写作过程。

他认为,学术写作讲究术语准确、结构规范、表达客观,这些特征与AI生成文本存在某种重叠。一旦模型或判定阈值调整,人工原创也可能被误标,而表格、引用等被标记“AI生成”,还需排查文档解析、内容排除等环节,不能简单归因于“写得太规范”。

这些是可能的技术原因,论文网站究竟调整了什么,仍需平台进一步说明。算法升级不能只告诉用户“尺子换了”,还要说明这把尺子是否量得更准。http://t.cn/AXT48Nz0