【心理学哪些子领域、什么方法的可复制性偏低?被引数高的论文,可复制性更高吗?[融化]】
近年来,心理学研究的可复制性问题受到关注。仅靠人工方法,来验证以往心理学研究的发现能否成功复现,规模始终较小。《美国国家科学院院报(PNAS)》刊登了伦敦大学学院等机构研究者的一项研究,他们利用机器学习模型来估计研究发现可被复制的可能性。
这项研究所瞄准的论文规模极大,覆盖了心理学6个子领域、过去20年发表在6本顶级心理学杂志上的几乎所有论文,总论文数达14126篇。通过机器学习,他们发现:
①心理学不同子领域的可复制性存在差异,仅用一个单一数值来代表整个心理学的可复制性是不合适的。
具体而言,人格心理学的可复制性分数最高(0.55),其次是组织心理学(0.50)、临床心理学(0.44)、认知心理学(0.42)、社会心理学(0.37),而发展心理学的可复制性分数最低(0.36)。
②一项研究的可复制性高低,与其研究方法密切相关。在所有的子领域,「实验研究」的可复制性显著低于「非实验研究」。
(注:在这里,研究者的分类比较简单粗暴,文中含有“实验”一词的论文被认为是实验研究,全文不含该词则被认为是非实验研究。)
③作者在该文发表前的「累积发表篇数」较高、「引用影响力」较高的论文,可复制性相对更高。
④但是,该论文本身的「引用影响力」,与其可复制性高低并没有关联;尽管这个指标现在被广泛用作衡量论文质量的标准。
⑤作者的「大学声望」,与可复制性高低没有关联。
⑥与研究者的预期相反,一篇论文被媒体关注的程度越高,其复制失败的可能性反而越高。换言之,研究发现越令人惊讶,其被成功复制的可能性就越小。
研究者指出,使用论文被引数或媒体关注度来衡量论文质量优劣,需要特别谨慎,它们与该研究发现的可复制性无关或甚至存在相反关联。
来源:Wu, Y., Yang, Y., & Uzzi, B. (2023). A discipline-wide investigation of the replicability of Psychology papers over the past two decades. Proceedings of the National Academy of Sciences of the United States of America, 120(6), e2208863120. doi: 10.1073/pnas.2208863120
