最近读到《心理学报》的一篇论文,让我感到非常想找人讨论讨论。。。可能是对学报或作者的心理预期太高?总之是槽点满满。。。
文章题目叫《中国人的积极理想情绪:近几十年来的变迁》,作者是张明杨、杨盈、包寒吴霜、蔡华俭,原文链接放评论区。
看到这个题目,我想,一般读者会建立起的心理预期应该类似于,这项研究要么对比了2020、2010、2000……各年份里人们的积极理想情绪有何不同,要么对比了00后、90后、80后……各世代的积极理想情绪有何不同。
然而,这篇文章的3个研究是这样的:
①
研究一,让1966年之前出生的受访者根据自己的判断,评估1980年代初、2000年代初、2020年前后中国人想体验的积极情绪。
说白了,就是:找了84位老年人,他们认为,在他们年轻的时候,大家都不想体验积极情绪;但现在,大家都想体验积极情绪。
于是,作者断言:“从1980年代初到2020年前后大约40年间,中国人对3种积极理想情绪的偏好都在上升。”
啊?[哆啦A梦害怕]
谁还没听家里老人们念叨过,“我年轻的时候,人人都blah blah blah……现在人心都变了”。研究者把这种非常主观、很有可能被回忆偏见所扭曲的想法,套上统计检验的外衣,简单直接地上升为科学研究的结论。这靠谱儿吗。。。[允悲]
以及,被试内设计(同一群人在不同条件下重复测量3次),最迟不晚于本科二年级就该学会要平衡顺序了吧!!!否则,1980年比2020年更低,完全有可能仅仅反映了第一个条件比第三个条件更低(无论具体条件是什么)。
然而,由清华、中科院心理所的研究者所组成的研究团队,从头到尾没有意识到顺序效应的混淆,既没有说他们有没有平衡顺序,也没有说如果不这样做的理由是什么(例如,可能基金经费没申够,买不起问卷星或类似工具的随机功能?好歹解释一句啊)。
更添荒诞的是,《审稿意见》里面,审稿专家、学报编委、学报主编一众人等,竟无一人意识到要平衡顺序。。。[哆啦A梦害怕]
您这“单因素、3个水平的重复测量方差分析”已经简单得不能再简单了吧。。。不是说不能用简单的研究设计,但您连顺序都不平衡吗。。。
当然,作者自己也承认“研究1的结果只是初步的”。
②
然而研究二我觉得更奇特。。。让大学生根据自己的判断,评估祖辈、子辈、孙辈想体验的积极情绪。
说白了,就是:找了浙江某高校的1561位大学生,他们认为,他们的爷爷奶奶这代人都不想体验积极情绪,但他们自己这一代人很想体验积极情绪。
于是,作者又下论断了,这些结果“意味着过去几十年来中国人对积极理想情绪越来越偏好”。
[费解]这也太。。。草、率、了、吧?
且不说这里对比的很可能是不同的人生阶段(同一个人在青年时 vs. 老了以后想要的情绪本就可能不同),就算它真的能够多多少少反映出年代差异,难道不需要找一些中老年人交叉验证一下吗?大学生说啥,作者就信啥?他们对老年人偏好的臆测,真的客观准确吗?他们中有多少人能准确说出爷爷奶奶年轻时偏好的菜肴、歌曲、服饰?况乎情绪?
万一人人都倾向于相信自己更想要积极情绪、别人不想要积极情绪,那么,上面的测试仅仅反映的是自我与别人视角的偏见,如何能够反映“中国人近几十年来的变迁”呢?
Again,研究二也没有平衡顺序。
③
如果说研究一和二还多多少少与”变迁“挂钩,研究三则提供了另外一种难以言喻的奇特。。。[笑cry]
作者分析了2018~2019年通过网络收集的2.6万份大学生问卷数据,分析逻辑超级简单:对比了「城镇受访大学生」和「农村受访大学生」对于积极理想情绪的偏好有何差异。
毫无疑问,城镇 vs. 农村不可能是实验操纵的。没有使用任何可以稍微跟因果沾点边的统计方法(比如DID、PSM、工具变量),仅仅是在控制变量的情况下做了回归。观察到的结果无非是:城镇大学生更想体验积极情绪,农村大学生更不想体验积极情绪。
就这么一个超级无敌“相关性”的分析,作者下的结论居然是:“这些结果启示,城镇化【可以带来】积极理想情绪的变化;进一步,过去几十年来,中国人对积极理想情绪的偏好在上升。”(原文,而且是写在结果部分,还不是讨论部分;【】非原文自带。)
“社会变迁的重要体现——城镇化,会【推高】中国人对积极理想情绪的偏好;进一步,中国人在现代化过程中对积极理想情绪的偏好在日益上升。”(原文,而且是写在结果部分,还不是讨论部分;【】非原文自带。)
要不要听听自己在说什么。。。
④
此外,这3个研究还有一个很重要的问题,那就是,只测积极情绪,不测消极情绪或中性情绪,相当于缺失对照组。有没有可能消极情绪也发生了类似的变化?无论量表,受访者可能只是倾向于给近的(现在的、自己这代的)打高分,给远的(过去的、祖辈的)打低分?可能城镇受访者更愿意表露自己、愿打高分,而农村受访者不习惯表露自己、因此打分都比较“中庸”?这些反应风格很有可能产生混淆,排除这一点非常重要。(当然,相较于前面几点,这个已经算是高阶的期待了。)
有趣的是,作者在原文表1列出了各种情绪(包括消极情绪),但在具体研究方法和结果的部分,却又只包含了积极情绪。
⑤
最后,作者的结论落在:“结果一致发现,中国人对3种积极理想情绪的偏好在近几十年来都有显著的上升”。
我个人觉得,无论是单看每个研究,还是三个研究摆到一起,都不足以支持这个结论。
首先,分析方法是粗糙的、潦草的、浅的。我明白,实际分析工作可能有这样那样的限制(例如可能不存在横跨数十年的理想情绪数据)。然而,实际上,明明存在一些很容易的方法,就可以快速减轻质疑,例如平衡顺序,在大学生受访者之外设置其它年代的人做交叉验证,在积极情绪之外设置消极情绪作为对照组,等等。但作者没有这样做,《审稿意见》里也没有专家提及,对于《心理学报》来说,是否草率了些?
并不是说,作者做了这些,文章的结论就可以成立。而是说,作者甚至连这些都没有做,使得整个文章的分析方法实在「过」「于」「浅」,都不知道从哪里吐槽起。。。比如你要是想提诸如测量不变性、世代差异 vs. 年龄差异 vs. 时期差异、不同组样本的同质可比性、样本的可推广性等等问题,你都觉得有点不好意思提……好像对于当前的版本来说未免太遥远……
如果这么没有空闲认真做分析的话,是不是也不用这么卷啊。。。[允悲]这篇文章的作者之一,既担任学报这期专刊的两位主编之一,估计需要承担一些审稿任务,又同时在这期专刊上发文3篇(1篇序言+2篇实证论文)。这篇文章的另一位作者,也在这期专刊上发了2篇实证论文。两位作者是能发美国心理学家、JPSP、EJSP等顶刊的研究者,我不相信看不出上面提到的这些非常入门的问题,合着对汉语读者就这么敷衍吗。。。作者,以及放行此文的学报编委和学报主编,对学报读者的尊重是否略少了些?
其次(更重要的是),结果与结论可以合理地对应吗?我完全同意这些分析的结果是有趣的、有意义的;即便是初步的线索,也可能是具有启发性的。但被包装成“中国人近几十年来的变迁”,真的合适吗?
可能有人会认为,结论夸张一点儿也没啥,反正具体的研究方法和结果都在文中一五一十地写清楚了,大家自己去看就好了。《心理学报》为我们提供了非常现成的案例,就在这篇文章的同一期,马上就有两篇述评文章引用了该文。其中一篇来自宾夕法尼亚大学陈欣银教授,陈教授写道(原文):“张明杨等(2024)发现,过去几十年来,中国人对高唤醒积极情绪、低唤醒积极情绪和一般积极情绪的偏好都在上升。”我不知道大家看到后是什么感受,我个人觉得这是重大误导。事实就是,此文的期刊(学报)、作者、话题都使得它很有潜力成为高影响力的文章,然而后来的引用者、学界读者、大众读者未必真的有许多人,愿意深究到底是哪种实验条件跟哪种实验条件(或哪组人跟哪组人)做对比,很多人可能带着结论就走了,于是这个结论被重申一百次、甚至引入教材,很可能就沉淀为一般知识。不是说不允许在客观结果的基础上做引申,也不是不接受任何存在局限的研究;然而,如果有读者肯顺着这个结论,上溯到这篇文章,看看方法和结果,真的不会感觉上当受骗吗?
如果老老实实地根据方法和结果写文章,例如标题叫作《老人印象中,现在的人比80年代的人更想要积极情绪》《大学生推测,他们自己这代人比爷爷奶奶那代人更想要积极情绪》《城镇大学生比农村大学生更想要积极情绪》,还能否发《#心理学报#》?
(小声bb,硕博学位论文如果就只是对比一下两组人的均值,或者同一群人同一时点三次重复测量的均值,而且不平衡顺序,而且还不是实验任务/文本分析之类的那种、只是发自评问卷,能不能顺利毕业啊。。。[苦涩])
