洛之秋 26-04-23 12:49

九年前,一篇名为"Attention Is All You Need"的机器学习论文横空出世,不久之后,机器学会了长程注意力,能一口气"读完"和“记住”整本书,并就其一切细节侃侃而谈。

而今天,在大语言模型每天都在书写神话的时代,我们大多数人类读者却连一篇三千字的文章都读不完了,更遑论大部头的书。我们不再是“主权读者”,我们把阅读交给机器,美其名曰“延伸心智”。机器的注意力在指数级增长,人的注意力在指数级坍缩。

但"注意力"从不只是一个机器或人认知的问题。它在20世纪哲学中是一个重要的术语。在西蒙娜·薇依那里,attention是一种近乎苦修的伦理操练,它让我们悬置自我,让世界以其自身方式显现——不是"吃掉"对象,而是"看见"对象。

在爱丽丝·默多克那里,attention是道德感知的纪律,我们靠它抵抗自我制造的幻景,艰难地、诚实地凝视他者。

在这两个哲学家那里,注意力不是效率,而是让位;不是占有,而是承认。甚至可以说,注意力就是我们爱世界的方式。

而大模型的attention呢?它是权重分配,是信息路由,是为了更好地预测下一个token。它让"意义"变得更唾手可得,让"解释"更顺滑,也更暴力。机器不需要去凝视这个世界,就能有足够的注意力去吃掉人类所有的书,去量产无限延绵的漂亮句子。

所以,今天#世界读书日 的真问题,不是"你读了几本书",而是我们还能否守住注意力,守住那种在文学阅读中型塑的悠长的、缓慢的、去除自我的注意力?我们还能进入句子的丛林,在一个句子面前停下来,战栗或叹息,并长久的沉默吗?

如果你能读完这条微博的话,让我们最后再记住这句话:"Attention Is All You Need"!

发布于 江苏