高飞
24-03-21 11:49 微博认证:至顶科技创始人 AI博主

发布了头条文章:《Transformer论文内幕解密:8位谷歌员工如何发明了现代AI?》

连线杂志的报道首次披露了这篇现代科技史几乎最重要论文的内幕信息:

1、《注意力就是你所需要的一切》论文的8个作者,原来都是谷歌员工,论文发表时有一位已经离开公司。现在,已经全部离开谷歌,7位创立了公司,有一位还继续做工程师。

2、雅各布-乌斯科雷特,论文的第四作者是论文的核心。他的父亲是著名计算语言学家汉斯-乌兹科雷特之子。他父亲当年从大家应该知道的地方逃到西德,在柏林学习计算机和语言学。

3、一开始Transformer这个设想并不是所有人都认同,包括乌斯科雷特的父亲。尽管他的儿子在谷歌工作,已经获得了两个谷歌学院研究奖。

4、研究小组从 "第一天起 "就选择了 "Transformer ",也就是“变形金刚”这个名字。他们的想法是,这种机制可以转换接收到的信息,让系统能够像人类一样理解信息。

5、其中一位论文作者Llion在 2009 年 7 月获得硕士学位,但在经济衰退时期找不到工作,靠救济金生活了几个月。

6、论文核心的自注意力机制最早产生于2014 年左右,最初目的是,这种网络可以通过参考段落的任何其他部分来翻译一个单词。这种做法让原来的自然语言处理,由串行,变为并行(GPU从此派上用场)。

7、 2017 年的一天,论文作者诺姆-沙泽尔(Noam Shazeer),在走廊无意中听到了早期作者讨论这个项目,然后加入,帮助这个论文实现了工程化。

8、论文提交截止期的时候,团队基本是996/007的,大家都睡不着觉。

9、在谷歌,这项工作只是被视为“另一个有趣的人工智能项目”。论文团队的上司是否曾召见过他们,询问项目的最新进展吗?并没有。(谷歌有点像施乐了)

10、论文题目来自披头士乐队的一首歌 "All You Need Is Love"。所以,“为什么不把论文命名为 "Attention Is All You Need "呢?”

11、作者团队中的凯撒是唯一一个没有创办公司的人。但是他加入了 OpenAI,并且的是一项名为 Q* 的新技术。(对,就是传说中那个让OpenAI宫斗的发明)。

12、八位作者中有六位出生在美国以外的国家,另外两位分别是两位持有绿卡的德国人的孩子。 http://t.cn/A6Tw0zBT

发布于 美国