Primer.ai 的科学家 John Bohannon 总结业界的 NLP 发展：

他说 NLP 自 2017 年 transformer 后已经“慢下来了”，进步都是小的，例如 Switch Transformers 通过增加稀疏层大幅提高计算效率、Scratchpad 通过输出中间步骤来帮助模型跟踪它们之前看到的信息（Bohannon 觉得这个方法可以帮助解决对话、翻译中代词指代不清的问题，NLP 里这个叫做 Coreference Resolution）。他们公司在实践中还引入很多简单但有用的方法，例如把简单问题让 CPU 小模型做，难的问题再丢给大模型。

他说就像软件吃掉世界一样，NLP 接下来会吃掉机器学习。“语言模型”的这套方法不只适用于自然语言，用来预测蛋白结构、解数学题、写代码的也叫语言模型。他认为接下来多类型数据是大趋势——从文字直接生成视频、从音频直接生成视频等等。文字生成、修改图片如果 Adobe 做不出好产品的话那就是某家创业公司能起来。文字到视频界的 DALL-E 应该也很快会出现。他说机器人圈也有很多人在做“语言到动作”，以前需要计算的机器动作以后应该都可以自己生成。

理论方面他说他没看到 NLP 有重大进步。“NLP 早期是数学，现在更像生物。我们做实验看细胞怎么运作，但原理我们是不懂的。”他还说学界那些基准数据（GLUE, BLUE, etc.）在业界已经没用了，甚至在那些数据上表现好的模型在他们公司的真实数据里表现很差，就像视觉模型过度拟合 ImageNet。

关于安全，他说他前几年也和大家一样担心会出现乱讲话的机器。但他后来发现，1）基于全网全文字构建的大型语言模型在现实生活中并没有用，语言模型真正落地还是商业机构自建私人数据、在可控范围内让用户使用。商业机构也不想出现公关灾难，所以部署的时候很小心。他们公司自己就 rule-based 手动筛掉了训练数据里的一些内容，禁止输出某些内容。他说 FAANG 更害怕公关灾难，所以部署更小心。反过来，这也是创业公司的机会。如果有人能做一些 FAANG 不太敢做的事，但又能做好，那么他们就可能成为下一个巨头。2）聊天机器人这种面向消费者的应用，其技术并没有提高，人类还是可以很容易辨识机器生成的文字——机器生成的文字比以前“连贯”、“流利”了很多，但前后逻辑还是不行。他说如果真有人有这样的技术，那个人一定会创建一个社交媒体账号或者写个博客来骗大家。这样的整人游戏还没发生，所以他觉得技术还没到。（我前段时间看到 Blaise Aguera y Arcas 展示的 Google Lamda，看起来可厉害了，不知道输出结果是不是他挑过了。）

--

我又去查了一下 Primer.ai 这家公司。他们创立于 2015 年，刚融了 C 轮 1.1 亿美元，领投的是 Tiger Global 出来的人，另外也包括之前读到的国防背景强大的 Lux Capital。客户包括 Walmart、GIC、U.S. Air Force。

公司的科学家 Bohannon 是牛津生物博士，CEO Sean Gourley 是牛津物理博士。Gourley 之前在更老一个做类似业务的公司做 CTO。他的博士论文是“战争的数学”，和我平时看的论文听起来挺像的。我没找到原文，只找到 2009 年他的网上演讲。演讲中他说他和合作收集了多个地方每场冲突里的死亡人数，把每场冲突的死亡人数和冲突频率画在一个平面上，会发现这两个数字有线性关系。我只能说每次看物理学家研究社会问题都大开眼界，上一次有这种感觉是读到 Peter Turchin。

看 Primer.ai 的销售人员背景，感觉他们还是安全的客户比较多。网站上举的用例也是舆情、大量文件综述。海岸两边 NLP 商业化最清晰的路径就是安全了吧。刚需、高频，而且技术发展越好、国家竞争越激烈，市场就越大。

Gourley 之前供职的 NLP 智能公司叫 Quid ，创始人 Bob Goodson 背景是牛津大学中世纪文学。世界真大...