#模型时代# Transformer架构论文作者、Cohere创始人Aidan Gomez访谈：没想到这个架构这么多年都没过时，当Agent能访问人类所有资源才更有用

大家知道，当年在谷歌写 Transformer 架构论文《Attention Is All You Need》的八个人，后来都离开公司了。当然，Noam Shazeer，AI初创公司Character.AI 的创始人最近又回老东家了。下图是八人中的七个人去年参加英伟达GTC黄仁勋主持的圆桌对话场景。

八个人中，我比较关注的一位，是Aidan Gomez，和他联合创立的Cohere，原因有这么几个：
1、Cohere由Aidan Gomez、Nick Frosst 和Ivan Zhang在2019年共同创立。除却Aidan Gomez是Transformer 架构论文共同作者的身份。三位创始人均曾在Google Brain任职，AI研究背景深厚。

2、与 OpenAI 和 Anthropic 等公司致力于开发面向大众的通用模型不同，Cohere 自成立之初就将企业客户作为核心服务对象。公司联合创始人 Nick Frosst 曾表示：“我们将与企业合作，找出如何使模型在其特定用例中表现出色，量身定制以满足特定需求并投入生产，而不是寄希望于 AGI 在明年到来。好像，欧美专注于企业AI的模型公司，就这么一个了，很有代表性。

3、而Cohere的企业AI定位也获得了一众大佬认可。它的投资者名单包括英伟达、甲骨文、Salesforce、思科、AMD、富士通等大公司。此外，AI领域的权威人物，如辛顿、李飞飞和 Pieter Abbeel（学术大牛，加州大学伯克利分校电气工程与计算机科学系教授）等，也参与了早期投资。2024年，公司完成5亿美元的融资，估值高达55亿美元。

在这期"Unsupervised Learning"播客中，主持人Jacob Efron就与Aidan Gomez进行了一场深度对话。Aidan分享了他对企业AI落地模式、模型能力、未来AI架构以及Cohere如何服务企业客户的观点。

***
一、企业AI部署模式正向中间道路演进

当前企业AI部署存在多种模式，从纯咨询服务到开箱即用的产品不等。Aidan认为，长期来看，中间路线将会胜出——既不是完全自助式部署，也不是纯人工服务，而是两者的结合。

AI技术的复杂性决定了企业在采用过程中需要一定程度的支持。Aidan指出："AI是一项新技术，非常复杂...我希望企业能更容易地采用这项技术，但有时他们确实需要帮助。所以某种程度的支持对于将这项技术整合到经济中、整合到所有这些不同的公司中是必要的。"

企业AI的独特之处在于它需要广泛的访问权限才能发挥作用。Aidan解释说："AI与众不同，这些代理(agents)也与众不同，因为代理只有在能够访问与人类相同的资源时才能有效地推动自动化...它需要能够查看你的电子邮件、聊天记录、通话记录、CRM、ERP、HR软件...它需要如此多的上下文。"这种广泛的访问需求带来了隐私和集成挑战，这正是Cohere努力解决的问题。

二、企业AI应用中已实现产品市场契合的核心场景

Aidan分享了目前在企业环境中已经证明了其价值的生成式AI应用场景，指出产品市场契合度（PMF）已经出现在几个关键领域。

首先是客户支持，这一功能已跨越多个行业得到广泛应用："客户支持是一个技术已经准备好且需求非常明确的领域...这在电信、医疗保健、金融服务等各个行业都在迅速发展，每个人都需要这种能力，而且技术已经可以提供它。"

其次是研究辅助功能，这一应用极大地提升了知识工作者的效率。Aidan解释道："通过一个能够离开并在一两个小时内完成一个月工作量的代理来增强人类的能力...如果我们能让这种能力大幅提高效率，因为这些模型能够阅读比人类多几十万倍的内容，并返回一份非常详实的研究报告，并引用所有源文档供人类审核...我认为我们可以让知识工作提高10倍的效率和生产力。"

三、理性思考能力是AI模型的关键突破

讨论中，Aidan强调了理性思考(reasoning)能力对AI模型的重要性，认为这是一项根本性的突破而非可选功能。这种能力使模型能够根据问题的复杂性调整其处理方式。

"推理能力如此明显...让技术能够在不同复杂度的问题上投入不同的精力是非常明显和直观的，"Aidan说。这种能力对于处理各种复杂任务至关重要，从简单的数学计算到复杂的推理问题。

具体到企业环境中，推理能力实现了质的飞跃："在推理功能出现之前，有些任务我们无法让模型足够准确地完成...这在当时是不可能的。模型无法解决这个问题，它们几乎总是失败。而有了推理能力，它们几乎从不失败。基本上你扔给它的任何东西，它都能找到实际解决问题的方法。"

Aidan解释了推理如何使模型能够进行反思，了解第一次尝试失败的原因，然后找到替代路径。这种自我修正的能力使模型在解决复杂问题上变得更加可靠和有效。

四、当前模型技术存在的明显缺陷与未来改进方向

尽管当前AI模型已取得了显著进展，Aidan指出了它们仍然存在的一些根本性缺陷，特别是在从经验中学习方面。

"现状是...我们花费1亿美元构建一个模型，然后得到最终的检查点、最终的权重，然后我们将其分发给世界，它们是冻结的。每个人都在与同一版本的模型对话...它不记得你几个月前的聊天内容，所以没有从经验中学习的概念。"

Aidan认为，这种从经验中学习的能力是人类智能的关键特性，也应该成为模型发展的下一步："这些模型应该有完全相同的能力，从它们在世界上的经历中学习，从与它们互动的人类反馈中学习。"

他还提到了智能的其他明显特性在当前技术中缺失，但也指出了AI研究领域正在发生的变化："规模即万能的假设正在被打破。我们正深陷资本和计算的收益递减...我们将需要变得更聪明、更具创造性，才能解锁技术的下一步提升。"

五、专业模型与通用模型的平衡与未来发展

关于是否需要为不同领域开发专门的模型，Aidan的观点已经有所转变。他指出，随着混合专家模型(MOEs)的发展，模型能够在内部自行发展专家子网络，这减轻了开发专门模型的部分压力。

尽管如此，Aidan仍然认为定制模型在特定情况下很重要："仍然存在一些关于特定业务或特定领域的基本上下文，这些内容在构建于网络的模型中是缺失的...有些东西不在网上，这些模型需要能够擅长这些内容才能在世界上提供价值。"

Aidan解释了Cohere如何与拥有这些专业数据的组织合作，创建只有他们能访问的定制模型："Cohere与拥有这些数据的组织合作，创建只有他们能访问的定制模型，这些模型在这些领域工作得非常好。"

关于未来，Aidan预测不会有数十或数百个模型在一个组织内运行，而是会有少数几个关键模型："我们不会看到每个团队都有自己的微调模型...可能会有少数几个。"

六、数据标注的未来在于评估而非生成

讨论到数据标注在AI发展中的作用，特别是在合成数据变得越来越重要的情况下，Aidan认为人类数据标注的主要价值将集中在评估(evaluation)而非数据生成方面。

"人类仍然是遥遥领先的黄金标准。如果你为人类构建模型，那么人类可能最适合评估它们的有用性，"Aidan解释道。"评估是你不能将人类排除在循环之外的地方...我认为在评估方面存在对人类的硬依赖。"

关于数据生成，Aidan指出使用人类标注者的成本问题："在数据生成方面...这太昂贵了。找10万名医生让他们教模型医学知识，这不是一个可行的策略。"

相反，Cohere采用了一种更具创造性的方法，结合有限的人类数据和大量的合成数据："也许我找100位医生，让他们提供一些课程并教导我的模型。然后我利用这些已知的、良好的、非常可信的数据生成1000倍的相似合成数据。"Aidan表示，在Cohere为新模型生成的数据中，"绝大多数是合成的"。

七、企业垂直应用中，具有模型开发能力的团队更具优势

当被问及构建AI应用的最佳团队类型时，Aidan认为深入了解模型运作方式的团队往往能创建更好的产品，这也是Cohere的优势所在。

"如果你看看那些构建最佳产品的公司，他们确实拥有这些知识...他们对如何构建语言模型有深刻的了解。即使他们自己不训练模型，他们也试图找到方法来近似这一点，并在模型层面上产生尽可能大的影响。"

Aidan强调了垂直整合的优势，即同时构建模型和应用："我认为我们有更多的杠杆来提供客户需要的体验，因为我们是垂直整合的...Command（Cohere的生成模型）的下一个版本将针对我们知道客户在North中需要的用例进行优化。它知道如何使用ERP系统，知道如何使用CRM系统构建...技术、模型与客户实际需求之间的这种整合对产品质量至关重要。"

他认为这种方法优于仅构建应用层的公司："他们是技术的消费者。他们可以获取一些Llama权重或其他东西，但他们无法为客户的需求改变该技术。这对产品质量构成了根本性障碍。"

八、未来企业AI应用将向自动化办公任务扩展

Aidan认为，随着基础设施的完善，我们将看到AI应用从当前的研究和客户支持向更多日常办公室任务扩展。

"我实际上看到更多平凡的后台办公任务开始上线。企业对自动化这项技术越容易，当自动化基础设施到位时，比如North——一个可以访问所有不同工具和上下文的系统，以及构建这些自动化的用户体验...随着这种基础设施的安装和接入这些企业，我认为我们将开始看到很多后台任务开始得到解锁。"

具体来说，Aidan提到了财务、法律和销售领域的自动化潜力，特别强调了销售领域："如果你想想销售人员在与客户会面前做什么，那就是研究。你要了解这家公司是什么，他们的战略要务是什么，谁在领导我关注的销售工作...你还在公司内部做研究。我们与他们的之前对话是什么？进展如何？阻碍因素是什么？...如果我们能让这一切更有效，那将是巨大的进步。"

九、转变中的模型扩展范式及未来架构探索

Aidan分享了他对AI模型扩展和未来架构的看法，特别是他如何看待"规模即万能"假设的终结。

"在过去的几年里，我一直忠于（规模假设）...但现在我们已经被明确显示，被反复提醒，规模不会让我们达到目标，"Aidan说。他指出传统的扩展方法——简单地构建更大的计算机并运行相同的程序——正在遭遇收益递减。

关于Transformer架构的未来，Aidan表达了对新架构的期待，尽管Transformer的寿命超出了他的预期："如果你在2018年，Transformer论文发表一年后问我，七年后我们是否仍在使用Transformer的可能性是多少，我会认为接近于零。所以我不会做出估计。但是，这个架构的寿命确实让我感到惊讶。"

当被问及新架构可能性时，Aidan回答："天啊，请吧。请。"他提到了诸如状态空间模型(SSM)和离散扩散模型等替代方案，但指出这些创新往往可以被整合到现有的Transformer架构中，而不是完全替代它。

十、AI在跨国语言处理中的挑战与进展

作为一家国际化的AI公司，Cohere投入大量资源确保其模型能够支持多种语言，特别是非英语语言。Aidan分享了他们在这一领域的工作和承诺。

"我们与日本富士通等公司的合作，我们正深入投资于我们模型中的日语，而且我们将永远如此。我们对日本有深厚的承诺，确保我们的技术在日语中的表现与英语一样好。我们最近宣布与韩国LG合作，我们在韩国也做着同样的事情。"

Aidan强调了使AI技术对全球人口具有包容性的重要性："我们相信，如果这项技术不会说他们的语言，不理解他们的文化，那么它将不会对全球人口的巨大部分有用，这些人口将会错过这项技术。所以我们投入了大量资金，并将继续这样做。"

他还提到了Cohere的开源工作，如AYA项目："这是任何机器学习项目中最大的数据收集工作...数千人，超过100种不同语言的母语者贡献了数据。我们将其开源，这样不仅Cohere的模型在这些语言中变得更好，其他每个语言模型也是如此。" http://t.cn/A6dzaUBL