#模型时代# Transformer论文作者：OpenAI为产业铺平了道路。
最近OpenAI受到的争议很多，但是Transformer论文的八位作者之一，也是Cohere 创始人 Aidan Gomez 之前接受播客采访的时候说，其实这个行业应该感谢OpenAI，没有这个机构，就没有后来的大模型产业。当然，Aidan尤其表达了对Ilya Sutskever的尊重，因为后者发现了“只要将规模做大，模型就会更聪明”的本质。

我对Cohere创始人Aidan Gomez 的关注有一段时间了，原因有三个：作为Transformer论文八子，他的创业公司和OpenAI、Anthropic等相比，他专注于企业级市场，所以对toB的观察更多；其次，Cohere这家公司的设计美学很赞，大家可以搜一下官网，绝对不是常见的硅谷科技风；最后是Aidan本人，风格实在太独特了，之前一头长发的时候，甚至有人给他起了个外号“耶稣”（大家可以看视频封面，现在剪短发了，就没这个感觉了）。

这只视频来自20VC对他的采访内容有很多，比较犀利的观点除了他对OpenAI的赞赏之外，还有他警告模型公司，尤其是做企业级服务的，千万别变成云服务商的子公司，单纯买卡卖Token是没有意义的，一定要解决客户的业务问题。不过他也发现，企业级客户对数据看得很紧，所以Cohere会将模型送到企业端去训练，收敛之后还在企业那里，自己并不碰数据。但对于模型公司而言，这样数据就只能来自于自己了，核心就是合成数据。

以下是一些关键内容：
***
1. 数据质量的重要性被严重低估
"我想我改变看法最多的是数据的重要性。我大大低估了它。我以为只是规模问题。Cohere内部出现了许多证明点,完全改变了我对构建这项技术关键要素的理解。"
Aidan坦言,过去一年他最大的认知转变就是对数据质量重要性的认识。在AI模型训练中,人们常常关注计算规模,认为只要数据量够大、算力够强,模型性能就会随之提升。但Cohere的实践证明,数据质量同样至关重要,甚至可能比单纯的规模更加关键。
"就像一个坏榜样一样。在数十亿样本中,它是如此敏感。模型对数据的敏感程度有点不真实,每个人都低估了它的价值。"
Aidan指出,即使在海量数据中,哪怕只有一个质量不佳的样本,都可能对模型产生显著影响。这种对数据质量的敏感程度远超人们的想象。在当前AI领域普遍追求大规模数据和模型的趋势下,Aidan的这一洞察无疑为我们敲响了警钟 - 在追求规模的同时,我们更要重视数据的质量。

2. AI模型能力持续突破,远未触及天花板
"我觉得有一种说法在流传,人们说我们已经达到了顶峰,什么都不会发生了,慢下来了。事实上,我真的认为这是不对的。"
面对近期业界对AI发展放缓的担忧,Aidan表达了不同看法。他认为,AI模型的能力仍在持续突破,我们远未触及发展的天花板。
"当我谈到推理者和规划者时,和模型,可以尝试的东西,失败,并从失败中恢复过来。并执行需要很长时间才能完成的任务。这些就像是为技术人员准备的、不存在的东西,在今天的技术中。就像我们还没有时间把注意力转移到那里一样,并将该功能添加到模型中。"
Aidan指出,目前的AI模型在推理、规划、尝试-失败-恢复等方面仍有巨大提升空间。这些能力对于完成复杂长期任务至关重要,但在当前技术中尚未得到充分发展。他认为,随着研究重点转向这些方向,我们将看到AI能力的又一次飞跃。

3. 企业对AI的主要担忧:安全与数据保护
"主要是对技术的信任,所以是安全。每个人都很有个性的现状。谁在为我的一天做准备。"
当被问及企业采用AI的主要障碍时,Aidan直指安全问题。在AI快速发展的今天,企业对这项新技术的信任度仍然不高,主要担忧集中在数据安全和隐私保护方面。
"所以他们真的很害怕有人会利用他们的数据进行训练、并将它们置于某种安全漏洞中或者他们会失去知识产权。我认为这是一个非常合理的担忧,因为人们一直在根据用户数据进行培训。"
Aidan认为,企业的这种担忧是合理的。确实有AI公司使用客户数据来训练模型,这可能导致敏感信息泄露或知识产权损失。为了解决这一问题,Cohere采取了特殊的部署策略。
"我们的部署模式就是这样设置的。我们专注于私人部署、就像在他们的内部VPC中一样。这意味着这完全是在他们的硬件上私下进行的。我们没有要求他们向我们发送数据。我们的意思是,我们将把我们的模型带到您的数据所在之处。我们什么都看不到。"
通过这种方式,Cohere既保护了客户的数据安全,又能为其提供AI能力,很好地平衡了技术创新和安全需求。

4. AI不会取代人类,而是增强人类能力
"对我来说,人类伙伴更有价值。比什么都重要,比如无论聊天机器人多么引人注目。人的价值要高得多。这也是为什么我认为我们无法在工作场所取代人类。这将是一种增强。人类将变得更有生产力,做得更多。这并不是说从事这项工作的人员会减少。你无法取代人性。"
在讨论AI对就业的影响时,Aidan表达了乐观而理性的看法。他认为,AI不会完全取代人类工作,而是会成为增强人类能力的工具。尽管AI在某些任务上表现出色,但人类的价值在很多领域仍然无可替代。
"想想销售额,对吧?如果是机器人向我推销,我就不会买。就是这么简单。我不想跟机器说话。也许我喜欢简单的采购、但对于购买来说,这才是最重要的、对我和我的公司都很重要、我希望有一个人负责交易的另一方。出了问题,我需要有人帮忙、一个有权进行干预的人。"
Aidan用销售场景生动地说明了人类在复杂决策和人际互动中的不可替代性。对于重要的商业决策,人们仍然更信任人类,需要能够负责任并有权做出决定的人来处理问题。这表明,即使在AI广泛应用的未来,人类的角色也会继续存在,只是可能会发生转变。

5. 模型规模与成本的平衡
"我的意思是,如果你把更多的计算如果把模型做得更大一些、性能会好起来的。这是最值得信赖的方式去改进模型。这也是最愚蠢的,对吗?比如,如果其他办法都不奏效,就把它变大。因此,对于那些有很多钱的人来说、这是一个非常有吸引力的战略。风险超低。你知道一切都会好起来的。只需将模型放大,支付更多的钱、支付更多的计算费用就可以走了。但是,是的,我是说,我相信它。我只是觉得效率极低。还有更好的办法。"
Aidan坦率地指出了当前AI领域"更大即更好"思维的局限性。虽然增加模型规模确实能带来性能提升,但这种方法效率低下,只有财力雄厚的大公司才能负担。他认为,还存在其他更有效的方法来提升模型性能。
"如果你看看过去,比如说一年半。所以,我猜现在应该是在ChatGPT出来或GPT-4出来。现在是GPT-4,如果他们说的是真的它有1.7万亿个参数,这么大的MOE、我们现在有比该模型更好的模型只有130亿个参数,对吧?变化也在按尺度放大模型很快就变得便宜了,是一样的荒谬。好像有点超现实。"
Aidan用具体的例子说明了模型效率的快速提升。仅仅一年半的时间,130亿参数的模型就能达到甚至超越1.7万亿参数模型的性能。这种进步速度令人惊叹,也说明了除了简单地增加规模,还有更多提升模型性能的途径值得探索。

6. AI创业公司面临的挑战与机遇
"去年的机型没有市场。与今年的机型相比,它简直一无是处。任何类似的技术发展真的让上一代产品很快就过时了。"
Aidan直言不讳地指出了AI创业公司面临的残酷现实:技术更新速度极快,去年的模型可能已经完全失去市场价值。这对创业公司提出了巨大挑战,他们需要持续保持技术领先才能在市场中立足。
"我认为产品领域和应用领域仍然极具吸引力。这项技术将带来新的产品改变社交媒体。人们喜欢与这些模型交谈。使用时间太长了。"

7. 企业AI助手的未来发展方向
"我认为这是员工增员。这些模型就像合作伙伴一样或同事到整个员工队伍。这是最常见的使用情况。"
谈到企业采用AI的主要场景,Aidan认为最受欢迎的是员工增强。AI模型将成为每个员工的智能助手和同事,全面提升工作效率。
"如果你真的想增加劳动力、你需要有一个开发这些助手的平台、这些代理与特定的工具集无关并合理确定成套工具的优先次序跨越人们实际使用的范围、市场的实际用途。"
Aidan指出,要真正实现员工增强,需要一个通用的AI助手开发平台。这个平台应该能够连接企业使用的各种工具和系统,而不仅限于某个特定生态。他认为,目前像Microsoft Copilot这样的方案还不够全面,因为它们往往局限于特定的软件套件。

8. AI对生产力的潜在影响
"我认为,这个世界的供应超级紧张。以及我们今天所拥有的几乎所有奢侈品技术的发展提高生产率,增加供应、让它们更丰富,让它们更便宜。因此,我真正关心的是这项技术正在推动世界生产力的发展让人类更有效率,能做更多的事情。我觉得这太不性感了。就像生产力被低估了,但它是--"
"就像加拿大一样,实际GDP并没有真正增长。有人称之为'失去的十年'。人们还没明白,抱歉、实际人均GDP没有增长。因此,人们并没有变得越来越富裕。事物并没有变得更加丰富。十年之内,你负担不起更多。于是就出现了这种停滞不前的局面、社会开始动荡不安和事情开始,它不是一个不断增长的馅饼、这是一个固定的馅饼,你必须为自己的那一块而战。我认为这些动态因素确实让我感到担忧。我们社会目前的优先事项生产率和增长。"

9. OpenAI的贡献与独特策略
"我想说的是OpenAI。他们铺平了道路。就像一种非理性的信念以实现这一扩展愿景。我认为这是由于我记得我和伊利亚谈过这个问题比GPT-1早得多、就像当时的transformer时代一样、因为他在多伦多很有名气。他师从杰夫、他们来自多伦多的家庭。他的脑海中出现了这个缩放的想法。这是他多年前的想法。实际上，他已经开始了正确的追求。这种信念造就了我们今天生活的世界。比如这种客观上出现的神奇技术现在每个人都可以使用。我真的很钦佩伊利亚。"
"规模假设是肯定的。就像仅仅扩大规模就能维持我们应该继续翻10倍、10倍、10倍、10倍。是啊，很多人都不相信这一点。有很多人对此表示反对。这简直是愚蠢的多余之举去追求。他们有坚持到底的信念。"
Aidan特别提到了OpenAI坚持"规模假设"的勇气。在很多人质疑甚至反对的情况下，OpenAI坚持不断扩大模型规模的策略。虽然这种做法当时被认为是愚蠢和多余的，但OpenAI的坚持最终证明是正确的。 http://t.cn/A6ExqmEL