李想谢炎聊M100芯片文字版：
画外音: 三月底，理想马赫 M100 芯片团队的论文被全球计算机体系结构领域最顶级的学术会议之一录用后，很多人更加好奇理想为什么要做自研芯片，又为什么要选非主流的数据流架构？今天就来和大家聊聊马赫芯片背后的故事。

李想: 我是理想汽车 CEO 李想，这是我们的 CTO 谢炎，给大家做个自我介绍。

谢炎: 大家好，我叫谢炎。我2022年加入理想汽车。在加入理想汽车之前，我在华为负责鸿蒙操作系统，在阿里负责另外一个自研的操作系统叫云OS。更早的时候我在英特尔负责动态编译和操作系统相关的研发。我现在在理想汽车负责跟 AI 相关的全栈自研技术，包括芯片、操作系统、基础模型和安全等等。

画外音: 自研芯片的契机是什么？

李想: 当时咱们在聊的时候，其实有两个方向。今天看这四年的时间陆陆续续都验证了。我觉得第一个验证的是当时你不希望再去做一套手机的操作系统和这个平台，而是希望做 AI 时代所需要的整个底层的计算能力。我觉得另外一方面，你的一个判断是Co-Design，就像苹果一样，把操作系统、芯片，还有软件硬件进行联合设计，是一个未来的必然趋势，或者说成为一个顶尖企业的必然趋势。

因为我最喜欢的企业是苹果，苹果之所以体验好，是因为苹果做了硬件、软件、芯片、操作系统，还做了自己的云服务。我们想要成为像苹果一样做得好的企业，所以我们认为必须做联合的设计，而且必须做面向人工智能时代的联合设计。因为以后只有人工智能公司，没有其他公司了。

谢炎: 这个也是源于我在加入理想汽车之前，大概做了十年的移动操作系统。但我一直觉得有一个很大的遗憾，就是没有机会把它跟硬件结合起来，能够构建得更好，更有差异化竞争力。然后我就想，如果正好又遇到了AI这波我认为是70年一遇的创新革命，当咱们能够把整体结合起来做设计的时候，这套系统一定是无比强大的。它会构建相当高的竞争壁垒和创新的空间。

所以当时跟想哥和你聊的时候，我记得我当时在电话里面说，咱们是不是能够把硬件和芯片都联合起来做了。当我得到一个肯定的答案的时候，我就非常想干这个事儿。

画外音: 理想自研的芯片有什么不同？

谢炎: 我们的马赫 M100 芯片其实采用的是一种叫数据流的架构，和今天我们看到的大部分芯片架构都不一样。为什么我们要选择数据流架构呢？是因为我们觉得冯・诺依曼架构有今天不适合 AI 计算的缺陷。

首先冯・诺依曼架构是一种指令驱动架构，你可以把它想象成一个厨房。在厨房里面切菜、配菜、炒菜和出菜的人，在没有收到指令之前，其实是不会动的。他只有收到指令之后才开始工作。

当他需要取菜的时候，这时候又会受到延时的障碍。这其实是我们现在处理器CPU最早的工作模式。这里面的关键就是你需要一个非常强大的指令发射员，或者叫总厨。随着时间的推移，CPU里面这个总厨大概会占到整个 CPU30% 到 40% 的晶体管面积。

当我们进入图形计算时代，就做出了 GPU。它把总厨给拿掉了，换成了很多一组一组的小厨师。每个小厨指挥一群切菜、配菜、炒菜、出菜的人。这个小厨可以做得简单一点，也就是更多的晶体管会被用来做计算。其实这种方式没有从本质上解决CPU遇到的问题，它在规模更大的时候也会遇到瓶颈。举个例子来讲，一组小厨他们的工作空闲了，而另一组在忙，空闲的那组能不能分担忙的那组的工作，其实很难做到。

当我们计算规模扩大到AI计算，比图形计算更大几个数量级之后，我们在思考的一个问题就是能不能彻底把这些不干活的总厨和小厨彻底拿掉，让真正干活的人能够按照原来既定的工作顺序，拿到菜的同时直接去切菜、配菜、炒菜，而不需要等待指令，提升我们整个的计算效率。

其实在计算机发展历史上，从 1970 年代就有很多计算机科学家在研究这个课题。当时在麻省理工有一些学者，像Jack Dennis和我们一位华裔的科学家叫高光荣教授，也是我的导师。当时他们研究数据流架构，就提出说其实你并不需要指令来驱动所有的计算，你可以用数据来驱动所有的计算，它其实可以大大简化硬件的设计。

李想: 这么来看，尤其是到了大模型时代，到了以 Transformer 这样的运作方式的时代，虽然数据流架构是几十年前就出现的，但是好像它就是为 AI 来设计的。

谢炎: 如果大家看数据流架构，早年它在通用计算的时代，也就是CPU和GPU大规模发展的时代，并没有找到它真正优势所在的场景，还是因为计算规模不够大。但当计算规模小的时候，CPU 和 GPU 也足够指挥这个军队的战斗力。当军队的规模从一万人变成十万人，甚至变成一百万人、一千万人的时候，你其实靠原来的那套指挥体系已经没法支撑，我们需要一种更新的、更好的、更高效的方式来协作。

画外音: 理想为什么坚定选择数据流架构？

李想: 这个技术路线会有两个结果。一种结果是有的人想追求我做一个芯片，我单纯这个芯片性能最优。但是当它真正变成了实际的模型，在推理和延迟这个过程中，其实它在不停地衰减，它的适配性很差。

但还有一种思路是我要做整个系统最优。对，我要从数据的输入到最后的输出，整个的性能最好，效率最高。所以这是两种不同的思路。我印象特别深，团队内部当时一帮人坚持说我就做一个最好的处理器就可以了，我根本不需要管其他的。还有一个路线就是我们应该看全链条的最优。而全链条的最优里边，数据流架构其实是最好的一种方式。它既兼顾了性能和效率，又兼顾了面向未来的灵活性。

但是挑战是你是否愿意建一个非常专业顶级的编译器团队。因为当时在中国建一个顶级的编译器团队是非常难的。但好在我觉得谢炎在英特尔的时候，自己就是编译器团队的专家。

所以我们确实在过去的几年里，非常好地建立了一个国内我们觉得其实最顶级的编译器团队，并且大胆地选择了数据流架构。我觉得站在今天和整个 AI 时代来看的话，我们过去四年最难的选择、与众不同的选择，绝对是正确的。

谢炎: 就是我们并不是为了证明自己能做芯片而做一个芯片。我们做这个芯片就是要帮助公司，帮助智能驾驶获得更大的胜率，同时更高的效率，更低的成本。所以一开始定的目标就是要超越当代最强的芯片，然后我们就思考：要超越当代最强的芯片，你可不可能用它一样的技术路线去超越它？是不可能的。所以这是一个出发点，就是你只能靠一个比它更优的技术路线。

然后第二，也是我自己的学习背景。我们发现在这个时代，的确数据流架构更适合 AI。

李想: 我觉得我们可以面向未来的 3 到 5 年做一个判断：数据流架构至少在推理领域里边会成为一个主流的趋势。我觉得其实英伟达也认识到这方面未来会出现的潜在机会或者挑战。所以应该是在去年年底，它发起了一个英伟达历史上不是第一也是第二高金额的收购，收购的就是一家数据流公司，并且在这一次的 GTC 上发布了第一代产品叫 LPU。从技术架构上，这和我们的数据流有什么差异？

谢炎: 他们设计的这套架构体系，也就是今天所谓的 LPU，我们称作为静态数据流架构。静态数据流架构其实是把所有的编排在运行前全部都固定好。如果拿军队做比喻的话，就相当于我要开炮，谁搬运炮弹，谁塞炮弹，谁拉引线，完完全全固定好，也就是它没有任何动态调整的空间。但是这个就回到一个更基本的哲学：极端的高效率肯定带来极端的不灵活。所以 LPU 牺牲了绝对的灵活性，但是获得了极高的效率，这就叫静态数据流架构。理想今天在设计的其实是动态数据流架构，就是它有高效率，同时也有可编程性，可以把整个完整的计算都执行下来，而且获得了足够的效率和灵活性的平衡。

画外音:联合设计为什么很重要？

谢炎: 这里面又回到一个故事，为什么软件跟硬件的联合设计可以提供非常大的价值？我在研究生的时候，我们当时那个课的老师给我们的第一个作业就是：给你一台机器，它的 CPU 不变，你仅仅靠软件去编排和调试，在硬件完全不变的情况下去加速同样的任务。我们班上最高的人加速了 50 倍，这也一直给我启发。就是软件和硬件、芯片和模型在联合设计的时候，你具有非常高的加速空间。这也是我们今天在理想汽车做很多事情背后的一个哲学。

我们这个时代其实有一个巨大的问题：我们对AI的需求在以每年 10 倍、100倍甚至 1000 倍的速度增长，而我们今天单一技术能提供的增长幅度会小得多。如果我们仅靠工艺制程 ——7 纳米、5 纳米、2 纳米 —— 所能提供的性能提升，其实每三年我认为只提供了 50%，折算到每年可能只有十几%。我们能想到的方法是把模型、操作系统、云引擎、硬件设计、芯片的架构设计，甚至底层的生产技术结合起来。举个例子来讲，我们永远希望 AI 能够推理得非常快。

我们讲到的一个方法就是降低计算的精度，也就是所谓的低精度计算。但是低精度计算其实很难仅仅靠模型来完成，如果硬件没有支持，它根本跑不起来。那反过来讲，如果仅仅靠硬件支持，模型没有配合，它也完全不能发挥这个优势。

更进一步的讲，大家也知道一个词叫内存墙。内存墙的意思是说我们需要大量的数据能够搬运得更快，那一种方法就是把这些数据放在离计算硬件更近的地方。这个既需要模型和编译器本身做这样的分配，同时硬件也要提供这样的能力，能够在离计算很近的地方构建足够大小的仓库。所以我们看到的是，包括英伟达，包括今天世界上最好的模型公司，都在试图通过传统方法以外更加复杂的垂直整合技术，来解决这些技术难点和需求问题。

李想:我有一个最重要的感觉，人类不需要几亿几十亿公里的训练才会开车，我们家孩子也不需要那么多的数据才会拿起一个碗吃饭、叠一件衣服。我觉得我们很重要的一个挑战，同时也是看到的一个重要机会，就是如何通过这样的联合设计，不要说超越，就是我们如何能够在物理世界里面达到人的智能水平。但我觉得这样的一个时代可能会在未来的 3 到 5 年里实现，不过需要像咱们这样的企业去解决一些最核心的问题，去真正地做到Co-Design的设计。

#理想汽车##理想i6##理想i8##理想MEGA##理想L6##理想L7##理想L8##理想L9# http://t.cn/AXiqxxOp