高飞
25-03-28 20:28 微博认证:至顶科技创始人 AI博主

#模型时代# 黄仁勋快问快答:我的第一台电脑、最喜欢的编程语言,以及我读了DeepSeek R1 技术论文(可能用了ChatGPT)。

这则访谈很有意思,是Computerphile频道对黄仁勋的快问快答。我印象中,好像还是第一次看到黄仁勋接受这种访谈。所以也谈到了一些个人方面的议题。比如他最喜欢的快捷键是WASD,也就是游戏里的方向键;最常用的编程语言是awk(类似Unix shell编程语言,也是图灵完备的)。

前边部分答的都很快,但是最后涉及到CUDA,他就详细展开了。虽然只有20多分钟,但是言简意赅的解释了很多问题,值得一看!

***
一、个人计算经历与偏好

Q: 你记得使用的第一台和第二台电脑是什么?

A: "我记得是台苹果II型电脑,那应该是我用的第二台电脑。我第一台是台连接大型主机的电传打字机。"

Q: 最喜欢用什么快捷键?

A: "大概就是WASD吧,就是玩游戏用的那组键位。"

Q: 编程的时候,你喜欢用Tab键吗?

A: "我用tab键,我比较喜欢tab。"

Q: 你最喜欢用哪种编程语言?

A: "用得最多的是Fortran,其次应该是Pascal吧。不过要说最喜欢的话,应该是awk。说到日常编程的话,最常用的还是awk。有些时候会用Python,特别是处理一些更复杂的任务。其他语言就看心情用了。"

Q: 你最讨厌哪种编程语言?

A: "C++。所以精通C++的人才让人佩服。"

Q: 你第一次玩的是什么电脑游戏?

A: "让我想想...应该是Asteroid吧。"

Q: 你平时喝茶还是咖啡?

A: "茶。"

二、学术兴趣与研究

Q: 听说你平时喜欢读学术论文,你一般关注哪些方面的内容?

A: "嗯,很多论文都挺深奥的,但我大致看一遍,总能有些收获。我最近刚看了一篇,就是DeepSeek R1的研究论文,他们仅用强化学习就取得了很好的效果,完全不需要监督微调。"

Q: 现在AI工具如何改变了你阅读论文的方式?

A: "看论文都不用自己读了,直接扔进ChatGPT就行,让它帮我读论文。大多数人还没意识到,使用AI做研究总结时的一个重要特点:等你用完之后,相当于有了一位该领域的专家顾问。比如我最近在研究硅光子学,完成这些之后,你就能找到一位懂硅光子学的专家交流,可以探讨这个领域的历史、未来发展和各方动态。"

三、GPU技术与架构演变

Q: 为什么不同的任务要用不同型号的GPU(如Quadro和GeForce),现在又有什么变化?

A: "它们都有一个共同点就是CUDA。从计算机架构到各类计算应用,都可能采用不同的GPU资源配置。比如某款GPU会配备更多纹理单元,另一款则增加ROP数量。有的采用HBM内存,有的则用标准显存。这些都是产品差异化的体现。

在计算架构层面,有些GPU更擅长双精度运算,有些则特别适合图形处理,主要针对FP32运算优化。但现在都开始采用张量核心,其原因在于无论是图形计算还是AI乃至物理学,这些领域都在应用AI技术。所以张量核心在图形领域的应用越来越广,而张量核心本身是我们AI芯片的核心组件。

最初的重大技术分岔出现在我们需要处理双精度运算时,以及图形处理中的低精度运算。随后迎来了第二个技术转折点,当我们发现数据中心的AI张量核心变得越来越重要,于是我们持续扩充更多的张量处理能力。

GeForce为世界带来了CUDA技术,CUDA让AI得以实现,CUDA GPU让每位AI研究员都能在个人电脑上实现超算性能。这样,CUDA推动了AI发展。但令人惊叹的是,AI反哺推动了GeForce的革新,它回归了自己的起点,如今计算机图形技术已经完全由AI驱动。"

四、AI发展与计算需求

Q: 面对AI领域快速发展的挑战,你是怎么规划的?据说每隔七个月模型的性能就翻一番,这个速度真是太惊人了,你说是不是?

A: "模型的运算速度在不断翻倍,数据量的增长速度也在不断加快。这些因素叠加起来,决定了我们需要的计算量。每年,我们对计算能力的需求可能都会暴增十倍。

在早期,软件都是预装封装的,这使计算机的发展不得不受限于摩尔定律,其发展瓶颈主要在于半导体物理特性和处理器架构。随后我们从微码技术过渡到了流水线设计,发展了超标量处理器技术,开发了乱序执行以及现在常用的各种先进分支预测技术。

真正突破性的变革在于当我们开始采用加速计算技术后,软件包本身无需改变,只需通过CUDA技术,我们可以引入并更新底层算法,同时也能更换底层GPU架构。这种方式带来了协同设计的优势,这为全栈优化创造了可能。打破原有思维定式,实现真正的突破创新,我们可以实现软件、算法和芯片的一体化设计。

在AI中,我们完全可以调整计算精度,当精度从FP32逐步降到FP16再到FP8时,实际计算能力就能提升四倍,或者说能将能耗降至原来的四分之一。在过去这十年间,我们的性能大概提升了近百万倍。按摩尔定律来说,每五年提升10倍,十年就是100倍。但我们不是提升了100倍,而是暴增到了百万倍。"

五、计算架构与扩展策略

Q: 能简单解释下纵向扩展和横向扩展的区别和含义吗?

A: "纵向扩展就是提升单台计算机的性能,只需对软件做极小的改动,就能大幅提升运行速度。而横向扩展主要是把算法拆分成很多小部分,这些小部分可以分散到各处并行处理。

横向扩展的典型例子就是Hadoop,MapReduce这个概念最初是由谷歌提出的。纵向扩展则是不断提升处理器的性能,但纵向扩展实现起来极其困难,受限于半导体物理特性,受限于内存带宽,几乎处处都有瓶颈。

为此我们开发了一项名为NVLink的技术,这让我们能够将多个GPU无缝连接起来,这些GPU之间能够直接进行数据交换,就像操控一个超级GPU一样对其进行编程。这种纵向扩展技术为我们创造了机会,实现超大规模GPU运算,突破半导体物理极限。在将纵向扩展推至极限后,我们通过连接多个计算机机架来实现横向扩展,这是目前最高效的并行计算方案。

这种情况就像是团队协作固然重要,但最理想的是找到最优秀的人才,效率最高的人才,并保持精简的团队规模。"

Q: 我们还需要CPU吗?

A: "当然需要。这其实就是阿姆达尔定律所描述的问题。程序中总有一部分需要顺序执行,对于这些顺序执行的部分,就需要选择适当的处理工具。假设程序中顺序处理部分仅占总计算时间的10%,这10%的运算必须严格按步骤一步一步执行,这是由于程序中的依赖关系所决定的。而另外90%则可以并行处理。就算把这90%的并行部分加速到无限快,剩下的10%仍然无法消除。

在并行计算系统里,最重要的是将单线程性能提升到极限。这正是我们自主研发CPU的原因,为的就是实现卓越的单线程性能。至于其它的多线程运算,都可以交给CUDA平台处理。"

六、黄仁勋技术的创新应用

Q: 有没有哪些技术应用是出人意料又让你感到有趣的?

A: "确实有很多有趣应用是意想不到的,而且这些都是能够即时运行的应用。其中最让我印象深刻的是5G基站应用。我们不再需要专用的芯片来进行基带处理,而是直接用CUDA来处理基带信号。

使用CUDA实现5G基站最精彩的地方在于,现在的5G基站已经实现了软件定义无线电,这样就可以在其基础上进行功能叠加,还可以根据需要将AI与其深度整合。这样我们就能用AI取代处理流水线中的多个环节。比如说,我们可以构建一个完全由深度学习驱动的无线网络基带信号处理层,或是在大规模MIMO层中引入AI技术,或是利用AI调度多个无线设备间的网络流量。这就让AI-RAN的实现成为可能。

将人工智能应用于通信网络后,有效带宽就能得到快速提升。系统不再需要重复传输相同的信号,因为系统已经记住了对方的面貌特征。举个例子,视频会议中,只需要前两三帧画面,后续画面就无需编码传输了,只需通过声音就能预测出画面。这样一来,5G网络的带宽占用,乃至6G都可能降低千倍之多,这都得益于人工智能技术的应用。" http://t.cn/A6Bs9v5l

发布于 北京