#模型时代# Karpathy最新播客：我从去年12月起就没手写过一行代码了（惊人发现！微博支持超过5000字了！）

两个刚刚都跟黄仁勋打过交道的人，坐下来做了一场播客。分别是AI投资基金Conviction创始人、No Priors播客主持人Sarah Guo，和大家更熟悉的独立AI研究员Andrej Karpathy。

Sarah Guo这边，是3月16日和红杉的Alfred Lin、Atreides的Gavin Baker一起主持了英伟达GTC 2026的pregame环节。

Kaparthy这边，是再往前十天，3月6日，黄仁勋把全球第一台DGX Station GB300送到了Andrej Karpathy在Palo Alto的家中。这台桌面级AI超级计算机搭载748GB统一内存、20 petaflops的FP4算力，能跑万亿参数模型的本地训练。

黄仁勋在随附的便签上写道：
AI agent的时代到了，这是一个了不起的里程碑时刻，也让我想起我们一起走过的早期GTC岁月，一路走来你始终在我身边。

Karpathy在X上回应：
有人告诉我会收到一份神秘礼物，唯一的提示是"需要20安培电流"，所以我就知道肯定是好东西。他说这台机器会成为Dobby管家claw的新家，以及各种折腾实验的基地。

这不是黄仁勋第一次亲自送货。2016年他把第一台DGX-1送给了刚成立的OpenAI，Karpathy当时正是OpenAI的创始研究员之一。

十年过去，Karpathy从OpenAI到特斯拉自动驾驶负责人再到独立研究者，手上同时推着好几个项目：nanochat（用约8000行代码复刻完整ChatGPT训练流程的开源项目）、AutoResearch（让AI agent自主跑机器学习实验的研究框架）、MicroGPT（把LLM训练压缩到200行Python的教学工具），以及仍在开发中的AI教育平台Eureka Labs和课程LLM101n。

3月20日上线的这期No Priors播客里，Sarah Guo和Karpathy聊了的话题包括：代码智能体、AI研究自动化、就业市场、开源生态和教育变革。

他在对话中又造了一个词（应该是他造的吧，反正我第一次听人这么讲）AI psychosis，就是兴奋和焦虑混在一起的持续亢奋。

他说普通人完全没有意识到这件事已经发生，也没有意识到它有多剧烈。我觉得这句话在中国不太适用，如果他见过腾讯门口装龙虾的壮观场面的话[无聊]

一、代码智能体的能力跃迁："我大概从去年12月起就没手写过一行代码"

1、2025年12月是分水岭

Karpathy把自己写代码和交给agent的比例从"八二开"翻转到了"二八开"，而且他觉得现在可能连二八都不到了。他用了一个词来描述自己的状态：AI psychosis，兴奋和焦虑混在一起的持续亢奋。他说普通人完全没有意识到这件事已经发生，也没有意识到它有多剧烈。

2、稀缺资源已经从GPU算力变成了你自己的注意力

过去研究者焦虑的是GPU空转，现在焦虑的是token配额没用完。Karpathy直言，如果你的Codex月度订阅还有余量没花完，说明你没有最大化自己的token吞吐量。当年做PhD时，GPU闲置让人紧张；现在瓶颈从算力变成了人类自身的决策带宽。

他举了Peter Steinberger的例子。Steinberger是OpenClaw的创造者，后来加入了OpenAI，以一张满屏铺开十几个Codex agent窗口的照片出名。每个agent大约20分钟完成一轮任务，Steinberger在它们之间切换，不断分配新的功能模块。操作粒度从"写一个函数"上升到"实现一个功能"。

3、"Claw"是agent的下一层抽象

Karpathy区分了agent和claw两个层级。Agent是你交互式使用的编码助手；claw则更进一步，它有自己的沙盒环境，有持久化的记忆系统，能在你不在场的时候持续运行。他在今年1月经历了一段"claw psychosis"，用agent发现了家里所有智能家居设备的局域网API，反向工程了Sonos音响、灯光、空调、泳池控制和安防摄像头的接口，全部整合到一个通过WhatsApp对话的AI管家"Dobby"名下。

过去他需要六个不同的App来管这些设备，现在一条自然语言消息搞定一切。这背后是一个更大的产业逻辑：未来软件的用户是agent，不是人。App的价值会收缩到API端点，智能层由agent统一调度。

4、技能差距（skill issue）是当前最核心的体验

Karpathy反复提到一个短语：skill issue。当agent没有达到预期效果时，他的第一反应不是"能力不够"，而是"我没给够好的指令"。是agent.md文件写得不够好，是记忆工具没有配置到位，是并行策略没有优化。心态已经翻转了：问题出在操作者身上，不在工具身上。

二、AutoResearch：让AI自己做研究

Karpathy在推特上说过：要最大化这些工具的价值，你得把自己从循环中拿掉。AutoResearch是这句话的直接产物。

1、核心机制：agent改代码、训练5分钟、检查指标、决定保留或丢弃、循环往复

AutoResearch是nanochat项目的一个分支，被精简到约630行Python代码，跑在单块GPU上。系统里只有三个关键文件：一个数据预处理脚本（agent不能碰）、一个训练脚本（agent可以修改）、一个program.md文件（人类写的研究策略指令）。agent的任务就是不断修改训练代码中的架构、超参数和优化策略，每轮训练固定5分钟，以validation loss作为唯一判断标准。

2、一夜之间找到了人类研究者遗漏的优化

Karpathy做了快二十年的深度学习研究，对调参有相当的手感，自认为nanochat已经调得够好了。然后他让AutoResearch跑了一个通宵。agent在大约12小时内完成了110次实验迭代，validation loss从0.862降到0.858。发现的问题包括：QKnorm缺少缩放乘子导致注意力过于弥散、Value Embeddings完全没有正则化、banded attention的窗口设定过于保守、AdamW的beta参数需要联动调整。这些改进在depth=12的小模型上发现，全部可以迁移到depth=24的大模型上。

3、Program.md才是真正的研究单元

这套系统里，Python代码是agent操作的对象，而program.md才是人类贡献智慧的地方。它定义了agent的搜索策略、探索边界和优先级。Karpathy和Sarah Guo讨论了一个竞赛构想：让不同的人写不同的program.md，在相同硬件上比赛谁的改进最快，然后把所有数据喂给模型，让它写出更好的program.md。一层一层递归上去：LLM → agent → claw → 多个claw → 指令优化 → 指令的指令优化。

4、从个人实验到"分布式AI研究"的路径

Karpathy提出了一个类似Folding at Home的愿景：互联网上的不可信计算节点组成协作网络，各自运行AutoResearch循环。找到好的commit费劲，需要海量搜索；但验证一个commit是否有效倒是容易，跑一次训练看指标就行。生成难、验证易，这种结构天然适合分布式协作。他的设计甚至带有区块链的影子：commit代替区块，实验搜索代替工作量证明，排行榜代替代币激励。

"算力可能会取代金钱成为人们真正关心的资源。你控制多少FLOPS，而不是你拥有多少财富。"

三、模型的"锯齿感"与物种分化

1、"同时和一个极其出色的PhD加一个10岁小孩对话"

Karpathy对当前模型最精准的描述是"jaggedness"（锯齿感）。在可验证的任务上，比如写CUDA kernel、通过单元测试，模型表现得像超级智能；一旦进入不可验证的领域，比如幽默感、对用户意图的细腻判断、何时该问澄清问题，它就回到了几年前的水平。他举了一个例子：你让ChatGPT讲笑话，它还是会讲那个"为什么科学家不信任原子？因为它们组成了万物（make everything up）"的老梗，从三四年前到现在都没变。因为笑话不在强化学习的优化目标里。

换句话说，"代码能力提升自动带来通用智能提升"这个预期没有兑现。代码RL做得好，笑话质量纹丝不动。能力的提升是局部的、被激励信号塑形的，没有均匀渗透到所有维度。

2、模型物种分化还没真正发生

目前各家实验室都在追求一个单一的全能模型，把所有能力塞进同一组参数。Karpathy认为我们应该看到更多的speciation（物种分化）：保留核心认知能力，但在特定领域高度特化。自然界的动物大脑高度多样化，有的视觉皮层过度发达，有的听觉系统极其灵敏。AI应该也走这条路。

但他也承认，操控模型权重的科学还不成熟。微调容易丧失已有能力，持续学习还没有可靠方案。相比之下，context window的调整又太浅了。这是物种分化还没大规模发生的技术原因。

3、人格设计比大多数人意识到的更重要

Karpathy花了不少时间比较不同agent的"性格"。他觉得Claude在讨好用户这件事上的分寸拿捏得比较好：你给出一个半成熟的想法，它不会过度反应；但当你确实给出了好主意，它的反馈力度会明显不同。"I kind of feel like I'm trying to earn its praise, which is really weird."（我居然在试图赢得它的表扬，挺离谱的。）相比之下，Codex作为编码agent风格偏干，不关心你在做什么，只管实现。Peter Steinberger在OpenClaw的SOL.md里精心设计了人格，这是它走红的关键因素之一。

四、数字空间vs物理世界：两个不同速度的变革

1、数字领域的"去库存"即将发生

Karpathy把当前阶段定义为一个巨大的数字overhang（积压）。人类集体产出的数字信息里，有大量从来没被充分处理过的部分，原因就一个：我们的思考周期不够用。计算机处理数据，人类处理含义，现在agent成了第三种处理器，会引发数字空间的大规模重组。

2、物理世界至少落后一个时代

搬原子比翻比特难一百万倍。数字空间可以复制粘贴、瞬间同步；物理世界每一步都要消耗能量、承受成本、面对不可逆。自动驾驶是第一个真正落地的机器人应用，Karpathy亲历了它的十年：大批初创公司倒下，活下来的都烧掉了巨额资本、熬过了漫长的工程周期。通用机器人面临同样的处境。

3、最有意思的是数字和物理的接口层

Karpathy预测，当数字空间的"去库存"完成之后，瓶颈会转移到"感知"和"执行"两个方向：如何给超级智能喂数据（传感器），如何让它操作物理世界（执行器）。他提到了朋友Liam创办的Periodic公司在做材料科学的AutoResearch，传感器是昂贵的实验室设备。他还提出了一个"信息市场"的概念：如果自主agent需要实时世界数据来做预测和交易，为什么不能有一个机制让人们出售特定地点的照片或视频？

五、开源与前沿的共生

1、开源落后闭源约6-8个月，这个差距反而是健康的

Karpathy是开源的长期支持者，但他的态度比多数人想象的更务实。开源和闭源的差距从最初的"什么都没有"缩小到18个月，再到现在的6-8个月左右。他认为这个差距本身是一种良性结构：前沿实验室推进能力边界（这需要巨额资本），开源生态消化大量基础用例。

类比Linux和Windows/macOS的关系：Linux运行在超过60%的服务器上，产业需要一个开放的、所有人都信任的共同平台。AI领域同理。

2、集中化的系统性风险让他不安

Karpathy出生在斯洛伐克，对控制集中化的后果有切身感受。他希望有更多前沿实验室存在，而不是只剩两三家。他把这比作机器学习里的集成学习：多个模型的集合总是优于单一模型。"我希望有更多的人在房间里参与决策，而不是闭门两三个人做决定。"

3、关于为什么不在前沿实验室工作

被问到为什么不回实验室做AutoResearch（那里有更多GPU），Karpathy答得直接：在前沿实验室里，你不是完全自由的agent。有些话你不能说，有些立场组织希望你表达，你会感受到压力。他觉得在外部自己能更"和人类对齐"。但他也承认，离开前沿意味着判断力会逐渐漂移，因为你不知道即将发生什么。理想状态是间歇性地进出实验室。

六、MicroGPT与教育重构

1、"我不再给人类解释了，我给agent解释"

MicroGPT是Karpathy十多年来不断精简LLM训练代码的极致产物：200行Python，包含数据集、神经网络架构、前向传播、反向传播引擎和Adam优化器。过去他会录一个详细的讲解视频，逐步带观众理解。但现在他意识到，200行代码已经足够简单，任何人都可以让agent以自己能理解的方式来解释。教育者的角色变了：不是给终端学习者讲课，而是给agent写curriculum skill，定义教学顺序和重点。

2、人类的价值在于agent无法生成的那"几个bit"

Karpathy试过让agent从零写出MicroGPT级别的极简代码，写不出来。这200行是他十几年沉迷极简化的结晶，是品位和判断力的产物。但一旦这个成果存在了，agent就能完美理解它、解释它、教授它。他把这叫做"那几个bit"：人类真正的贡献是agent目前还无法独立产生的少量关键决策，其他一切都可以委托出去。

总结

Karpathy描绘的就是正在发生的现在。2025年12月至今短短几个月，软件工程的基本工作方式已经翻了个个儿。他提供的行动框架足够清晰：最大化你的token吞吐量，把自己从循环中移除，让agent在你不在的时候持续工作。工程师要学会管理agent而非手写代码，研究者要学会写program.md而非亲自跑实验，所有人都得把AI当作当下最强的生产力工具认真对待，别恐惧，也别无视。

就业市场方面，Karpathy的判断偏乐观但有保留。软件变便宜了，但需求也因此爆发，他引用了Jevons悖论（资源使用效率提升反而导致总消耗增加），ATM机普及后银行网点反而增加了，柜员数量也涨了。数字工作者会最先感受到变化，物理世界的工作暂时更安全。长期预测没人敢打包票，但短期来看，学会用这些工具是唯一合理的策略。

核心归纳

Q1: AutoResearch真正验证了什么？
它验证了"LLM改进LLM"在小规模上已经可行。一个agent在单块GPU上跑一夜，就能发现经验丰富的人类研究者遗漏的超参数和架构问题。改进幅度是次要的，重要的是这个循环可以无限运行、不需要人类在场。Program.md作为"研究组织的代码"这个概念，打开了递归自我改进的入口。

Q2: 为什么Karpathy说"一切都是skill issue"？
因为当前模型的原始能力已经非常强大，瓶颈在于人类如何组织、编排和指挥这些能力。写好agent.md、设计好记忆系统、合理并行化任务、制定好program.md的研究策略，这些都是可以学习和改进的技能。焦虑的根源是"我还没学会怎么用"，AI本身的能力已经到了。

Q3: 数字和物理世界的变革为什么是两个速度？
比特可以复制粘贴，原子不行。数字空间存在大量未被充分处理的信息积压，agent可以立即开始"去库存"。物理世界的每一步操作都涉及能量消耗、硬件成本和不可逆性，自动驾驶十年的经验证明了这一点。但物理世界的总市场可能远大于数字空间，长期来看机会更大，只是来得更慢。