Andrej Karpathy 在 OpenAI 内部度过了 7 年，亲眼见证 GPT 从 1.17 亿参数发展到 1000 亿参数。2024 年，他说：“Transformer 架构是过去 50 年计算领域最重要的创新。”

不是加密货币。不是区块链。不是云计算。是 Transformer。

Sam Altman 为这一赌注投入了 1000 亿美元。谷歌围绕它重组了整个公司。Meta 开源了它以保持竞争力。

每个人都在使用大语言模型（LLMs）。几乎没人真正理解它们。这个差距就是金钱所在。

LLM 不是工具。它是基础设施。

而在 2025 年——不知道它如何运作，就如同 1920 年不知道电如何运作一样。

以下是内部真正发生的事情：

你的文本不会以单词形式进入模型。它被拆分成令牌（tokens）——像 101、4287、318 这样的数字 ID，然后映射到 768 维的嵌入向量（embedding vectors）中。

模型从不阅读语言。它阅读几何形状。每个词都变成高维空间中的一个点，含义就是这些点之间的距离。

然后是注意力机制。Q、K、V 矩阵。公式：Attention(Q,K,V) = softmax(QK^T/√d_k)·V。
每个令牌都会对其他每个令牌投票。“bank”靠近“river”时投票不同，与靠近“money”时不同。模型学习上下文，而不是定义。

Vaswani 2017 年的论文称之为“Attention Is All You Need”——他们是对的。

缩放定律改变了这一切。Kaplan 和 OpenAI 在 2020 年证明：参数翻倍，性能就会沿着可预测的曲线提升。

L(N) = AN^-α + B，其中 α ≈ 0.076。这不是直觉。这是物理定律。

Anthropic、Google 和 Meta 都围绕这个单一方程构建了他们的路线图。
然后，意想不到的事情发生了。在某个规模下，模型开始做没人编程的事情。

上下文学习（in-context learning）。思维链推理（chain-of-thought reasoning）。工具使用（tool use）。这些不是功能。它们是涌现的（emergent）。

GPT-6 Astra：约 1000 亿参数。100 万上下文窗口。MMLU 分数 92.1。在 57 个领域超越人类。

现在真正赚钱的人不是那些提示（prompt）得更好的人。

而是那些理解架构的人——并在差距关闭前在其上构建的人。

收藏并立即观看。

了解基础设施，否则就会被挤出市场。 http://t.cn/AXlk3gz2