Elon Musk 最近接受 Lex 采访透露了 FSD Beta 一个相当重大的调整，可能也会改变 HW 4.0 的设计：接下来特斯拉全车摄像头的数据不会再经左上角这个 ISP 的处理，转为直接输入 FSD Beta 的 NN 推理。

先看一下 HW 3.0 这张架构图，自研的好处在于，可以最大程度的根据自身需求来定义芯片。3.0 最大的部分是两个互为冗余的 NPU，其次是 GPU、CPU 之类的，但重要的是，特斯拉在右上角设计了安全模块，左上角设计了 ISP。

至少在 HW 3.0 设计的那个时期，按照特斯拉的认知，ISP 是不可或缺的。但现在，ISP 被完全推翻了，全球超过 150 万辆特斯拉上的 ISP 和雷达一样，变成了一个无意义的存在。

ISP 全称 Image Signal Processor，图像信号处理器，按照 Elon 的说法，ISP 处理后的图片很漂亮，但 NN 不需要漂亮的图片，需要的是数据，是原始光子计数（Raw photon counts）。

摄像头原始拍到的图片比经 ISP 处理后的图片包含的信息要大得多，有了原始数据，NN 通过检测可以识别非常微小的光子计数差异，这意味着它在黑暗环境下的感知性能惊人的好，比你想象得要好太多。

同时，不经 ISP 处理可以实现 13 毫秒的延迟下降，因为有 8 个摄像头，每个摄像头 ISP 处理会产生 1.5 - 1.6 毫秒的延迟。这也是非常重要的改进。

控制延迟非常重要，特斯拉投入了很多精力基于 C 语言来重写执行机构，包括加速、刹车和转向控制器的代码，使后者的同步频率从 10 Hz 提高到大约 100 Hz 的水平。也就是每秒同步 100 次，目的都是为了控制延迟。

这些分析看下来，感觉 HW 4.0 是全部适用的，想不出特斯拉后续转回使用 ISP 处理的理由。

可以说非常有趣了。看完特斯拉干掉雷达，大家下一代全都跟进了，现在特斯拉不用 ISP 了，大家会跟进吗？NVIDIA 的下一代处理器还留不留 ISP？

#特斯拉#