未来数码猫Sir
26-11-22 17:15 微博认证:科技博主

#特斯拉FSD实景界面很炫#刚刚看到特斯拉 FSD V15的像GTA一样实景视图,还以为只是把传统 360 环视的照片拼在一起,顺手拉高了视角。仔细看了一下介绍,底层架构完全不是一回事。

传统360环视靠几何投影把摄像头画面硬拼起来,视角一拉高,边缘就会畸变撕裂。更关键的是,把原始画面贴在屏幕上,无法证明系统有没有漏检。

老版本FSD(V12-V14)走的是另一条路:先做目标检测、车道线拟合、占用网络,输出一堆坐标和标签,再交给类似游戏引擎的渲染管线,调用预置的灰白 3D 模型摆上去。链路碎、开销大,遇到模型库里没有的异形车,屏幕里的模型就会乱闪。

V15直接换成了神经渲染,8颗摄像头的数据输入全新的统一视觉编码器,压缩成包含 3D 几何、光影和物理规律的高维隐空间特征;再直接挂一个生成式渲染头,从任意虚拟视角实时解码出像素。屏幕上看到的前车尾灯、路面积水甚至云彩,全都是AI实时生成的。

反直觉的是,画质提升了,算力消耗反而更低。因为100亿参数的主干网络为了开车,本来就要把周围的 3D 空间算透;现在省掉了中间的3D 模型渲染管线,直接把现成特征解码输出,属于顺手产出的副产品。

这波更新,估计够同行们追很久了。(这里的同行指的是美国的通用、福特等)

发布于 安徽