大懒货
26-11-17 17:21 微博认证:浙江大学心理学博士

之前有写过关于NV的Alpamayo-R1论文解读,可以回顾一下~

链接:http://t.cn/AXbiKLvu

英伟达这次推出的Alpamayo2 Edge 相比于前者,更强调让推理能力在车端实时运行它把一个挺现实的问题摆上了台面:车端算力就这么多,什么路况值得让模型多算一步?

比如前面一辆厢式货车突然往左绕,你还看不见它前面的东西。货车横移这个动作本身就是个线索:前面可能有个被挡住的障碍。这时候,多看几帧、早点收油留出余量,比等障碍露出来再处理更有意义。但同样是货车往左走,如果它只是正常换道,你也不希望车每次都跟着点一脚刹车。推理有没有用,最后得看它有没有改变减速时机和留出的空间。

Alpamayo 2 Edge 的做法,是让 20 亿参数的 VLA 按场景决定要不要展开显式推理。常规路况可以只输出一个代表「常规」的标记,轨迹照算;需要展开时,再生成因果推理。这里有个容易忽略的细节:按公开部署代码,负责生成轨迹的扩散模块会读取语言模型的注意力缓存。轨迹模块可以利用前面处理过的场景和推理信息,不需要等一段中文或英文写完了,再把那段文字当成驾驶指令

再看时延。英伟达用 Alpamayo 2 Super 生成推理训练样本,把能力教给小模型;上车端再用 FP8 量化和 DFlash2 加速。官方参考配置在 DRIVE AGX Thor-X 上跑出了 160–190 毫秒的画面到轨迹时延,随推理量变化

Alpamayo 2 Edge把显式推理变成了一笔可以按路况分配的算力开销,是面向真实车端运行的新一代轻量化模型[有票了][有票了][有票了]@首席线索官 @影总Tim
#懒博小课堂##汽车黑科技#

发布于 浙江