类星频道
24-11-27 18:54 微博认证:汽车博主 微博原创视频博主

士别三年,当刮目相看。

今天参加了商汤绝影的 AI DAY,上一次去参加绝影的活动还是三年前,绝影是商汤科技旗下智能汽车平台独立出的新品牌,商汤主营业务也是偏向 AI 的,截止今天商汤港股市值是 520 亿港币。

从 2021 年开始,绝影的高速智驾方案量产落地广汽的昊铂 GT,在极氪 X 量产智能 B 柱交互系统。蔚来的全舱人脸识别技术,全舱记忆功能。哪吒 S 的高速智驾、小米 SU7 小爱同学的大模型等等都有绝影的影子。

目前商汤绝影已经和 30+ 车企合作,覆盖 100 多款车型,今年年底累计交付量预计会超过 350 万辆。

以上是一些基础信息,让大家简单了解一下商汤绝影。

- 我叫分割线 -

今天讲的主要是集中在智舱和智驾,先说或智舱。

- 主题是让智能汽车成为 A New Member For U 翻译过来就是「你的家庭新成员」。主要侧重在语音层面,当然这是和舱内感知融合的语音能力。

- New Member 会「察言观色」,感知你的情绪,理解需求,简单理解就是将语音助手从被动变成主动。例如开车过程中,后排的娃娃睡着了,语音助手会主动将空调温度升高,音乐调低,甚至是驾驶模式也会变成舒适模式。

- 这也是依靠多模态的大模型,对车内信息进行感知,包括文字、图像、音视频进行处理,并且具备记忆能力,除了临时记忆和场景记忆外,还有长期记忆的能力,通过不断用车迭代,从用户长期使用习惯来进行优化。通过三种记忆组成记忆框架,来进行交互。

- 同时具备推理能力,分析用户的当前行为并预测下一步需求。

- 响应速度也极快,舱内超 80% 的场景任务可以由端侧快速响应。更复杂的场景会进行端云协同的模式。这和极越的语音助手类似,极越的语音助手反应确实非常快,可以后续关注一下绝影量产上车后的表现。

- 隐私方面,绝影的方案是「数据跟人走」、「隐私数据不出车」。

再来看下智驾:

- 绝影打造了三个量产智驾解决方案,其中两个是基于地平线 J6E 和 J6M 两个平台,打造 AD Pro 和 AD MAX 两个方案,其中 AD MAX 能够实现城区无图 NOP,前者就是在高速方面了,两者算力分别为 80 和 128 TOPS,基于 J6 打造的方案在 2025 年 Q2 就会量产交付。

- 还有一个则是基于 UniAD 打造的端到端智驾方案 AD Ultra,无图无激光雷达,单毫米波雷达和 11 个摄像头组成感知硬件,搭载 200 + TOPS 的车载算力平台,从硬件来看,这套方案的价格应该不会太贵。

- 商汤绝影目前已经和大卓智能(奇瑞)和东风汽车达成战略合作,端到端方案预计在明年 Q4 落地。

- 绝影还有一个世界模型,命名为「开悟」。世界模型的主要目的就是补充数据,通过大模型生成仿真数据,用「真实数据和仿真数据」共同对智驾进行训练。之前 Tesla、蔚来、理想、小鹏都提到过。

- 世界模型最重要的能力就是生成高质量的视频数据,通过多模态大模型理解真实世界的物理规则、交通规则等等,从而生成更加逼真的视频。目前「开悟」生成的视频中,汽车和路灯都有影子,雨天时积水路面还会产生倒影。

- 「开悟」的参数可以记一下,视频时长最长为 150 秒,分辨率可达 1080P,视角可以实现 11V,11 V 对模型前后时空一致提出了很高的要求。同时可以进行精细控制,编辑长尾场景,理解成魔兽争霸的地图编辑器好了。

- 值得一提的是绝影通过开悟打造了端到端智驾场景集,覆盖各种天气、光照条件、道路类型和动静态交互的场景种类达 1024 类,构建了千万级的场景库,2025 年将会向全行业开放。

商汤总算力规模达到 20000 PFLOPS,换算下就是 20 EFLOPS,拥有超过 5.4 万块 GPU,需要注意的是这是商汤科技的总算力哈。

这个语音能力给大家看看视频,有点 1 - 100 的感觉了。

#商汤科技##商汤绝影# http://t.cn/A6mbycuZ

发布于 上海