首个原生全模态世界模型能实时修改虚拟世界吗?

2026-09-03 14:06 来源:科技观察窗

  首个原生全模态交互式世界模型HiDream-O1-World已经来了——它不仅能第一视角漫游,还能用一句话实时修改虚拟场景,让AI从“生成内容”迈入“生成世界”的新阶段!

  一、从“看世界”到“改世界”,实时编辑已成现实

  一句话改场景:用户输入文字指令,即可实时变换物体与环境,比如把哥特式图书馆改成水下世界,物理真实感拉满。

  实时交互漫游:支持第一人称视角自由探索,从写实城市、自然地貌到二次元、3A游戏风格,都能在同一模型中流畅生成与持续推演。

  时空一致性:模型解决了长时空一致性与物理响应两大核心难题,确保编辑后场景不穿帮、不扭曲。

  二、原生全模态架构是技术底座

  统一UIT架构:HiDream-O1-World基于自研原生全模态UiT架构,将文本、图像、交互等多模态信息放在同一空间联合训练,而非简单拼接。

  空间记忆能力:模型能保持空间记忆,理解物体间的几何与物理关系,从而支持精准的实时编辑操作。

  物理数据驱动:通过物理数据驱动训练,模型在W-Bench评测中综合登顶,验证了其物理真实感。

  三、应用前景:从游戏到机器人的“世界模拟器”

  AI互动影游:用户可深度参与剧情与场景构建,实现真正意义上的“互动叙事”。

  机器人虚拟训练:世界模型可为机器人提供逼真的仿真环境,解决真实数据匮乏难题,加速具身智能落地。

  创作效率革命:设计师上传草图,AI同步生成文案、分镜与参考配色,大幅简化工作链路。