VAST的世界模型,今天有了新成果。
实时世界模型EdenLive,正式发布并开源。
据VAST介绍,EdenLive首次实现了在实时生成的前提下,同时完成任意参考输入、任意画风生成和长时连续运行。
具体来说,给它简化场景或参考视频,再配上目标首帧和提示词,就能沿着参考的布局与运动,持续生成写实、二次元等不同画风的精细画面。
参考来源可以不同,生成画风可以指定,而这些变化都能在实时生成过程中呈现。
在单张消费级显卡Nvidia RTX 5090上、720P条件下,5B模型的生成速度超过24FPS,还能持续生成分钟级画面。
据VAST介绍,从用户输入操作到对应画面出现,这套系统目前的端到端延迟为百毫秒级。
画面持续变化的同时,交互规则和世界状态由上游交互系统维护。系统接收玩家操作、更新状态,EdenLive再根据对应的参考画面,将这些变化实时呈现出来。
最近,AI在3D场景搭建与交互创作上的能力,变得越来越直观。
GPT-6 Astra就是一个典型例子:它已经能够在Blender里搭建房屋,再将其转入Unreal Engine 5,形成可以进入、漫游的场景。
当AI能够搭建场景、设计交互玩法,如何让这些内容获得精细且实时的视觉表现,也就成为接下来需要解决的问题。
在这样的背景下,一条技术路线逐渐成为行业共识:由交互系统维护底层状态和运行规则,再由生成模型负责视觉渲染。
而这套分工,VAST早在今年6月初就已经明确并对外发布成果。
当时公开的Project Eden研究预览,已将「状态维护与视觉渲染解耦」作为核心设计。
从时间上看,这一路线选择早于行业共识形成约3-4个月。
如今,EdenLive作为这条路线的阶段性成果发布,并开放模型权重和推理代码,同步公开技术报告与端到端Demo。
代码:http://t.cn/AXl3sNTV
项目主页:http://t.cn/AXl3sNTt
技术报告:http://t.cn/AXl3sNTc
开放权重:http://t.cn/AXl3sNT5
