Simon的白日梦 25-11-08 12:16
微博认证:科技博主

一个可以本地部署端到端视频生成agent!从简单文字输入到故事、分镜、视频生成一次搞定!(当然视频生成部分要调API)🥹
ViMax:智能多智能体视频生成系统(导演、编剧、制片与生成器一体化)

(ViMax: Agentic Video Generation — Director, Screenwriter, Producer, and Video Generator All-in-One)
🧐一句话总结:

ViMax 是由香港大学数据科学实验室(HKUDS)发布的端到端多智能体视频生成框架,能从一个创意概念自动生成完整脚本、分镜、镜头规划与最终视频,首次实现“全自动影视制作流水线”的原型化。
➡️链接:http://t.cn/AXAnlf2D
✨重点

●🎬 核心理念:AI化影视全流程生产

ViMax 将“导演、编剧、制片人、视频生成器”整合于同一系统中,用户只需输入一个创意或剧本,即可自动完成故事编写、角色设定、镜头脚本、场景设计与视频生成。
●💡 多模态任务统一支持

系统支持四种任务模式:
🌟 Idea2Video:从文字创意生成完整视频故事;
📖 Novel2Video:将长篇小说自动改编为分集剧集;
📝 Script2Video:根据剧本生成分镜与成片;
🤳 AutoCameo:用户上传照片即可“出演”AI生成的视频中。
●🧠 多智能体协同架构

ViMax 使用多智能体 (Multi-Agent) 协作机制:
脚本理解代理:抽取角色、环境与风格意图;
镜头规划代理:根据剧本生成分镜与镜头列表;
视觉资产规划代理:自动选择参考图并设计场景布局;
一致性校验代理:利用多模态模型检测角色与场景一致性;
合成代理:并行生成镜头并拼接为完整视频。
●📈 长视频生成突破

通过智能分镜与多摄像机模拟,ViMax 可生成分钟级视频,保持人物外观与场景一致性,解决了主流视频生成工具(如Pika、Runway、Sora)在长时序连续性方面的短板。
●🎨 智能故事板系统

采用电影级分镜语言(cinematography language)生成镜头节奏与叙事节拍,实现结构化“视觉剧本”生成。
●⚙️ 自动化一致性检测

系统通过 MLLM/VLM 模型对多帧并行生成结果进行一致性筛选,模仿人类导演的“最佳镜头选择”流程。

#AI白日梦想家[超话]# #ai创造营# #你好人工智能时代# #ai生活指南#

发布于 广西