宝玉xp
26-06-11 10:57 微博认证:前微软Asp.Net最有价值专家 2025微博年度新知博主 科技博主

这段视频展示了一个极其前沿且硬核的视频制作方式:视频完全没有使用传统的非编软件(如 Premiere 或 Final Cut),而是由 Claude Code 配合 Fable 5 通过全自动编写代码和调用命令行工具“剪辑”而成的。

整个工作流被抽象成了一个软件工程项目,主要包含以下几个关键步骤:

1. 全量语音转写与时间戳打点 (Whisper): 将拍摄的 25GB 原始素材(17个 Take,4个场景)交给本地运行的 Whisper 模型。模型不仅输出了文本,还生成了精确到毫秒级的单词时间戳 JSON 文件。

2. AI 智能挑选最佳镜头 (Subagents): 多个 Subagent(子智能体)基于生成的 JSON 文件,自动分析并剔除了包含“嗯”、“啊”等停顿词的废片,选出了表达最清晰、结尾最干净的备选片段。

3. FFmpeg 自动粗剪: 将 AI 挑选出的最终片段生成一个决策 JSON 文件,然后直接通过代码调用 ffmpeg,将这些片段无缝拼接到一起,完成第一版粗剪。

4. 纯代码自定义调色 (Color Grading): AI 从零开始手写了 LUTs(色彩查找表)代码,并且为了方便人类介入,它还自动生成了一个带有滑块的 HTML 网页,让人类可以通过拖拽滑块直观地调整色温、亮度和对比度,调好后的参数会直接传回代码中。

5. React 组件化动画制作 (Remotion): 并没有使用 After Effects。AI 将原本静态的图形文件转写成了基于 React 的 Remotion 动画组件。利用第一步生成的单词时间戳,AI 实现了极其精准的“卡点”——当作者念出特定的词(如 "right")时,UI 动画会自动触发,完全不需要手动对齐时间轴。

6. Figma MCP 协作打磨: AI 将生成的画面导出到 Figma 中,让人类设计团队进行排版和视觉优化。人类修改完毕后,AI 再通过 MCP(模型上下文协议)将 Figma 的最新设计自动“抓”回代码里,最终渲染出 4K 24fps 的成片。 http://t.cn/AXa73v6c

发布于 美国