试着用预演制作 AI 视频：粗糙一点也值得做
我试着把用方块和人体模型制作的简单预演交给 AI 视频生成工具。预演是一种粗略的视频，用于事先确定人物的位置和动作，以及镜头运动。
先说结论：相当好用。不过，它并不会原封不动地还原每一个细节。相反，当你提供大致的演出设计时，它会很好地补足缺失的部分。作为这种用途的蓝图，预演非常方便。
对比预演与生成结果
所有视频均为：上方是 AI 生成的视频，下方是原始预演。每段约 15 秒。我想测试的是，即使不细致制作背景和人物，究竟能传达多少场景流程。
海边咖啡馆
从简单的桌椅和人物布局，变成黄昏时分的咖啡馆。将把饮料送到嘴边等动作，转化为写实风格的画面。
漫步夜街
用预演指定人物的位置和行走方向。再通过提示词，将明亮得像白天一样的简朴街景处理成夜晚的城市。
海中的海龟
从粗略的海底和海龟动作，变成拥有水下光线与珊瑚的景观。这是一个很容易看出视觉补全效果的样例。
海边跑步
指定奔跑人物和跟拍镜头的运动。粗略的背景被替换成海滨步道。
雨中街道与有轨电车
以撑伞人物和有轨电车的布局为基础，加入雨夜的氛围。
制作方法很简单
这次的制作流程如下。
- 用 Python＋Blender 4.2 制作由方块和简单形状构成的预演；人物动作还使用了 Mixamo。
- 用 Codex 的图像生成准备人物等参考图像。
- 将预演、参考图像和参考音频交给 MiniMax-H3 Ref2VA，生成约 15 秒的视频。
- 台词使用 HiggsAudio v3，音效使用 Stable Audio 3 Medium，BGM 使用 ACE-Step 1.5 制作，再用 ffmpeg 进行混音和剪辑。制作脚本与执行管理使用了 Claude Code。
提示的关键在于划分参考资料的角色：让它将“图像”用于参考脸部和服装，将“预演”用于参考布局、动作和镜头运动，并说明不要沿用人体模型或方块的外观。夜晚、雨天、灯光等最终效果则通过文字指定。
能用，但细节会有不少变化
人物布局、移动方向、动作顺序和镜头的大致运动比较容易传达；但诸如“第几秒停止”“要缩放多少”之类的细致要求，则可能出现偏差，或完全没有被体现。它并不能严丝合缝地固定每一个细节。
此外，预演中的灯光闪烁，或排列得过于规则的背景，也有时会残留在生成结果中。预演的灯光和造型最好都尽量简单，专注于想表达的动作。
尽管如此，它能从大致的指示中补全出好看的画面，仍然很方便。细节会被改动不少，但要传达演出的整体框架已经完全够用。不必做得完美，即使粗糙，也最好使用预演——这就是我这次的感受。