- 纠正 render.md/pitfalls.md「按设计时间缩放字幕」错误做法,改为只认实测发声段 - 新增 scripts/align_subtitles.py(泛化对齐工具,配置外置、支持 dump-segs/init-config/dry-run) - render_native.py 加 --ass 参数,读对齐 ASS 不被内置设计时间轴覆盖 - pitfalls/native-av/README/SKILL 补六条踩坑;install.sh 清单同步
13 KiB
音画同出(原生对白口型)— 台词镜头的唯一正确路线
结论先行(2026-11-17 实测复盘):人物说话的镜头,不要让视频模型先出无声画面再事后贴嘴。 口型不是后处理问题,是「这段画面诞生时有没有绑定这段声音」的问题。 正解:H3 原生音画同出 + 首帧锁图(I2V) —— 一条节点图同时出画面、人声、环境音,口型由模型原生对齐。 事后 lip-sync(Wav2Lip / LatentSync / InfiniteTalk)只作为没有 64 GB 卡时的降级手段,且天花板明确(见 §1)。
1. 为什么放弃事后 lip-sync(三条路线实测)
| 路线 | 设备 | 实测结果 | 结论 |
|---|---|---|---|
| Wav2Lip 本地 CPU(96×96 贴回 + YuNet 对齐 + 嘴部 mask + 色校正 + 光流慢放) | 本机 i5 | 能跑、RMS 互相关可评估,但嘴部永远是一块 96² 的糊,与 832×1472 的画质断层,近景一眼假 | 只能当"有嘴动"的占位,不能交付 |
| LatentSync 1.5/1.6(512² 潜扩散) | 需 8–18 GB 显存 | 没能跑通:本机无卡,K8s-30113 是 22 GB 但 4 GiB cgroup 硬限 + H3 驻留,装不下第二套大模型 | 环境不允许,不是模型不行 |
| InfiniteTalk(Wan2.2-S2V 图生视频) | DCU 64 GB | 单镜 78 分钟,成片油画感、肤色发蓝、背景糊成一团,人物身份漂移 | 不可用。它是"音频驱动重演",会把首帧的照片级质感换成它自己的建模质感 |
判据:这三次失败都不是参数问题,而是路径问题——凡是"后期往已有画面上贴嘴"的方案,画质上限由 lip-sync 模型决定,而不是由你的锚图决定。换环境(有 64 GB 卡)后不要再回头试 lip-sync,直接走 §2。
分镜后果(重要):一旦改走音画同出,正反打结构就必须在生成前定死——每一镜是单人位(谁说话拍谁),
不要再指望"先拍双人镜、后期切嘴"。双人同框镜只在两人都不说话或只有一人有台词时使用,且提示词写
Only <name> speaks. <other> keeps lips closed / silent mouth.
2. 端点与能力(DCU K100 64 GB)
| 项 | 值 |
|---|---|
| 端点 | http://192.168.1.23:30121(ComfyUI 0.45.0,ROCm/gfx928) |
| 显存 | K100_AI 65520 MB(64 GB),实测加载后仍有 34 GB 空闲 → I2V 可用 |
| 启动参数 | --listen 0.0.0.0 --port 30121 --disable-cuda-malloc --use-pytorch-cross-attention(无 --cache-none、无 --fp16-unet) |
| H3 视频 UNET | minimax_h3_fl2va_pruned_w6a8.safetensors(fl2va = 图/文 + 音频联合) |
| H3 图像 UNET | minimax_h3_image_pruned_w4a8.safetensors ← ROCm 只能用 w4a8,禁用 int8_convrot(gfx928 rint bug → NaN → 纯色图) |
| TE | qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors,CLIPLoader type="minimax" |
| VAE | 视频 minimax_h3_video_vae_fp16 / 音频 minimax_h3_audio_vae_fp32 / 图像 minimax_h3_image_vae_fp16 |
| 额外 | 同一实例还挂着 wan2.2_i2v_{high,low}_noise_14B_fp8_scaled + wan_2.1_vae,可按需切 A14B |
| 音轨 | 原生 aac。新部署不需要 H3AudioClean(老 DCU 30120 才要,见 models.md §4.2) |
⚠️ 这台机器调
/api/free会让服务崩溃(约 20 s 自愈),禁止调用。要干净显存就从队列侧等, 或让部署侧重启。同理:/upload/audio返回 405,音频也走/upload/image(同 multipart 字段名image)。
3. 规格与时长网格(最容易出错的地方)
| 项 | 值 | 说明 |
|---|---|---|
| 分辨率 | 576×1024(竖屏 9:16) | 竖屏短剧默认值;更高分辨率在 K100 上耗时线性涨,先别贪 |
| fps | 24(原生) | 不要再按 A14B 的 16 fps 算,H3 是 24 |
| 帧数网格 | length = 17k + 5 |
合法值 5 / 22 / 39 / 56 / … / 124 / 141 / 158 / 175 / 192 / 209 … |
| 训练区间 | 124–362 帧(≈ 5.2–15.1 s) | 落在区间外的画质明显掉,尤其 <124 帧 |
| 上限 | 3600 帧(≈ 150 s) | 单镜别超 15 s,超了就拆镜 |
| 采样 | 20 步 / res_multistep + simple / cfg 1.0 / 无 LoRA |
唯一稳定组合,别加步数、别挂 turbo LoRA |
| 耗时 | ≈ 90 分钟 / 175 帧(7.3 s) | 约 13 min 成片每秒;一集 8 镜 ≈ 12 h → 必须排队过夜,不要守着跑 |
台词与帧数怎么对齐:中文老年慢速口语约 4.0–4.5 字/秒(含标点停顿)。
目标帧数 = ceil(字数 / 4.2 × 24),再 snap 到 17k+5 向上取整(宁可多留 0.3 s 静默,也不要把尾字切掉)。
台词时间轴最后一句必须落在 总时长 - 0.4 s 之前。
4. 节点图(0.45 / ROCm,实测跑通)
tools/submit_h3_native.py 已封装。要点:走 SamplerCustomAdvanced 链路,MiniMaxH3ImageToVideo 只作条件节点,
它输出 4 个东西:(model?, positive, negative, latent, trim_image) —— 采样必须接它的 输出 1(latent),
不要自己建 EmptyLatent,也不要另外挂 UNET 到 guider。
g = {
"1": {"class_type":"LoadImage","inputs":{"image":"<上传返回的 name>"}},
"2": {"class_type":"CLIPLoader","inputs":{"clip_name":"qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors","type":"minimax","device":"default"}},
"3": {"class_type":"VAELoader","inputs":{"vae_name":"minimax_h3_video_vae_fp16.safetensors"}},
"4": {"class_type":"UNETLoader","inputs":{"unet_name":"minimax_h3_fl2va_pruned_w6a8.safetensors","weight_dtype":"default"}},
"5": {"class_type":"MiniMaxH3ImageToVideo","inputs":{"clip":["2",0],"vae":["3",0],"prompt":P,
"width":576,"height":1024,"length":175,"first_frame":["1",0]}},
"6": {"class_type":"BasicGuider","inputs":{"model":["4",0],"conditioning":["5",0]}},
"7": {"class_type":"KSamplerSelect","inputs":{"sampler_name":"res_multistep"}},
"8": {"class_type":"BasicScheduler","inputs":{"model":["4",0],"scheduler":"simple","steps":20,"denoise":1.0}},
"9": {"class_type":"RandomNoise","inputs":{"noise_seed":SEED}},
"10":{"class_type":"SamplerCustomAdvanced","inputs":{"noise":["9",0],"guider":["6",0],
"sampler":["7",0],"sigmas":["8",0],"latent_image":["5",1]}},
"11":{"class_type":"VAEDecode","inputs":{"samples":["10",0],"vae":["3",0]}},
"12":{"class_type":"VAELoader","inputs":{"vae_name":"minimax_h3_audio_vae_fp32.safetensors"}},
"13":{"class_type":"VAEDecodeAudio","inputs":{"samples":["10",0],"vae":["12",0]}},
"14":{"class_type":"CreateVideo","inputs":{"images":["11",0],"audio":["13",0],"fps":24,
"bit_depth":8,"color_space":"sRGB"}},
"15":{"class_type":"SaveVideo","inputs":{"filename_prefix":"video/h3k","format":"auto","video":["14",0]}},
}
坑:
CreateVideo.bit_depth取 整数8(合法值auto/8/10);写"8-bit"直接校验失败。SaveVideo.format传"auto"(COMFY_DYNAMICCOMBO_V3,传"video/h264-mp4"会被静默丢弃)。- 上传首帧用
/upload/image(multipart 字段名image),返回的name填进LoadImage。 - 提交体仍是
{"prompt": {...}, "client_id": "..."};client_id用manju-h3av-<uuid8>以便清理归属。
5. 提示词:五段式(台词镜头的关键)
写进 40_prompts/<shot>.h3v3.txt(v3 = 五维版本,与老的 .i2v.txt 并存不覆盖)。
逐字复用角色描述段(放 assets/style/),变量只来自 30_shots.json。
[Visual]
<角色名>: exactly the same <性别/年龄/外貌/发型/服装> as in the first frame — <3–5 个可判定特征>.
Photorealistic cinematic <景别>, vertical 9:16, <场景>, <光>, film grain, shallow depth of field.
Keep her face, hairstyle, clothing and the room identical to the first frame.
No text, no letters, no readable words, no logos, no watermark.
[Motion]
0.0s-1.0s: <这一秒身体做什么 + 嘴在做什么>
1.0s-1.4s: lips close, she swallows, eyes hard.
1.4s-3.2s: she speaks again, <情绪动作>, jaw tight.
...
Natural non-exaggerated mouth movement, lips fully visible, no morphing, no face change, single continuous take.
[Camera]
Vertical 9:16 <景别>, <角度> on her face, fixed framing, one continuous shot, no cuts.
[Audio]
Dialogue, Mandarin Chinese, <年龄/性别/音色>, <情绪三个词>, clear and intelligible:
0.0s-1.0s: "第一句"
1.0s-1.4s: silence.
1.4s-3.2s: "第二句"
...
Only <角色名> speaks. No voiceover, no narration, no other voices.
Room tone: <房间底噪>. Music: <一个极简动机 或 none>.
[Narrative]
<一句:这场戏在争什么。不写镜头语言,不写抽象情绪词>
规则:
- 台词必须与
[Motion]的时间轴逐段对齐,且与30_shots.json的line字面一致(字幕直接用这份原文,不做 ASR)。 - 每段 0.4–2.0 s,太长(>2.5 s)模型会吞字或加字。
Only X speaks必写;双人镜再加<other> keeps lips closed, silent mouth。- 沉默段也要写(
silence./lips parted, breath audible)——否则模型会自己编声音。 - 负面词不要堆一长串;本模型对
no text / no watermark敏感,其余靠正向可判定描述。 - 首帧就带"正在说话"的张口姿态,比闭口更容易出口型;首帧带可读文字仍会被重绘成乱码。
验收(不看完 7 分钟片就别下结论):
AudioTranscribe转写服务端返回的 mp4 音轨,与提示词台词逐字比对(实测一字不差)。 ⚠️ 若转写服务超时(见过连续 3 次 900 s 超时),用ffmpeg silencedetect测真实发声段兜底,别反复等 ASR。- 抽首 / 中 / 末帧看口型与眼神;
- 音频波形无 NaN 爆音(有爆音说明踩了老 DCU 的
H3AudioClean缺失问题)。 - 🔴 逐镜
volumedetect扫静音镜:写成SILENT SHOT的镜头仍可能自发吐音(EP01 的 S06 吐出 -14 dB 英文, 而首尾底噪只有 -58/-65 dB)。中段远高于首尾 = 吐音,-af volume=0整段静音。音轨问题,改字幕无效。 - 字幕时间轴单独验:即便台词逐字对,字幕也可能整体早于口型——
[Audio]的设计秒数不是实际发声时间。 出片前用tools/align_subtitles.py按实测发声段对齐(--dry-run核对),详见 render.md「字幕对齐」。
6. 排队 → 取回(长任务唯一正确的跑法)
单镜 90 分钟,不能把本地进程挂在等待上:会话被回收 / 终端断掉,任务还在服务端跑,你就再也拿不到 pid 了。 正确姿势是三步分离:
# ① 一次性把整集排进服务端队列,拿到并落盘 prompt_id(不等待)
python3 tools/queue_h3_native.py --ep EP01
# ② 随时查状态(服务端成功一个就能下一个)
python3 tools/fetch_h3_native.py --ep EP01 --status
# ③ 取回(可反复跑,已下载的跳过)
python3 tools/fetch_h3_native.py --ep EP01
# ④ 全部取回并验收后,用原生缝合器出片(保留原生音轨、烧字幕;不叠 TTS、不加落版)
python3 tools/render_native.py projects/EP01/30_shots.json --mask
台账:work/EPxx/videos/native/_queue_map.json(shot → prompt_id / 参数 / 时长),与 _h3av_ledger.json 分开存。
自检的隐藏坑(2026-11-17 修):
queue_h3_native.py --check早期把「在 history 里但不是 success」的任务也算成"在队", 结果被/api/free或部署中断掉的任务显示成还活着。现在非 success 状态算丢失并打印提示——看到⛔ … 非 success就--force重排该镜,不要等。
单图任务被杀后的救回:提交出图脚本 submit_t2i.py 若因本地会话回收/超时被杀,服务端其实还在跑。
拿台账里的 prompt_id 用 fetch_t2i.py --pid <pid> --out <path> 就能把图取回(复用 submit_t2i 的 wait/下载/自检),不必重提交、不浪费算力。
🔴 内存态陷阱(2026-11-17 实际踩到):
queue与history都是内存态,实例一重启(重部署、崩了自愈、 换权重)排队的任务全部静默消失,不留任何错误。表现是fetch --status一直打印「排队/运行中」—— 因为GET /history/<pid>返回{}有三义(排队中 / 执行中 / 不存在)。 判据必须交叉核对:GET /queue里 running+pending 为 0,而你的 pid 在 history 里也查不到 → 任务已丢,重排。 实测:15:16 排了 7 镜,15:43 实例重部署,队列清空,7 镜全丢,直到第二天才发现。 所以:排队后 5 分钟内必须做一次/queue存在性自检,交付前再核一次;长任务不要只信本地 map。
7. 与其他阶段的关系(双轨)
| 镜头类型 | 音轨来源 | 阶段 3(TTS) | 字幕 |
|---|---|---|---|
| 有台词的人物镜(本文件路线) | H3 原生对白 + 环境音 | 跳过,不要叠 TTS | 直接用提示词里的台词原文 + 时间轴 |
| 无台词的动作镜 / 空镜 | 无 | 可选:旁白 TTS | 按需 |
| 需要旁白贯穿的整集 | TTS | 跑 | TTS 时间轴 |
别做双份声音:H3 镜已经有对白,render.py 混音时把该段的 TTS 轨置空,否则人声重叠。
原生音轨是「整体声场」,不是可编辑配音——要换一句台词,只能重跑该镜(这也是台词必须先定稿的原因)。