Files
ai-manju/references/native-av.md
T
rong a8e10b7b17 fix: 字幕按实测发声段对齐 + 静音镜/包装踩坑 (v1.2.1)
- 纠正 render.md/pitfalls.md「按设计时间缩放字幕」错误做法,改为只认实测发声段
- 新增 scripts/align_subtitles.py(泛化对齐工具,配置外置、支持 dump-segs/init-config/dry-run)
- render_native.py 加 --ass 参数,读对齐 ASS 不被内置设计时间轴覆盖
- pitfalls/native-av/README/SKILL 补六条踩坑;install.sh 清单同步
2026-11-19 17:14:14 +08:00

13 KiB
Raw Blame History

音画同出(原生对白口型)— 台词镜头的唯一正确路线

结论先行(2026-11-17 实测复盘):人物说话的镜头,不要让视频模型先出无声画面再事后贴嘴。 口型不是后处理问题,是「这段画面诞生时有没有绑定这段声音」的问题。 正解:H3 原生音画同出 + 首帧锁图(I2V) —— 一条节点图同时出画面、人声、环境音,口型由模型原生对齐。 事后 lip-sync(Wav2Lip / LatentSync / InfiniteTalk)只作为没有 64 GB 卡时的降级手段,且天花板明确(见 §1)。


1. 为什么放弃事后 lip-sync(三条路线实测)

路线 设备 实测结果 结论
Wav2Lip 本地 CPU(96×96 贴回 + YuNet 对齐 + 嘴部 mask + 色校正 + 光流慢放) 本机 i5 能跑、RMS 互相关可评估,但嘴部永远是一块 96² 的糊,与 832×1472 的画质断层,近景一眼假 只能当"有嘴动"的占位,不能交付
LatentSync 1.5/1.6(512² 潜扩散) 需 8–18 GB 显存 没能跑通:本机无卡,K8s-30113 是 22 GB 但 4 GiB cgroup 硬限 + H3 驻留,装不下第二套大模型 环境不允许,不是模型不行
InfiniteTalk(Wan2.2-S2V 图生视频) DCU 64 GB 单镜 78 分钟,成片油画感、肤色发蓝、背景糊成一团,人物身份漂移 不可用。它是"音频驱动重演",会把首帧的照片级质感换成它自己的建模质感

判据:这三次失败都不是参数问题,而是路径问题——凡是"后期往已有画面上贴嘴"的方案,画质上限由 lip-sync 模型决定,而不是由你的锚图决定。换环境(有 64 GB 卡)后不要再回头试 lip-sync,直接走 §2。

分镜后果(重要):一旦改走音画同出,正反打结构就必须在生成前定死——每一镜是单人位(谁说话拍谁), 不要再指望"先拍双人镜、后期切嘴"。双人同框镜只在两人都不说话或只有一人有台词时使用,且提示词写 Only <name> speaks. <other> keeps lips closed / silent mouth.


2. 端点与能力(DCU K100 64 GB)

项 值
端点 http://192.168.1.23:30121(ComfyUI 0.45.0,ROCm/gfx928)
显存 K100_AI 65520 MB(64 GB),实测加载后仍有 34 GB 空闲 → I2V 可用
启动参数 --listen 0.0.0.0 --port 30121 --disable-cuda-malloc --use-pytorch-cross-attention(无 --cache-none、无 --fp16-unet)
H3 视频 UNET minimax_h3_fl2va_pruned_w6a8.safetensors(fl2va = 图/文 + 音频联合)
H3 图像 UNET minimax_h3_image_pruned_w4a8.safetensors ← ROCm 只能用 w4a8,禁用 int8_convrot(gfx928 rint bug → NaN → 纯色图)
TE qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors,CLIPLoader type="minimax"
VAE 视频 minimax_h3_video_vae_fp16 / 音频 minimax_h3_audio_vae_fp32 / 图像 minimax_h3_image_vae_fp16
额外 同一实例还挂着 wan2.2_i2v_{high,low}_noise_14B_fp8_scaled + wan_2.1_vae,可按需切 A14B
音轨 原生 aac。新部署不需要 H3AudioClean(老 DCU 30120 才要,见 models.md §4.2)

⚠️ 这台机器调 /api/free 会让服务崩溃(约 20 s 自愈),禁止调用。要干净显存就从队列侧等, 或让部署侧重启。同理:/upload/audio 返回 405,音频也走 /upload/image(同 multipart 字段名 image)。


3. 规格与时长网格(最容易出错的地方)

项 值 说明
分辨率 576×1024(竖屏 9:16) 竖屏短剧默认值;更高分辨率在 K100 上耗时线性涨,先别贪
fps 24(原生) 不要再按 A14B 的 16 fps 算,H3 是 24
帧数网格 length = 17k + 5 合法值 5 / 22 / 39 / 56 / … / 124 / 141 / 158 / 175 / 192 / 209 …
训练区间 124–362 帧(≈ 5.2–15.1 s) 落在区间外的画质明显掉,尤其 <124 帧
上限 3600 帧(≈ 150 s) 单镜别超 15 s,超了就拆镜
采样 20 步 / res_multistep + simple / cfg 1.0 / 无 LoRA 唯一稳定组合,别加步数、别挂 turbo LoRA
耗时 ≈ 90 分钟 / 175 帧(7.3 s) 约 13 min 成片每秒;一集 8 镜 ≈ 12 h → 必须排队过夜,不要守着跑

台词与帧数怎么对齐:中文老年慢速口语约 4.0–4.5 字/秒(含标点停顿)。 目标帧数 = ceil(字数 / 4.2 × 24),再 snap 到 17k+5 向上取整(宁可多留 0.3 s 静默,也不要把尾字切掉)。 台词时间轴最后一句必须落在 总时长 - 0.4 s 之前。


4. 节点图(0.45 / ROCm,实测跑通)

tools/submit_h3_native.py 已封装。要点:走 SamplerCustomAdvanced 链路,MiniMaxH3ImageToVideo 只作条件节点, 它输出 4 个东西:(model?, positive, negative, latent, trim_image) —— 采样必须接它的 输出 1(latent), 不要自己建 EmptyLatent,也不要另外挂 UNET 到 guider。

g = {
 "1": {"class_type":"LoadImage","inputs":{"image":"<上传返回的 name>"}},
 "2": {"class_type":"CLIPLoader","inputs":{"clip_name":"qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors","type":"minimax","device":"default"}},
 "3": {"class_type":"VAELoader","inputs":{"vae_name":"minimax_h3_video_vae_fp16.safetensors"}},
 "4": {"class_type":"UNETLoader","inputs":{"unet_name":"minimax_h3_fl2va_pruned_w6a8.safetensors","weight_dtype":"default"}},
 "5": {"class_type":"MiniMaxH3ImageToVideo","inputs":{"clip":["2",0],"vae":["3",0],"prompt":P,
        "width":576,"height":1024,"length":175,"first_frame":["1",0]}},
 "6": {"class_type":"BasicGuider","inputs":{"model":["4",0],"conditioning":["5",0]}},
 "7": {"class_type":"KSamplerSelect","inputs":{"sampler_name":"res_multistep"}},
 "8": {"class_type":"BasicScheduler","inputs":{"model":["4",0],"scheduler":"simple","steps":20,"denoise":1.0}},
 "9": {"class_type":"RandomNoise","inputs":{"noise_seed":SEED}},
 "10":{"class_type":"SamplerCustomAdvanced","inputs":{"noise":["9",0],"guider":["6",0],
        "sampler":["7",0],"sigmas":["8",0],"latent_image":["5",1]}},
 "11":{"class_type":"VAEDecode","inputs":{"samples":["10",0],"vae":["3",0]}},
 "12":{"class_type":"VAELoader","inputs":{"vae_name":"minimax_h3_audio_vae_fp32.safetensors"}},
 "13":{"class_type":"VAEDecodeAudio","inputs":{"samples":["10",0],"vae":["12",0]}},
 "14":{"class_type":"CreateVideo","inputs":{"images":["11",0],"audio":["13",0],"fps":24,
        "bit_depth":8,"color_space":"sRGB"}},
 "15":{"class_type":"SaveVideo","inputs":{"filename_prefix":"video/h3k","format":"auto","video":["14",0]}},
}

坑:

  • CreateVideo.bit_depth 取 整数 8(合法值 auto / 8 / 10);写 "8-bit" 直接校验失败。
  • SaveVideo.format 传 "auto"(COMFY_DYNAMICCOMBO_V3,传 "video/h264-mp4" 会被静默丢弃)。
  • 上传首帧用 /upload/image(multipart 字段名 image),返回的 name 填进 LoadImage。
  • 提交体仍是 {"prompt": {...}, "client_id": "..."};client_id 用 manju-h3av-<uuid8> 以便清理归属。

5. 提示词:五段式(台词镜头的关键)

写进 40_prompts/<shot>.h3v3.txt(v3 = 五维版本,与老的 .i2v.txt 并存不覆盖)。 逐字复用角色描述段(放 assets/style/),变量只来自 30_shots.json。

[Visual]
<角色名>: exactly the same <性别/年龄/外貌/发型/服装> as in the first frame — <3–5 个可判定特征>.
Photorealistic cinematic <景别>, vertical 9:16, <场景>, <光>, film grain, shallow depth of field.
Keep her face, hairstyle, clothing and the room identical to the first frame.
No text, no letters, no readable words, no logos, no watermark.

[Motion]
0.0s-1.0s: <这一秒身体做什么 + 嘴在做什么>
1.0s-1.4s: lips close, she swallows, eyes hard.
1.4s-3.2s: she speaks again, <情绪动作>, jaw tight.
...
Natural non-exaggerated mouth movement, lips fully visible, no morphing, no face change, single continuous take.

[Camera]
Vertical 9:16 <景别>, <角度> on her face, fixed framing, one continuous shot, no cuts.

[Audio]
Dialogue, Mandarin Chinese, <年龄/性别/音色>, <情绪三个词>, clear and intelligible:
0.0s-1.0s: "第一句"
1.0s-1.4s: silence.
1.4s-3.2s: "第二句"
...
Only <角色名> speaks. No voiceover, no narration, no other voices.
Room tone: <房间底噪>. Music: <一个极简动机 或 none>.

[Narrative]
<一句:这场戏在争什么。不写镜头语言,不写抽象情绪词>

规则:

  1. 台词必须与 [Motion] 的时间轴逐段对齐,且与 30_shots.json 的 line 字面一致(字幕直接用这份原文,不做 ASR)。
  2. 每段 0.4–2.0 s,太长(>2.5 s)模型会吞字或加字。
  3. Only X speaks 必写;双人镜再加 <other> keeps lips closed, silent mouth。
  4. 沉默段也要写(silence. / lips parted, breath audible)——否则模型会自己编声音。
  5. 负面词不要堆一长串;本模型对 no text / no watermark 敏感,其余靠正向可判定描述。
  6. 首帧就带"正在说话"的张口姿态,比闭口更容易出口型;首帧带可读文字仍会被重绘成乱码。

验收(不看完 7 分钟片就别下结论):

  • AudioTranscribe 转写服务端返回的 mp4 音轨,与提示词台词逐字比对(实测一字不差)。 ⚠️ 若转写服务超时(见过连续 3 次 900 s 超时),用 ffmpeg silencedetect 测真实发声段兜底,别反复等 ASR。
  • 抽首 / 中 / 末帧看口型与眼神;
  • 音频波形无 NaN 爆音(有爆音说明踩了老 DCU 的 H3AudioClean 缺失问题)。
  • 🔴 逐镜 volumedetect 扫静音镜:写成 SILENT SHOT 的镜头仍可能自发吐音(EP01 的 S06 吐出 -14 dB 英文, 而首尾底噪只有 -58/-65 dB)。中段远高于首尾 = 吐音,-af volume=0 整段静音。音轨问题,改字幕无效。
  • 字幕时间轴单独验:即便台词逐字对,字幕也可能整体早于口型——[Audio] 的设计秒数不是实际发声时间。 出片前用 tools/align_subtitles.py 按实测发声段对齐(--dry-run 核对),详见 render.md「字幕对齐」。

6. 排队 → 取回(长任务唯一正确的跑法)

单镜 90 分钟,不能把本地进程挂在等待上:会话被回收 / 终端断掉,任务还在服务端跑,你就再也拿不到 pid 了。 正确姿势是三步分离:

# ① 一次性把整集排进服务端队列,拿到并落盘 prompt_id(不等待)
python3 tools/queue_h3_native.py --ep EP01
# ② 随时查状态(服务端成功一个就能下一个)
python3 tools/fetch_h3_native.py --ep EP01 --status
# ③ 取回(可反复跑,已下载的跳过)
python3 tools/fetch_h3_native.py --ep EP01
# ④ 全部取回并验收后,用原生缝合器出片(保留原生音轨、烧字幕;不叠 TTS、不加落版)
python3 tools/render_native.py projects/EP01/30_shots.json --mask

台账:work/EPxx/videos/native/_queue_map.json(shot → prompt_id / 参数 / 时长),与 _h3av_ledger.json 分开存。

自检的隐藏坑(2026-11-17 修):queue_h3_native.py --check 早期把「在 history 里但不是 success」的任务也算成"在队", 结果被 /api/free 或部署中断掉的任务显示成还活着。现在非 success 状态算丢失并打印提示——看到 ⛔ … 非 success 就 --force 重排该镜,不要等。

单图任务被杀后的救回:提交出图脚本 submit_t2i.py 若因本地会话回收/超时被杀,服务端其实还在跑。 拿台账里的 prompt_id 用 fetch_t2i.py --pid <pid> --out <path> 就能把图取回(复用 submit_t2i 的 wait/下载/自检),不必重提交、不浪费算力。

🔴 内存态陷阱(2026-11-17 实际踩到):queue 与 history 都是内存态,实例一重启(重部署、崩了自愈、 换权重)排队的任务全部静默消失,不留任何错误。表现是 fetch --status 一直打印「排队/运行中」—— 因为 GET /history/<pid> 返回 {} 有三义(排队中 / 执行中 / 不存在)。 判据必须交叉核对:GET /queue 里 running+pending 为 0,而你的 pid 在 history 里也查不到 → 任务已丢,重排。 实测:15:16 排了 7 镜,15:43 实例重部署,队列清空,7 镜全丢,直到第二天才发现。 所以:排队后 5 分钟内必须做一次 /queue 存在性自检,交付前再核一次;长任务不要只信本地 map。


7. 与其他阶段的关系(双轨)

镜头类型 音轨来源 阶段 3(TTS) 字幕
有台词的人物镜(本文件路线) H3 原生对白 + 环境音 跳过,不要叠 TTS 直接用提示词里的台词原文 + 时间轴
无台词的动作镜 / 空镜 无 可选:旁白 TTS 按需
需要旁白贯穿的整集 TTS 跑 TTS 时间轴

别做双份声音:H3 镜已经有对白,render.py 混音时把该段的 TTS 轨置空,否则人声重叠。 原生音轨是「整体声场」,不是可编辑配音——要换一句台词,只能重跑该镜(这也是台词必须先定稿的原因)。