Files
rong a8e10b7b17 fix: 字幕按实测发声段对齐 + 静音镜/包装踩坑 (v1.2.1)
- 纠正 render.md/pitfalls.md「按设计时间缩放字幕」错误做法,改为只认实测发声段
- 新增 scripts/align_subtitles.py(泛化对齐工具,配置外置、支持 dump-segs/init-config/dry-run)
- render_native.py 加 --ass 参数,读对齐 ASS 不被内置设计时间轴覆盖
- pitfalls/native-av/README/SKILL 补六条踩坑;install.sh 清单同步
2026-11-19 17:14:14 +08:00

8.5 KiB
Raw Permalink Blame History

缝合与导出

先分流:你现在缝的是哪条路线?(2026-11-18 补)

路线 镜头类型 音轨来源 用哪个脚本
A. 原生音画同出(台词镜首选) 有人说话、走 H3 fl2va 模型原生 aac(对白+环境音),不可编辑 render_native.py
B. TTS 配音(无音轨镜) 静音动作镜 / 空镜 / 旁白贯穿 edge-tts 后期配 render.py

两条路线不要混:给原生音画镜套 render.py 会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。 台词镜一律走下方「路线 B」的 render_native.py。


路线 B:原生音画同出缝合(render_native.py)

台词镜的音轨是模型整体声场,不是可编辑配音。缝合器的职责只有三件:直拼 / 烧字幕 / 遮盖瑕疵,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。

python3 tools/render_native.py projects/EP01/30_shots.json            # 直拼
python3 tools/render_native.py projects/EP01/30_shots.json --mask     # 开启画面瑕疵遮盖
python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4

关键约定(都是踩过坑换来的):

  1. 按源实际时长拼接,不按设计时长:probe_duration() 读每个 Sxx.mp4 的真实时长,累计成字幕时间轴。 按 30_shots.json 的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。
  2. 字幕台词取自 h3v3 [Audio] 段,不是 30_shots.json 的 line、不是 ASR: 正则解析 0.0s-0.9s: "台词" 逐句,台词文本用引号内原文(=定稿逐字)。 台词务必用中文全角引号(见 pitfalls.md),否则半角双引号会干扰解析。 🔴 但时间轴绝不能直接用 [Audio] 里的设计时间——见下方「字幕对齐」:H3 实际发声与设计时间系统性错位, 照抄设计时间(哪怕按 源实际/设计 缩放)会导致字幕整体早于口型 0.5–1.5 s。render_native.py 旧版按缩放做的已废弃, 出片前必须用 align_subtitles.py 按实测发声段重排。
  3. 原生音轨一路保留:标准化只做 setsar=1,fps=24,format=yuv420p,-map 0:a 原样带过去,重编码 aac 128k/32k。 绝不叠 TTS。
  4. 画面瑕疵遮盖(--mask,按镜头ID配 MASK_REGIONS,无瑕疵则不开):
    • 局部乱码文字(如药盒上的假中文字)→ crop + boxblur + overlay 轻度模糊;
    • 模型自发时间戳 / 座位数字 → 纯黑实心条 drawbox 覆盖。
    • ⚠️ 别用 boxblur 去盖时间戳——静态 ffmpeg 上会出亮块反而更显眼,且矩形要足够宽包住整串字符。
    • 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。
  5. 保持 576×1024 / 24fps 无损:concat 后一次烧 ASS、一次编码,-movflags +faststart。
  6. 输出核验:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,确认有 aac 音轨才算成功。

字幕对齐:按实测发声段,不按设计时间(2026-11-19 血泪)

症状:字幕和说话对不上,且越到句尾偏得越多。 根因:h3v3 [Audio] 里的秒数是写提示词时的设计值,H3 实际说话的语速、停顿、起句延迟与设计系统性错位 (EP01 实测:S01 首句设计 0.0–0.9 s,人实际 0.54–1.0 s 才出声;后面逐句累积偏差更大)。 所以任何形式的设计时间(原样 / 按 源实际/设计 缩放)都不能直接当字幕时间轴——这是旧 render_native.py 的错误,已废弃。

正确做法(tools/align_subtitles.py 已封装,--dry-run 先看时间轴):

  1. 台词原文不碰:仍取 [Audio] 引号内逐字定稿,只重排时间。
  2. 测真实发声段:逐镜对原生 Sxx.mp4 跑 silencedetect=noise=-32dB:d=0.12,从静音块反推发声区间 [(start,end)]。 AudioTranscribe 转写服务常超时(EP01 连续 3 次 900 s 超时),不要依赖 ASR 做时间对齐;波形检测更准且可复现。
  3. 逐句映射到发声段:每镜用一张 ALIGN 表把「发声段索引」分配给各句;一句话被停顿拆成多段就合并多段索引, 连读挤在一段的多句(如 S08)就按各句设计时长比例切分该段。段索引必须与检测阈值同一次生成,混用不同阈值会错位。
  4. 加边:每句前后各 +40 ms 包住语音,最短 0.45 s 保证可读。
  5. --dry-run 必看:打印每镜「实际发声段数 / 台词句数 / 对齐后时间轴」。 若某句落到 0.1–0.2 s 的极短段(气口/吸气),说明段索引错了,重排后再编码。
  6. 重出:对齐后的 ep.ass 交给 render_native.py 烧录(或直接用脚本内的缝合),旧成片先备份。

静音镜要单独验音轨:设计成 SILENT SHOT 的镜头,H3 仍可能自发吐音(EP01 的 S06 吐出 -14 dB 的英文)。 逐镜 volumedetect 扫一遍,本该静音的镜若中段响度远高于首尾底噪(首尾 -58/-65 dB、中段 -14 dB), 用 -af volume=0 整段静音后重拼。这是音轨问题,改字幕没用;药盒上的字母是画面本身,也不是烧录字幕,别误判成英文台词。

后期包装层(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上, 不动原生音轨与已烧字幕,典型实现见项目侧 render_package.py(文案与时间窗按剧集改写)。 包装样式两条铁律(2026-11-19):① 全片叠字统一一种形式——数据角标用 BorderStyle=1 + 深色描边 + 透明底, 别用 BorderStyle=3 实心底框(会出突兀的"蓝底白字");② 角标文案不得与对白字幕重复—— EP01 曾同时出现对白「十七例不良反应。」和角标「十七例不良反应 · 零上报」,应删其一。


路线 A:TTS 配音缝合(render.py)

tools/render.py 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。只用于无原生音轨的镜头。

环境

  • ffmpeg 用 pip install --user imageio-ffmpeg 的静态版;脚本运行时调 imageio_ffmpeg.get_ffmpeg_exe()。
  • 不要用 brew 装:macOS 12 + Homebrew 6 有 dav1d Ruby bug。
  • 成片规格从 config/pipeline.json → output 读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。

逐段标准化

  1. 去水印:仅当源有水印时用 --crop-bottom 60(crop 去带 + 居中填充),不用 drawbox。本链路 I2V 输出通常无水印,默认 0。
  2. 补足时长:I2V 约 5 秒画面用 tpad=stop_mode=clone 克隆尾帧补足到 duration;清单标 "pad": true。
  3. keepSeconds 局部修正:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在 30_shots.json。
  4. 统一 30fps + format=yuv420p。

字幕

  • 取 line 完整旁白,按标点折 1–3 行,标点不落单;不在生成阶段烧字。
  • 字体用系统中文体(如 PingFang.ttc),通过 fontsdir 指定。
  • 竖排文字用 ASS 的 \N 逐字分行。

包装

  • HUD:横排 / 竖排两种,全片文字只标一次(一横一竖);时间窗按累计 duration 计算。
  • 落版:光环 / 光束 / 星点 + zoompan 缓推,用 tools/make_overlay.py 程序化生成(零积分)。
  • zoompan 的 d 取总帧数(2s×30fps=60),s=720x1280:fps=30 并补 format=yuv420p,才能与主线 concat 一次编码。
  • 片头 3 秒内出现核心冲突,不做长片头;转场克制。

缝合顺序

先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。

配音先于剪辑

work/EPxx/audio/vo_NN.mp3 由 edge-tts 生成(音色见 config/pipeline.json → tts.voice)。先量出每句实际时长再回填 duration。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。


交付(两条路线通用)

  • 只拼 status: adopted 的片段;rejected 另建候选目录,保留旧采用文件与提示词历史。
  • 导出后登记 renders/INDEX.md(路径、时长、校验和、生成参数、来源片段),成片本体不入库。
  • 交付文案区分「已生成 / 已采用 / 已合成 / 已归集」。

商用前核对音色授权与 AI 生成内容标识要求。