- 纠正 render.md/pitfalls.md「按设计时间缩放字幕」错误做法,改为只认实测发声段 - 新增 scripts/align_subtitles.py(泛化对齐工具,配置外置、支持 dump-segs/init-config/dry-run) - render_native.py 加 --ass 参数,读对齐 ASS 不被内置设计时间轴覆盖 - pitfalls/native-av/README/SKILL 补六条踩坑;install.sh 清单同步
8.5 KiB
缝合与导出
先分流:你现在缝的是哪条路线?(2026-11-18 补)
路线 镜头类型 音轨来源 用哪个脚本 A. 原生音画同出(台词镜首选) 有人说话、走 H3 fl2va模型原生 aac(对白+环境音),不可编辑 render_native.pyB. TTS 配音(无音轨镜) 静音动作镜 / 空镜 / 旁白贯穿 edge-tts 后期配 render.py两条路线不要混:给原生音画镜套
render.py会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。 台词镜一律走下方「路线 B」的render_native.py。
路线 B:原生音画同出缝合(render_native.py)
台词镜的音轨是模型整体声场,不是可编辑配音。缝合器的职责只有三件:直拼 / 烧字幕 / 遮盖瑕疵,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。
python3 tools/render_native.py projects/EP01/30_shots.json # 直拼
python3 tools/render_native.py projects/EP01/30_shots.json --mask # 开启画面瑕疵遮盖
python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4
关键约定(都是踩过坑换来的):
- 按源实际时长拼接,不按设计时长:
probe_duration()读每个Sxx.mp4的真实时长,累计成字幕时间轴。 按30_shots.json的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。 - 字幕台词取自 h3v3
[Audio]段,不是30_shots.json的line、不是 ASR: 正则解析0.0s-0.9s: "台词"逐句,台词文本用引号内原文(=定稿逐字)。 台词务必用中文全角引号(见 pitfalls.md),否则半角双引号会干扰解析。 🔴 但时间轴绝不能直接用[Audio]里的设计时间——见下方「字幕对齐」:H3 实际发声与设计时间系统性错位, 照抄设计时间(哪怕按源实际/设计缩放)会导致字幕整体早于口型 0.5–1.5 s。render_native.py旧版按缩放做的已废弃, 出片前必须用align_subtitles.py按实测发声段重排。 - 原生音轨一路保留:标准化只做
setsar=1,fps=24,format=yuv420p,-map 0:a原样带过去,重编码 aac 128k/32k。 绝不叠 TTS。 - 画面瑕疵遮盖(
--mask,按镜头ID配MASK_REGIONS,无瑕疵则不开):- 局部乱码文字(如药盒上的假中文字)→
crop + boxblur + overlay轻度模糊; - 模型自发时间戳 / 座位数字 → 纯黑实心条
drawbox覆盖。 - ⚠️ 别用
boxblur去盖时间戳——静态 ffmpeg 上会出亮块反而更显眼,且矩形要足够宽包住整串字符。 - 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。
- 局部乱码文字(如药盒上的假中文字)→
- 保持 576×1024 / 24fps 无损:concat 后一次烧 ASS、一次编码,
-movflags +faststart。 - 输出核验:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,确认有 aac 音轨才算成功。
字幕对齐:按实测发声段,不按设计时间(2026-11-19 血泪)
症状:字幕和说话对不上,且越到句尾偏得越多。
根因:h3v3 [Audio] 里的秒数是写提示词时的设计值,H3 实际说话的语速、停顿、起句延迟与设计系统性错位
(EP01 实测:S01 首句设计 0.0–0.9 s,人实际 0.54–1.0 s 才出声;后面逐句累积偏差更大)。
所以任何形式的设计时间(原样 / 按 源实际/设计 缩放)都不能直接当字幕时间轴——这是旧 render_native.py 的错误,已废弃。
正确做法(tools/align_subtitles.py 已封装,--dry-run 先看时间轴):
- 台词原文不碰:仍取
[Audio]引号内逐字定稿,只重排时间。 - 测真实发声段:逐镜对原生
Sxx.mp4跑silencedetect=noise=-32dB:d=0.12,从静音块反推发声区间[(start,end)]。AudioTranscribe转写服务常超时(EP01 连续 3 次 900 s 超时),不要依赖 ASR 做时间对齐;波形检测更准且可复现。 - 逐句映射到发声段:每镜用一张
ALIGN表把「发声段索引」分配给各句;一句话被停顿拆成多段就合并多段索引, 连读挤在一段的多句(如 S08)就按各句设计时长比例切分该段。段索引必须与检测阈值同一次生成,混用不同阈值会错位。 - 加边:每句前后各 +40 ms 包住语音,最短 0.45 s 保证可读。
--dry-run必看:打印每镜「实际发声段数 / 台词句数 / 对齐后时间轴」。 若某句落到 0.1–0.2 s 的极短段(气口/吸气),说明段索引错了,重排后再编码。- 重出:对齐后的
ep.ass交给render_native.py烧录(或直接用脚本内的缝合),旧成片先备份。
静音镜要单独验音轨:设计成 SILENT SHOT 的镜头,H3 仍可能自发吐音(EP01 的 S06 吐出 -14 dB 的英文)。
逐镜 volumedetect 扫一遍,本该静音的镜若中段响度远高于首尾底噪(首尾 -58/-65 dB、中段 -14 dB),
用 -af volume=0 整段静音后重拼。这是音轨问题,改字幕没用;药盒上的字母是画面本身,也不是烧录字幕,别误判成英文台词。
后期包装层(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上,
不动原生音轨与已烧字幕,典型实现见项目侧 render_package.py(文案与时间窗按剧集改写)。
包装样式两条铁律(2026-11-19):① 全片叠字统一一种形式——数据角标用 BorderStyle=1 + 深色描边 + 透明底,
别用 BorderStyle=3 实心底框(会出突兀的"蓝底白字");② 角标文案不得与对白字幕重复——
EP01 曾同时出现对白「十七例不良反应。」和角标「十七例不良反应 · 零上报」,应删其一。
路线 A:TTS 配音缝合(render.py)
tools/render.py 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。只用于无原生音轨的镜头。
环境
- ffmpeg 用
pip install --user imageio-ffmpeg的静态版;脚本运行时调imageio_ffmpeg.get_ffmpeg_exe()。 - 不要用 brew 装:macOS 12 + Homebrew 6 有 dav1d Ruby bug。
- 成片规格从
config/pipeline.json → output读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。
逐段标准化
- 去水印:仅当源有水印时用
--crop-bottom 60(crop 去带 + 居中填充),不用 drawbox。本链路 I2V 输出通常无水印,默认 0。 - 补足时长:I2V 约 5 秒画面用
tpad=stop_mode=clone克隆尾帧补足到duration;清单标"pad": true。 keepSeconds局部修正:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在30_shots.json。- 统一 30fps +
format=yuv420p。
字幕
- 取
line完整旁白,按标点折 1–3 行,标点不落单;不在生成阶段烧字。 - 字体用系统中文体(如 PingFang.ttc),通过
fontsdir指定。 - 竖排文字用 ASS 的
\N逐字分行。
包装
- HUD:横排 / 竖排两种,全片文字只标一次(一横一竖);时间窗按累计
duration计算。 - 落版:光环 / 光束 / 星点 +
zoompan缓推,用tools/make_overlay.py程序化生成(零积分)。 zoompan的d取总帧数(2s×30fps=60),s=720x1280:fps=30并补format=yuv420p,才能与主线 concat 一次编码。- 片头 3 秒内出现核心冲突,不做长片头;转场克制。
缝合顺序
先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。
配音先于剪辑
work/EPxx/audio/vo_NN.mp3 由 edge-tts 生成(音色见 config/pipeline.json → tts.voice)。先量出每句实际时长再回填 duration。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。
交付(两条路线通用)
- 只拼
status: adopted的片段;rejected另建候选目录,保留旧采用文件与提示词历史。 - 导出后登记
renders/INDEX.md(路径、时长、校验和、生成参数、来源片段),成片本体不入库。 - 交付文案区分「已生成 / 已采用 / 已合成 / 已归集」。
商用前核对音色授权与 AI 生成内容标识要求。