Files
rong a8e10b7b17 fix: 字幕按实测发声段对齐 + 静音镜/包装踩坑 (v1.2.1)
- 纠正 render.md/pitfalls.md「按设计时间缩放字幕」错误做法,改为只认实测发声段
- 新增 scripts/align_subtitles.py(泛化对齐工具,配置外置、支持 dump-segs/init-config/dry-run)
- render_native.py 加 --ass 参数,读对齐 ASS 不被内置设计时间轴覆盖
- pitfalls/native-av/README/SKILL 补六条踩坑;install.sh 清单同步
2026-11-19 17:14:14 +08:00

123 lines
8.5 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 缝合与导出
> **先分流:你现在缝的是哪条路线?**(2026-11-18 补)
>
> | 路线 | 镜头类型 | 音轨来源 | 用哪个脚本 |
> |---|---|---|---|
> | **A. 原生音画同出**(台词镜首选) | 有人说话、走 H3 `fl2va` | 模型原生 aac(对白+环境音),**不可编辑** | **`render_native.py`** |
> | B. TTS 配音(无音轨镜) | 静音动作镜 / 空镜 / 旁白贯穿 | edge-tts 后期配 | `render.py` |
>
> **两条路线不要混**:给原生音画镜套 `render.py` 会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。
> 台词镜一律走下方「路线 B」的 `render_native.py`。
---
## 路线 B:原生音画同出缝合(`render_native.py`)
台词镜的音轨是**模型整体声场**,不是可编辑配音。缝合器的职责只有三件:**直拼 / 烧字幕 / 遮盖瑕疵**,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。
```bash
python3 tools/render_native.py projects/EP01/30_shots.json # 直拼
python3 tools/render_native.py projects/EP01/30_shots.json --mask # 开启画面瑕疵遮盖
python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4
```
关键约定(都是踩过坑换来的):
1. **按源实际时长拼接,不按设计时长**:`probe_duration()` 读每个 `Sxx.mp4` 的真实时长,累计成字幕时间轴。
按 `30_shots.json` 的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。
2. **字幕台词取自 h3v3 `[Audio]` 段**,不是 `30_shots.json` 的 `line`、不是 ASR:
正则解析 `0.0s-0.9s: "台词"` 逐句,**台词文本用引号内原文**(=定稿逐字)。
台词务必用**中文全角引号**(见 [pitfalls.md](pitfalls.md)),否则半角双引号会干扰解析。
🔴 **但时间轴绝不能直接用 `[Audio]` 里的设计时间**——见下方「字幕对齐」:H3 实际发声与设计时间系统性错位,
照抄设计时间(哪怕按 `源实际/设计` 缩放)会导致字幕整体早于口型 0.5–1.5 s。`render_native.py` 旧版按缩放做的已废弃,
出片前必须用 `align_subtitles.py` 按实测发声段重排。
3. **原生音轨一路保留**:标准化只做 `setsar=1,fps=24,format=yuv420p`,`-map 0:a` 原样带过去,重编码 aac 128k/32k。
**绝不叠 TTS**。
4. **画面瑕疵遮盖**(`--mask`,按镜头ID配 `MASK_REGIONS`,无瑕疵则不开):
- 局部乱码文字(如药盒上的假中文字)→ `crop + boxblur + overlay` 轻度模糊;
- 模型自发时间戳 / 座位数字 → **纯黑实心条 `drawbox` 覆盖**。
- ⚠️ 别用 `boxblur` 去盖时间戳——静态 ffmpeg 上会出**亮块**反而更显眼,且矩形要足够宽包住整串字符。
- 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。
5. **保持 576×1024 / 24fps 无损**:concat 后一次烧 ASS、一次编码,`-movflags +faststart`。
6. **输出核验**:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,**确认有 aac 音轨**才算成功。
### 字幕对齐:按实测发声段,不按设计时间(2026-11-19 血泪)
**症状**:字幕和说话对不上,且越到句尾偏得越多。
**根因**:h3v3 `[Audio]` 里的秒数是**写提示词时的设计值**,H3 实际说话的语速、停顿、起句延迟与设计系统性错位
(EP01 实测:S01 首句设计 0.0–0.9 s,人实际 0.54–1.0 s 才出声;后面逐句累积偏差更大)。
所以**任何形式的设计时间(原样 / 按 `源实际/设计` 缩放)都不能直接当字幕时间轴**——这是旧 `render_native.py` 的错误,已废弃。
**正确做法**(`tools/align_subtitles.py` 已封装,`--dry-run` 先看时间轴):
1. **台词原文不碰**:仍取 `[Audio]` 引号内逐字定稿,只重排时间。
2. **测真实发声段**:逐镜对原生 `Sxx.mp4` 跑 `silencedetect=noise=-32dB:d=0.12`,从静音块反推发声区间 `[(start,end)]`。
`AudioTranscribe` 转写服务常超时(EP01 连续 3 次 900 s 超时),**不要依赖 ASR 做时间对齐**;波形检测更准且可复现。
3. **逐句映射到发声段**:每镜用一张 `ALIGN` 表把「发声段索引」分配给各句;一句话被停顿拆成多段就合并多段索引,
连读挤在一段的多句(如 S08)就按各句设计时长比例切分该段。段索引必须与检测阈值**同一次生成**,混用不同阈值会错位。
4. **加边**:每句前后各 +40 ms 包住语音,最短 0.45 s 保证可读。
5. **`--dry-run` 必看**:打印每镜「实际发声段数 / 台词句数 / 对齐后时间轴」。
若某句落到 0.1–0.2 s 的极短段(气口/吸气),说明段索引错了,重排后再编码。
6. **重出**:对齐后的 `ep.ass` 交给 `render_native.py` 烧录(或直接用脚本内的缝合),旧成片先备份。
**静音镜要单独验音轨**:设计成 `SILENT SHOT` 的镜头,H3 仍可能自发吐音(EP01 的 S06 吐出 -14 dB 的英文)。
逐镜 `volumedetect` 扫一遍,本该静音的镜若中段响度远高于首尾底噪(首尾 -58/-65 dB、中段 -14 dB),
用 `-af volume=0` 整段静音后重拼。**这是音轨问题,改字幕没用**;药盒上的字母是画面本身,也不是烧录字幕,别误判成英文台词。
**后期包装层**(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上,
不动原生音轨与已烧字幕,典型实现见项目侧 `render_package.py`(文案与时间窗按剧集改写)。
包装样式两条铁律(2026-11-19):① **全片叠字统一一种形式**——数据角标用 `BorderStyle=1` + 深色描边 + 透明底,
别用 `BorderStyle=3` 实心底框(会出突兀的"蓝底白字");② **角标文案不得与对白字幕重复**——
EP01 曾同时出现对白「十七例不良反应。」和角标「十七例不良反应 · 零上报」,应删其一。
---
## 路线 A:TTS 配音缝合(`render.py`)
`tools/render.py` 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。**只用于无原生音轨的镜头。**
### 环境
- **ffmpeg 用 `pip install --user imageio-ffmpeg` 的静态版**;脚本运行时调 `imageio_ffmpeg.get_ffmpeg_exe()`。
- **不要用 brew 装**:macOS 12 + Homebrew 6 有 dav1d Ruby bug。
- 成片规格从 `config/pipeline.json → output` 读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。
### 逐段标准化
1. **去水印**:仅当源有水印时用 `--crop-bottom 60`(crop 去带 + 居中填充),**不用 drawbox**。本链路 I2V 输出通常无水印,默认 0。
2. **补足时长**:I2V 约 5 秒画面用 `tpad=stop_mode=clone` 克隆尾帧补足到 `duration`;清单标 `"pad": true`。
3. **`keepSeconds` 局部修正**:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在 `30_shots.json`。
4. 统一 30fps + `format=yuv420p`。
### 字幕
- 取 `line` 完整旁白,**按标点折 1–3 行,标点不落单**;不在生成阶段烧字。
- 字体用系统中文体(如 PingFang.ttc),通过 `fontsdir` 指定。
- 竖排文字用 ASS 的 `\N` 逐字分行。
### 包装
- HUD:横排 / 竖排两种,**全片文字只标一次(一横一竖)**;时间窗按累计 `duration` 计算。
- 落版:光环 / 光束 / 星点 + `zoompan` 缓推,用 `tools/make_overlay.py` 程序化生成(零积分)。
- `zoompan` 的 `d` 取总帧数(2s×30fps=60),`s=720x1280:fps=30` 并补 `format=yuv420p`,才能与主线 concat 一次编码。
- 片头 3 秒内出现核心冲突,不做长片头;转场克制。
### 缝合顺序
先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。
### 配音先于剪辑
`work/EPxx/audio/vo_NN.mp3` 由 edge-tts 生成(音色见 `config/pipeline.json → tts.voice`)。**先量出每句实际时长再回填 `duration`**。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。
---
## 交付(两条路线通用)
- 只拼 `status: adopted` 的片段;`rejected` 另建候选目录,保留旧采用文件与提示词历史。
- 导出后登记 `renders/INDEX.md`(路径、时长、校验和、生成参数、来源片段),成片本体不入库。
- 交付文案区分「已生成 / 已采用 / 已合成 / 已归集」。
商用前核对音色授权与 AI 生成内容标识要求。