- 纠正 render.md/pitfalls.md「按设计时间缩放字幕」错误做法,改为只认实测发声段 - 新增 scripts/align_subtitles.py(泛化对齐工具,配置外置、支持 dump-segs/init-config/dry-run) - render_native.py 加 --ass 参数,读对齐 ASS 不被内置设计时间轴覆盖 - pitfalls/native-av/README/SKILL 补六条踩坑;install.sh 清单同步
123 lines
8.5 KiB
Markdown
123 lines
8.5 KiB
Markdown
# 缝合与导出
|
||
|
||
> **先分流:你现在缝的是哪条路线?**(2026-11-18 补)
|
||
>
|
||
> | 路线 | 镜头类型 | 音轨来源 | 用哪个脚本 |
|
||
> |---|---|---|---|
|
||
> | **A. 原生音画同出**(台词镜首选) | 有人说话、走 H3 `fl2va` | 模型原生 aac(对白+环境音),**不可编辑** | **`render_native.py`** |
|
||
> | B. TTS 配音(无音轨镜) | 静音动作镜 / 空镜 / 旁白贯穿 | edge-tts 后期配 | `render.py` |
|
||
>
|
||
> **两条路线不要混**:给原生音画镜套 `render.py` 会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。
|
||
> 台词镜一律走下方「路线 B」的 `render_native.py`。
|
||
|
||
---
|
||
|
||
## 路线 B:原生音画同出缝合(`render_native.py`)
|
||
|
||
台词镜的音轨是**模型整体声场**,不是可编辑配音。缝合器的职责只有三件:**直拼 / 烧字幕 / 遮盖瑕疵**,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。
|
||
|
||
```bash
|
||
python3 tools/render_native.py projects/EP01/30_shots.json # 直拼
|
||
python3 tools/render_native.py projects/EP01/30_shots.json --mask # 开启画面瑕疵遮盖
|
||
python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4
|
||
```
|
||
|
||
关键约定(都是踩过坑换来的):
|
||
|
||
1. **按源实际时长拼接,不按设计时长**:`probe_duration()` 读每个 `Sxx.mp4` 的真实时长,累计成字幕时间轴。
|
||
按 `30_shots.json` 的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。
|
||
2. **字幕台词取自 h3v3 `[Audio]` 段**,不是 `30_shots.json` 的 `line`、不是 ASR:
|
||
正则解析 `0.0s-0.9s: "台词"` 逐句,**台词文本用引号内原文**(=定稿逐字)。
|
||
台词务必用**中文全角引号**(见 [pitfalls.md](pitfalls.md)),否则半角双引号会干扰解析。
|
||
🔴 **但时间轴绝不能直接用 `[Audio]` 里的设计时间**——见下方「字幕对齐」:H3 实际发声与设计时间系统性错位,
|
||
照抄设计时间(哪怕按 `源实际/设计` 缩放)会导致字幕整体早于口型 0.5–1.5 s。`render_native.py` 旧版按缩放做的已废弃,
|
||
出片前必须用 `align_subtitles.py` 按实测发声段重排。
|
||
3. **原生音轨一路保留**:标准化只做 `setsar=1,fps=24,format=yuv420p`,`-map 0:a` 原样带过去,重编码 aac 128k/32k。
|
||
**绝不叠 TTS**。
|
||
4. **画面瑕疵遮盖**(`--mask`,按镜头ID配 `MASK_REGIONS`,无瑕疵则不开):
|
||
- 局部乱码文字(如药盒上的假中文字)→ `crop + boxblur + overlay` 轻度模糊;
|
||
- 模型自发时间戳 / 座位数字 → **纯黑实心条 `drawbox` 覆盖**。
|
||
- ⚠️ 别用 `boxblur` 去盖时间戳——静态 ffmpeg 上会出**亮块**反而更显眼,且矩形要足够宽包住整串字符。
|
||
- 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。
|
||
5. **保持 576×1024 / 24fps 无损**:concat 后一次烧 ASS、一次编码,`-movflags +faststart`。
|
||
6. **输出核验**:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,**确认有 aac 音轨**才算成功。
|
||
|
||
### 字幕对齐:按实测发声段,不按设计时间(2026-11-19 血泪)
|
||
|
||
**症状**:字幕和说话对不上,且越到句尾偏得越多。
|
||
**根因**:h3v3 `[Audio]` 里的秒数是**写提示词时的设计值**,H3 实际说话的语速、停顿、起句延迟与设计系统性错位
|
||
(EP01 实测:S01 首句设计 0.0–0.9 s,人实际 0.54–1.0 s 才出声;后面逐句累积偏差更大)。
|
||
所以**任何形式的设计时间(原样 / 按 `源实际/设计` 缩放)都不能直接当字幕时间轴**——这是旧 `render_native.py` 的错误,已废弃。
|
||
|
||
**正确做法**(`tools/align_subtitles.py` 已封装,`--dry-run` 先看时间轴):
|
||
|
||
1. **台词原文不碰**:仍取 `[Audio]` 引号内逐字定稿,只重排时间。
|
||
2. **测真实发声段**:逐镜对原生 `Sxx.mp4` 跑 `silencedetect=noise=-32dB:d=0.12`,从静音块反推发声区间 `[(start,end)]`。
|
||
`AudioTranscribe` 转写服务常超时(EP01 连续 3 次 900 s 超时),**不要依赖 ASR 做时间对齐**;波形检测更准且可复现。
|
||
3. **逐句映射到发声段**:每镜用一张 `ALIGN` 表把「发声段索引」分配给各句;一句话被停顿拆成多段就合并多段索引,
|
||
连读挤在一段的多句(如 S08)就按各句设计时长比例切分该段。段索引必须与检测阈值**同一次生成**,混用不同阈值会错位。
|
||
4. **加边**:每句前后各 +40 ms 包住语音,最短 0.45 s 保证可读。
|
||
5. **`--dry-run` 必看**:打印每镜「实际发声段数 / 台词句数 / 对齐后时间轴」。
|
||
若某句落到 0.1–0.2 s 的极短段(气口/吸气),说明段索引错了,重排后再编码。
|
||
6. **重出**:对齐后的 `ep.ass` 交给 `render_native.py` 烧录(或直接用脚本内的缝合),旧成片先备份。
|
||
|
||
**静音镜要单独验音轨**:设计成 `SILENT SHOT` 的镜头,H3 仍可能自发吐音(EP01 的 S06 吐出 -14 dB 的英文)。
|
||
逐镜 `volumedetect` 扫一遍,本该静音的镜若中段响度远高于首尾底噪(首尾 -58/-65 dB、中段 -14 dB),
|
||
用 `-af volume=0` 整段静音后重拼。**这是音轨问题,改字幕没用**;药盒上的字母是画面本身,也不是烧录字幕,别误判成英文台词。
|
||
|
||
**后期包装层**(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上,
|
||
不动原生音轨与已烧字幕,典型实现见项目侧 `render_package.py`(文案与时间窗按剧集改写)。
|
||
包装样式两条铁律(2026-11-19):① **全片叠字统一一种形式**——数据角标用 `BorderStyle=1` + 深色描边 + 透明底,
|
||
别用 `BorderStyle=3` 实心底框(会出突兀的"蓝底白字");② **角标文案不得与对白字幕重复**——
|
||
EP01 曾同时出现对白「十七例不良反应。」和角标「十七例不良反应 · 零上报」,应删其一。
|
||
|
||
---
|
||
|
||
## 路线 A:TTS 配音缝合(`render.py`)
|
||
|
||
`tools/render.py` 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。**只用于无原生音轨的镜头。**
|
||
|
||
### 环境
|
||
|
||
- **ffmpeg 用 `pip install --user imageio-ffmpeg` 的静态版**;脚本运行时调 `imageio_ffmpeg.get_ffmpeg_exe()`。
|
||
- **不要用 brew 装**:macOS 12 + Homebrew 6 有 dav1d Ruby bug。
|
||
- 成片规格从 `config/pipeline.json → output` 读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。
|
||
|
||
### 逐段标准化
|
||
|
||
1. **去水印**:仅当源有水印时用 `--crop-bottom 60`(crop 去带 + 居中填充),**不用 drawbox**。本链路 I2V 输出通常无水印,默认 0。
|
||
2. **补足时长**:I2V 约 5 秒画面用 `tpad=stop_mode=clone` 克隆尾帧补足到 `duration`;清单标 `"pad": true`。
|
||
3. **`keepSeconds` 局部修正**:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在 `30_shots.json`。
|
||
4. 统一 30fps + `format=yuv420p`。
|
||
|
||
### 字幕
|
||
|
||
- 取 `line` 完整旁白,**按标点折 1–3 行,标点不落单**;不在生成阶段烧字。
|
||
- 字体用系统中文体(如 PingFang.ttc),通过 `fontsdir` 指定。
|
||
- 竖排文字用 ASS 的 `\N` 逐字分行。
|
||
|
||
### 包装
|
||
|
||
- HUD:横排 / 竖排两种,**全片文字只标一次(一横一竖)**;时间窗按累计 `duration` 计算。
|
||
- 落版:光环 / 光束 / 星点 + `zoompan` 缓推,用 `tools/make_overlay.py` 程序化生成(零积分)。
|
||
- `zoompan` 的 `d` 取总帧数(2s×30fps=60),`s=720x1280:fps=30` 并补 `format=yuv420p`,才能与主线 concat 一次编码。
|
||
- 片头 3 秒内出现核心冲突,不做长片头;转场克制。
|
||
|
||
### 缝合顺序
|
||
|
||
先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。
|
||
|
||
### 配音先于剪辑
|
||
|
||
`work/EPxx/audio/vo_NN.mp3` 由 edge-tts 生成(音色见 `config/pipeline.json → tts.voice`)。**先量出每句实际时长再回填 `duration`**。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。
|
||
|
||
---
|
||
|
||
## 交付(两条路线通用)
|
||
|
||
- 只拼 `status: adopted` 的片段;`rejected` 另建候选目录,保留旧采用文件与提示词历史。
|
||
- 导出后登记 `renders/INDEX.md`(路径、时长、校验和、生成参数、来源片段),成片本体不入库。
|
||
- 交付文案区分「已生成 / 已采用 / 已合成 / 已归集」。
|
||
|
||
商用前核对音色授权与 AI 生成内容标识要求。
|