Files
ai-manju/references/render.md
T
ssw d25c9304e1 feat: 原生音画同出闭环 + 队列自检修复 (v1.2.0)
- 新增 render_native.py: 台词镜缝合(保留原生音轨+烧h3v3字幕+瑕疵遮盖,不叠TTS)
- 新增 fetch_t2i.py: 出图脚本被杀后按pid救回单图
- 修复 queue_h3_native.py --check 将中断/error误判为在队的bug
- 文档: render.md/native-av.md/pitfalls.md/SKILL.md/README 补齐双轨缝合与选机实测
2026-11-19 10:18:38 +08:00

5.6 KiB
Raw Blame History

缝合与导出

先分流:你现在缝的是哪条路线?(2026-11-18 补)

路线 镜头类型 音轨来源 用哪个脚本
A. 原生音画同出(台词镜首选) 有人说话、走 H3 fl2va 模型原生 aac(对白+环境音),不可编辑 render_native.py
B. TTS 配音(无音轨镜) 静音动作镜 / 空镜 / 旁白贯穿 edge-tts 后期配 render.py

两条路线不要混:给原生音画镜套 render.py 会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。 台词镜一律走下方「路线 B」的 render_native.py。


路线 B:原生音画同出缝合(render_native.py)

台词镜的音轨是模型整体声场,不是可编辑配音。缝合器的职责只有三件:直拼 / 烧字幕 / 遮盖瑕疵,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。

python3 tools/render_native.py projects/EP01/30_shots.json            # 直拼
python3 tools/render_native.py projects/EP01/30_shots.json --mask     # 开启画面瑕疵遮盖
python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4

关键约定(都是踩过坑换来的):

  1. 按源实际时长拼接,不按设计时长:probe_duration() 读每个 Sxx.mp4 的真实时长,累计成字幕时间轴。 按 30_shots.json 的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。
  2. 字幕取自 h3v3 [Audio] 段,不是 30_shots.json 的 line、不是 ASR: 正则解析 0.0s-0.9s: "台词" 逐句,台词文本用引号内原文(=定稿逐字),时间轴按比例 源实际/设计 缩放后平移到全片绝对秒。 台词务必用中文全角引号(见 pitfalls.md),否则半角双引号会干扰解析。
  3. 原生音轨一路保留:标准化只做 setsar=1,fps=24,format=yuv420p,-map 0:a 原样带过去,重编码 aac 128k/32k。 绝不叠 TTS。
  4. 画面瑕疵遮盖(--mask,按镜头ID配 MASK_REGIONS,无瑕疵则不开):
    • 局部乱码文字(如药盒上的假中文字)→ crop + boxblur + overlay 轻度模糊;
    • 模型自发时间戳 / 座位数字 → 纯黑实心条 drawbox 覆盖。
    • ⚠️ 别用 boxblur 去盖时间戳——静态 ffmpeg 上会出亮块反而更显眼,且矩形要足够宽包住整串字符。
    • 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。
  5. 保持 576×1024 / 24fps 无损:concat 后一次烧 ASS、一次编码,-movflags +faststart。
  6. 输出核验:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,确认有 aac 音轨才算成功。

后期包装层(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上, 不动原生音轨与已烧字幕,典型实现见项目侧 render_package.py(文案与时间窗按剧集改写)。


路线 A:TTS 配音缝合(render.py)

tools/render.py 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。只用于无原生音轨的镜头。

环境

  • ffmpeg 用 pip install --user imageio-ffmpeg 的静态版;脚本运行时调 imageio_ffmpeg.get_ffmpeg_exe()。
  • 不要用 brew 装:macOS 12 + Homebrew 6 有 dav1d Ruby bug。
  • 成片规格从 config/pipeline.json → output 读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。

逐段标准化

  1. 去水印:仅当源有水印时用 --crop-bottom 60(crop 去带 + 居中填充),不用 drawbox。本链路 I2V 输出通常无水印,默认 0。
  2. 补足时长:I2V 约 5 秒画面用 tpad=stop_mode=clone 克隆尾帧补足到 duration;清单标 "pad": true。
  3. keepSeconds 局部修正:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在 30_shots.json。
  4. 统一 30fps + format=yuv420p。

字幕

  • 取 line 完整旁白,按标点折 1–3 行,标点不落单;不在生成阶段烧字。
  • 字体用系统中文体(如 PingFang.ttc),通过 fontsdir 指定。
  • 竖排文字用 ASS 的 \N 逐字分行。

包装

  • HUD:横排 / 竖排两种,全片文字只标一次(一横一竖);时间窗按累计 duration 计算。
  • 落版:光环 / 光束 / 星点 + zoompan 缓推,用 tools/make_overlay.py 程序化生成(零积分)。
  • zoompan 的 d 取总帧数(2s×30fps=60),s=720x1280:fps=30 并补 format=yuv420p,才能与主线 concat 一次编码。
  • 片头 3 秒内出现核心冲突,不做长片头;转场克制。

缝合顺序

先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。

配音先于剪辑

work/EPxx/audio/vo_NN.mp3 由 edge-tts 生成(音色见 config/pipeline.json → tts.voice)。先量出每句实际时长再回填 duration。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。


交付(两条路线通用)

  • 只拼 status: adopted 的片段;rejected 另建候选目录,保留旧采用文件与提示词历史。
  • 导出后登记 renders/INDEX.md(路径、时长、校验和、生成参数、来源片段),成片本体不入库。
  • 交付文案区分「已生成 / 已采用 / 已合成 / 已归集」。

商用前核对音色授权与 AI 生成内容标识要求。