- 新增 render_native.py: 台词镜缝合(保留原生音轨+烧h3v3字幕+瑕疵遮盖,不叠TTS) - 新增 fetch_t2i.py: 出图脚本被杀后按pid救回单图 - 修复 queue_h3_native.py --check 将中断/error误判为在队的bug - 文档: render.md/native-av.md/pitfalls.md/SKILL.md/README 补齐双轨缝合与选机实测
5.6 KiB
5.6 KiB
缝合与导出
先分流:你现在缝的是哪条路线?(2026-11-18 补)
路线 镜头类型 音轨来源 用哪个脚本 A. 原生音画同出(台词镜首选) 有人说话、走 H3 fl2va模型原生 aac(对白+环境音),不可编辑 render_native.pyB. TTS 配音(无音轨镜) 静音动作镜 / 空镜 / 旁白贯穿 edge-tts 后期配 render.py两条路线不要混:给原生音画镜套
render.py会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。 台词镜一律走下方「路线 B」的render_native.py。
路线 B:原生音画同出缝合(render_native.py)
台词镜的音轨是模型整体声场,不是可编辑配音。缝合器的职责只有三件:直拼 / 烧字幕 / 遮盖瑕疵,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。
python3 tools/render_native.py projects/EP01/30_shots.json # 直拼
python3 tools/render_native.py projects/EP01/30_shots.json --mask # 开启画面瑕疵遮盖
python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4
关键约定(都是踩过坑换来的):
- 按源实际时长拼接,不按设计时长:
probe_duration()读每个Sxx.mp4的真实时长,累计成字幕时间轴。 按30_shots.json的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。 - 字幕取自 h3v3
[Audio]段,不是30_shots.json的line、不是 ASR: 正则解析0.0s-0.9s: "台词"逐句,台词文本用引号内原文(=定稿逐字),时间轴按比例源实际/设计缩放后平移到全片绝对秒。 台词务必用中文全角引号(见 pitfalls.md),否则半角双引号会干扰解析。 - 原生音轨一路保留:标准化只做
setsar=1,fps=24,format=yuv420p,-map 0:a原样带过去,重编码 aac 128k/32k。 绝不叠 TTS。 - 画面瑕疵遮盖(
--mask,按镜头ID配MASK_REGIONS,无瑕疵则不开):- 局部乱码文字(如药盒上的假中文字)→
crop + boxblur + overlay轻度模糊; - 模型自发时间戳 / 座位数字 → 纯黑实心条
drawbox覆盖。 - ⚠️ 别用
boxblur去盖时间戳——静态 ffmpeg 上会出亮块反而更显眼,且矩形要足够宽包住整串字符。 - 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。
- 局部乱码文字(如药盒上的假中文字)→
- 保持 576×1024 / 24fps 无损:concat 后一次烧 ASS、一次编码,
-movflags +faststart。 - 输出核验:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,确认有 aac 音轨才算成功。
后期包装层(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上,
不动原生音轨与已烧字幕,典型实现见项目侧 render_package.py(文案与时间窗按剧集改写)。
路线 A:TTS 配音缝合(render.py)
tools/render.py 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。只用于无原生音轨的镜头。
环境
- ffmpeg 用
pip install --user imageio-ffmpeg的静态版;脚本运行时调imageio_ffmpeg.get_ffmpeg_exe()。 - 不要用 brew 装:macOS 12 + Homebrew 6 有 dav1d Ruby bug。
- 成片规格从
config/pipeline.json → output读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。
逐段标准化
- 去水印:仅当源有水印时用
--crop-bottom 60(crop 去带 + 居中填充),不用 drawbox。本链路 I2V 输出通常无水印,默认 0。 - 补足时长:I2V 约 5 秒画面用
tpad=stop_mode=clone克隆尾帧补足到duration;清单标"pad": true。 keepSeconds局部修正:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在30_shots.json。- 统一 30fps +
format=yuv420p。
字幕
- 取
line完整旁白,按标点折 1–3 行,标点不落单;不在生成阶段烧字。 - 字体用系统中文体(如 PingFang.ttc),通过
fontsdir指定。 - 竖排文字用 ASS 的
\N逐字分行。
包装
- HUD:横排 / 竖排两种,全片文字只标一次(一横一竖);时间窗按累计
duration计算。 - 落版:光环 / 光束 / 星点 +
zoompan缓推,用tools/make_overlay.py程序化生成(零积分)。 zoompan的d取总帧数(2s×30fps=60),s=720x1280:fps=30并补format=yuv420p,才能与主线 concat 一次编码。- 片头 3 秒内出现核心冲突,不做长片头;转场克制。
缝合顺序
先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。
配音先于剪辑
work/EPxx/audio/vo_NN.mp3 由 edge-tts 生成(音色见 config/pipeline.json → tts.voice)。先量出每句实际时长再回填 duration。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。
交付(两条路线通用)
- 只拼
status: adopted的片段;rejected另建候选目录,保留旧采用文件与提示词历史。 - 导出后登记
renders/INDEX.md(路径、时长、校验和、生成参数、来源片段),成片本体不入库。 - 交付文案区分「已生成 / 已采用 / 已合成 / 已归集」。
商用前核对音色授权与 AI 生成内容标识要求。