diff --git a/README.md b/README.md index 9489a8c..d8cfbc5 100644 --- a/README.md +++ b/README.md @@ -3,8 +3,12 @@ 一条流水线把剧本做成 AI 漫剧 / 短剧成片:**源节拍 → 分镜 → 首帧图 → 图生视频(台词镜走音画同出)→ 配音/字幕 → 缝合 → 归档**。 特点是文件驱动、机器可校验、任何一镜可单独重做。工具脚本只用 Python 标准库。 +> **2026-11-19 v1.2.1**:新增 `align_subtitles.py`(**字幕按实测发声段对齐**,修「字幕与口型错位」)—— +> h3v3 `[Audio]` 的秒数只是设计值,照抄当字幕时间轴会早 0.5–1.5 s。`render_native.py` 新增 `--ass` 读对齐后的 ASS。 +> 同时沉淀三条踩坑:静音镜自发吐音需 `volumedetect` 核验后静音、包装叠字统一 `BorderStyle=1` 免蓝底白字、角标文案勿与对白重复。详见 [render.md](references/render.md)「字幕对齐」。 +> > **2026-11-19 v1.2.0 关键变化**:补齐原生音画镜的**出片闭环**。 -> 新增 `render_native.py`(台词镜专用缝合器:直拼保留原生音轨、从 h3v3 `[Audio]` 烧字幕、可选瑕疵遮盖,不叠 TTS / 不加落版 / 保持 576×1024)、 +> 新增 `render_native.py`(台词镜专用缝合器:直拼保留原生音轨、烧 ASS 字幕、可选瑕疵遮盖,不叠 TTS / 不加落版 / 保持 576×1024)、 > `fetch_t2i.py`(出图脚本被杀后按 pid 从服务端救回单图);修复 `queue_h3_native.py --check` 把「被中断/error」误判为"在队"的 bug。 > 缝合前先分流:台词镜走 `render_native.py`,无音轨镜走 `render.py`,两者不要混。见 [references/render.md](references/render.md)。 > @@ -124,8 +128,13 @@ python3 tools/selftest_cleanup.py # 本地 mock 自检:归 # ⑧ 审片:首/中/末联系表;漂移镜截前段(keepSeconds)或换首帧重跑 python3 tools/review.py projects/EP01/30_shots.json --only S13,S15 -# ⑨ 缝合 + 归档(按路线选脚本,别混) -python3 tools/render_native.py projects/EP01/30_shots.json --mask # 台词镜/原生音轨:直拼+烧h3v3字幕+遮盖 +# ⑨ 字幕对齐(台词镜必做:按实测发声段,别照 [Audio] 设计时间) +python3 tools/align_subtitles.py projects/EP01/30_shots.json --dump-segs +python3 tools/align_subtitles.py projects/EP01/30_shots.json --init-config work/EP01/align_config.json # 人工校准 ALIGN +python3 tools/align_subtitles.py projects/EP01/30_shots.json --config work/EP01/align_config.json --dry-run +python3 tools/align_subtitles.py projects/EP01/30_shots.json --config work/EP01/align_config.json --out work/EP01/render_native/ep.ass +# ⑩ 缝合 + 归档(按路线选脚本,别混) +python3 tools/render_native.py projects/EP01/30_shots.json --ass work/EP01/render_native/ep.ass --mask # 台词镜:直拼+烧对齐字幕 python3 tools/render.py projects/EP01/30_shots.json --name EP01_成片.mp4 # 无音轨镜/旁白镜:TTS配音缝合 python3 tools/manju.py manifest projects/EP01/30_shots.json # 把成片信息登记到 renders/INDEX.md,计算 sha256 @@ -149,7 +158,8 @@ python3 tools/manju.py manifest projects/EP01/30_shots.json | `cleanup_comfyui.py` | **导出后只清自己发起的任务**:归属闸门 + 扩展删产物 + 官方接口删记录 | `--ep EP01`(不带则连锚图一起清)`--shot S03` `--apply` `--prompt-id --client-id ` `--purge-input` `--free` | | `selftest_cleanup.py` | 清理链路自检(本地 mock ComfyUI,29 项断言) | 无参数 | | `review.py` | 首/中/末审片联系表 | `` `--group 1` `--only S13,S15` | -| `render_native.py` | **台词镜缝合**:直拼保留原生音轨 + 烧 h3v3 `[Audio]` 字幕 + 瑕疵遮盖 | `` `--mask` `--name ` | +| `align_subtitles.py` | **字幕对齐实测发声段**(修口型错位):测 `silencedetect` 发声段 + 逐句映射重排时间,台词原文不动 | `` `--dump-segs` `--init-config ` `--config ` `--dry-run` `--out ` `--package-out ` | +| `render_native.py` | **台词镜缝合**:直拼保留原生音轨 + 烧 ASS 字幕 + 瑕疵遮盖。**台词镜务必配 `--ass` 用对齐 ASS**,否则内置设计时间轴会错位 | `` `--ass ` `--mask` `--name ` | | `render.py` | 无音轨镜缝合:配音、字幕、HUD、落版 | `` `--name ` `--crop-bottom N` | | `make_overlay.py` | 程序化生成 HUD/落版 | 无参数 | diff --git a/SKILL.md b/SKILL.md index 77d1806..1f1f1ef 100644 --- a/SKILL.md +++ b/SKILL.md @@ -97,7 +97,7 @@ python3 tools/manju.py validate projects/EP01/30_shots.json # ERROR 必须为 0 | 2 | 分镜中枢 | `30_shots.json`、`40_prompts/Sxx.i2v.txt` | `manju.py validate`;[references/director.md](references/director.md) | | 3 | 配音先行(**仅无音轨镜**) | `work/EPxx/audio/vo_NN.mp3` | `tools/tts.py`;**实测时长回填 `duration`**。⚠️ 走音画同出的台词镜**跳过**此阶段,别叠双份人声 | | 4 | 出图 / 出视频 | `work/EPxx/{images,videos}/Sxx_.*`、`videos/native/Sxx.mp4` | 台词镜:`tools/queue_h3_native.py` + `fetch_h3_native.py`([native-av.md](references/native-av.md));静音镜:`tools/submit_i2v.py`(A14B);出图:`tools/submit_t2i.py`;**导出后** `tools/cleanup_comfyui.py` | -| 5 | 缝合 | `renders/EPxx_成片.mp4` | 台词镜(原生音轨):`tools/render_native.py`;无音轨镜:`tools/render.py`;[references/render.md](references/render.md) | +| 5 | 缝合 | `renders/EPxx_成片.mp4` | 台词镜(原生音轨):先 `tools/align_subtitles.py`(**字幕对齐实测发声段**,别照设计时间)再 `tools/render_native.py`;无音轨镜:`tools/render.py`;[references/render.md](references/render.md) | | 6 | 审片与归档 | `renders/INDEX.md`、`50_manifest.json` | `tools/review.py`;[references/review.md](references/review.md) | 完整闸门与输出契约见 [references/workflow.md](references/workflow.md),字段定义见 [assets/shot.schema.json](assets/shot.schema.json)。 @@ -145,8 +145,16 @@ python3 tools/queue_h3_native.py --ep EP01 python3 tools/fetch_h3_native.py --ep EP01 --status # ③ 取回;脚本会顺手检查 mp4 里到底有没有 aac 音轨 python3 tools/fetch_h3_native.py --ep EP01 -# ④ 全部取回并验收后缝合:直拼保留原生音轨 + 烧 h3v3 [Audio] 字幕 + 可选瑕疵遮盖 -python3 tools/render_native.py projects/EP01/30_shots.json --mask # 台词镜专用,不叠 TTS / 不加落版 +# ④ 全部取回后先按【实测发声段】对齐字幕(🔴 别照 [Audio] 设计时间,会早 0.5-1.5s) +python3 tools/align_subtitles.py projects/EP01/30_shots.json --dump-segs # 看每镜发声段 +python3 tools/align_subtitles.py projects/EP01/30_shots.json --init-config work/EP01/align_config.json +# 人工校准 align_config.json 的 ALIGN 段映射(详见 references/render.md「字幕对齐」) +python3 tools/align_subtitles.py projects/EP01/30_shots.json --config work/EP01/align_config.json --dry-run +python3 tools/align_subtitles.py projects/EP01/30_shots.json --config work/EP01/align_config.json \ + --out work/EP01/render_native/ep.ass +# ⑤ 缝合:直拼保留原生音轨 + 烧对齐后的 ASS + 可选瑕疵遮盖 +python3 tools/render_native.py projects/EP01/30_shots.json \ + --ass work/EP01/render_native/ep.ass --mask # --ass 关键,否则会用设计时间轴覆盖对齐字幕 ``` > **两条缝合路线别混**:台词镜(原生 aac 音轨)只能走 `render_native.py`, @@ -158,6 +166,9 @@ python3 tools/render_native.py projects/EP01/30_shots.json --mask # 台词镜 台词按秒级时间轴写进 `[Audio]`,并写 `Only speaks`。**分镜时长必须吸附 `17k+5` 帧网格**(124–362 帧是训练区间)。 台词改了要重排该镜 —— 原生音轨不可编辑。全流程与踩坑见 [references/native-av.md](references/native-av.md)。 +> ⚠️ `[Audio]` 里的秒数只是**设计值**,用来引导模型出声,不是实际发声时间(H3 会自行调整语速/停顿)。 +> 它可以直接指导生成,但**绝不能照搬当字幕时间轴**——字幕必须另走 `align_subtitles.py` 按实测发声段对齐。 + ## 十条不能让渡的规则 1. **资产先行**:角色锚图/画风/HUD 先定稿并锁为只读,再进入分镜。 @@ -202,7 +213,7 @@ I2V 对**静止镜头**极易脑补动作:人物必抬手/转正,细光必 │ ├── images/ videos/ audio/ render/ render_native/ review/ # 可重建产物,不入库 │ └── videos/native/ # 音画同出产物 + _queue_map.json / _h3av_ledger.json ├── renders/INDEX.md # 成片只留索引,本体不入库 -└── tools/ # setup 复制进来的脚本(含 submit_t2i / fetch_t2i / submit_i2v / submit_h3_native / queue_h3_native / fetch_h3_native / render / render_native / cleanup_comfyui) +└── tools/ # setup 复制进来的脚本(含 submit_t2i / fetch_t2i / submit_i2v / submit_h3_native / queue_h3_native / fetch_h3_native / render / render_native / align_subtitles / cleanup_comfyui) ``` **路径解析**:所有脚本按 `MANJU_ROOT` 环境变量 → 从 cwd 向上找 `config/pipeline.json` → 脚本上级目录 的顺序定位工作空间。因此**先 `cd` 到工作空间根再运行脚本**;也可显式设 `MANJU_ROOT=/abs/path`。 diff --git a/install.sh b/install.sh index c18bd3d..f19c133 100755 --- a/install.sh +++ b/install.sh @@ -16,7 +16,7 @@ echo ok=1 for f in SKILL.md scripts/manju.py scripts/submit_i2v.py scripts/submit_t2i.py \ scripts/submit_h3_native.py scripts/queue_h3_native.py scripts/fetch_h3_native.py \ - scripts/fetch_t2i.py scripts/render_native.py \ + scripts/fetch_t2i.py scripts/render_native.py scripts/align_subtitles.py \ scripts/cleanup_comfyui.py scripts/selftest_cleanup.py scripts/render.py \ assets/config.template.json assets/shot.schema.json \ assets/comfyui-manju-cleanup/__init__.py references/pitfalls.md references/models.md \ diff --git a/references/native-av.md b/references/native-av.md index c8b5d8c..082beb6 100644 --- a/references/native-av.md +++ b/references/native-av.md @@ -141,9 +141,14 @@ Room tone: <房间底噪>. Music: <一个极简动机 或 none>. 6. 首帧就带"正在说话"的张口姿态,比闭口更容易出口型;首帧带可读文字仍会被重绘成乱码。 **验收(不看完 7 分钟片就别下结论)**: -- `AudioTranscribe` 转写服务端返回的 mp4 音轨,与提示词台词**逐字比对**(实测一字不差); +- `AudioTranscribe` 转写服务端返回的 mp4 音轨,与提示词台词**逐字比对**(实测一字不差)。 + ⚠️ 若转写服务超时(见过连续 3 次 900 s 超时),用 `ffmpeg silencedetect` 测真实发声段兜底,别反复等 ASR。 - 抽首 / 中 / 末帧看口型与眼神; - 音频波形无 NaN 爆音(有爆音说明踩了老 DCU 的 `H3AudioClean` 缺失问题)。 +- 🔴 **逐镜 `volumedetect` 扫静音镜**:写成 `SILENT SHOT` 的镜头仍可能自发吐音(EP01 的 S06 吐出 -14 dB 英文, + 而首尾底噪只有 -58/-65 dB)。中段远高于首尾 = 吐音,`-af volume=0` 整段静音。**音轨问题,改字幕无效**。 +- **字幕时间轴单独验**:即便台词逐字对,字幕也可能整体早于口型——`[Audio]` 的设计秒数不是实际发声时间。 + 出片前用 `tools/align_subtitles.py` 按实测发声段对齐(`--dry-run` 核对),详见 [render.md](render.md)「字幕对齐」。 --- diff --git a/references/pitfalls.md b/references/pitfalls.md index bf7e669..d929dce 100644 --- a/references/pitfalls.md +++ b/references/pitfalls.md @@ -43,7 +43,8 @@ - **事后 lip-sync 三条路线全废**:Wav2Lip 96×96 贴回 = 嘴部一块糊,与照片级画质断层;LatentSync 需要 8–18 GB 专用显存,22 GB 卡上装不下第二套大模型;InfiniteTalk 一镜 78 分钟且**油画感、发蓝、背景糊、身份漂移**。判据:贴嘴的画质上限由 lip-sync 模型决定,不由锚图决定。 - **正路**:H3 `fl2va` 音画同出 + 首帧锁图(`30121`,64 GB)。一条节点图同时出画面 / 人声 / 环境音,口型原生对齐。详见 [native-av.md](native-av.md)。 - **分镜要跟着改**:走音画同出后必须在生成前定死正反打,每镜单人位;"先拍双人镜后期切嘴"这个思路不成立。双人同框只在无人说话、或只有一人有台词时用,并写 `Only speaks` + ` keeps lips closed`。 -- **台词即字幕**:原生音轨不可编辑,台词改了只能重跑该镜。所以台词先定稿,字幕直接用提示词里的原文与时间轴,**不要跑 ASR 反推**(转写只用来验收)。 +- **台词即字幕**:原生音轨不可编辑,台词改了只能重跑该镜。所以台词先定稿,字幕**文本**直接用提示词里的引号原文,**不要跑 ASR 反推**(转写只用来验收)。 + 但字幕**时间轴**例外——提示词里的设计秒数不能直接用,必须按实测发声段重排(见本节末 2026-11-19 补)。 - **沉默段也要写**:`silence.` / `lips parted, breath audible`。不写模型会自己编声音,甚至编出第二个人说话。 - **验收靠转录比对**:`AudioTranscribe` 转写返回的 mp4 音轨,与提示词台词逐字比对(实测一字不差);再抽首/中/末帧看口型。别用"听起来像"糊过去。 @@ -69,7 +70,9 @@ - **两条缝合路线别混**:台词镜(原生 aac 音轨)走 `render_native.py`;只有无音轨镜/旁白镜才走 `render.py`。 给原生音画镜套 `render.py` = 双份人声 + 强加落版 + 强改 720×1280 掉画质。 - **按源实际时长拼,不按设计时长**:用 `probe_duration()` 读每镜真实时长累计。按 `30_shots.json` 的设计 `duration` 硬拼, - 源实际常长零点几秒,逐镜累积后音画明显错位。字幕时间轴同样按 `源实际/设计` 缩放再平移。 + 源实际常长零点几秒,逐镜累积后音画明显错位。 + 🔴 **字幕时间轴不能照 `[Audio]` 设计时间(含按 `源实际/设计` 缩放)**——H3 实际发声与设计系统性错位, + 照抄会让字幕整体早于口型 0.5–1.5 s。必须按实测发声段对齐,见下方 2026-11-19 补。 - **字幕取 h3v3 `[Audio]`**:正则 `0.0s-0.9s: "台词"` 解析,台词用引号内原文(=定稿逐字),不做 ASR 反推。 台词正文必须写**中文全角引号「“ ”」**,半角 `"` 会破坏正则;半角逗号也统一全角。 - **画面瑕疵遮盖**:局部乱码字(药盒假中文)→ `crop+boxblur+overlay` 轻度模糊;模型自发时间戳/座位数字 → **纯黑实心 `drawbox` 盖住**。 @@ -77,6 +80,21 @@ - **保留原生音轨**:标准化只 `setsar=1,fps=24,format=yuv420p`,`-map 0:a` 原样带过去,全程不叠 TTS。 - **出片核验**:打印的 Stream 行里必须有 aac 音轨;只有画面没声音 = 缝合失败。 +### 字幕对齐 / 静音镜 / 包装(2026-11-19 EP01 复盘补) + +- 🔴 **字幕时间轴只认实测发声段,不认设计时间**:`[Audio]` 里的秒数是设计值,H3 实际语速/停顿/起句延迟与它系统性错位, + 照抄或按比例缩放都会让字幕早于口型且逐句累积。正解:`silencedetect=noise=-32dB:d=0.12` 测真实发声段, + 逐句映射后重排时间(`tools/align_subtitles.py`,`--dry-run` 先看)。**台词原文不动,只改时间**。 +- **别指望 ASR 做时间对齐**:`AudioTranscribe` 当天连续 3 次 900 s 超时(整机/6 s/7 s 切片都超时)。波形检测更稳更准。 +- **段索引同阈值生成**:`ALIGN` 表的发声段索引必须与 `silencedetect` 用同一套参数,混用 -38dB 与 -32dB 的结果会让 + 台词落到极短气口上(EP01 曾把 0.14 s 气口当台词、强拉成 0.45 s)。改完先 `--dry-run` 核对每句时间。 +- **静音镜会自发吐音**:设计为 `SILENT SHOT` 的镜头(如静物特写)H3 仍可能吐出人声/英文。交付前逐镜 `volumedetect`: + 首尾是底噪(约 -58/-65 dB)而中段突然 -14 dB = 模型吐音,用 `-af volume=0` 整段静音再拼。**这是音轨问题,改字幕无效**。 +- **画面文字 ≠ 字幕**:生成图里药盒/包装上的字母是像素本身,不是后期烧的字幕;审片看到"英文"先抽帧分辨来源,别误判。 +- **包装叠字统一一种形式**:角标用 `BorderStyle=1` + 深色描边 + 透明底,别用 `BorderStyle=3` 实心底框(突兀的"蓝底白字")。 +- **角标别和对白重复**:同一信息(如"十七例不良反应")不要既做对白字幕又做数据角标,二选一,否则同屏重复。 +- **精修只动后期、不重跑模型**:字幕错位/单镜吐音/包装样式问题都能纯 ffmpeg 后期修复,别重跑 90 min/镜的音画同出。 + ## 选机(2026-11-19 实测补) - **`192.168.1.30:30113` 不是 4 GB 弱机,是 RTX 2080 Ti / 23.1 GB**(显存足够,K8s cgroup 才是 4 GiB 内存硬限)。 diff --git a/references/render.md b/references/render.md index b23363c..948bff2 100644 --- a/references/render.md +++ b/references/render.md @@ -26,9 +26,12 @@ python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp 1. **按源实际时长拼接,不按设计时长**:`probe_duration()` 读每个 `Sxx.mp4` 的真实时长,累计成字幕时间轴。 按 `30_shots.json` 的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。 -2. **字幕取自 h3v3 `[Audio]` 段**,不是 `30_shots.json` 的 `line`、不是 ASR: - 正则解析 `0.0s-0.9s: "台词"` 逐句,台词文本用引号内原文(=定稿逐字),时间轴按比例 `源实际/设计` 缩放后平移到全片绝对秒。 +2. **字幕台词取自 h3v3 `[Audio]` 段**,不是 `30_shots.json` 的 `line`、不是 ASR: + 正则解析 `0.0s-0.9s: "台词"` 逐句,**台词文本用引号内原文**(=定稿逐字)。 台词务必用**中文全角引号**(见 [pitfalls.md](pitfalls.md)),否则半角双引号会干扰解析。 + 🔴 **但时间轴绝不能直接用 `[Audio]` 里的设计时间**——见下方「字幕对齐」:H3 实际发声与设计时间系统性错位, + 照抄设计时间(哪怕按 `源实际/设计` 缩放)会导致字幕整体早于口型 0.5–1.5 s。`render_native.py` 旧版按缩放做的已废弃, + 出片前必须用 `align_subtitles.py` 按实测发声段重排。 3. **原生音轨一路保留**:标准化只做 `setsar=1,fps=24,format=yuv420p`,`-map 0:a` 原样带过去,重编码 aac 128k/32k。 **绝不叠 TTS**。 4. **画面瑕疵遮盖**(`--mask`,按镜头ID配 `MASK_REGIONS`,无瑕疵则不开): @@ -39,8 +42,34 @@ python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp 5. **保持 576×1024 / 24fps 无损**:concat 后一次烧 ASS、一次编码,`-movflags +faststart`。 6. **输出核验**:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,**确认有 aac 音轨**才算成功。 +### 字幕对齐:按实测发声段,不按设计时间(2026-11-19 血泪) + +**症状**:字幕和说话对不上,且越到句尾偏得越多。 +**根因**:h3v3 `[Audio]` 里的秒数是**写提示词时的设计值**,H3 实际说话的语速、停顿、起句延迟与设计系统性错位 +(EP01 实测:S01 首句设计 0.0–0.9 s,人实际 0.54–1.0 s 才出声;后面逐句累积偏差更大)。 +所以**任何形式的设计时间(原样 / 按 `源实际/设计` 缩放)都不能直接当字幕时间轴**——这是旧 `render_native.py` 的错误,已废弃。 + +**正确做法**(`tools/align_subtitles.py` 已封装,`--dry-run` 先看时间轴): + +1. **台词原文不碰**:仍取 `[Audio]` 引号内逐字定稿,只重排时间。 +2. **测真实发声段**:逐镜对原生 `Sxx.mp4` 跑 `silencedetect=noise=-32dB:d=0.12`,从静音块反推发声区间 `[(start,end)]`。 + `AudioTranscribe` 转写服务常超时(EP01 连续 3 次 900 s 超时),**不要依赖 ASR 做时间对齐**;波形检测更准且可复现。 +3. **逐句映射到发声段**:每镜用一张 `ALIGN` 表把「发声段索引」分配给各句;一句话被停顿拆成多段就合并多段索引, + 连读挤在一段的多句(如 S08)就按各句设计时长比例切分该段。段索引必须与检测阈值**同一次生成**,混用不同阈值会错位。 +4. **加边**:每句前后各 +40 ms 包住语音,最短 0.45 s 保证可读。 +5. **`--dry-run` 必看**:打印每镜「实际发声段数 / 台词句数 / 对齐后时间轴」。 + 若某句落到 0.1–0.2 s 的极短段(气口/吸气),说明段索引错了,重排后再编码。 +6. **重出**:对齐后的 `ep.ass` 交给 `render_native.py` 烧录(或直接用脚本内的缝合),旧成片先备份。 + +**静音镜要单独验音轨**:设计成 `SILENT SHOT` 的镜头,H3 仍可能自发吐音(EP01 的 S06 吐出 -14 dB 的英文)。 +逐镜 `volumedetect` 扫一遍,本该静音的镜若中段响度远高于首尾底噪(首尾 -58/-65 dB、中段 -14 dB), +用 `-af volume=0` 整段静音后重拼。**这是音轨问题,改字幕没用**;药盒上的字母是画面本身,也不是烧录字幕,别误判成英文台词。 + **后期包装层**(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上, 不动原生音轨与已烧字幕,典型实现见项目侧 `render_package.py`(文案与时间窗按剧集改写)。 +包装样式两条铁律(2026-11-19):① **全片叠字统一一种形式**——数据角标用 `BorderStyle=1` + 深色描边 + 透明底, +别用 `BorderStyle=3` 实心底框(会出突兀的"蓝底白字");② **角标文案不得与对白字幕重复**—— +EP01 曾同时出现对白「十七例不良反应。」和角标「十七例不良反应 · 零上报」,应删其一。 --- diff --git a/scripts/align_subtitles.py b/scripts/align_subtitles.py new file mode 100644 index 0000000..5b38cf4 --- /dev/null +++ b/scripts/align_subtitles.py @@ -0,0 +1,293 @@ +#!/usr/bin/env python3 +"""align_subtitles.py — 台词镜字幕按【实测发声段】对齐(音画同出专用,后期零算力)。 + +为什么需要它:h3v3 [Audio] 里的秒数是写提示词时的设计值,H3 实际语速/停顿/起句延迟 +与设计系统性错位,照抄(哪怕按 源实际/设计 缩放)都会让字幕早于口型 0.5-1.5s。 +本脚本用 ffmpeg silencedetect 测真实发声段,把台词逐句贴到实际说话区间。 +台词文本一字不改,只重排时间。不等同 ASR:AudioTranscribe 常超时,波形检测更稳。 + +配置放在项目里(典型 work/EPxx/align_config.json),含每镜 发声段→台词 的映射、 +需静音的镜、可选包装层样式。用 --dump-segs 打印每镜发声段后再填 ALIGN。 + +用法: + # ① 看每镜实测发声段(填 ALIGN 用) + python3 tools/align_subtitles.py projects/EP01/30_shots.json --dump-segs + # ② 生成配置模板(按句数顺序一一映射,需人工核对) + python3 tools/align_subtitles.py projects/EP01/30_shots.json --init-config work/EP01/align_config.json + # ③ dry-run 核对每镜对齐时间轴 + python3 tools/align_subtitles.py projects/EP01/30_shots.json --config work/EP01/align_config.json --dry-run + # ④ 生成对齐的 ep.ass(+ 可选 package.ass) + python3 tools/align_subtitles.py projects/EP01/30_shots.json --config work/EP01/align_config.json \ + --out work/EP01/render_native/ep.ass + # ⑤ 用对齐的 ASS 缝合(render_native.py 需支持 --ass,见同版说明) + python3 tools/render_native.py projects/EP01/30_shots.json --ass work/EP01/render_native/ep.ass +""" +import argparse +import json +import os +import re +import subprocess +import sys + +ROOT_ENV = "MANJU_ROOT" + + +def ff(): + import imageio_ffmpeg + return imageio_ffmpeg.get_ffmpeg_exe() + + +def find_root(explicit=None): + """工作空间根 = 显式 MANJU_ROOT → 从 shots 路径上溯找 config/pipeline.json → cwd。""" + if explicit: + return os.path.abspath(explicit) + env = os.environ.get(ROOT_ENV) + if env: + return os.path.abspath(env) + d = os.getcwd() + while True: + if os.path.exists(os.path.join(d, "config", "pipeline.json")): + return d + p = os.path.dirname(d) + if p == d: + break + d = p + return os.getcwd() + + +def run(args): + cmd = [ff(), "-hide_banner", "-loglevel", "error", "-y"] + args + r = subprocess.run(cmd, capture_output=True, text=True) + if r.returncode != 0: + print("FFMPEG FAILED:\n" + " ".join(cmd) + "\n" + r.stderr[-2000:], file=sys.stderr) + raise SystemExit(1) + return r + + +def probe(path): + r = subprocess.run([ff(), "-hide_banner", "-i", str(path)], + stdout=subprocess.DEVNULL, stderr=subprocess.PIPE, text=True) + m = re.search(r"Duration:\s*(\d+):(\d+):([\d.]+)", r.stderr) + return (int(m.group(1)) * 3600 + int(m.group(2)) * 60 + float(m.group(3))) if m else None + + +def voiced_segments(path, noise, dmin): + """从静音块反推发声段 [(start,end)](相对本镜)。""" + r = subprocess.run([ff(), "-hide_banner", "-i", path, + "-af", "silencedetect=noise=%s:d=%s" % (noise, dmin), + "-f", "null", "-"], capture_output=True, text=True) + total = probe(path) + sil = [(float(t) - float(du), float(t)) for t, du in + re.findall(r"silence_end:\s*([\d.]+)\s*\|\s*silence_duration:\s*([\d.]+)", r.stderr)] + segs, prev = [], 0.0 + for a, b in sil: + if a > prev + 0.12: + segs.append((prev, a)) + prev = max(prev, b) + if prev < total - 0.12: + segs.append((prev, total)) + return segs + + +def design_lines(path): + t = open(path, encoding="utf-8").read() + if "[Audio]" not in t: + return [] + seg = t.split("[Audio]")[1].split("[Narrative]")[0] + return [(float(a), float(b), txt) for a, b, txt in + re.findall(r'(\d+\.?\d*)s\s*-\s*(\d+\.?\d*)s\s*:\s*"([^"]+)"', seg)] + + +def ts(t): + h = int(t // 3600); m = int(t % 3600 // 60); s = t % 60 + return "%d:%02d:%05.2f" % (h, m, s) + + +def wrap_line(text, maxlen=13): + punct = set(",。;!?、,.;!?") + parts = [p for p in re.split(r"([,。;!?、,.;!?])", text) if p] + lines, cur = [], "" + for p in parts: + if p in punct: + cur += p + elif len(cur) + len(p) <= maxlen or not cur: + cur += p + else: + lines.append(cur); cur = p + if cur: + lines.append(cur) + return "\\N".join(lines[:3]) + + +SUB_STYLE = "Style: Default,PingFang SC,40,&H00FFFFFF,&H00FFFFFF,&H000C1420,&H90000000,1,0,0,0,100,100,0,0,1,3,1,2,40,40,120,1" + + +def write_ass(timeline, path, styles=None, events=None): + st = styles if styles is not None else [SUB_STYLE] + head = ("[Script Info]\nScriptType: v4.00+\nPlayResX: 576\nPlayResY: 1024\n" + "ScaledBorderAndShadow: yes\nWrapStyle: 2\n\n[V4+ Styles]\n" + "Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding\n" + + "\n".join(st) + "\n\n[Events]\n" + "Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text\n") + body = "" + for a, b, txt in timeline: + body += "Dialogue: 0,%s,%s,Default,,0,0,0,,{\\fad(150,150)}%s\n" % (ts(a), ts(b), wrap_line(txt)) + for a, b, style, text, fade in (events or []): + fx = ("{\\fad(%d,%d)}" % (fade, fade)) if fade else "" + body += "Dialogue: 0,%s,%s,%s,,0,0,0,,%s%s\n" % (ts(a), ts(b), style, fx, text) + with open(path, "w", encoding="utf-8") as f: + f.write(head + body) + + +def build_timeline(data, root, cfg, vid_dir=None): + noise = cfg.get("silence", {}).get("noise", "-32dB") + dmin = str(cfg.get("silence", {}).get("d", "0.12")) + align = cfg.get("align", {}) + vdir = vid_dir or os.path.join(root, "work", shots_ep(data), "videos", "native") + timeline, report, cursor = [], [], 0.0 + for s in data["shots"]: + sid = s["shotId"] + src = os.path.join(vdir, sid + ".mp4") + prompt = find_prompt(root, data, sid) + if not os.path.exists(src): + print("WARN 缺视频 %s,跳过对齐" % src, file=sys.stderr) + cursor += float(s.get("duration", 0)); continue + d = probe(src) + lines = design_lines(prompt) + segs = voiced_segments(src, noise, dmin) + groups = align.get(sid) + if not lines: + report.append((sid, cursor, d, segs, lines, [])) + cursor += d; continue + if groups is None: + raise SystemExit("ERROR %s 无 ALIGN 配置,请先 --dump-segs + --init-config 生成" % sid) + if len(groups) != len(lines): + raise SystemExit("ERROR %s: 台词 %d 句但 ALIGN %d 组" % (sid, len(lines), len(groups))) + max_idx = max(i for g in groups for i in g) if groups else -1 + if max_idx >= len(segs): + raise SystemExit("ERROR %s: ALIGN 引用段 %d 但只检测到 %d 段(阈值 %s/%s)" + % (sid, max_idx, len(segs), noise, dmin)) + + assigned = [] + for gi, g in enumerate(groups): + d0, d1, txt = lines[gi] + a, b = (segs[g[0]][0], segs[g[-1]][1]) if g else (0.0, 0.0) + assigned.append([a, b, txt, d1 - d0, str(g)]) + # 同段被多句引用(连读)按设计时长比例切 + used = {} + for i, (a, b, *_rest) in enumerate(assigned): + used.setdefault((a, b), []).append(i) + for (a, b), idxs in used.items(): + if len(idxs) > 1: + total_dw = sum(assigned[i][3] for i in idxs) + p = a + for i in idxs: + q = p + (b - a) * (assigned[i][3] / total_dw) + assigned[i][0], assigned[i][1] = p, q + p = q + shot_tl = [] + for a, b, txt, _dw, _g in assigned: + a = max(0.0, a - 0.04); b = min(d, b + 0.04) + if b - a < 0.45: + b = min(d, a + 0.45) + shot_tl.append((cursor + a, cursor + b, txt)) + timeline.append((cursor + a, cursor + b, txt)) + report.append((sid, cursor, d, segs, lines, shot_tl)) + cursor += d + return timeline, report, cursor + + +def shots_ep(shots): + return shots.get("episode", "EP00") + + +def find_prompt(root, shots, sid): + ep = shots_ep(shots) + for rel in ("projects/%s/40_prompts/%s.h3v3.txt" % (ep, sid), + "40_prompts/%s.h3v3.txt" % sid): + p = os.path.join(root, rel) + if os.path.exists(p): + return p + return os.path.join(root, "projects", ep, "40_prompts", sid + ".h3v3.txt") + + +def print_report(report): + for sid, cursor, d, segs, lines, tl in report: + sdesc = " ".join("%d:%.2f-%.2f(%.2f)" % (i, a, b, b - a) for i, (a, b) in enumerate(segs)) + print("---- %s @%.2f-%.2fs 段=%d 句=%d" % (sid, cursor, cursor + d, len(segs), len(lines))) + print(" 发声段: %s" % sdesc) + for (a, b, txt), (d0, d1, _) in zip(tl, lines): + print(" %.2f-%.2f %s (设计 %.2f-%.2f)" % (a, b, txt, d0, d1)) + + +def main(): + ap = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) + ap.add_argument("shots", help="30_shots.json 路径") + ap.add_argument("--root", help="工作空间根(默认上溯找 config/pipeline.json)") + ap.add_argument("--config", help="对齐配置 JSON(work/EPxx/align_config.json)") + ap.add_argument("--dump-segs", action="store_true", help="只打印每镜实测发声段,供填 ALIGN") + ap.add_argument("--init-config", metavar="PATH", help="生成配置模板(按句数顺序一一映射)") + ap.add_argument("--dry-run", action="store_true", help="只打印对齐时间轴,不写文件") + ap.add_argument("--out", help="输出对齐后的 ep.ass 路径") + ap.add_argument("--package-out", help="输出包装层 package.ass 路径(配置含 package 时)") + a = ap.parse_args() + + root = find_root(a.root) + shots = json.load(open(os.path.abspath(a.shots), encoding="utf-8")) + cfg = json.load(open(os.path.abspath(a.config), encoding="utf-8")) if a.config else {} + ep = shots_ep(shots) + vdir = os.path.join(root, "work", ep, "videos", "native") + + if a.dump_segs: + noise = cfg.get("silence", {}).get("noise", "-32dB") + dmin = str(cfg.get("silence", {}).get("d", "0.12")) + for s in shots["shots"]: + sid = s["shotId"] + src = os.path.join(vdir, sid + ".mp4") + if not os.path.exists(src): + print("%s 缺视频 %s" % (sid, src)); continue + segs = voiced_segments(src, noise, dmin) + lines = design_lines(find_prompt(root, shots, sid)) + print("%s 段=%d 句=%d %s" % ( + sid, len(segs), len(lines), + " ".join("%d:%.2f-%.2f" % (i, x, y) for i, (x, y) in enumerate(segs)))) + return 0 + + if a.init_config: + tpl = {"_readme": "ALIGN 把发声段索引分给各句;先 --dump-segs 看段,再人工校准(默认一一映射仅供参考)。", + "silence": cfg.get("silence", {"noise": "-32dB", "d": "0.12"}), + "align": {}, "mute_shots": []} + noise = tpl["silence"]["noise"]; dmin = str(tpl["silence"]["d"]) + for s in shots["shots"]: + sid = s["shotId"] + src = os.path.join(vdir, sid + ".mp4") + nlines = len(design_lines(find_prompt(root, shots, sid))) + tpl["align"][sid] = [[i] for i in range(nlines)] if nlines else [] + os.makedirs(os.path.dirname(os.path.abspath(a.init_config)), exist_ok=True) + with open(a.init_config, "w", encoding="utf-8") as f: + json.dump(tpl, f, ensure_ascii=False, indent=2) + print("配置模板 -> %s(务必 --dump-segs 后人工校准)" % a.init_config) + return 0 + + timeline, report, total = build_timeline(shots, root, cfg, vdir) + print("字幕 %d 句,总长 %.2fs" % (len(timeline), total), flush=True) + print_report(report) + if a.dry_run: + print("\n[DRY-RUN] 未写文件。静音镜:%s" % (cfg.get("mute_shots") or "无")) + return 0 + + if a.out: + os.makedirs(os.path.dirname(os.path.abspath(a.out)), exist_ok=True) + write_ass(timeline, a.out) + print("对齐字幕 -> %s" % a.out) + if a.package_out and cfg.get("package"): + pkg = cfg["package"] + write_ass([], a.package_out, styles=pkg.get("styles"), events=pkg.get("events")) + print("包装层 -> %s" % a.package_out) + if not a.out and not a.package_out: + print("提示:加 --out / --package-out 才会写 ASS;当前仅预览。") + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/scripts/render_native.py b/scripts/render_native.py index fec4252..2ded6be 100644 --- a/scripts/render_native.py +++ b/scripts/render_native.py @@ -121,6 +121,9 @@ def main(): ap = argparse.ArgumentParser() ap.add_argument("shots") ap.add_argument("--mask", action="store_true", help="开启画面瑕疵局部模糊遮盖") + ap.add_argument("--ass", default=None, + help="用现成的对齐 ASS(align_subtitles.py 产出)烧字幕,跳过内置的设计时间轴。" + "强烈建议台词镜用这个——内置时间轴按 h3v3 设计秒数,会与口型错位") ap.add_argument("--name", default=None) a = ap.parse_args() @@ -199,7 +202,19 @@ def main(): # 2) 烧字幕(单次编码) ass_path = os.path.join(tmp, "ep.ass") - nsub = build_ass(timeline, ass_path) + if a.ass: + # 用对齐后的现成 ASS:先复制到 tmp 路径,避免改写用户源文件 + import shutil + src_ass = os.path.abspath(a.ass) + if not os.path.exists(src_ass): + print("ERROR 缺 ASS", src_ass, file=sys.stderr); return 1 + if os.path.abspath(ass_path) != src_ass: + shutil.copy(src_ass, ass_path) + nsub = sum(1 for l in open(ass_path, encoding="utf-8") if l.startswith("Dialogue:")) + print(" 字幕使用对齐 ASS: %s(%d 行)" % (src_ass, nsub), flush=True) + else: + nsub = build_ass(timeline, ass_path) + print(" ⚠ 使用内置设计时间轴字幕——可能与口型错位,建议改用 --ass + align_subtitles.py", flush=True) video_only = os.path.join(tmp, "video_sub.mp4") # concat demuxer list_path = os.path.join(tmp, "concat.txt")