diff --git a/README.md b/README.md index 60d57ce..9489a8c 100644 --- a/README.md +++ b/README.md @@ -1,8 +1,18 @@ # ai-manju — 同事上手指南 -一条流水线把剧本做成 AI 漫剧 / 短剧成片:**源节拍 → 分镜 → 首帧图 → 图生视频 → 配音 → 字幕缝合 → 归档**。 +一条流水线把剧本做成 AI 漫剧 / 短剧成片:**源节拍 → 分镜 → 首帧图 → 图生视频(台词镜走音画同出)→ 配音/字幕 → 缝合 → 归档**。 特点是文件驱动、机器可校验、任何一镜可单独重做。工具脚本只用 Python 标准库。 +> **2026-11-19 v1.2.0 关键变化**:补齐原生音画镜的**出片闭环**。 +> 新增 `render_native.py`(台词镜专用缝合器:直拼保留原生音轨、从 h3v3 `[Audio]` 烧字幕、可选瑕疵遮盖,不叠 TTS / 不加落版 / 保持 576×1024)、 +> `fetch_t2i.py`(出图脚本被杀后按 pid 从服务端救回单图);修复 `queue_h3_native.py --check` 把「被中断/error」误判为"在队"的 bug。 +> 缝合前先分流:台词镜走 `render_native.py`,无音轨镜走 `render.py`,两者不要混。见 [references/render.md](references/render.md)。 +> +> **2026-11-17 v1.1.0**:人物说话的镜头**不再事后贴嘴**。 +> 走 `192.168.1.23:30121`(DCU K100 64 GB)的 MiniMax H3 `fl2va` **音画同出**:首帧锁图 I2V, +> 画面 / 人声 / 环境音一次出,口型模型内对齐。`submit_h3_native.py` / `queue_h3_native.py` / `fetch_h3_native.py` +> 与 [references/native-av.md](references/native-av.md)。Wav2Lip / LatentSync / InfiniteTalk 三条事后贴嘴路线已实测否掉。 + --- ## 1. 安装(一次性) @@ -26,19 +36,22 @@ pip install --user edge-tts # 免费免密钥配音;商用授权自 python3 -V # 脚本本身零第三方依赖 ``` -另需准备:**内网模型端点可达**(模板已预填三个 K8s ComfyUI 地址:30111 / 30112 / 30113)。开工自检: +另需准备:**内网模型端点可达**(模板已预填:台词镜 `192.168.1.23:30121`,出图/静音镜 `192.168.1.30:30113`)。开工自检: ```bash -for U in 192.168.1.30:30111 192.168.1.30:30112 192.168.1.30:30113; do +for U in 192.168.1.23:30121 192.168.1.30:30113; do printf "%-24s" "$U"; curl -s --noproxy '*' -m 8 "http://$U/system_stats" | head -c 60; echo done ``` 明文 HTTP 会被本机代理改写成 `text/html`,curl 要 `--noproxy '*'`,Python 要 `ProxyHandler({})`。端点全表见 [references/models.md](references/models.md)。 -> ⚠️ **2026-11-13**:DCU `192.168.1.24` 整机不可达(30120 / 8801 TCP 均 CLOSED)。 -> 出图改走 `192.168.1.30:30113`;embed-bge 向量服务(8801)随之下线。 -> DCU 恢复后把 `config/pipeline.json` 的 `imageModel.endpoint` 改回去即可,**权重名不用改**(脚本自动探测)。 +> ⚠️ **两台机器分工(2026-11-17)**: +> `30121` = DCU K100 **64 GB**,H3 音画同出 I2V(台词镜)+ 出图 + A14B 全套权重;**禁调 `/api/free`**(会崩服务)。 +> `30113` = K8s 2080Ti **22 GB**,出图 / A14B / H3 **T2V**;**该卡 I2V 必 OOM**。 +> 2026-11-19 实测补:30 实为 RTX 2080 Ti / 23.1 GB 显存(4 GiB 是 cgroup 内存限),出图用 `int8_convrot` +> 但单张约 190s(DCU 23 约 52s,慢 4 倍);**连续出图后服务三个端口会整体 Connection refused**,台词镜别排这里,回退 30121。 +> 旧 DCU `192.168.1.24`(30120)仍整机不可达,**与 30121 不是一台机**;embed-bge(8801)随之下线。 --- @@ -49,7 +62,7 @@ mkdir my-drama && cd my-drama python3 ~/.agents/skills/ai-manju/scripts/manju.py setup ``` -`setup` 会建好目录、写入 `config/pipeline.json` 模板、把 10 个脚本复制到 `tools/`、把模板与 schema 放到 `assets/templates/`。 +`setup` 会建好目录、写入 `config/pipeline.json` 模板、把 `scripts/` 下全部脚本复制到 `tools/`(含出图救回与两条缝合器)、把模板与 schema 放到 `assets/templates/`。 接着**必须编辑 `config/pipeline.json`**:填 `workspace`、`tts.voice`。`videoModel` / `imageModel` / `textModel` / `embed` 四段已预填内网地址,按需切换(注意:`embed` 段的 8801 已随 DCU 下线,当前无可用向量服务);`cleanup` 段配导出后的服务端清理策略(默认 `auto: false`、`requireOwner: true`:只清自己发起的任务)。产物文件官方没有删除接口,把技能包 `assets/comfyui-manju-cleanup/` 拷到各端点的 `ComfyUI/custom_nodes/` 并重启即可启用扩展(不装会自动降级到 `deleteApi` / `commands`),详见 [models.md §3.4](references/models.md)。密钥绝不写进配置 —— LLM 代理走 `xop run --secret K=llm_key -- CMD < /dev/null`。 @@ -68,8 +81,8 @@ python3 tools/manju.py init EP01 # projects/EP01/10_events.md 源节拍账本:一行一个 E## # projects/EP01/20_script.md 剧本/旁白全文 # projects/EP01/30_shots.json 分镜表(单一真相源,一镜一行) -# projects/EP01/40_prompts/S01.i2v.txt 逐镜运动提示词原文 -# projects/EP01/40_prompts/S01.t2i.txt 逐镜出图提示词原文(用内网 H3-Image 时) +# projects/EP01/40_prompts/S01.i2v.txt 逐镜运动提示词原文(静音镜) +# projects/EP01/40_prompts/S01.h3v3.txt 逐镜五段式提示词(台词镜:含秒级台词时间轴) # ③ 校验:ERROR 必须为 0 python3 tools/manju.py validate projects/EP01/30_shots.json @@ -78,8 +91,9 @@ python3 tools/manju.py validate projects/EP01/30_shots.json python3 tools/submit_t2i.py --prompt "角色设定长描述..." --out assets/characters/ling.png python3 tools/make_overlay.py -# ⑤ 配音先行:生成 vo_NN.mp3 并把实测时长回填 30_shots.json 的 duration +# ⑤ 配音(**只给无音轨镜/旁白**):生成 vo_NN.mp3 并把实测时长回填 duration python3 tools/tts.py projects/EP01/30_shots.json +# 台词镜走音画同出,不跑 TTS、不要叠双份人声 # ⑥ 首帧图:内网 H3-Image 出图 → work/EP01/images/Sxx.png(正好是 ⑦ 读取的路径) python3 tools/submit_t2i.py --ep EP01 --shot S01 --prompt-file projects/EP01/40_prompts/S01.t2i.txt @@ -88,9 +102,15 @@ python3 tools/submit_t2i.py --ep EP01 --shot S01 --prompt-file projects/EP01/40_ # (也可用宿主 Agent 的图像能力,但会消耗外部积分;出图后审一遍再进 ⑦) # ⑦ 图生视频:先审首帧,再提交(会消耗算力,先取得授权) -python3 tools/submit_i2v.py projects/EP01/30_shots.json --only S01 # 先跑一镜验证 +python3 tools/submit_i2v.py projects/EP01/30_shots.json --only S01 # 静音镜,先跑一镜验证 python3 tools/submit_i2v.py projects/EP01/30_shots.json --cleanup # 全量,每镜导出后自动清服务端 +# ⑦n 台词镜(音画同出):排队 → 自检 → 取回。单镜约 90 分钟,别挂进程等 +python3 tools/queue_h3_native.py --ep EP01 # 排完整集,落盘 prompt_id +python3 tools/queue_h3_native.py --ep EP01 --check # 5 分钟内做一次丢失自检(实例重启会静默清空队列) +python3 tools/fetch_h3_native.py --ep EP01 --status # 只看状态 +python3 tools/fetch_h3_native.py --ep EP01 # 取回,顺手检查有没有 aac 音轨 + # ⑦b 导出后清理(若没加 --cleanup,或要复核清了什么) python3 tools/cleanup_comfyui.py --ep EP01 # 预演:逐条打印归属判定 + 将删清单 python3 tools/cleanup_comfyui.py --ep EP01 --apply # 真清(含删后复核) @@ -104,8 +124,9 @@ python3 tools/selftest_cleanup.py # 本地 mock 自检:归 # ⑧ 审片:首/中/末联系表;漂移镜截前段(keepSeconds)或换首帧重跑 python3 tools/review.py projects/EP01/30_shots.json --only S13,S15 -# ⑨ 缝合 + 归档 -python3 tools/render.py projects/EP01/30_shots.json --name EP01_成片.mp4 +# ⑨ 缝合 + 归档(按路线选脚本,别混) +python3 tools/render_native.py projects/EP01/30_shots.json --mask # 台词镜/原生音轨:直拼+烧h3v3字幕+遮盖 +python3 tools/render.py projects/EP01/30_shots.json --name EP01_成片.mp4 # 无音轨镜/旁白镜:TTS配音缝合 python3 tools/manju.py manifest projects/EP01/30_shots.json # 把成片信息登记到 renders/INDEX.md,计算 sha256 ``` @@ -120,11 +141,16 @@ python3 tools/manju.py manifest projects/EP01/30_shots.json | `validate_shots.py` | 分镜前置校验 | 由 `manju.py validate` 调用 | | `tts.py` | edge-tts 配音 + 时长回填 | `` | | `submit_t2i.py` | **内网 H3-Image 文生图**(锚图/首帧) | `--ep EP01 --shot S01 --prompt-file ` / `--prompt` `--out` `--width` `--height` `--force` | -| `submit_i2v.py` | 图生视频提交/预检/续跑(A14B) | `` `--only S03` `--force` `--cleanup` | +| `fetch_t2i.py` | 出图脚本被杀后按 pid 从服务端救回单图(含自检) | `--pid --out [--host url]` | +| `submit_i2v.py` | 图生视频提交/预检/续跑(A14B,静音镜) | `` `--only S03` `--force` `--cleanup` | +| `submit_h3_native.py` | **H3 音画同出单镜**(台词镜,64 GB 卡) | `--ep EP01 --shot S04 --seconds 7.3` / `--length 175` `--t2v` | +| `queue_h3_native.py` | 整集排队(不等待)+ 丢失自检 | `--ep EP01` `--only S01a` `--force` `--check` | +| `fetch_h3_native.py` | 取回已完成产物 + 音轨检查 | `--ep EP01` `--status` `--only S04` | | `cleanup_comfyui.py` | **导出后只清自己发起的任务**:归属闸门 + 扩展删产物 + 官方接口删记录 | `--ep EP01`(不带则连锚图一起清)`--shot S03` `--apply` `--prompt-id --client-id ` `--purge-input` `--free` | | `selftest_cleanup.py` | 清理链路自检(本地 mock ComfyUI,29 项断言) | 无参数 | | `review.py` | 首/中/末审片联系表 | `` `--group 1` `--only S13,S15` | -| `render.py` | 缝合、字幕、HUD、落版 | `` `--name ` `--crop-bottom N` | +| `render_native.py` | **台词镜缝合**:直拼保留原生音轨 + 烧 h3v3 `[Audio]` 字幕 + 瑕疵遮盖 | `` `--mask` `--name ` | +| `render.py` | 无音轨镜缝合:配音、字幕、HUD、落版 | `` `--name ` `--crop-bottom N` | | `make_overlay.py` | 程序化生成 HUD/落版 | 无参数 | ## 5. 关键规则(先看再动手) @@ -138,12 +164,15 @@ python3 tools/manju.py manifest projects/EP01/30_shots.json 7. **端点不照搬**:换模型先查 `/system_stats` / `/object_info`;DCU(ROCm) 与 K8s(CUDA) 节点图互不通用,明文 HTTP 一律绕代理。详见 [models.md](references/models.md)。 8. **出图后必须看 `[SANITY]`**:`submit_t2i.py` 出图后会自动做 PNG 自检(颜色数 / 亮度 / 标准差)。判 `ok(...)` 才算可用;判 FAIL(纯色图 / 全黑)说明**量化档位选错**(DCU 禁 `int8_convrot`,K8s-30113 只能用 `int8_convrot`),**不要重跑**——重跑只会再出一张纯色图。先核对 models.md §2.0 的档位表再改端点。自检未通过时脚本**自动跳过清理**,保留服务端记录与产物当排查证据。 9. **导出即清,且只清自己发起的任务**:成片拉回本地校验大小后,按台账 `clientId` + `client_id` 白名单判归属(`requireOwner=true` 时未通过一律拒绝、不调任何删除接口);再用官方标准接口(`/api/history`、`/api/queue` 的 `{"delete":[...]}`)清记录,**删后必须复核「删前有→删后无」**——200 空 body 是幂等响应,不等于删成功。产物文件官方没有删除 HTTP 路由,优先用自带扩展 `assets/comfyui-manju-cleanup/` 的 `POST /manju/cleanup/purge`(只传 pid,服务端反查 history 并二次校验归属),未装则降级 `cleanup.deleteApi` / `cleanup.commands`。**装了扩展要先删文件再删记录**(purge 依赖 history 反查)。只清服务端,本地成片/提示词/manifest 保留。用 `cleanup_comfyui.py`(默认预演,`--apply` 才删),或给提交脚本加 `--cleanup`;整批结束再加 `--free`。详见 [models.md §3.4](references/models.md)。 +10. **台词不做后期贴嘴**:人物说话的画面必须由**音画同出的模型**生成(H3 `fl2va` + 首帧锁图,`30121` 64 GB)。Wav2Lip(96² 糊块)、LatentSync(环境装不下)、InfiniteTalk(78 min / 油画感 / 身份漂移)已实测否掉。见 [native-av.md](references/native-av.md)。 +11. **长任务排队、不挂进程**:单镜 90 分钟级,一律「排队 → 落盘 pid → 事后取回」;`queue`/`history` 是内存态,实例重启即静默丢任务(实测 7 镜全丢),**排完 5 分钟内必须 `--check` 自检**。 详细规则按阶段读 `references/`: - [models.md](references/models.md) — **内网模型服务与 API 全表**(2 视频 / 1 文生图 / LLM / 向量;节点图与两端差异) +- [native-av.md](references/native-av.md) — **台词镜头:音画同出**(为什么放弃 lip-sync / 节点图 / 五段式提示词 / 时长网格 / 排队取回) - [workflow.md](references/workflow.md) — 七阶段与闸门 -- [director.md](references/director.md) — 导演内核 12 铁律 + I2V 提示词模板 +- [director.md](references/director.md) — 导演内核 12 铁律 + 对白写法 + I2V 提示词模板 - [storyboard.md](references/storyboard.md) — 分镜三角色与连续性 - [submit-i2v.md](references/submit-i2v.md) — 提交协议与预检 - [render.md](references/render.md) — 缝合规格 @@ -160,12 +189,13 @@ python3 tools/manju.py manifest projects/EP01/30_shots.json | 目标 | 怎么做 | |---|---| -| 默认 A14B | 直接用 `submit_i2v.py`;UNET / LORA / CLIP / VAE 常量与负向提示词在脚本顶部,端点与规格在 `config/pipeline.json` | -| 换 H3(带原生音轨) | **不能只改 `videoModel.endpoint`**:采样节点(`KSampler` / `SamplerCustomAdvanced`)、权重、输出节点、音频清洁全不同,按 models.md §4.2 / §4.3 另写工作流 | +| 默认 A14B(静音镜) | 直接用 `submit_i2v.py`;UNET / LORA / CLIP / VAE 常量与负向提示词在脚本顶部,端点与规格在 `config/pipeline.json` | +| 台词镜(H3 音画同出) | 用 `queue_h3_native.py` / `submit_h3_native.py`,读 `config.nativeVideoModel`;**只能在 64 GB 卡(30121)跑**,别塞给 2080Ti | +| H3 T2V(只要环境音、无对白) | **不能只改 `videoModel.endpoint`**:采样节点、权重、输出节点都不同,按 models.md §4.3 另写工作流;22 GB 卡上禁 `first_frame` | | 出图 | `submit_t2i.py` 读 `config.imageModel`;**权重名不用填**(脚本读端点 `/object_info` 自动挑);32 对齐、6 步、cfg 1.0 别乱改;出图后看 `[SANITY]` 行 | -| 非 ComfyUI 后端 | 替换 `submit_i2v.py` 的 `request()` / `build_workflow()`,其余脚本不依赖具体模型 | +| 非 ComfyUI 后端 | 替换 `submit_i2v.py` / `submit_h3_native.py` 的 `req()` / `build()`,其余脚本不依赖具体模型 | -**四条铁律**:换模型先查 `/system_stats` 和 `/object_info`;DCU(ROCm) 与 K8s(CUDA) 的节点图互不通用;K8s 侧三个端口(30111/30112/30113)是**同一个 0.45 实例**,共用一张 2080Ti,只能串行提交;**出图端点的量化档位不能照搬**(DCU 禁 `int8_convrot`,K8s-30113 只能用 `int8_convrot`,搞反了静默出纯色图)。 +**五条铁律**:换模型先查 `/system_stats` 和 `/object_info`;**I2V 看卡不看端口**(`first_frame` 只有 64 GB 的 30121 扛得住);DCU(ROCm) 与 K8s(CUDA) 的节点图互不通用;K8s 侧三个端口(30111/30112/30113)是**同一个 0.45 实例**,共用一张 2080Ti,只能串行提交;**出图量化档位不能照搬**(ROCm 只能 `w4a8`、K8s-30113 只能 `int8_convrot`,搞反了静默出纯色图)。 输出规格、音色、字幕/HUD/落版规则全部集中在 `config/pipeline.json`,不要在脚本里散落硬编码。 ## 7. 出处与许可 diff --git a/SKILL.md b/SKILL.md index 721093a..77d1806 100644 --- a/SKILL.md +++ b/SKILL.md @@ -1,12 +1,13 @@ --- name: ai-manju description: >- - 用文件驱动、可校验、可单镜重做的流水线制作 AI 漫剧 / AI 短剧:从源节拍账本、结构化分镜、逐镜提示词、角色锚图与图生视频,到配音、字幕、HUD 缝合与成片归档。 + 用文件驱动、可校验、可单镜重做的流水线制作 AI 漫剧 / AI 短剧:从源节拍账本、结构化分镜、逐镜提示词、角色锚图与图生视频,到配音、字幕、HUD 缝合与成片归档。人物台词镜头走音画同出(原生对白口型),不做后期 lip-sync。 Trigger on: "AI漫剧" "漫剧" "AI短剧" "短剧" "分镜" "分镜表" "图生视频" "出片" - "配音" "缝合" "镜头表" "manju" "comic drama" "storyboard" "image to video"。 + "配音" "缝合" "镜头表" "口型" "对白" "lip-sync" "manju" "comic drama" "storyboard" "image to video"。 metadata: - version: "1.0.0" + version: "1.1.0" upstream: "Toonflow workflow v2.7.0 (MIT) 方法论,已剥离宿主耦合;原文见 references/toonflow/" + changelog: "1.1.0 (2026-11-17):新增 H3 音画同出路线(192.168.1.23:30121 / K100 64GB)+ native-av 参考 + queue/fetch 长任务编排;明确禁止事后 lip-sync;补 30121 内存态队列丢失与 /api/free 崩溃两条硬约束。" --- # ai-manju — AI 漫剧流水线 @@ -17,19 +18,21 @@ metadata: - 本机只做:目录/清单/校验/提示词/ASS 字幕/ffmpeg 缝合。 - 首帧图:内网 **MiniMax H3-Image 文生图** → `tools/submit_t2i.py`;脚本**自动探测权重名**,端点或权重变了不用改代码。 也可用宿主 Agent 的图像能力(会消耗外部积分)。 -- 视频:**两个内网模型**可选 —— Wan2.2 I2V A14B(无音轨、4 步、批量抽卡,`tools/submit_i2v.py` 已封装) - 与 MiniMax H3(**带原生同步音频**,20 步、画质优先,**仅 T2V**:首帧锁图 I2V 在 2080Ti 上会 OOM)。 -- **三者跑在同一个实例上:`192.168.1.30:30113`(K8s,ComfyUI 0.45)。** 换模型只换节点图,不换地址; - 但它是 1 张 22 GB 卡 + 4 GiB 内存硬限,**必须串行**。 -- 策划阶段可借内网 LLM 代理拆剧本(可选);向量服务 embed-bge 已随 DCU 下线,暂无替代。 +- **人物说话的镜头 → 走音画同出**:`192.168.1.23:30121`(DCU K100 **64 GB**)的 MiniMax H3 `fl2va`, + 首帧锁图 I2V + **原生对白/环境音**,口型模型内对齐。`tools/submit_h3_native.py` / `queue_h3_native.py` / `fetch_h3_native.py` + → **[references/native-av.md](references/native-av.md)**。**不要再做事后 lip-sync**(三条路线实测全废,理由见该文 §1)。 +- 无声动作镜头 / 批量抽卡:Wan2.2 I2V A14B(4 步、无音轨,`tools/submit_i2v.py`)。 +- 2080Ti **22 GB** 实例 `192.168.1.30:30113` 仍可用出图与 H3 **T2V**,但**该卡 I2V 必 OOM**,台词镜头别往这里塞。 +- 策划阶段可借内网 LLM 代理拆剧本(可选);向量服务 embed-bge 已随旧 DCU 下线,暂无替代。 - **端点、节点图、0.45/0.38 差异全表见 [references/models.md](references/models.md)**; 部署拓扑、4 GiB 墙、补丁集与 **pod 重建后的恢复步骤**见部署侧文档 `~/WorkBuddy/2026-11-08-19-43-52/deploy/k8s-nvidia/deploy-as-built.md`(**不在技能包内**,部署与使用刻意分开)。 -> ⚠️ **2026-11-13 服务状态**:三个 ComfyUI 已**合并为一个多模态实例**(30113,0.45)。 -> `30111` / `30112` 已通过 Service selector 改指到同一实例(旧 deployment 已 scale 0),**端口照旧可用、调用方零改动**。 -> DCU `192.168.1.24` **整机不可达**(30120 / 8801 TCP 均 CLOSED),**embed-bge 向量服务随之下线**。 -> 30113 的 `/local` 是 emptyDir,**pod 重建后必须跑 `/basedir/apply-multimodal.sh`**,否则只剩出图能力。 +> ⚠️ **2026-11-17 服务状态**:两台 ComfyUI 0.45 在线,按卡分工。 +> `30113`(K8s,2080Ti 22 GB + 4 GiB cgroup)= 出图 / A14B / H3 T2V;`30111`/`30112` 是它的别名(旧 deployment 已 scale 0), +> **pod 重建后必须跑 `/basedir/apply-multimodal.sh`**,否则只剩出图能力。 +> `30121`(DCU K100 64 GB)= **台词镜主力**(H3 音画同出 I2V)+ 出图 + A14B 全套权重;**禁调 `/api/free`**(会崩服务)。 +> 旧 DCU `192.168.1.24` **整机不可达**(30120 / 8801 TCP 均 CLOSED),embed-bge 向量服务随之消失,**别与 30121 混为一谈**。 > 开工前先跑下面的健康自检,别照着旧文档连已下线的端点。 ## 何时用 @@ -47,15 +50,24 @@ pip install --user imageio-ffmpeg # 渲染/审片用的静态 ffmpeg pip install --user edge-tts # 配音(免费免密钥) ``` -再准备:① 内网端点可达(**主用 `192.168.1.30:30113` 已预填进 `config/pipeline.json`**,图与视频共用;`30111`/`30112` 是同一实例的别名,等价可用;DCU 30120 已下线);② LLM 代理若要用,密钥走 `xop run --secret K=llm_key -- CMD < /dev/null`,不落明文。开工自检: +再准备:① 内网端点可达(**台词镜主力 `192.168.1.23:30121`(64 GB)已预填进 `nativeVideoModel`;出图/静音动作用 `192.168.1.30:30113`**;`30111`/`30112` 是 30113 的别名;旧 DCU 30120 已下线,别与 30121 混);② LLM 代理若要用,密钥走 `xop run --secret K=llm_key -- CMD < /dev/null`,不落明文。开工自检: ```bash -# 主用端点:在线 + 必须看到 4 个扩散模型(H3 图 / H3 视频 / WAN high+low) -U=192.168.1.30:30113 +# 台词镜主力(64 GB):必须看到 H3 视频 + H3 图像两套权重 +U=192.168.1.23:30121 curl -s --noproxy '*' -m 8 "http://$U/system_stats" | head -c 120; echo curl -s --noproxy '*' -m 8 "http://$U/object_info/UNETLoader" | python3 -c " import json,sys d=json.load(sys.stdin)['UNETLoader']['input']['required']['unet_name'][0] +print(len(d),'models:',d) +assert any('fl2va' in x for x in d), '缺 H3 视频权重 → 台词镜跑不了' +" + +# 出图 / 静音动作(22 GB):必须看到 4 个扩散模型(H3 图 / H3 视频 / WAN high+low) +U=192.168.1.30:30113 +curl -s --noproxy '*' -m 8 "http://$U/object_info/UNETLoader" | python3 -c " +import json,sys +d=json.load(sys.stdin)['UNETLoader']['input']['required']['unet_name'][0] print(len(d), 'models:'); [print(' ', x) for x in d] " # 少于 4 个 = pod 重建后 /local 软链丢了(不是模型坏了)→ 跑 /basedir/apply-multimodal.sh @@ -68,7 +80,7 @@ print(len(d), 'models:'); [print(' ', x) for x in d] ```bash mkdir my-drama && cd my-drama python3 ~/.agents/skills/ai-manju/scripts/manju.py setup # 建目录 + 配置模板 + 复制脚本 -# 编辑 config/pipeline.json:填 workspace、tts.voice;端点已预填 30113(图/视频共用),按需切换 +# 编辑 config/pipeline.json:填 workspace、tts.voice;端点已预填(台词镜 30121 / 出图与静音镜 30113),按需切换 python3 tools/manju.py init EP01 # 建一集骨架 # 填 00_brief.md / 10_events.md / 20_script.md / 30_shots.json / 40_prompts/ python3 tools/manju.py validate projects/EP01/30_shots.json # ERROR 必须为 0 @@ -83,9 +95,9 @@ python3 tools/manju.py validate projects/EP01/30_shots.json # ERROR 必须为 0 | 0 | 基线资产 | 角色锚图、画风描述、HUD/落版模板 | `tools/submit_t2i.py`(H3-Image);`tools/make_overlay.py`;[references/models.md §2](references/models.md);[references/storyboard.md](references/storyboard.md) | | 1 | 策划与叙事 | `00_brief.md`、`10_events.md`、`20_script.md` | [assets/policy.template.md](assets/policy.template.md);[references/director.md](references/director.md) | | 2 | 分镜中枢 | `30_shots.json`、`40_prompts/Sxx.i2v.txt` | `manju.py validate`;[references/director.md](references/director.md) | -| 3 | 配音先行 | `work/EPxx/audio/vo_NN.mp3` | `tools/tts.py`;**实测时长回填 `duration`** | -| 4 | 出图 / 出视频 | `work/EPxx/{images,videos}/Sxx_.*` | `tools/submit_t2i.py` + `tools/submit_i2v.py`(A14B);H3 节点图见 [references/models.md §4](references/models.md);[references/submit-i2v.md](references/submit-i2v.md);**导出后** `tools/cleanup_comfyui.py` | -| 5 | 缝合 | `renders/EPxx_成片.mp4` | `tools/render.py`;[references/render.md](references/render.md) | +| 3 | 配音先行(**仅无音轨镜**) | `work/EPxx/audio/vo_NN.mp3` | `tools/tts.py`;**实测时长回填 `duration`**。⚠️ 走音画同出的台词镜**跳过**此阶段,别叠双份人声 | +| 4 | 出图 / 出视频 | `work/EPxx/{images,videos}/Sxx_.*`、`videos/native/Sxx.mp4` | 台词镜:`tools/queue_h3_native.py` + `fetch_h3_native.py`([native-av.md](references/native-av.md));静音镜:`tools/submit_i2v.py`(A14B);出图:`tools/submit_t2i.py`;**导出后** `tools/cleanup_comfyui.py` | +| 5 | 缝合 | `renders/EPxx_成片.mp4` | 台词镜(原生音轨):`tools/render_native.py`;无音轨镜:`tools/render.py`;[references/render.md](references/render.md) | | 6 | 审片与归档 | `renders/INDEX.md`、`50_manifest.json` | `tools/review.py`;[references/review.md](references/review.md) | 完整闸门与输出契约见 [references/workflow.md](references/workflow.md),字段定义见 [assets/shot.schema.json](assets/shot.schema.json)。 @@ -94,13 +106,18 @@ python3 tools/manju.py validate projects/EP01/30_shots.json # ERROR 必须为 0 | 要什么 | 用哪个 | 端点 | 脚本 / 文档 | |---|---|---|---| -| 角色锚图、分镜首帧 | **MiniMax H3-Image**(int8_convrot,2048² 起 / 6 步 euler / ~178s) | **`192.168.1.30:30113`**(权重自动探测) | `tools/submit_t2i.py`;[models.md §2 / §4.4](references/models.md) | -| 静音动作镜头、批量抽卡 | **Wan2.2 I2V A14B**(832×480 上限 / 81 帧 / 4 步 / 无音轨) | **同一个 `30113`** | `tools/submit_i2v.py`(已封装);[submit-i2v.md](references/submit-i2v.md) | -| 带环境音 / 同期声的镜头 | **MiniMax H3 T2V**(w6a8,20 步、**无 LoRA**,原生 aac 音轨)⚠️ **仅文生视频,别塞 `first_frame`** | **同一个 `30113`** | 手写节点图;[models.md §4.3](references/models.md) | +| **人物有台词的镜头(首选)** | **MiniMax H3 `fl2va` 音画同出 I2V**(576×1024 / 24fps / 20 步 / 原生 aac 对白) | **`192.168.1.23:30121`(K100 64 GB)** | `tools/queue_h3_native.py` + `fetch_h3_native.py`;**必读 [native-av.md](references/native-av.md)** | +| 角色锚图、分镜首帧 | **MiniMax H3-Image**(30113 用 int8_convrot / 30121 用 w4a8,2048² 起 / 6 步 euler) | `192.168.1.30:30113` 或 `192.168.1.23:30121`(权重自动探测) | `tools/submit_t2i.py`;[models.md §2 / §4.4](references/models.md) | +| 静音动作镜头、批量抽卡 | **Wan2.2 I2V A14B**(832×480 上限 / 81 帧 / 4 步 / 无音轨) | `30113`(`30121` 也有同一套权重但要在视频队列后等) | `tools/submit_i2v.py`(已封装);[submit-i2v.md](references/submit-i2v.md) | +| 只需环境音、无对白的镜头 | **MiniMax H3 T2V**(w6a8,20 步、**无 LoRA**,原生 aac 音轨)⚠️ **仅文生视频,别塞 `first_frame`** | `30113`(22 GB 只能 T2V) | 手写节点图;[models.md §4.3](references/models.md) | | 拆剧本、扩写提示词 | LLM 代理(需 xop 密钥、**按 slot 前缀**路由) | `192.168.1.30:30084` | [models.md §5.1](references/models.md) | | 设定检索、去重 | embed-bge(免密钥,模型名 `BAAI/bge-large-zh-v1.5`)⚠️ 已下线 | `192.168.1.24:8801` | [models.md §5.2](references/models.md) | -**四条铁律**:① 三种模态全在 **30113 一个实例**(1 张 2080Ti + 4 GiB 内存硬限),**只能串行**,并发必 OOM;② 换视频模型**不能只改 `videoModel.endpoint`**,两套节点图/权重/输出节点都不同(H3 走 `SamplerCustomAdvanced`,WAN 走 `KSamplerAdvanced`×2 + `ModelSamplingSD3`);③ 0.45(30113)与 0.38(30111/30112)不能互抄采样节点、`SaveVideo.format`、`--fp16-unet`(30111 必需、30113 禁用);④ **出图量化档位不能照搬**:DCU 禁 `int8_convrot`,K8s-30113 只能用 `int8_convrot` —— 搞反了会静默出纯色图。 +**五条铁律**:① **I2V 看卡不看端口**——`first_frame` 只有 64 GB 的 `30121` 扛得住,`30113`(22 GB)塞进去必 OOM; +② `30113` 的图 / H3 T2V / A14B 三种模态**共用一个实例**(1 张 2080Ti + 4 GiB 内存硬限),**只能串行**,并发必 OOM; +③ 换视频模型**不能只改 endpoint**,两套节点图/权重/输出节点都不同(H3 走 `SamplerCustomAdvanced`,WAN 走 `KSamplerAdvanced`×2 + `ModelSamplingSD3`); +④ **出图量化档位不能照搬**:ROCm(30120/30121)只能 `w4a8`、K8s-30113 只能 `int8_convrot` —— 搞反了会静默出纯色图; +⑤ **`30121` 禁调 `/api/free`**(会崩服务自愈),**`queue`/`history` 是内存态**(实例重启就静默丢任务)。 ### 出图怎么跑(阶段 0 / 阶段 4) @@ -119,18 +136,45 @@ python3 tools/submit_t2i.py --prompt "A lone figure on a misty pier, ..." --out > 出图成功**不等于**内容正确 —— 量化档位不对时 ComfyUI 不报错,只是出纯色图。**必须看 `[SANITY]` 行。** -## 八条不能让渡的规则 +### 台词镜怎么跑(阶段 4 的另一条腿) + +```bash +# ① 一次排完整集(不等待;单镜 ≈ 90 min,8 镜 ≈ 12 h) +python3 tools/queue_h3_native.py --ep EP01 +# ② 随时查(服务端成功一个就能取回一个) +python3 tools/fetch_h3_native.py --ep EP01 --status +# ③ 取回;脚本会顺手检查 mp4 里到底有没有 aac 音轨 +python3 tools/fetch_h3_native.py --ep EP01 +# ④ 全部取回并验收后缝合:直拼保留原生音轨 + 烧 h3v3 [Audio] 字幕 + 可选瑕疵遮盖 +python3 tools/render_native.py projects/EP01/30_shots.json --mask # 台词镜专用,不叠 TTS / 不加落版 +``` + +> **两条缝合路线别混**:台词镜(原生 aac 音轨)只能走 `render_native.py`, +> 给原生音画镜套 `render.py` 会叠双份人声、强加落版、强改 720×1280 掉画质。 +> 无音轨镜/旁白镜才走 `render.py`。出图脚本被杀后的单图救回用 `fetch_t2i.py --pid --out `。 +> 详见 [references/render.md](references/render.md) 与 [references/pitfalls.md](references/pitfalls.md)。 + +提示词写 `projects/EP01/40_prompts/.h3v3.txt`(五段式:`[Visual]/[Motion]/[Camera]/[Audio]/[Narrative]`), +台词按秒级时间轴写进 `[Audio]`,并写 `Only speaks`。**分镜时长必须吸附 `17k+5` 帧网格**(124–362 帧是训练区间)。 +台词改了要重排该镜 —— 原生音轨不可编辑。全流程与踩坑见 [references/native-av.md](references/native-av.md)。 + +## 十条不能让渡的规则 1. **资产先行**:角色锚图/画风/HUD 先定稿并锁为只读,再进入分镜。 2. **分镜驱动**:`30_shots.json` 是单一真相源,一镜一行,每个动作映射回 `E##` 源节拍。 -3. **提示词原文留档**:`40_prompts/Sxx.i2v.txt` 一字不改;改词即换哈希、生成新文件,旧版不覆盖。 -4. **配音先于剪辑**:先量实测时长再回填 `duration`,禁止加快语速硬塞。 +3. **提示词原文留档**:`40_prompts/Sxx.i2v.txt`(或 `.h3v3.txt`)一字不改;改词即换哈希、生成新文件,旧版不覆盖。 +4. **配音先于剪辑**:先量实测时长再回填 `duration`,禁止加快语速硬塞。**例外**:走音画同出的台词镜不跑 TTS,时长由帧数网格决定。 5. **单镜重做**:漂移只重跑/截取该镜,不推倒整条时间线;`keepSeconds` 可截稳定前段慢放。 6. **状态诚实**:区分「已生成 / 已采用 / 已合成 / 已归集」,不把文件路径当"看过视频"。 -7. **端点不照搬**:换模型先查 `/system_stats` 与 `/object_info`,按目标服务的 ComfyUI 版本写节点图;明文 HTTP 一律绕代理,`/prompt` 一律包 `{"prompt": ...}` 外层。 -8. **导出即清(只清自己发起的任务)**:成片拉回本地并校验大小后,必须清掉 ComfyUI 服务端的 `history` / `queue` 记录与本次产物文件(`output` / `temp`,上传首帧按需)。**只清服务端**——本地成片、`40_prompts/` 提示词原文、`50_manifest.json` 一律保留。默认走 `tools/cleanup_comfyui.py`(先 dry-run 再 `--apply`):先按台账 `clientId` + `client_id` 白名单判归属(`requireOwner=true` 时未通过一律拒绝,**不调任何删除接口**),再用官方 `/api` 标准接口批量删记录并**删后复核**(200 空 body 是幂等响应,不等于删成功)。产物文件官方没有 HTTP 删除接口,优先用技能自带扩展 `assets/comfyui-manju-cleanup/` 的 `POST /manju/cleanup/purge`(只传 pid,服务端从 history 反查文件、二次校验归属、防路径逃逸与跨任务共用),未装则降级 `cleanup.deleteApi` / `cleanup.commands`。**装了扩展时顺序是「先删文件再删记录」**(purge 依赖 history 反查,记录删了就查不到文件名)。两个提交脚本加 `--cleanup` 可在导出后自动触发;没清成要如实说,不能把「已下载」当「已清理」。见 [models.md §3.4](references/models.md)。 +7. **端点不照搬**:换模型先查 `/system_stats` 与 `/object_info`,按目标服务的 ComfyUI 版本与显卡写节点图;明文 HTTP 一律绕代理,`/prompt` 一律包 `{"prompt": ...}` 外层。 +8. **台词不做后期贴嘴**:人物说话的画面,必须由**音画同出的模型**生成(H3 `fl2va` + 首帧锁图)。 + Wav2Lip(96² 贴回)、LatentSync(环境装不下)、InfiniteTalk(78 min 一镜 / 油画感 / 身份漂移)三条路线已实测否掉: + 贴嘴的画质上限由 lip-sync 模型决定,不是由你的锚图决定。**没有 64 GB 卡时才考虑降级,且要如实说明成片天花板。** +9. **导出即清(只清自己发起的任务)**:成片拉回本地并校验大小后,必须清掉 ComfyUI 服务端的 `history` / `queue` 记录与本次产物文件(`output` / `temp`,上传首帧按需)。**只清服务端**——本地成片、`40_prompts/` 提示词原文、`50_manifest.json` 一律保留。默认走 `tools/cleanup_comfyui.py`(先 dry-run 再 `--apply`):先按台账 `clientId` + `client_id` 白名单判归属(`requireOwner=true` 时未通过一律拒绝,**不调任何删除接口**),再用官方 `/api` 标准接口批量删记录并**删后复核**(200 空 body 是幂等响应,不等于删成功)。产物文件官方没有 HTTP 删除接口,优先用技能自带扩展 `assets/comfyui-manju-cleanup/` 的 `POST /manju/cleanup/purge`(只传 pid,服务端从 history 反查文件、二次校验归属、防路径逃逸与跨任务共用),未装则降级 `cleanup.deleteApi` / `cleanup.commands`。**装了扩展时顺序是「先删文件再删记录」**(purge 依赖 history 反查,记录删了就查不到文件名)。两个提交脚本加 `--cleanup` 可在导出后自动触发;没清成要如实说,不能把「已下载」当「已清理」。见 [models.md §3.4](references/models.md)。 **例外**:出图自检未通过(纯色图)时**不清服务端** —— 保留 `history` 与产物当排查证据,脚本已自动跳过。 **扫描范围**:清理脚本递归扫工作空间下所有 `t2i_runs.json` / `a14b_runs.json`(台账写在图片同目录,位置随 `--out` 变)。**不带 `--ep` 跑一次**才能把角色锚图等集外任务一起清掉;只跑 `--ep EP01` 会漏掉它们。每个任务按台账里记录的**实际端点**去清,不会清错地方。 +10. **长任务排队、不挂进程**:单镜 90 分钟级,一律「排队 → 落盘 pid → 事后取回」。`queue`/`history` 都是内存态, + 实例一重启排队的任务就静默消失(实测 7 镜全丢),**排完 5 分钟内必须做一次 `/queue` 存在性自检**。 ## 审片与漂移处理(核心经验) @@ -152,11 +196,13 @@ I2V 对**静止镜头**极易脑补动作:人物必抬手/转正,细光必 ├── projects/EPxx/ │ ├── 00_brief.md 10_events.md 20_script.md │ ├── 30_shots.json # ★ 单一真相源 -│ ├── 40_prompts/Sxx.i2v.txt # 逐镜提示词原文 +│ ├── 40_prompts/Sxx.i2v.txt # 逐镜提示词原文(台词镜另有 Sxx.h3v3.txt 五段式,并存不覆盖) │ └── 50_manifest.json # 产物索引:路径/参数/状态/attempts -├── work/EPxx/{images,videos,audio,render,review}/ # 可重建产物,不入库 +├── work/EPxx/ +│ ├── images/ videos/ audio/ render/ render_native/ review/ # 可重建产物,不入库 +│ └── videos/native/ # 音画同出产物 + _queue_map.json / _h3av_ledger.json ├── renders/INDEX.md # 成片只留索引,本体不入库 -└── tools/ # setup 复制进来的 10 个脚本(含 submit_t2i.py / cleanup_comfyui.py / selftest_cleanup.py) +└── tools/ # setup 复制进来的脚本(含 submit_t2i / fetch_t2i / submit_i2v / submit_h3_native / queue_h3_native / fetch_h3_native / render / render_native / cleanup_comfyui) ``` **路径解析**:所有脚本按 `MANJU_ROOT` 环境变量 → 从 cwd 向上找 `config/pipeline.json` → 脚本上级目录 的顺序定位工作空间。因此**先 `cd` 到工作空间根再运行脚本**;也可显式设 `MANJU_ROOT=/abs/path`。 diff --git a/assets/config.template.json b/assets/config.template.json index fa76324..f132a97 100644 --- a/assets/config.template.json +++ b/assets/config.template.json @@ -33,6 +33,23 @@ "_serial": "30113 是 1 张 22GB 卡 + 4GiB cgroup 内存硬限的单实例:出图、H3 视频、WAN 视频三者互为并发冲突,必须串行提交", "_recovery": "pod 重建后 /local(emptyDir) 的权重软链会丢,表现为 UNETLoader 只剩 1 个模型 → 容器内执行 sh /basedir/apply-multimodal.sh(幂等)。见部署侧 deploy-as-built.md §6" }, + "nativeVideoModel": { + "name": "minimax-h3-fl2va-native-av", + "endpoint": "http://192.168.1.23:30121", + "width": 576, + "height": 1024, + "fps": 24, + "steps": 20, + "timeout": 7200, + "prefix": "video/h3k", + "_note": "tools/submit_h3_native.py / queue_h3_native.py 读本段。**人物台词镜头的唯一正路**:首帧锁图 I2V + 原生对白与环境音,口型由模型原生对齐,不做事后 lip-sync。", + "_grid": "length 必须吸附 17k+5 网格(124=17*7+5);训练区间 124–362 帧(24fps ≈ 5.2–15.1s),上限 3600。脚本按 --seconds 自动向上取整,长台词不会被切尾。", + "_cost": "单镜约 90 分钟(175 帧 / 576×1024 / 20 步)。一集 8 镜 ≈ 12 小时 → 必须用 queue_h3_native.py 排队、fetch_h3_native.py 取回,不要把本地进程挂在等待上。", + "_forbidden": "① 这台机禁调 /api/free(会崩服务,约 20s 自愈);② bit_depth 传整数 8('8-bit' 不合法);③ SaveVideo.format 传 'auto';④ 不要挂 turbo LoRA(20 步 res_multistep+simple 是唯一稳定组合)。", + "_ephemeral": "queue 与 history 都是内存态:实例重启 → 排队的任务静默消失(实测 7 镜全丢)。排完 5 分钟内跑一次 queue_h3_native.py --check 做丢失自检。", + "_weights": "权重不用填:脚本读 /object_info 自动挑(UNET 含 fl2va / CLIP 含 qwen3vl / VAE 含 video_vae 与 audio_vae)。该端点 H3 图像权重是 w4a8(ROCm 禁 int8_convrot)。", + "_route": "详见 references/native-av.md;与 30113(22GB)的分工是「I2V 只能在 64GB 卡上跑」,别互相照搬节点图。" + }, "imageModel": { "name": "minimax-h3-image", "endpoint": "http://192.168.1.30:30113", @@ -106,9 +123,9 @@ "licenseNote": "免费免密钥不等于可商用;商用前自行核对微软条款" }, "subtitle": { - "source": "30_shots.json 的 line 字段(完整旁白)", + "source": "无音轨镜=30_shots.json 的 line 字段(完整旁白);台词镜=40_prompts/Sxx.h3v3.txt 的 [Audio] 段逐句时间戳+引号内原文(render_native.py 读,与口型同源,不做 ASR)", "wrap": "按标点折 1–3 行,标点不落单", - "note": "不交给生成模型烧字" + "note": "不交给生成模型烧字;台词正文用中文全角引号,半角双引号会破坏 [Audio] 时间戳解析" }, "hud": { "variants": ["横排", "竖排"], diff --git a/install.sh b/install.sh index d4edd39..c18bd3d 100755 --- a/install.sh +++ b/install.sh @@ -14,9 +14,13 @@ echo # 1) 完整性 ok=1 -for f in SKILL.md scripts/manju.py scripts/submit_i2v.py scripts/submit_t2i.py scripts/cleanup_comfyui.py \ - scripts/selftest_cleanup.py scripts/render.py assets/config.template.json assets/shot.schema.json \ - assets/comfyui-manju-cleanup/__init__.py references/pitfalls.md references/models.md; do +for f in SKILL.md scripts/manju.py scripts/submit_i2v.py scripts/submit_t2i.py \ + scripts/submit_h3_native.py scripts/queue_h3_native.py scripts/fetch_h3_native.py \ + scripts/fetch_t2i.py scripts/render_native.py \ + scripts/cleanup_comfyui.py scripts/selftest_cleanup.py scripts/render.py \ + assets/config.template.json assets/shot.schema.json \ + assets/comfyui-manju-cleanup/__init__.py references/pitfalls.md references/models.md \ + references/native-av.md; do if [ ! -f "$HERE/$f" ]; then echo "✗ 缺少 $f"; ok=0; fi done [ "$ok" = 1 ] && echo "✓ 技能包完整" diff --git a/references/director.md b/references/director.md index 27e7028..3d25edc 100644 --- a/references/director.md +++ b/references/director.md @@ -30,6 +30,22 @@ A9.2 的 `Objective / Immutable locks / Preserve / Avoid` 语义保留,但不 11. **单次修正**(A11.2 / A12.19):失败项一次性汇总,只做一轮集中结构修正,再单次抛光;禁止 A11 ↔ A12 递归。 12. **版本与事实分离**(stateAndDelivery):确认绑定独立快照;提示词版本与结果版本分开,改文字不代表旧视频由新文字生成;`generating` ≠ 完成;文件路径 ≠ 看过视频。 +## 对白写法(写实生活流口语) + +念稿腔是短剧最致命的假。**「像人在说话」不靠模型,靠剧本层**。写 `20_script.md` 与 `30_shots.json` 的 `line` 时按这八条: + +1. **对着一个具体的人说话**,不是对着观众陈述。每句台词先问:他在跟谁较劲?说了这句想拿到什么? +2. **禁止上帝旁白解释情绪**("她心里一阵酸楚")。情绪只能从**动作与抢话**里漏出来。 +3. **不用台词交代信息**。"十八年前你爸走的时候……"这类背景说明书式台词删掉,改成当下争的东西。 +4. **口语三件套**:短句、重复、半截话。允许"我攒的。一分一分攒的。"这种重复,允许话说一半被打断。 +5. **冲突靠抢话和不接话**:一个人在追问,另一个人在躲;躲的人答非所问比吵架更像真的。 +6. **一句一口气**:写完读出来,一口气读不完就删。中文口语约 4–5 字/秒,老年慢速 4–4.5 字/秒。 +7. **一镜一到两句**:走音画同出的镜头,台词必须装得进 `17k+5` 帧网格的时长里;装不下就拆镜,**不要压字**。 +8. **称呼即关系**:直接叫"妈""你",比"母亲""老人家"真实;书面语词("然而""不禁")一律不要。 + +成片形态是「正反打 + 分色字幕」时,台词表要先排成对话流(谁说、说什么、被谁打断),再切成镜头; +**不要先定镜头再往里塞台词**,那是念稿腔的来源。 + ## I2V 提示词模板(写进 `40_prompts/Sxx.i2v.txt`) ```text @@ -59,6 +75,10 @@ Sxx|E##|时长:X.XXs|模型:{{模型名}}|{{宽}}x{{高}} / {{帧数 **模板内不放变量**:角色/画风的固定描述段放 `assets/style/`,逐字复用不改写;变量只在 `30_shots.json`。 +> **人物有台词的镜头不用上面这套模板**,改用五段式 `[Visual]/[Motion]/[Camera]/[Audio]/[Narrative]`(写 `40_prompts/Sxx.h3v3.txt`): +> 台词按秒级时间轴写进 `[Audio]` 并与 `[Motion]` 对齐,必写 `Only speaks`。模板与规则见 +> [native-av.md §5](native-av.md)。两套提示词并存,互不覆盖。 + ## 输出契约与闸门 必须产出:`10_events.md`(E## 账本)、`30_shots.json`(一镜一行)、`40_prompts/Sxx.i2v.txt`(逐条原文)、`50_manifest.json` 初始索引。写完跑 `manju.py validate`,ERROR 清零才进下一阶段。 diff --git a/references/models.md b/references/models.md index bf17024..add0b4a 100644 --- a/references/models.md +++ b/references/models.md @@ -2,6 +2,8 @@ > **本技能是编排层**:出图、出视频都调内网 HTTP 端点。本文是端点、节点图与调用约定的**唯一真相源**。 > 2026-11-11 逐条实机核对;**2026-11-13 重核并合并为单实例**(`/system_stats`、`/object_info`、三种模态实跑验证)。 +> **2026-11-17 新增 `192.168.1.23:30121`(DCU K100 64 GB)**:H3 音画同出 I2V 实测跑通(576×1024 / 175 帧 / 93 min), +> 台词镜头改走这条,详见 [native-av.md](native-av.md)。旧 DCU `192.168.1.24` 仍然不可达,两台不是一台机。 > 部署拓扑、4 GiB cgroup 限制、补丁集与 pod 重建后的恢复步骤,见部署侧文档 > `~/WorkBuddy/2026-11-08-19-43-52/deploy/k8s-nvidia/deploy-as-built.md`。 > 所有地址都是**内网明文 HTTP**;本机代理会把响应改写成 `text/html`,调用**必须绕过代理**(见 §3.2)。 @@ -19,21 +21,22 @@ | 能力 | 模型 | 端点 | ComfyUI | 音轨 | 状态 | |---|---|---|---|---|---| -| **文生图** | MiniMax H3-Image(int8_convrot) | **`http://192.168.1.30:30113`** | 0.45.0 | — | ✅ **主用** | -| **视频①** | MiniMax H3(w6a8,**原生同步音频**) | **同一个 `30113`** | 0.45.0 | ✅ aac | ✅ **T2V 主用**(20 步 / 无 LoRA);⚠️ I2V 见下方警告 | -| **视频②** | Wan2.2 I2V A14B(双专家 + 4-step LoRA) | **同一个 `30113`** | 0.45.0 | ❌ | ✅ **主用**(4 步 / 两段式) | +| **文生图** | MiniMax H3-Image | **`http://192.168.1.30:30113`**(int8_convrot)/`http://192.168.1.23:30121`(w4a8) | 0.45.0 | — | ✅ 两台都在线 | +| **台词镜头(首选)** | MiniMax H3 `fl2va` **音画同出 I2V** | **`http://192.168.1.23:30121`(K100 64 GB)** | 0.45.0 | ✅ aac | ✅ **对白镜主用**,20 步 / 576×1024 / 90 min 一镜 → [native-av.md](native-av.md) | +| **视频①(静音)** | MiniMax H3(w6a8,原生同步音频) | `http://192.168.1.30:30113` | 0.45.0 | ✅ aac | ✅ **仅 T2V**(20 步 / 无 LoRA);该卡 I2V 必 OOM | +| **视频②(静音动作)** | Wan2.2 I2V A14B(双专家 + 4-step LoRA) | 同一个 `30113`;`30121` 也有同一套权重 | 0.45.0 | ❌ | ✅ 主用(4 步 / 两段式) | | 回退·视频 | H3 / WAN | `http://192.168.1.30:30111` / `:30112` | **0.45.0** | H3 ✅ | **已并入 30113**(Service selector 改指),端口照旧可用、调用方零改动 | -| 回退·文生图 | MiniMax H3-Image(w4a8) | `http://192.168.1.24:30120` | 0.45.0 | — | ⚠️ DCU 整机不可达 | +| 旧 DCU | MiniMax H3-Image(w4a8) | `http://192.168.1.24:30120` | 0.45.0 | — | ⚠️ **整机不可达**(不是 30121,别混) | | 文(辅助) | `ipass-all` LLM 代理(OpenAI 兼容) | `http://192.168.1.30:30084` | — | — | 运行中,需 API Key | | 文(辅助) | `embed-bge` 向量化 / rerank | `http://192.168.1.24:8801` | — | — | ⚠️ 已下线(随 DCU 一起挂) | -> 🔴 **2026-11-14 实机复核:H3 视频在 2080Ti 上只有 T2V(文生视频)可用。** -> `MiniMaxH3ImageToVideo` 一旦带 `first_frame` / `last_frame`(首帧锁图 I2V),节点会执行 `vae.encode()` -> 并把 video VAE 一路持有到采样期,TE 14.96 G + VAE 4.97 G 焊死在 22 GB 卡上,UNET 只能部分加载, -> 采样阶段必 `CUDA out of memory`(实测干净态重放仍复现,降分辨率/帧数无效)。 -> **11-13 验证通过的权威配方是 T2V,无 `first_frame`**:`api/wan22_h3_api.json` / `gen_video.py --kind h3`。 -> 需要首帧锁图 → 走 **Wan2.2 I2V A14B**(§1)或 DCU K100 64G(§4.2,整机当前不可达)。 -> 详见本文 §4.3 与部署侧 `~/WorkBuddy/2026-11-08-19-43-52/deploy/k8s-nvidia/deploy-as-built.md` §8。 +> 🔴 **H3 的 I2V 是「看卡说话」,不是「看端口说话」:** +> - `30113`(2080Ti **22 GB**):给 `MiniMaxH3ImageToVideo` 塞 `first_frame` 会走 `vae.encode()` 并把 video VAE +> 持有到采样期,TE 14.96 G + VAE 4.97 G 焊死 → 必 `CUDA out of memory`(2026-11-14 干净态重放复现)。 +> **该卡只有 T2V 可用**;要首帧锁图就用 A14B(§1)。 +> - `30121`(DCU **K100 64 GB**,2026-11-17 起):**I2V 完全可用**,带原生对白音轨,实测 576×1024 / 175 帧 / 93 分钟。 +> 台词镜头走这条 → 详见 **[native-av.md](native-av.md)**。 +> - 两边节点图差异只有 VAE/权重与 ROCm 补丁,采样链路都是 `SamplerCustomAdvanced`。 **一卡一实例**:30113 独占 1 张 2080 Ti(22 GB,`nvidia.com/gpu: 1`)并受 4 GiB cgroup 内存硬限, **所有请求只能串行**,并发必 OOM(exit 137)。`30111` / `30112` 现在是同一实例的别名,**同样只能串行**。 @@ -95,8 +98,9 @@ | 端点 | ComfyUI | DiT 权重 | 状态 | 备注 | |---|---|---|---|---| -| **`192.168.1.30:30113`** | 0.45.0 | `minimax_h3_image_pruned_int8_convrot.safetensors` | ✅ **在线(默认,唯一主用)** | 4 GiB cgroup 硬限 + MEM4G 补丁集;单次 1024²≈178s、2048²≈208s;**同一实例兼跑两种视频,请求要串行** | -| `192.168.1.24:30120` | 0.45.0 | `minimax_h3_image_pruned_w4a8.safetensors` | ❌ 2026-11-13 实测整机不可达 | 同一台还托管着 LLM 代理(30084)与 embed-bge(8801),**那两个辅助服务也一起没了** | +| **`192.168.1.30:30113`** | 0.45.0 | `minimax_h3_image_pruned_int8_convrot.safetensors` | ✅ 在线(K8s 出图默认) | 4 GiB cgroup 硬限 + MEM4G 补丁集;单次 1024²≈178s、2048²≈208s;**同一实例兼跑两种视频,请求要串行** | +| **`192.168.1.23:30121`** | 0.45.0 | `minimax_h3_image_pruned_w4a8.safetensors` | ✅ 在线(**K100 64 GB,对白镜主力**) | 64 GB 全驻、无内存墙;同一实例有 H3 视频 + WAN + 三套 VAE,**出图与 90 分钟的视频任务抢队列时排到最后** | +| `192.168.1.24:30120` | 0.45.0 | `minimax_h3_image_pruned_w4a8.safetensors` | ❌ 2026-11-13 实测整机不可达 | 同一台还托管过 LLM 代理(30084)与 embed-bge(8801)。**注意与 30121 不是一台机** | **节点图两套完全一样**,照搬不会错;只有 `UNETLoader.unet_name` 不同: @@ -579,6 +583,21 @@ g = { > ⚠️ 出图成功 ≠ 内容正确。量化档位不对时会静默出纯色图 —— 跑完必须看自检输出(见 §2.3)。 +### 4.5 MiniMax H3 音画同出(台词镜头唯一正路) + +带台词的人物镜头**不再事后贴嘴**:用 `http://192.168.1.23:30121`(K100 64 GB)的 H3 `fl2va` 做 +**首帧锁图 I2V + 原生对白/环境音**,一条图同时出画面与声音,口型原生对齐。 + +```bash +python3 tools/queue_h3_native.py --ep EP01 # 整集排队(不等待) +python3 tools/fetch_h3_native.py --ep EP01 # 任意时刻取回 +python3 tools/submit_h3_native.py --ep EP01 --shot S04 --seconds 7.3 # 单镜 +``` + +规格:576×1024 / 24 fps / `length=17k+5`(训练区间 124–362 帧)/ 20 步 `res_multistep`+`simple` / +`CreateVideo.bit_depth=8` / 单镜 ≈ 90 min。**节点图、提示词五段式、时长网格、排队与丢失自检全部见 +[native-av.md](native-av.md)**;本文件不再重复。 + --- ## 5. 辅助模型 API(策划、扩写、检索) @@ -647,7 +666,17 @@ for U in 192.168.1.30:30111 192.168.1.30:30112; do printf "%-24s" "$U" curl -s --noproxy '*' -m 8 "http://$U/system_stats" | head -c 80; echo done -# DCU(已下线,留作恢复后检查用)—— 现在跑必然空输出,属预期 +# ④ 对白镜主力(30121,K100 64 GB):必须看到 4 个 UNET(H3 视频 / H3 图像 / WAN high+low) +U=192.168.1.23:30121 +curl -s --noproxy '*' -m 8 "http://$U/system_stats" | python3 -c "import json,sys;d=json.load(sys.stdin);v=d['devices'][0];print('ComfyUI',d['system']['comfyui_version'],'|',v['name'],'|',round(v['vram_total']/1048576),'MB |',round(v['vram_free']/1048576),'MB free')" +curl -s --noproxy '*' -m 8 "http://$U/object_info/UNETLoader" | python3 -c " +import json,sys +d=json.load(sys.stdin)['UNETLoader']['input']['required']['unet_name'][0] +print(len(d),'models:',d) +assert any('fl2va' in x for x in d), '缺 H3 视频权重 → I2V 跑不了' +assert any('image' in x for x in d), '缺 H3 图像权重 → 出不了首帧' +" +# 旧 DCU 30120(**与 30121 不是一台机**)已下线,留作恢复后检查用 for U in 192.168.1.24:30120 192.168.1.24:8801; do printf "%-24s" "$U"; curl -s --noproxy '*' -m 6 "http://$U/system_stats" | head -c 40; echo; done ``` @@ -669,6 +698,10 @@ for U in 192.168.1.24:30120 192.168.1.24:8801; do printf "%-24s" "$U"; curl -s - | 串行提交、网络超时先查 `/history` | 全部(30113 承接全部三种模态) | | **DCU 禁用 int8_convrot**(gfx928 `rint` bug → NaN → 纯黑图) | H3-Image@DCU | | **K8s-30113 只能 int8_convrot**(无 w4a8,sm_75 跑不了 w4a8 CUDA 路径) | H3-Image@K8s | +| **DCU-30121(K100/ROCm)只能 w4a8**,同样禁 `int8_convrot`;与 30113 的方向再次相反 | H3-Image@30121 | +| **H3 的 I2V 只在 64 GB 卡(30121)可用**;30113(22 GB)塞 `first_frame` 必 OOM | H3 视频 | +| **30121 禁调 `/api/free`**:会崩服务(约 20 s 自愈,期间排队任务全丢) | 30121 | +| **`queue` / `history` 是内存态**:实例重启 → 排队的任务静默消失,`{}` 有排队/执行中/不存在三义,必须与 `/queue` 交叉核对 | 全部 | | **30113 禁 `--fp16-unet`**(动态范围 ±65504 → adaln 缩放溢出 → NaN → 全黑);必须走 bf16 软件模拟 | 30113 | | **出图后看自检输出**(`[SANITY]`),纯色图 = 量化档位错,不是提示词问题 | H3-Image | | 不用 turbo LoRA(合进 w6a8 → 全黑,4 步/6 步都试过) | H3 量化版 | @@ -687,6 +720,8 @@ for U in 192.168.1.24:30120 192.168.1.24:8801; do printf "%-24s" "$U"; curl -s - | 位置 | 内容 | |---|---| | 部署侧 `deploy/k8s-nvidia/deploy-as-built.md` | **单实例部署 as-built**(不在技能包内):拓扑、4 GiB 限制、补丁集、pod 重建恢复、排障 | +| 本技能 `tools/submit_h3_native.py` | **H3 音画同出提交器**(台词镜头,64 GB 卡);`queue_/fetch_h3_native.py` 是排队与取回 | +| 本技能 `references/native-av.md` | **台词镜头唯一正路**:为什么放弃事后 lip-sync、节点图、五段式提示词、时长网格、排队与丢失自检 | | 本技能 `tools/submit_i2v.py` | A14B 图生视频提交器(阶段 4;节点图已对齐 0.45) | | 本技能 `tools/submit_t2i.py` | H3-Image 文生图提交器(阶段 0 / 4 首帧) | | 本技能 `references/submit-i2v.md` | 提交协议、预检、哈希命名与授权闸门 | diff --git a/references/native-av.md b/references/native-av.md new file mode 100644 index 0000000..c8b5d8c --- /dev/null +++ b/references/native-av.md @@ -0,0 +1,192 @@ +# 音画同出(原生对白口型)— 台词镜头的唯一正确路线 + +> **结论先行(2026-11-17 实测复盘)**:人物说话的镜头,**不要让视频模型先出无声画面再事后贴嘴**。 +> 口型不是后处理问题,是「这段画面诞生时有没有绑定这段声音」的问题。 +> 正解:**H3 原生音画同出 + 首帧锁图(I2V)** —— 一条节点图同时出画面、人声、环境音,口型由模型原生对齐。 +> 事后 lip-sync(Wav2Lip / LatentSync / InfiniteTalk)只作为**没有 64 GB 卡时的降级手段**,且天花板明确(见 §1)。 + +--- + +## 1. 为什么放弃事后 lip-sync(三条路线实测) + +| 路线 | 设备 | 实测结果 | 结论 | +|---|---|---|---| +| **Wav2Lip 本地 CPU**(96×96 贴回 + YuNet 对齐 + 嘴部 mask + 色校正 + 光流慢放) | 本机 i5 | 能跑、RMS 互相关可评估,但**嘴部永远是一块 96² 的糊**,与 832×1472 的画质断层,近景一眼假 | 只能当"有嘴动"的占位,不能交付 | +| **LatentSync 1.5/1.6**(512² 潜扩散) | 需 8–18 GB 显存 | 没能跑通:本机无卡,K8s-30113 是 22 GB 但 4 GiB cgroup 硬限 + H3 驻留,装不下第二套大模型 | 环境不允许,不是模型不行 | +| **InfiniteTalk**(Wan2.2-S2V 图生视频) | DCU 64 GB | 单镜 **78 分钟**,成片**油画感、肤色发蓝、背景糊成一团**,人物身份漂移 | 不可用。它是"音频驱动重演",会把首帧的照片级质感换成它自己的建模质感 | + +**判据**:这三次失败都不是参数问题,而是**路径问题**——凡是"后期往已有画面上贴嘴"的方案,画质上限由 lip-sync 模型决定,而不是由你的锚图决定。换环境(有 64 GB 卡)后**不要再回头试 lip-sync**,直接走 §2。 + +**分镜后果(重要)**:一旦改走音画同出,正反打结构就必须**在生成前定死**——每一镜是单人位(谁说话拍谁), +不要再指望"先拍双人镜、后期切嘴"。双人同框镜只在**两人都不说话**或**只有一人有台词**时使用,且提示词写 +`Only speaks. keeps lips closed / silent mouth.` + +--- + +## 2. 端点与能力(DCU K100 64 GB) + +| 项 | 值 | +|---|---| +| 端点 | `http://192.168.1.23:30121`(ComfyUI **0.45.0**,ROCm/gfx928) | +| 显存 | `K100_AI` **65520 MB**(64 GB),实测加载后仍有 34 GB 空闲 → **I2V 可用** | +| 启动参数 | `--listen 0.0.0.0 --port 30121 --disable-cuda-malloc --use-pytorch-cross-attention`(**无** `--cache-none`、**无** `--fp16-unet`) | +| H3 视频 UNET | `minimax_h3_fl2va_pruned_w6a8.safetensors`(fl2va = 图/文 + 音频联合) | +| H3 图像 UNET | `minimax_h3_image_pruned_w4a8.safetensors` ← **ROCm 只能用 w4a8**,禁用 `int8_convrot`(gfx928 `rint` bug → NaN → 纯色图) | +| TE | `qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors`,`CLIPLoader type="minimax"` | +| VAE | 视频 `minimax_h3_video_vae_fp16` / 音频 `minimax_h3_audio_vae_fp32` / 图像 `minimax_h3_image_vae_fp16` | +| 额外 | 同一实例还挂着 `wan2.2_i2v_{high,low}_noise_14B_fp8_scaled` + `wan_2.1_vae`,可按需切 A14B | +| 音轨 | **原生 aac**。新部署**不需要** `H3AudioClean`(老 DCU 30120 才要,见 models.md §4.2) | + +> ⚠️ **这台机器调 `/api/free` 会让服务崩溃**(约 20 s 自愈),**禁止调用**。要干净显存就从队列侧等, +> 或让部署侧重启。同理:`/upload/audio` 返回 405,音频也走 `/upload/image`(同 multipart 字段名 `image`)。 + +--- + +## 3. 规格与时长网格(最容易出错的地方) + +| 项 | 值 | 说明 | +|---|---|---| +| 分辨率 | **576×1024**(竖屏 9:16) | 竖屏短剧默认值;更高分辨率在 K100 上耗时线性涨,先别贪 | +| fps | **24**(原生) | 不要再按 A14B 的 16 fps 算,H3 是 24 | +| 帧数网格 | **`length = 17k + 5`** | 合法值 5 / 22 / 39 / 56 / … / 124 / 141 / 158 / 175 / 192 / 209 … | +| 训练区间 | **124–362 帧**(≈ 5.2–15.1 s) | 落在区间外的画质明显掉,尤其 <124 帧 | +| 上限 | **3600 帧**(≈ 150 s) | 单镜别超 15 s,超了就拆镜 | +| 采样 | **20 步 / `res_multistep` + `simple` / cfg 1.0 / 无 LoRA** | 唯一稳定组合,别加步数、别挂 turbo LoRA | +| 耗时 | **≈ 90 分钟 / 175 帧(7.3 s)** | 约 13 min 成片每秒;一集 8 镜 ≈ 12 h → **必须排队过夜**,不要守着跑 | + +**台词与帧数怎么对齐**:中文老年慢速口语约 **4.0–4.5 字/秒**(含标点停顿)。 +`目标帧数 = ceil(字数 / 4.2 × 24)`,再 `snap` 到 17k+5 **向上取整**(宁可多留 0.3 s 静默,也不要把尾字切掉)。 +台词时间轴最后一句必须落在 `总时长 - 0.4 s` 之前。 + +--- + +## 4. 节点图(0.45 / ROCm,实测跑通) + +`tools/submit_h3_native.py` 已封装。要点:**走 `SamplerCustomAdvanced` 链路**,`MiniMaxH3ImageToVideo` 只作**条件节点**, +它输出 4 个东西:`(model?, positive, negative, latent, trim_image)` —— 采样必须接它的 **输出 1(latent)**, +不要自己建 `EmptyLatent`,也不要另外挂 UNET 到 guider。 + +```python +g = { + "1": {"class_type":"LoadImage","inputs":{"image":"<上传返回的 name>"}}, + "2": {"class_type":"CLIPLoader","inputs":{"clip_name":"qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors","type":"minimax","device":"default"}}, + "3": {"class_type":"VAELoader","inputs":{"vae_name":"minimax_h3_video_vae_fp16.safetensors"}}, + "4": {"class_type":"UNETLoader","inputs":{"unet_name":"minimax_h3_fl2va_pruned_w6a8.safetensors","weight_dtype":"default"}}, + "5": {"class_type":"MiniMaxH3ImageToVideo","inputs":{"clip":["2",0],"vae":["3",0],"prompt":P, + "width":576,"height":1024,"length":175,"first_frame":["1",0]}}, + "6": {"class_type":"BasicGuider","inputs":{"model":["4",0],"conditioning":["5",0]}}, + "7": {"class_type":"KSamplerSelect","inputs":{"sampler_name":"res_multistep"}}, + "8": {"class_type":"BasicScheduler","inputs":{"model":["4",0],"scheduler":"simple","steps":20,"denoise":1.0}}, + "9": {"class_type":"RandomNoise","inputs":{"noise_seed":SEED}}, + "10":{"class_type":"SamplerCustomAdvanced","inputs":{"noise":["9",0],"guider":["6",0], + "sampler":["7",0],"sigmas":["8",0],"latent_image":["5",1]}}, + "11":{"class_type":"VAEDecode","inputs":{"samples":["10",0],"vae":["3",0]}}, + "12":{"class_type":"VAELoader","inputs":{"vae_name":"minimax_h3_audio_vae_fp32.safetensors"}}, + "13":{"class_type":"VAEDecodeAudio","inputs":{"samples":["10",0],"vae":["12",0]}}, + "14":{"class_type":"CreateVideo","inputs":{"images":["11",0],"audio":["13",0],"fps":24, + "bit_depth":8,"color_space":"sRGB"}}, + "15":{"class_type":"SaveVideo","inputs":{"filename_prefix":"video/h3k","format":"auto","video":["14",0]}}, +} +``` + +坑: +- `CreateVideo.bit_depth` 取 **整数 `8`**(合法值 `auto` / `8` / `10`);写 `"8-bit"` 直接校验失败。 +- `SaveVideo.format` 传 `"auto"`(`COMFY_DYNAMICCOMBO_V3`,传 `"video/h264-mp4"` 会被静默丢弃)。 +- 上传首帧用 `/upload/image`(multipart 字段名 `image`),返回的 `name` 填进 `LoadImage`。 +- 提交体仍是 `{"prompt": {...}, "client_id": "..."}`;`client_id` 用 `manju-h3av-` 以便清理归属。 + +--- + +## 5. 提示词:五段式(台词镜头的关键) + +写进 `40_prompts/.h3v3.txt`(v3 = 五维版本,与老的 `.i2v.txt` 并存不覆盖)。 +**逐字复用角色描述段**(放 `assets/style/`),变量只来自 `30_shots.json`。 + +```text +[Visual] +<角色名>: exactly the same <性别/年龄/外貌/发型/服装> as in the first frame — <3–5 个可判定特征>. +Photorealistic cinematic <景别>, vertical 9:16, <场景>, <光>, film grain, shallow depth of field. +Keep her face, hairstyle, clothing and the room identical to the first frame. +No text, no letters, no readable words, no logos, no watermark. + +[Motion] +0.0s-1.0s: <这一秒身体做什么 + 嘴在做什么> +1.0s-1.4s: lips close, she swallows, eyes hard. +1.4s-3.2s: she speaks again, <情绪动作>, jaw tight. +... +Natural non-exaggerated mouth movement, lips fully visible, no morphing, no face change, single continuous take. + +[Camera] +Vertical 9:16 <景别>, <角度> on her face, fixed framing, one continuous shot, no cuts. + +[Audio] +Dialogue, Mandarin Chinese, <年龄/性别/音色>, <情绪三个词>, clear and intelligible: +0.0s-1.0s: "第一句" +1.0s-1.4s: silence. +1.4s-3.2s: "第二句" +... +Only <角色名> speaks. No voiceover, no narration, no other voices. +Room tone: <房间底噪>. Music: <一个极简动机 或 none>. + +[Narrative] +<一句:这场戏在争什么。不写镜头语言,不写抽象情绪词> +``` + +规则: +1. **台词必须与 `[Motion]` 的时间轴逐段对齐**,且与 `30_shots.json` 的 `line` 字面一致(字幕直接用这份原文,不做 ASR)。 +2. 每段 0.4–2.0 s,太长(>2.5 s)模型会吞字或加字。 +3. **`Only X speaks`** 必写;双人镜再加 ` keeps lips closed, silent mouth`。 +4. 沉默段也要写(`silence.` / `lips parted, breath audible`)——否则模型会自己编声音。 +5. 负面词不要堆一长串;本模型对 `no text / no watermark` 敏感,其余靠正向可判定描述。 +6. 首帧就带"正在说话"的张口姿态,比闭口更容易出口型;首帧带可读文字仍会被重绘成乱码。 + +**验收(不看完 7 分钟片就别下结论)**: +- `AudioTranscribe` 转写服务端返回的 mp4 音轨,与提示词台词**逐字比对**(实测一字不差); +- 抽首 / 中 / 末帧看口型与眼神; +- 音频波形无 NaN 爆音(有爆音说明踩了老 DCU 的 `H3AudioClean` 缺失问题)。 + +--- + +## 6. 排队 → 取回(长任务唯一正确的跑法) + +单镜 90 分钟,**不能把本地进程挂在等待上**:会话被回收 / 终端断掉,任务还在服务端跑,你就再也拿不到 pid 了。 +正确姿势是三步分离: + +```bash +# ① 一次性把整集排进服务端队列,拿到并落盘 prompt_id(不等待) +python3 tools/queue_h3_native.py --ep EP01 +# ② 随时查状态(服务端成功一个就能下一个) +python3 tools/fetch_h3_native.py --ep EP01 --status +# ③ 取回(可反复跑,已下载的跳过) +python3 tools/fetch_h3_native.py --ep EP01 +# ④ 全部取回并验收后,用原生缝合器出片(保留原生音轨、烧字幕;不叠 TTS、不加落版) +python3 tools/render_native.py projects/EP01/30_shots.json --mask +``` + +台账:`work/EPxx/videos/native/_queue_map.json`(shot → prompt_id / 参数 / 时长),与 `_h3av_ledger.json` 分开存。 + +> **自检的隐藏坑(2026-11-17 修)**:`queue_h3_native.py --check` 早期把「在 history 里但不是 success」的任务也算成"在队", +> 结果被 `/api/free` 或部署中断掉的任务显示成还活着。**现在非 success 状态算丢失并打印提示**——看到 `⛔ … 非 success` 就 `--force` 重排该镜,不要等。 + +**单图任务被杀后的救回**:提交出图脚本 `submit_t2i.py` 若因本地会话回收/超时被杀,服务端其实还在跑。 +拿台账里的 `prompt_id` 用 `fetch_t2i.py --pid --out ` 就能把图取回(复用 submit_t2i 的 wait/下载/自检),不必重提交、不浪费算力。 + +> 🔴 **内存态陷阱(2026-11-17 实际踩到)**:`queue` 与 `history` **都是内存态**,实例一重启(重部署、崩了自愈、 +> 换权重)**排队的任务全部静默消失**,不留任何错误。表现是 `fetch --status` 一直打印「排队/运行中」—— +> 因为 `GET /history/` 返回 `{}` 有**三义**(排队中 / 执行中 / 不存在)。 +> **判据必须交叉核对**:`GET /queue` 里 running+pending 为 0,而你的 pid 在 history 里也查不到 → 任务已丢,重排。 +> 实测:15:16 排了 7 镜,15:43 实例重部署,队列清空,7 镜全丢,直到第二天才发现。 +> 所以:**排队后 5 分钟内必须做一次 `/queue` 存在性自检**,交付前再核一次;长任务不要只信本地 map。 + +--- + +## 7. 与其他阶段的关系(双轨) + +| 镜头类型 | 音轨来源 | 阶段 3(TTS) | 字幕 | +|---|---|---|---| +| **有台词的人物镜**(本文件路线) | H3 原生对白 + 环境音 | **跳过**,不要叠 TTS | 直接用提示词里的台词原文 + 时间轴 | +| 无台词的动作镜 / 空镜 | 无 | 可选:旁白 TTS | 按需 | +| 需要旁白贯穿的整集 | TTS | 跑 | TTS 时间轴 | + +**别做双份声音**:H3 镜已经有对白,`render.py` 混音时把该段的 TTS 轨置空,否则人声重叠。 +原生音轨是「整体声场」,不是可编辑配音——要换一句台词,只能重跑该镜(这也是台词必须先定稿的原因)。 diff --git a/references/pitfalls.md b/references/pitfalls.md index 3f4085e..bf7e669 100644 --- a/references/pitfalls.md +++ b/references/pitfalls.md @@ -8,7 +8,7 @@ - 网络超时**不能证明任务未提交**;重试前先查状态,避免重复消耗算力。 - 单段约 5 秒;要更长用 `tpad=stop_mode=clone` 克隆尾帧,清单里标 `"pad": true`。 - 纯 I2V 服务**没有文生图权重**(`/object_info` 看 `CheckpointLoaderSimple.ckpt_name` 是否为空):首帧必须外部生成。无首帧模式人脸锁不住,别指望用它替代角色锚图省成本。 -- **H3 视频 ≠ 什么都能图生视频**(2026-11-14 实测):`30113` 的 MiniMax H3 在 2080Ti 22 GB 上**只有 T2V 可用**;给 `MiniMaxH3ImageToVideo` 塞 `first_frame` 会走 `vae.encode()` 并把 video VAE 焊住,采样期必 `CUDA out of memory`。`models.md §4.2` 那条「图生视频加 first_frame」只适用于 **DCU 64G**。首帧锁图一律走 Wan2.2 I2V A14B。 +- **H3 的 I2V 看卡不看端口**(2026-11-17 更新):`30113`(2080Ti 22 GB)给 `MiniMaxH3ImageToVideo` 塞 `first_frame` 会走 `vae.encode()` 并把 video VAE 焊住,采样期必 `CUDA out of memory` —— 该卡只有 T2V。**`30121`(DCU K100 64 GB)I2V 完全可用**,带原生对白音轨,台词镜头走这条(见 [native-av.md](native-av.md));要静音首帧锁图、又不想等 90 分钟,仍用 A14B。 ## 首帧图 @@ -38,6 +38,24 @@ - **ASS 标点落单**:折行逻辑不要把标点当独立 part;标点直接并入当前行,末尾若只剩标点则并回上一行。 - **HUD 时间窗按累计 `duration` 算**:绑最后一镜起点 +0.5~2.8s 时,抽帧验收要抽窗口内(如 88s),抽窗口外会误以为 HUD 没烧上。 +## 对白 / 口型(2026-11-17 结论:不要再事后贴嘴) + +- **事后 lip-sync 三条路线全废**:Wav2Lip 96×96 贴回 = 嘴部一块糊,与照片级画质断层;LatentSync 需要 8–18 GB 专用显存,22 GB 卡上装不下第二套大模型;InfiniteTalk 一镜 78 分钟且**油画感、发蓝、背景糊、身份漂移**。判据:贴嘴的画质上限由 lip-sync 模型决定,不由锚图决定。 +- **正路**:H3 `fl2va` 音画同出 + 首帧锁图(`30121`,64 GB)。一条节点图同时出画面 / 人声 / 环境音,口型原生对齐。详见 [native-av.md](native-av.md)。 +- **分镜要跟着改**:走音画同出后必须在生成前定死正反打,每镜单人位;"先拍双人镜后期切嘴"这个思路不成立。双人同框只在无人说话、或只有一人有台词时用,并写 `Only speaks` + ` keeps lips closed`。 +- **台词即字幕**:原生音轨不可编辑,台词改了只能重跑该镜。所以台词先定稿,字幕直接用提示词里的原文与时间轴,**不要跑 ASR 反推**(转写只用来验收)。 +- **沉默段也要写**:`silence.` / `lips parted, breath audible`。不写模型会自己编声音,甚至编出第二个人说话。 +- **验收靠转录比对**:`AudioTranscribe` 转写返回的 mp4 音轨,与提示词台词逐字比对(实测一字不差);再抽首/中/末帧看口型。别用"听起来像"糊过去。 + +## 长任务:排队与实例重启(血泪) + +- **单镜 90 分钟级,绝不能挂进程等**:会话被回收、终端断掉后服务端仍在跑,但 pid 丢了就再也取不回来。正确做法是「排队 → 落盘 `prompt_id` → 事后取回」三件套。 +- **`queue` 与 `history` 都是内存态**:实例一重启(重部署、崩了自愈、换权重)排队的任务**静默消失**,不报任何错。实测 15:16 排 7 镜,15:43 实例重部署,队列清空、7 镜全丢,直到次日才发现。 +- **`GET /history/` 返回 `{}` 有三义**(排队中 / 执行中 / 不存在),单看它判不了任何事。**判据必须交叉核对 `/queue`**:running+pending 为 0 且 history 也查不到 → 任务已丢,重排。 +- **排完 5 分钟内做一次存在性自检**(`queue_h3_native.py --check`),交付前再核一次;不要只信本地 map。 +- **`/api/free` 在 DCU 上会崩服务**(约 20 s 自愈),且崩溃会连带清空队列与 history —— 这是"任务莫名消失"的常见真因。 +- **交付话术**:`prompt_id` 存在 ≠ 已提交成功 ≠ 正在跑 ≠ 已完成。只有 `/view` 拉回本地且字节数合理,才能说"已生成"。 + ## ffmpeg / 缝合 - **不要 brew 装**:macOS 12 + Homebrew 6 有 dav1d Ruby bug。用 `pip install --user imageio-ffmpeg`(静态版)。 @@ -46,6 +64,28 @@ - `zoompan` 落版:`d` 取总帧数(2s×30fps=60),`s=720x1280:fps=30` 并补 `format=yuv420p`,才能与主线 concat 一次编码。 - 缝合顺序:先逐段标准化(裁带 / 居中填充 / 30fps / tpad clone 补足精确时长),再一次 concat + 烧 ASS,避免多次重编码掉画质。 +### 原生音画镜专用(`render_native.py`,2026-11-18 补) + +- **两条缝合路线别混**:台词镜(原生 aac 音轨)走 `render_native.py`;只有无音轨镜/旁白镜才走 `render.py`。 + 给原生音画镜套 `render.py` = 双份人声 + 强加落版 + 强改 720×1280 掉画质。 +- **按源实际时长拼,不按设计时长**:用 `probe_duration()` 读每镜真实时长累计。按 `30_shots.json` 的设计 `duration` 硬拼, + 源实际常长零点几秒,逐镜累积后音画明显错位。字幕时间轴同样按 `源实际/设计` 缩放再平移。 +- **字幕取 h3v3 `[Audio]`**:正则 `0.0s-0.9s: "台词"` 解析,台词用引号内原文(=定稿逐字),不做 ASR 反推。 + 台词正文必须写**中文全角引号「“ ”」**,半角 `"` 会破坏正则;半角逗号也统一全角。 +- **画面瑕疵遮盖**:局部乱码字(药盒假中文)→ `crop+boxblur+overlay` 轻度模糊;模型自发时间戳/座位数字 → **纯黑实心 `drawbox` 盖住**。 + 用 `boxblur` 盖时间戳会在静态 ffmpeg 上出**亮块**更显眼;矩形要够宽包住整串字符。坐标基于 576×1024,换分辨率要重量。 +- **保留原生音轨**:标准化只 `setsar=1,fps=24,format=yuv420p`,`-map 0:a` 原样带过去,全程不叠 TTS。 +- **出片核验**:打印的 Stream 行里必须有 aac 音轨;只有画面没声音 = 缝合失败。 + +## 选机(2026-11-19 实测补) + +- **`192.168.1.30:30113` 不是 4 GB 弱机,是 RTX 2080 Ti / 23.1 GB**(显存足够,K8s cgroup 才是 4 GiB 内存硬限)。 + 出图权重是 `int8_convrot`(CUDA 正确档,DCU 禁)。但**慢**:单张约 190s vs DCU 23 的 52s,慢约 4 倍。 +- **30 连续出图后服务会整体崩**:三个端口(30111/30112/30113)同时 Connection refused(机器 ping 通,是 K8s pod 崩重启,非 OOM)。 + kubectl 不在 PATH 时无法快速恢复 → 音画同出任务**别排到 30**,回退 DCU 23(`192.168.1.23:30121`)。 +- **30 上 I2V 仍不可用**:虽带 fl2va_w6a8 + qwen3vl + video/audio VAE 全套权重,23 GB 显存扛 576×1024×20 步存疑,且服务先崩,没测成。 + 「I2V 只能在 64 GB 卡」的判据不变。 + ## 清单 / 可复现 - 提示词每次重写会导致一致性崩且无法复现;固定描述段逐字复用,变量只在 `30_shots.json`。 diff --git a/references/render.md b/references/render.md index 5eb237d..b23363c 100644 --- a/references/render.md +++ b/references/render.md @@ -1,42 +1,90 @@ # 缝合与导出 -`tools/render.py` 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。 +> **先分流:你现在缝的是哪条路线?**(2026-11-18 补) +> +> | 路线 | 镜头类型 | 音轨来源 | 用哪个脚本 | +> |---|---|---|---| +> | **A. 原生音画同出**(台词镜首选) | 有人说话、走 H3 `fl2va` | 模型原生 aac(对白+环境音),**不可编辑** | **`render_native.py`** | +> | B. TTS 配音(无音轨镜) | 静音动作镜 / 空镜 / 旁白贯穿 | edge-tts 后期配 | `render.py` | +> +> **两条路线不要混**:给原生音画镜套 `render.py` 会叠出双份人声、强加落版、强改 720×1280 破坏 576×1024 源画质。 +> 台词镜一律走下方「路线 B」的 `render_native.py`。 -## 环境 +--- + +## 路线 B:原生音画同出缝合(`render_native.py`) + +台词镜的音轨是**模型整体声场**,不是可编辑配音。缝合器的职责只有三件:**直拼 / 烧字幕 / 遮盖瑕疵**,不配音、不加落版(末镜本就是落版镜)、不改分辨率与 fps。 + +```bash +python3 tools/render_native.py projects/EP01/30_shots.json # 直拼 +python3 tools/render_native.py projects/EP01/30_shots.json --mask # 开启画面瑕疵遮盖 +python3 tools/render_native.py projects/EP01/30_shots.json --name EP01_成片.mp4 +``` + +关键约定(都是踩过坑换来的): + +1. **按源实际时长拼接,不按设计时长**:`probe_duration()` 读每个 `Sxx.mp4` 的真实时长,累计成字幕时间轴。 + 按 `30_shots.json` 的设计时长硬拼会让音画逐镜错位(源实际常比设计长零点几秒)。 +2. **字幕取自 h3v3 `[Audio]` 段**,不是 `30_shots.json` 的 `line`、不是 ASR: + 正则解析 `0.0s-0.9s: "台词"` 逐句,台词文本用引号内原文(=定稿逐字),时间轴按比例 `源实际/设计` 缩放后平移到全片绝对秒。 + 台词务必用**中文全角引号**(见 [pitfalls.md](pitfalls.md)),否则半角双引号会干扰解析。 +3. **原生音轨一路保留**:标准化只做 `setsar=1,fps=24,format=yuv420p`,`-map 0:a` 原样带过去,重编码 aac 128k/32k。 + **绝不叠 TTS**。 +4. **画面瑕疵遮盖**(`--mask`,按镜头ID配 `MASK_REGIONS`,无瑕疵则不开): + - 局部乱码文字(如药盒上的假中文字)→ `crop + boxblur + overlay` 轻度模糊; + - 模型自发时间戳 / 座位数字 → **纯黑实心条 `drawbox` 覆盖**。 + - ⚠️ 别用 `boxblur` 去盖时间戳——静态 ffmpeg 上会出**亮块**反而更显眼,且矩形要足够宽包住整串字符。 + - 遮盖坐标是基于 576×1024 的像素矩形,换片/换分辨率必须重新量。 +5. **保持 576×1024 / 24fps 无损**:concat 后一次烧 ASS、一次编码,`-movflags +faststart`。 +6. **输出核验**:打印成片时长 / 体积 / 字幕句数 / 全部 Stream 行,**确认有 aac 音轨**才算成功。 + +**后期包装层**(品牌角标 / 数据角标 / 证据小课堂 / 合规声明)用 ASS 叠在已验收的粗剪上, +不动原生音轨与已烧字幕,典型实现见项目侧 `render_package.py`(文案与时间窗按剧集改写)。 + +--- + +## 路线 A:TTS 配音缝合(`render.py`) + +`tools/render.py` 把已采用片段 + 配音 + ASS 字幕 + HUD 标注 + 落版缝成竖屏成片。**只用于无原生音轨的镜头。** + +### 环境 - **ffmpeg 用 `pip install --user imageio-ffmpeg` 的静态版**;脚本运行时调 `imageio_ffmpeg.get_ffmpeg_exe()`。 - **不要用 brew 装**:macOS 12 + Homebrew 6 有 dav1d Ruby bug。 - 成片规格从 `config/pipeline.json → output` 读,默认 720×1280 / 30fps / H.264+AAC;全片不混用分辨率与帧率。 -## 逐段标准化 +### 逐段标准化 1. **去水印**:仅当源有水印时用 `--crop-bottom 60`(crop 去带 + 居中填充),**不用 drawbox**。本链路 I2V 输出通常无水印,默认 0。 2. **补足时长**:I2V 约 5 秒画面用 `tpad=stop_mode=clone` 克隆尾帧补足到 `duration`;清单标 `"pad": true`。 3. **`keepSeconds` 局部修正**:只取前 N 秒稳定段慢放到目标时长(漂移镜用),N 写在 `30_shots.json`。 4. 统一 30fps + `format=yuv420p`。 -## 字幕 +### 字幕 - 取 `line` 完整旁白,**按标点折 1–3 行,标点不落单**;不在生成阶段烧字。 - 字体用系统中文体(如 PingFang.ttc),通过 `fontsdir` 指定。 - 竖排文字用 ASS 的 `\N` 逐字分行。 -## 包装 +### 包装 - HUD:横排 / 竖排两种,**全片文字只标一次(一横一竖)**;时间窗按累计 `duration` 计算。 - 落版:光环 / 光束 / 星点 + `zoompan` 缓推,用 `tools/make_overlay.py` 程序化生成(零积分)。 - `zoompan` 的 `d` 取总帧数(2s×30fps=60),`s=720x1280:fps=30` 并补 `format=yuv420p`,才能与主线 concat 一次编码。 - 片头 3 秒内出现核心冲突,不做长片头;转场克制。 -## 缝合顺序 +### 缝合顺序 先逐段标准化,再一次 concat(主片 + 落版)并同一步烧 ASS,避免多次重编码掉画质。 -## 配音先于剪辑 +### 配音先于剪辑 `work/EPxx/audio/vo_NN.mp3` 由 edge-tts 生成(音色见 `config/pipeline.json → tts.voice`)。**先量出每句实际时长再回填 `duration`**。若一句说完画面还空 2 秒没事发生,该镜剪短或加动作,不用加快语速硬塞。每角色固定音色并记录参数,避免下一集换声。 -## 交付 +--- + +## 交付(两条路线通用) - 只拼 `status: adopted` 的片段;`rejected` 另建候选目录,保留旧采用文件与提示词历史。 - 导出后登记 `renders/INDEX.md`(路径、时长、校验和、生成参数、来源片段),成片本体不入库。 diff --git a/references/workflow.md b/references/workflow.md index 3fe3f50..a4e817e 100644 --- a/references/workflow.md +++ b/references/workflow.md @@ -20,14 +20,19 @@ | 0 | 基线资产 | 角色设定、参考图 | `assets/` 角色卡 / 画风模板 / HUD | 锚图定稿后锁为只读 | | 1 | 策划与叙事 | 选题、原著片段 | `00_brief.md`、`10_events.md`、`20_script.md` | 禁忌清单过一遍;**重编不是缩写** | | 2 | 分镜中枢 | 阶段 1 + 资产 | `30_shots.json`、`40_prompts/Sxx.i2v.txt` | `manju.py validate` 全绿;提示词逐条展示 | -| 3 | 配音先行 | `line` 字段 | `work/EPxx/audio/vo_NN.mp3` | 实测时长回填 `duration`,不允许加快语速硬塞 | -| 4 | 出图 / 出视频 | `refs` + 提示词 | `work/EPxx/{images,videos}/Sxx_.*` | **展示对象、数量、模型、完整提示词、参数、执行次数,取得明确授权**;导出后清服务端记录与产物 | +| 3 | 配音先行(**仅无音轨镜**) | `line` 字段 | `work/EPxx/audio/vo_NN.mp3` | 实测时长回填 `duration`,不允许加快语速硬塞。**台词镜走音画同出,跳过本阶段** | +| 4 | 出图 / 出视频 | `refs` + 提示词 | `work/EPxx/{images,videos}/Sxx_.*`、`videos/native/Sxx.mp4` | **展示对象、数量、模型、端点、完整提示词、参数、执行次数,取得明确授权**;台词镜用「排队→取回」,导出后清服务端记录与产物 | | 5 | 缝合 | 已采用片段 | `renders/EPxx_成片.mp4` | 只拼「已采用」片段;未采用的另建候选 | | 6 | 审片与归档 | 成片 | `renders/INDEX.md`、`50_manifest.json` | 区分已生成 / 已采用 / 已合成,不把清单完成当状态完成 | **闸门铁律**:普通「继续」、沉默、表单失败都不构成新的生成授权;额外重试要先核对授权是否覆盖。生成返回任务 ID / `generating` 只表示开始,不能宣称完成。 -**阶段 0 / 4 的模型闸门**:出锚图与首帧走内网 H3-Image(`tools/submit_t2i.py`,端点 `192.168.1.30:30113`,权重自动探测),出视频在 A14B 与 MiniMax H3 之间先选型(是否需要原生音轨),两者在 K8s 侧共用一张卡、只能串行。端点、节点图与两端差异见 [models.md](models.md);**展示授权清单时必须写明用的是哪个模型、哪个端点**——换模型等于换节点图,不能只改 endpoint。 +**阶段 0 / 4 的模型闸门**:出锚图与首帧走内网 H3-Image(`tools/submit_t2i.py`,权重自动探测)。 +出视频分两轨:**有台词的镜头 → `30121`(64 GB)的 H3 音画同出**(`queue_h3_native.py`); +**无声动作镜头 → A14B**(`30113`)。`30113`(22 GB)只能跑 H3 的 T2V,**别把 `first_frame` 塞给它**。 +端点、节点图与两台机器的差异见 [models.md](models.md),台词镜全流程见 [native-av.md](native-av.md); +**展示授权清单时必须写明模型 + 端点 + 预计耗时**——换模型等于换节点图,不能只改 endpoint。 +90 分钟级的任务要按「排队 → 落盘 pid → 事后取回」跑,并在排完 5 分钟内做一次 `/queue` 存在性自检。 **阶段 4 出图的自检闸门**:`submit_t2i.py` 每次出图后自动做 PNG 自检(颜色数 / 亮度 / 标准差),输出 `[SANITY]` 行。 **`[SANITY]` 判失败(纯色图)时必须停下**,不要重跑、也不要清理服务端 —— 这说明量化档位或端点选错了 @@ -40,7 +45,7 @@ `30_shots.json` 一行一镜,每个 `shotId` 对应三样东西: -- `40_prompts/Sxx.i2v.txt` —— 该镜提示词**原文**,一字不改,供复核与回溯 +- `40_prompts/Sxx.i2v.txt` —— 该镜提示词**原文**,一字不改,供复核与回溯(台词镜是 `Sxx.h3v3.txt`,五段式,两者并存不覆盖) - `work/EPxx/videos/Sxx_.mp4` —— 哈希取提示词内容 sha256 前 8 位,改词即换文件,旧版不覆盖 - `50_manifest.json` 中的一条记录:路径、哈希、模型参数、参考版本、状态、重做原因 diff --git a/scripts/fetch_h3_native.py b/scripts/fetch_h3_native.py new file mode 100644 index 0000000..46d150e --- /dev/null +++ b/scripts/fetch_h3_native.py @@ -0,0 +1,114 @@ +#!/usr/bin/env python3 +"""manju H3AV 取回器:把 queue_h3_native.py 排队的产物拉回本地。 + +可反复跑:服务端成功一个就下一个,已下载的跳过。不等待、不阻塞。 + +用法: + python3 tools/fetch_h3_native.py --ep EP01 # 取回所有已完成的 + python3 tools/fetch_h3_native.py --ep EP01 --status # 只看状态 + python3 tools/fetch_h3_native.py --ep EP01 --only S04 + +落盘 work//videos/native/.mp4,并顺手检查 mp4 里是否真有 aac 音轨 +(没有音轨说明节点图串错了 —— 台词镜头必须是音画同出)。 +""" +import argparse +import json +import os +import sys +import time +import urllib.parse + +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) +import submit_h3_native as H # noqa: E402 + +MIN_BYTES = 20000 + + +def has_audio(path): + """mp4 里找 mp4a/esds box —— 足够判断有没有音轨,不引第三方库。""" + try: + with open(path, "rb") as f: + blob = f.read() + except Exception: + return None + return (b"mp4a" in blob) or (b"esds" in blob) + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("--ep", required=True) + ap.add_argument("--only", nargs="*", default=None) + ap.add_argument("--status", action="store_true") + a = ap.parse_args() + + root = H.find_root() + cfg = H.load_cfg(root) + host = cfg["endpoint"] + outdir = os.path.join(root, "work", a.ep, "videos", "native") + mapfile = os.path.join(outdir, "_queue_map.json") + if not os.path.isfile(mapfile): + print("没有排队映射表,先跑 queue_h3_native.py --ep %s" % a.ep) + return 0 + m = json.load(open(mapfile, encoding="utf-8")) + os.makedirs(outdir, exist_ok=True) + + done = fail = pend = 0 + for sid in sorted(m): + if a.only and sid not in a.only: + continue + info = m[sid] + pid = info["prompt_id"] + out = os.path.join(outdir, sid + ".mp4") + if os.path.exists(out) and os.path.getsize(out) > MIN_BYTES: + au = has_audio(out) + print("%-5s 已有 %.1f MB 音轨=%s" % (sid, os.path.getsize(out) / 1e6, + "有" if au else "无⚠")) + done += 1 + continue + try: + hh = H.getj(host, "/history/" + urllib.parse.quote(pid), timeout=25) + except Exception as e: + print("%-5s history 读取失败 %s" % (sid, str(e)[:60])) + pend += 1 + continue + item = hh.get(pid) + if not item: + print("%-5s 排队/运行中(若队列为空则是已丢失,见 --check)" % sid) + pend += 1 + continue + st = item.get("status", {}) + if any(isinstance(x, list) and x and x[0] == "execution_error" + for x in st.get("messages", [])): + print("%-5s 失败" % sid) + fail += 1 + continue + if not (st.get("completed") or st.get("status_str") == "success"): + print("%-5s 未完成 (%s)" % (sid, st.get("status_str"))) + pend += 1 + continue + + f = H.find_video(item) + if a.status: + print("%-5s 服务端已就绪 %s" % (sid, f.get("filename"))) + done += 1 + continue + q = urllib.parse.urlencode({"filename": f["filename"], + "subfolder": f.get("subfolder", ""), + "type": f.get("type", "output")}) + raw, _ = H.req(host, "GET", "/view?" + q, timeout=1200) + open(out, "wb").write(raw) + au = has_audio(out) + print("%-5s 已下载 %.1f MB 音轨=%s -> %s" + % (sid, len(raw) / 1e6, "有" if au else "无⚠", os.path.relpath(out, root))) + info.update({"output": os.path.relpath(out, root), "bytes": len(raw), + "audio_track": bool(au), + "fetched_at": time.strftime("%Y-%m-%d %H:%M:%S")}) + json.dump(m, open(mapfile, "w", encoding="utf-8"), ensure_ascii=False, indent=2) + done += 1 + + print("\n完成 %d / 未就绪 %d / 失败 %d" % (done, pend, fail)) + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/scripts/fetch_t2i.py b/scripts/fetch_t2i.py new file mode 100644 index 0000000..aafb38a --- /dev/null +++ b/scripts/fetch_t2i.py @@ -0,0 +1,35 @@ +#!/usr/bin/env python3 +"""取回一个已在 ComfyUI 服务端跑着的 t2i 任务的产物(提交脚本被杀后恢复用)。 + +用法: python3 tools/fetch_t2i.py --pid --out <本地png路径> [--host http://192.168.1.30:30113] [--timeout 3600] +复用 submit_t2i.py 的 wait/find_image/download/sanity_check,不重复造轮子。 +""" +import argparse +import json +import os +import sys + +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) +import submit_t2i as T + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("--pid", required=True) + ap.add_argument("--out", required=True) + ap.add_argument("--host", default="http://192.168.1.30:30113") + ap.add_argument("--timeout", type=int, default=3600) + a = ap.parse_args() + + print("等待 pid %s (host %s) ..." % (a.pid, a.host), flush=True) + item = T.wait(a.host, a.pid, a.timeout) + f = T.find_image(item) + size = T.download(a.host, f, a.out) + print("已下载 %s (%d bytes)" % (a.out, size), flush=True) + ok = T.sanity_check(a.out) + print("自检:", ok, flush=True) + return 0 if ok else 2 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/scripts/queue_h3_native.py b/scripts/queue_h3_native.py new file mode 100644 index 0000000..1b20386 --- /dev/null +++ b/scripts/queue_h3_native.py @@ -0,0 +1,199 @@ +#!/usr/bin/env python3 +"""manju H3AV 排队器:把整集台词镜头一次性推进 ComfyUI 队列(只提交、不等待)。 + +为什么分成「排队 / 取回」两步:单镜约 90 分钟,一集 8 镜 ≈ 12 小时。 +本地进程挂在等待上没有任何收益 —— 会话被回收、终端断掉,任务还在服务端跑,pid 却丢了。 +所以:一次排完 → 落盘 prompt_id → 任意时刻 fetch_h3_native.py 取回。 + +用法: + python3 tools/queue_h3_native.py --ep EP01 # 排全部带 .h3v3.txt 的镜 + python3 tools/queue_h3_native.py --ep EP01 --only S01a S02 + python3 tools/queue_h3_native.py --ep EP01 --check # 只做丢失自检,不提交 + +★ 交完必须自检(脚本最后自动做):/queue 里找不到、history 里也没有 = 任务已丢。 + queue 与 history 都是内存态,实例重启会静默清空 —— 见 references/native-av.md §6。 +""" +import argparse +import hashlib +import json +import os +import re +import sys +import time +import uuid + +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) +import submit_h3_native as H # noqa: E402 + + +def load_shots(root, ep): + p = os.path.join(root, "projects", ep, "30_shots.json") + if not os.path.isfile(p): + raise SystemExit("找不到分镜表:%s" % p) + d = json.load(open(p, encoding="utf-8")) + return d.get("shots", d) if isinstance(d, dict) else d + + +def find_prompt(root, ep, sid): + base = os.path.join(root, "projects", ep, "40_prompts", sid) + for ext in (".h3v3.txt", ".h3.txt"): + if os.path.isfile(base + ext): + return base + ext + return None + + +def find_first(root, ep, sid): + """优先用分镜表里的 firstFrame,其次 work//images/.png,再退回去掉尾字母。""" + cand = [os.path.join(root, "work", ep, "images", sid + ".png"), + os.path.join(root, "work", ep, "images", re.sub(r"[a-z]$", "", sid) + ".png")] + return next((p for p in cand if os.path.isfile(p)), None) + + +def queue_pids(host): + try: + q = H.getj(host, "/queue", timeout=20) + except Exception as e: + print("读取队列失败(继续):", str(e)[:80], flush=True) + return set() + return {str(it[1]) for it in (q.get("queue_running") or []) + (q.get("queue_pending") or [])} + + +def selfcheck(host, m, only_new=None): + """排队/取回前后都能跑的丢失自检。返回 (在队, 已完成, 丢失)。""" + live = queue_pids(host) + q_ok = q_done = lost = 0 + for sid in sorted(m): + pid = m[sid].get("prompt_id") + if not pid or (only_new and sid not in only_new): + continue + if pid in live: + q_ok += 1 + continue + try: + hh = H.getj(host, "/history/" + pid, timeout=20) + except Exception: + q_ok += 1 # 网络问题不下结论 + continue + if pid in hh and hh[pid].get("status", {}).get("status_str") == "success": + q_done += 1 + elif pid in hh: + # 有 history 记录但非 success:被中断/报错,不能算"在队" + _st = hh[pid].get("status", {}).get("status_str", "?") + lost += 1 + print(" ⛔ %-5s pid=%s 状态=%s(非 success,疑似被中断/失败)→ 需 --force 重排" + % (sid, pid[:8], _st), flush=True) + else: + lost += 1 + print(" ⛔ %-5s pid=%s 既不在队列也不在 history → 已随实例重启丢失,需重排" + % (sid, pid[:8]), flush=True) + return q_ok, q_done, lost + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("--ep", required=True) + ap.add_argument("--only", nargs="*", default=None) + ap.add_argument("--force", action="store_true", help="已出片/已提交的也重排(换提示词后用)") + ap.add_argument("--check", action="store_true", help="只做丢失自检,不提交") + ap.add_argument("--w", type=int, default=0) + ap.add_argument("--h", type=int, default=0) + ap.add_argument("--steps", type=int, default=0) + a = ap.parse_args() + + root = H.find_root() + cfg = H.load_cfg(root) + host = cfg["endpoint"] + fps = int(cfg.get("fps", 24)) + W = a.w or int(cfg.get("width", 576)) + Hh = a.h or int(cfg.get("height", 1024)) + steps = a.steps or int(cfg.get("steps", 20)) + + outdir = os.path.join(root, "work", a.ep, "videos", "native") + os.makedirs(outdir, exist_ok=True) + mapfile = os.path.join(outdir, "_queue_map.json") + m = {} + if os.path.isfile(mapfile): + try: + m = json.load(open(mapfile, encoding="utf-8")) + except Exception: + m = {} + + if a.check: + q_ok, q_done, lost = selfcheck(host, m) + print("\n在队 %d / 已完成 %d / 丢失 %d" % (q_ok, q_done, lost)) + return 0 if lost == 0 else 2 + + weights = H.pick_weights(host) # 一次探测,全批复用 + live = queue_pids(host) + new = set() + for s in load_shots(root, a.ep): + sid = s.get("shotId") or s.get("id") + if not sid or (a.only and sid not in a.only): + continue + pf = find_prompt(root, a.ep, sid) + if not pf: + print("[skip] %-5s 没有 .h3v3.txt 提示词" % sid, flush=True) + continue + out = os.path.join(outdir, sid + ".mp4") + if os.path.exists(out) and not a.force: + print("[skip] %-5s 已出片 %.1f MB" % (sid, os.path.getsize(out) / 1e6), flush=True) + continue + prev = m.get(sid, {}).get("prompt_id") + if prev and not a.force: + if prev in live: + print("[skip] %-5s 已在本机队列 pid=%s" % (sid, prev[:8]), flush=True) + continue + try: + hh = H.getj(host, "/history/" + prev, timeout=20) + if prev in hh and hh[prev].get("status", {}).get("status_str") == "success": + print("[skip] %-5s 服务端已成功(用 fetch 取回)" % sid, flush=True) + continue + except Exception: + pass + print("[skip] %-5s 已提交过 pid=%s(如已随重启丢失,加 --force 重排)" + % (sid, prev[:8]), flush=True) + continue + + img = find_first(root, a.ep, sid) + if not img: + print("[skip] %-5s 没有首帧图(要纯文生视频用 submit_h3_native.py --t2v)" + % sid, flush=True) + continue + + prompt = open(pf, encoding="utf-8").read().strip() + secs = float(s.get("duration") or 7.0) + length = H.snap_len(round(secs * fps)) + if length < 124: + print(" ⚠ %-5s %.2fs → %d 帧,低于训练区间 124 帧,画质会掉;" + "建议把这场戏并到相邻镜" % (sid, secs, length), flush=True) + image_name = H.upload(host, img) + seed = int(hashlib.sha256((sid + prompt).encode()).hexdigest()[:8], 16) % (2 ** 31) + graph = H.build(weights, image_name, prompt, W, Hh, length, seed, steps, + True, True, fps, cfg.get("prefix", "video/h3k")) + pid, num = H.submit(host, graph, "manju-h3av-" + uuid.uuid4().hex[:8]) + m[sid] = {"prompt_id": pid, "first": os.path.relpath(img, root), + "promptFile": os.path.relpath(pf, root), "seconds": secs, + "length": length, "w": W, "h": Hh, "steps": steps, "seed": seed, + "endpoint": host, + "submitted_at": time.strftime("%Y-%m-%d %H:%M:%S")} + json.dump(m, open(mapfile, "w", encoding="utf-8"), ensure_ascii=False, indent=2) + new.add(sid) + print("[queue] %-5s pid=%s 队列#%s %dx%d %d帧=%.2fs" + % (sid, pid, num, W, Hh, length, length / float(fps)), flush=True) + time.sleep(1.5) + + total = sum(v.get("length", 0) for v in m.values()) / float(fps) + print("\n本次新排 %d 镜,累计 %d 镜 / %.1f 秒成片;单镜约 90 分钟," + "按串行估 ≈ %.1f 小时" % (len(new), len(m), total, len(m) * 1.5), flush=True) + print("映射表 ->", mapfile, flush=True) + + print("\n丢失自检(在队=队列有任务;丢失=重启清掉或被中断/error):", flush=True) + q_ok, q_done, lost = selfcheck(host, m) + print("在队 %d / 已完成 %d / 丢失 %d" % (q_ok, q_done, lost), flush=True) + if lost: + print("⚠ 有任务丢失/失败:加 --force 重排;error 状态多为被中断,核对是否有人动了队列", flush=True) + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/scripts/render_native.py b/scripts/render_native.py new file mode 100644 index 0000000..fec4252 --- /dev/null +++ b/scripts/render_native.py @@ -0,0 +1,237 @@ +#!/usr/bin/env python3 +"""原生音画同出缝合器:8 镜直拼(保留模型原生音轨)+ 烧字幕 + 画面瑕疵遮盖 -> 成片。 + +与旧 render.py 的区别:不再用 TTS 配音(会与原生音轨叠成双份)、不再额外加落版 +(S08 已是落版镜)、不强制 720x1280(保持源 576x1024 无损)。 + +字幕时间轴取自各镜 40_prompts/Sxx.h3v3.txt 的 [Audio] 段逐句时间戳 +(与口型对齐同源,比 ASR 更准);台词文本取 [Audio] 引号内原文(=定稿逐字)。 + +画面瑕疵遮盖: +- S01 药盒乱码中文字:对药盒区域做局部模糊(可选,--mask) +- S05 监控左上角模型自发时间戳 + 椅背座位数字:局部模糊(可选,--mask) + +用法: + python3 tools/render_native.py projects/EP01/30_shots.json + python3 tools/render_native.py projects/EP01/30_shots.json --mask # 开启瑕疵遮盖 +""" +import argparse +import json +import os +import re +import subprocess +import sys + +ROOT = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) + + +def ff(): + import imageio_ffmpeg + return imageio_ffmpeg.get_ffmpeg_exe() + + +def run(args, quiet=True): + cmd = [ff(), "-hide_banner", "-loglevel", "error", "-y"] + args + r = subprocess.run(cmd, capture_output=True, text=True) + if r.returncode != 0: + print("FFMPEG FAILED:\n" + " ".join(cmd) + "\n" + r.stderr[-3000:], file=sys.stderr) + raise SystemExit(1) + return r + + +def probe_duration(path): + r = subprocess.run([ff(), "-hide_banner", "-i", str(path)], + stdout=subprocess.DEVNULL, stderr=subprocess.PIPE, text=True) + m = re.search(r"Duration:\s*(\d+):(\d+):([\d.]+)", r.stderr) + return (int(m.group(1)) * 3600 + int(m.group(2)) * 60 + float(m.group(3))) if m else None + + +def parse_ass_timeline(prompt_path, shot_start, shot_dur, design_dur): + """从 h3v3 [Audio] 段解析 (start,end,text) 逐句,转成全片绝对秒。 + h3v3 时间戳按设计时长 design_dur 写;源实际 shot_dur 略长,按比例缩放对齐口型。""" + t = open(prompt_path, encoding="utf-8").read() + if "[Audio]" not in t: + return [] + seg = t.split("[Audio]")[1].split("[Narrative]")[0] + scale = shot_dur / design_dur if design_dur > 0 else 1.0 + out = [] + # 匹配 0.0s-0.9s: "台词" + for m in re.finditer(r"(\d+\.?\d*)s\s*-\s*(\d+\.?\d*)s\s*:\s*\"([^\"]+)\"", seg): + a, b, txt = float(m.group(1)), float(m.group(2)), m.group(3) + a = min(a * scale, shot_dur); b = min(b * scale, shot_dur) + if b - a < 0.15: + continue + out.append((shot_start + a, shot_start + b, txt)) + return out + + +def ts(t): + h = int(t // 3600); m = int(t % 3600 // 60); s = t % 60 + return "%d:%02d:%05.2f" % (h, m, s) + + +PUNCT = set(",。;!?、,.;!?") + + +def wrap_line(text, maxlen=13): + parts = [p for p in re.split(r"([,。;!?、,.;!?])", text) if p] + lines, cur = [], "" + for p in parts: + if p in PUNCT: + cur += p + elif len(cur) + len(p) <= maxlen or not cur: + cur += p + else: + lines.append(cur); cur = p + if cur: + lines.append(cur) + if len(lines) > 3: + lines = lines[:3] + return "\\N".join(lines) + + +ASS_HEAD = """[Script Info] +ScriptType: v4.00+ +PlayResX: 576 +PlayResY: 1024 +ScaledBorderAndShadow: yes +WrapStyle: 2 + +[V4+ Styles] +Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding +Style: Default,PingFang SC,40,&H00FFFFFF,&H00FFFFFF,&H000C1420,&H90000000,1,0,0,0,100,100,0,0,1,3,1,2,40,40,120,1 + +[Events] +Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text +""" + + +def build_ass(timeline, ass_path): + lines = [ASS_HEAD] + for a, b, txt in timeline: + body = wrap_line(txt) + lines.append("Dialogue: 0,%s,%s,Default,,0,0,0,,{\\fad(180,180)}%s\n" % + (ts(a), ts(b), body)) + with open(ass_path, "w", encoding="utf-8") as f: + f.writelines(lines) + return len(timeline) + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("shots") + ap.add_argument("--mask", action="store_true", help="开启画面瑕疵局部模糊遮盖") + ap.add_argument("--name", default=None) + a = ap.parse_args() + + data = json.load(open(os.path.abspath(a.shots), encoding="utf-8")) + ep = data["episode"] + shots = data["shots"] + vid_dir = os.path.join(ROOT, "work", ep, "videos", "native") + tmp = os.path.join(ROOT, "work", ep, "render_native") + os.makedirs(tmp, exist_ok=True) + + # 1) 逐镜标准化 + 可选瑕疵遮盖(保留原生音轨) + # 576x1024@24fps 源,统一 fps=24, SAR=1 + # 瑕疵遮盖矩形 (x,y,w,h) 基于 576x1024 + # 遮盖类型:blur=局部轻度模糊(药盒乱码字);solid=深色半透明条(监控时间戳) + # 矩形 (x,y,w,h) 基于 576x1024 + MASK_REGIONS = { + "S01": [("blur", 290, 742, 230, 165)], # 手中白药盒上的乱码中文字 + "S05": [("solid", 0, 0, 300, 62)], # 左上角模型自发时间戳 + } + norm = [] + t_cursor = 0.0 + timeline = [] + for s in shots: + sid = s["shotId"] + src = os.path.join(vid_dir, sid + ".mp4") + if not os.path.exists(src): + print("ERROR 缺视频", src, file=sys.stderr); return 1 + d = probe_duration(src) or float(s["duration"]) # 用源实际时长,音画一致 + dst = os.path.join(tmp, "norm_%s.mp4" % sid) + + regions = MASK_REGIONS.get(sid, []) if a.mask else [] + if regions: + # filter_complex: 主链做 solid 遮罩;blur 区用 split+crop+boxblur+overlay + base_filters = ["setsar=1", "fps=24", "format=yuv420p"] + for typ, x, y, w, h in regions: + if typ == "solid": + base_filters.append( + "drawbox=x=%d:y=%d:w=%d:h=%d:color=black@1.0:t=fill" % (x, y, w, h)) + blurs = [(i, x, y, w, h) for i, (typ, x, y, w, h) in enumerate(regions) + if typ == "blur"] + if blurs: + fc = [] + fc.append("[0:v]" + ",".join(base_filters) + ",split=%d[b0]" % (len(blurs) + 1) + + "".join("[b%d]" % (i + 1) for i in range(len(blurs)))) + for j, (idx, x, y, w, h) in enumerate(blurs): + fc.append("[b%d]crop=%d:%d:%d:%d,boxblur=7:2[bl%d]" % + (j + 1, w, h, x, y, j)) + ov = "".join("[bl%d]overlay=%d:%d" % (j, x, y) + for j, (idx, x, y, w, h) in enumerate(blurs)) + fc.append("[b0]%s,setpts=PTS-STARTPTS[v]" % ov) + run(["-i", src, "-filter_complex", ";".join(fc), + "-map", "[v]", "-map", "0:a", + "-c:v", "libx264", "-preset", "veryfast", "-crf", "18", + "-c:a", "aac", "-b:a", "128k", "-ar", "32000", dst]) + else: + vf = ",".join(base_filters) + ",setpts=PTS-STARTPTS" + run(["-i", src, "-vf", vf, + "-c:v", "libx264", "-preset", "veryfast", "-crf", "18", + "-c:a", "aac", "-b:a", "128k", "-ar", "32000", dst]) + else: + vf = "setsar=1,fps=24,format=yuv420p,setpts=PTS-STARTPTS" + run(["-i", src, "-vf", vf, + "-c:v", "libx264", "-preset", "veryfast", "-crf", "18", + "-c:a", "aac", "-b:a", "128k", "-ar", "32000", dst]) + norm.append(dst) + + pf = os.path.join(ROOT, "projects", ep, "40_prompts", sid + ".h3v3.txt") + sent = parse_ass_timeline(pf, t_cursor, d, float(s["duration"])) + timeline += sent + print(" 标准化 %s -> %.2fs,字幕 %d 句%s" % + (sid, d, len(sent), " +遮盖" if regions else ""), flush=True) + t_cursor += d + + total = t_cursor + print(" 主片总长 %.2fs,字幕共 %d 句" % (total, len(timeline)), flush=True) + + # 2) 烧字幕(单次编码) + ass_path = os.path.join(tmp, "ep.ass") + nsub = build_ass(timeline, ass_path) + video_only = os.path.join(tmp, "video_sub.mp4") + # concat demuxer + list_path = os.path.join(tmp, "concat.txt") + with open(list_path, "w", encoding="utf-8") as f: + for p in norm: + f.write("file '%s'\n" % p.replace("'", "'\\''")) + run(["-f", "concat", "-safe", "0", "-i", list_path, + "-vf", "ass=%s:fontsdir=/System/Library/Fonts" % ass_path, + "-c:v", "libx264", "-preset", "veryfast", "-crf", "18", + "-pix_fmt", "yuv420p", "-r", "24", + "-c:a", "aac", "-b:a", "128k", "-ar", "32000", video_only]) + + # 3) 输出 + out_name = a.name or "%s_音画同出_粗剪%s.mp4" % (ep, "_遮盖" if a.mask else "") + out_path = os.path.join(ROOT, "renders", out_name) + os.makedirs(os.path.dirname(out_path), exist_ok=True) + run(["-i", video_only, "-c", "copy", "-movflags", "+faststart", out_path]) + + # 4) 核验 + r = subprocess.run([ff(), "-hide_banner", "-i", out_path], + stdout=subprocess.DEVNULL, stderr=subprocess.PIPE, text=True) + dur_m = re.search(r"Duration:\s*(\d+):(\d+):([\d.]+)", r.stderr) + dur = (int(dur_m.group(1)) * 3600 + int(dur_m.group(2)) * 60 + float(dur_m.group(3))) if dur_m else None + streams = [l.strip() for l in r.stderr.splitlines() if "Stream #" in l] + print("\n=== 成片 ===") + print(out_path) + print("时长 %.2fs | %.2f MB | 字幕 %d 句" % + (dur or 0, os.path.getsize(out_path) / 1048576, nsub)) + for l in streams: + print(" " + l) + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/scripts/submit_h3_native.py b/scripts/submit_h3_native.py new file mode 100644 index 0000000..28ed522 --- /dev/null +++ b/scripts/submit_h3_native.py @@ -0,0 +1,380 @@ +#!/usr/bin/env python3 +"""manju H3AV:MiniMax H3 原生音画同出提交器(台词镜头的正路)。 + +一条节点图同时出画面 + 人声 + 环境音,口型由模型原生对齐 —— 不做事后 lip-sync。 +零第三方依赖;读 config/pipeline.json 的 nativeVideoModel;明文 HTTP 必须绕代理。 + +用法: + python3 tools/submit_h3_native.py --ep EP01 --shot S04 --seconds 7.3 + python3 tools/submit_h3_native.py --ep EP01 --shot S01b --length 141 --prefix S01b_take2 + python3 tools/submit_h3_native.py --ep EP01 --shot S05 --t2v # 无首帧(纯文生视频) + +约定: + - 提示词默认读 projects//40_prompts/.h3v3.txt(五段式,见 references/native-av.md §5) + - 首帧默认读 work//images/.png;找不到则去掉镜号尾字母再试(S01b → S01.png) + - 产物落 work//videos/native/.mp4,台账 _h3av_ledger.json 同目录 + +★ 只能在 64 GB 卡上跑(实测 192.168.1.23:30121 / K100_AI)。 + 2080Ti 22 GB 上给 MiniMaxH3ImageToVideo 塞 first_frame 必 CUDA OOM —— 见 references/models.md §0。 +★ length 必须吸附到 17k+5 网格,训练区间 124–362 帧;<124 帧画质明显掉。 +★ 单镜 ≈ 90 min(175 帧 / 576×1024 / 20 步)。长任务请用 queue_h3_native.py 排队,别挂进程等。 +★ 这台机器调 /api/free 会崩服务,禁止调用。 +""" +import argparse +import hashlib +import json +import mimetypes +import os +import re +import sys +import time +import urllib.error +import urllib.parse +import urllib.request +import uuid + +DEFAULTS = { + "endpoint": "http://192.168.1.23:30121", + "width": 576, + "height": 1024, + "fps": 24, + "steps": 20, + "timeout": 7200, + "prefix": "video/h3k", +} + +# 权重按端点 /object_info 自动挑,不写死 —— 端点换权重不用改代码。 +PICK = { + "unet": ("fl2va",), # H3 视频(图/文 + 音频联合) + "clip": ("qwen3vl", "minimax_h3"), + "vae_video": ("video_vae",), + "vae_audio": ("audio_vae",), +} + +opener = urllib.request.build_opener(urllib.request.ProxyHandler({})) + + +# ---------------------------------------------------------------- 路径 / 配置 +def find_root(): + env = os.environ.get("MANJU_ROOT") + if env: + return os.path.abspath(os.path.expanduser(env)) + d = os.getcwd() + while True: + if os.path.isfile(os.path.join(d, "config", "pipeline.json")): + return d + nd = os.path.dirname(d) + if nd == d: + break + d = nd + return os.path.dirname(os.path.dirname(os.path.abspath(__file__))) + + +def load_cfg(root): + cfg = dict(DEFAULTS) + p = os.path.join(root, "config", "pipeline.json") + if os.path.isfile(p): + full = json.load(open(p, encoding="utf-8")) + cfg.update(full.get("nativeVideoModel", {})) + cfg["_full"] = full + return cfg + + +# ---------------------------------------------------------------- HTTP +def req(host, method, path, data=None, headers=None, timeout=90): + r = urllib.request.Request(host + path, data=data, method=method, headers=headers or {}) + with opener.open(r, timeout=timeout) as resp: + return resp.read(), resp.headers.get("Content-Type", "") + + +def getj(host, path, timeout=90): + return json.loads(req(host, "GET", path, timeout=timeout)[0]) + + +def pick_weights(host): + """按 PICK 规则在目标端点挑权重;挑不到就明确报错,不猜。""" + out = {} + for key, need in (("unet", PICK["unet"]), ("clip", PICK["clip"]), + ("vae_video", PICK["vae_video"]), ("vae_audio", PICK["vae_audio"])): + node = {"unet": "UNETLoader", "clip": "CLIPLoader", + "vae_video": "VAELoader", "vae_audio": "VAELoader"}[key] + field = {"unet": "unet_name", "clip": "clip_name"}.get(key, "vae_name") + names = getj(host, "/object_info/" + node, timeout=40) + cand = names[node]["input"]["required"][field][0] + hit = [n for n in cand if all(s.lower() in n.lower() for s in need)] + if not hit: + raise SystemExit("端点缺权重(%s 里找不到 %s):%s\n去 /object_info/%s 看清单," + "别猜权重名" % (node, "/".join(need), cand, node)) + out[key] = hit[0] + return out + + +def upload(host, path): + boundary = "----manju" + uuid.uuid4().hex + fn = os.path.basename(path) + ctype = mimetypes.guess_type(fn)[0] or "image/png" + payload = open(path, "rb").read() + head = ("--" + boundary + "\r\n" + 'Content-Disposition: form-data; name="image"; filename="' + fn + '"\r\n' + "Content-Type: " + ctype + "\r\n\r\n").encode() + tail = ("\r\n--" + boundary + "\r\n" + 'Content-Disposition: form-data; name="overwrite"\r\n\r\ntrue\r\n' + "--" + boundary + "--\r\n").encode() + raw, _ = req(host, "POST", "/upload/image", data=head + payload + tail, + headers={"Content-Type": "multipart/form-data; boundary=" + boundary}, + timeout=300) + d = json.loads(raw) + name = d.get("name") or d.get("filename") + if not name: + raise RuntimeError("上传失败 " + raw.decode(errors="replace")[:300]) + return name + + +# ---------------------------------------------------------------- 节点图 +def snap_len(n): + """H3 length 吸附到 17k+5 网格(124 = 17*7+5),向上取整保证台词不被切尾。""" + n = max(5, int(n)) + k = -(-(n - 5) // 17) + return int(17 * k + 5) + + +def build(w, image_name, prompt, width, height, length, seed, steps=20, + has_first=True, audio=True, fps=24, prefix="video/h3k"): + g, c = {}, [0] + + def nid(): + c[0] += 1 + return str(c[0]) + + n = {} + if has_first: + n["first"] = nid() + g[n["first"]] = {"class_type": "LoadImage", "inputs": {"image": image_name}} + n["clip"] = nid() + g[n["clip"]] = {"class_type": "CLIPLoader", + "inputs": {"clip_name": w["clip"], "type": "minimax", "device": "default"}} + n["vv"] = nid() + g[n["vv"]] = {"class_type": "VAELoader", "inputs": {"vae_name": w["vae_video"]}} + n["unet"] = nid() + g[n["unet"]] = {"class_type": "UNETLoader", + "inputs": {"unet_name": w["unet"], "weight_dtype": "default"}} + + itv = {"clip": [n["clip"], 0], "vae": [n["vv"], 0], "prompt": prompt, + "width": width, "height": height, "length": length} + if has_first: + itv["first_frame"] = [n["first"], 0] + n["cond"] = nid() + g[n["cond"]] = {"class_type": "MiniMaxH3ImageToVideo", "inputs": itv} + + n["g"] = nid() + g[n["g"]] = {"class_type": "BasicGuider", + "inputs": {"model": [n["unet"], 0], "conditioning": [n["cond"], 0]}} + n["smp"] = nid() + g[n["smp"]] = {"class_type": "KSamplerSelect", "inputs": {"sampler_name": "res_multistep"}} + n["sch"] = nid() + g[n["sch"]] = {"class_type": "BasicScheduler", + "inputs": {"model": [n["unet"], 0], "scheduler": "simple", + "steps": steps, "denoise": 1.0}} + n["rnd"] = nid() + g[n["rnd"]] = {"class_type": "RandomNoise", "inputs": {"noise_seed": int(seed)}} + n["samp"] = nid() + g[n["samp"]] = {"class_type": "SamplerCustomAdvanced", + "inputs": {"noise": [n["rnd"], 0], "guider": [n["g"], 0], + "sampler": [n["smp"], 0], "sigmas": [n["sch"], 0], + "latent_image": [n["cond"], 1]}} + n["dec"] = nid() + g[n["dec"]] = {"class_type": "VAEDecode", + "inputs": {"samples": [n["samp"], 0], "vae": [n["vv"], 0]}} + if audio: + n["va"] = nid() + g[n["va"]] = {"class_type": "VAELoader", "inputs": {"vae_name": w["vae_audio"]}} + n["deca"] = nid() + g[n["deca"]] = {"class_type": "VAEDecodeAudio", + "inputs": {"samples": [n["samp"], 0], "vae": [n["va"], 0]}} + n["cv"] = nid() + g[n["cv"]] = {"class_type": "CreateVideo", + "inputs": {"images": [n["dec"], 0], "audio": [n["deca"], 0], + "fps": fps, "bit_depth": 8, "color_space": "sRGB"}} + else: + n["cv"] = nid() + g[n["cv"]] = {"class_type": "CreateVideo", + "inputs": {"images": [n["dec"], 0], "fps": fps, + "bit_depth": 8, "color_space": "sRGB"}} + n["sv"] = nid() + g[n["sv"]] = {"class_type": "SaveVideo", + "inputs": {"filename_prefix": prefix, "format": "auto", + "video": [n["cv"], 0]}} + return g + + +def submit(host, graph, cid): + body = json.dumps({"prompt": graph, "client_id": cid}).encode() + try: + raw, _ = req(host, "POST", "/prompt", data=body, + headers={"Content-Type": "application/json"}, timeout=120) + except urllib.error.HTTPError as e: + raise RuntimeError("校验失败 %s: %s" % (e.code, e.read().decode(errors="replace")[:2000])) + d = json.loads(raw) + if d.get("node_errors"): + raise RuntimeError("节点错误 " + json.dumps(d["node_errors"], ensure_ascii=False)[:2000]) + return d.get("prompt_id"), d.get("number") + + +def find_video(item): + for out in (item.get("outputs") or {}).values(): + for key in ("videos", "video", "gifs", "images"): + for f in out.get(key, []) or []: + if isinstance(f, dict) and f.get("filename", "").lower().endswith( + (".mp4", ".webm", ".mkv", ".mov")): + return f + raise RuntimeError("未找到视频 " + json.dumps(item.get("outputs"), ensure_ascii=False)[:600]) + + +def wait(host, pid, timeout, tag=""): + t0, gaps, last = time.time(), 0, "" + while True: + try: + d = getj(host, "/history/" + urllib.parse.quote(pid), timeout=30) + gaps = 0 + except Exception as e: # 服务重启 / 网络抖动 + gaps += 1 + print(" [%s] 暂不可达(%d): %s" % (tag, gaps, str(e)[:70]), flush=True) + if gaps >= 12 or time.time() - t0 > timeout: + raise TimeoutError("等待超时或服务重启;任务可能已随重启丢失," + "先查 /queue 再决定是否重排") + time.sleep(10) + continue + item = d.get(pid) + if item: + st = item.get("status", {}) + msgs = st.get("messages", []) + if any(isinstance(m, list) and m and m[0] == "execution_error" for m in msgs): + raise RuntimeError("渲染失败 " + json.dumps(msgs, ensure_ascii=False)[:1500]) + if st.get("completed") or st.get("status_str") == "success": + if item.get("outputs"): + return item + raise RuntimeError("完成但无产物 " + json.dumps(msgs, ensure_ascii=False)[:600]) + el = time.time() - t0 + cur = "已跑 %d 分 %02d 秒" % (el // 60, el % 60) + if cur != last and int(el) % 60 < 6: + print(" [%s] %s" % (tag, cur), flush=True) + last = cur + if el > timeout: + raise TimeoutError("超时 %ss(任务可能仍在服务端跑,先查 /queue)" % timeout) + time.sleep(8) + + +# ---------------------------------------------------------------- main +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("--ep", required=True, help="集号,如 EP01") + ap.add_argument("--shot", required=True, help="镜号,如 S04 / S01b") + ap.add_argument("--prompt-file", default=None, help="默认 projects//40_prompts/.h3v3.txt") + ap.add_argument("--first", default=None, help="首帧图,默认 work//images/.png") + ap.add_argument("--w", type=int, default=0) + ap.add_argument("--h", type=int, default=0) + ap.add_argument("--length", type=int, default=0, help="帧数;会吸附到 17k+5") + ap.add_argument("--seconds", type=float, default=0.0, help="目标时长(秒),按 fps 吸附") + ap.add_argument("--steps", type=int, default=0) + ap.add_argument("--seed", type=int, default=None) + ap.add_argument("--prefix", default=None, help="本地文件名前缀,默认镜号;SaveVideo 前缀用 cfg.prefix") + ap.add_argument("--no-audio", action="store_true", help="不接音频 VAE(调试用,成片别用)") + ap.add_argument("--t2v", action="store_true", help="不给首帧(纯文生视频)") + ap.add_argument("--timeout", type=int, default=0) + a = ap.parse_args() + + root = find_root() + cfg = load_cfg(root) + host = cfg["endpoint"] + fps = int(cfg.get("fps", 24)) + W = a.w or int(cfg.get("width", 576)) + Hh = a.h or int(cfg.get("height", 1024)) + steps = a.steps or int(cfg.get("steps", 20)) + + # 时长:--length 优先,其次 --seconds,默认 175 帧(7.29 s) + if a.length: + length = snap_len(a.length) + elif a.seconds: + length = snap_len(round(a.seconds * fps)) + else: + length = snap_len(round(7.3 * fps)) + + # 提示词 + pf = a.prompt_file + if not pf: + base = os.path.join(root, "projects", a.ep, "40_prompts", a.shot) + for ext in (".h3v3.txt", ".h3.txt"): + if os.path.isfile(base + ext): + pf = base + ext + break + if not pf or not os.path.isfile(pf): + raise SystemExit("找不到提示词文件:%s(五段式模板见 references/native-av.md §5)" % pf) + prompt = open(pf, encoding="utf-8").read().strip() + + # 首帧 + has_first = not a.t2v + img = a.first + if has_first and not img: + cand = [os.path.join(root, "work", a.ep, "images", a.shot + ".png"), + os.path.join(root, "work", a.ep, "images", re.sub(r"[a-z]$", "", a.shot) + ".png")] + img = next((p for p in cand if os.path.isfile(p)), cand[0]) + if has_first and not os.path.isfile(img): + raise SystemExit("首帧图不存在:%s(先出图,或 --t2v)" % img) + + weights = pick_weights(host) + image_name = upload(host, img) if has_first else None + seed = a.seed if a.seed is not None else \ + int(hashlib.sha256((a.shot + prompt).encode()).hexdigest()[:8], 16) % (2 ** 31) + graph = build(weights, image_name, prompt, W, Hh, length, seed, steps, + has_first, not a.no_audio, fps, cfg.get("prefix", "video/h3k")) + cid = "manju-h3av-" + uuid.uuid4().hex[:8] + pid, num = submit(host, graph, cid) + + outdir = os.path.join(root, "work", a.ep, "videos", "native") + os.makedirs(outdir, exist_ok=True) + print("[%s] 提交 %s pid=%s 队列#%s %dx%d %d帧=%.2fs %d步 I2V=%s 音频=%s" + % (time.strftime("%H:%M:%S"), a.shot, pid, num, W, Hh, length, + length / float(fps), steps, has_first, not a.no_audio), flush=True) + print(" ⚠ 单镜约 90 分钟;本进程退出不影响服务端,可用 fetch_h3_native.py 取回", flush=True) + + t0 = time.time() + item = wait(host, pid, a.timeout or cfg.get("timeout", 7200), a.shot) + elapsed = time.time() - t0 + f = find_video(item) + q = urllib.parse.urlencode({"filename": f["filename"], + "subfolder": f.get("subfolder", ""), + "type": f.get("type", "output")}) + raw, _ = req(host, "GET", "/view?" + q, timeout=1200) + out = os.path.join(outdir, (a.prefix or a.shot) + ".mp4") + open(out, "wb").write(raw) + print("[%s] OK -> %s %.2f MB 耗时 %.1f 分钟" + % (time.strftime("%H:%M:%S"), out, len(raw) / 1e6, elapsed / 60), flush=True) + + led = os.path.join(outdir, "_h3av_ledger.json") + data = {} + if os.path.isfile(led): + try: + data = json.load(open(led, encoding="utf-8")) + except Exception: + data = {} + data[a.shot] = {"prompt_id": pid, "clientId": cid, "endpoint": host, + "promptFile": os.path.relpath(pf, root), + "first": os.path.relpath(img, root) if has_first else None, + "w": W, "h": Hh, "length": length, "fps": fps, + "seconds": round(length / float(fps), 3), "steps": steps, + "seed": seed, "audio": not a.no_audio, + "output": os.path.relpath(out, root), "bytes": len(raw), + "elapsed_min": round(elapsed / 60, 1), + "finished_at": time.strftime("%Y-%m-%d %H:%M:%S")} + json.dump(data, open(led, "w", encoding="utf-8"), ensure_ascii=False, indent=2) + + +if __name__ == "__main__": + try: + main() + except KeyboardInterrupt: + print("\n已中断(服务端任务可能仍在跑;用 /queue 查 pid 后再决定重排)", file=sys.stderr) + sys.exit(130) + except Exception as e: + print("ERROR:", e, file=sys.stderr, flush=True) + sys.exit(1)