Files
ai-manju/references/submit-i2v.md
T
admin 7753939a3b feat: ai-manju skill 初始提交
AI 漫剧流水线技能完整落地:文件驱动、可校验、单镜可重做。

七阶段:基线资产 → 策划叙事 → 分镜中枢 → 配音先行 → 出图/出视频 → 缝合 → 审片归档。

- scripts/: manju.py 编排、submit_t2i/submit_i2v 提交、cleanup_comfyui 清理
- assets/comfyui-manju-cleanup/: ComfyUI 清理扩展,归属校验 fail-closed
- references/: models.md 模型节点图全表、workflow/director/storyboard/pitfalls
- .gitignore: 排除 __pycache__ 与运行产物
2026-11-14 17:49:39 +08:00

7.5 KiB
Raw Blame History

图生视频提交与预检

本文只讲 Wan2.2 I2V A14B(视频模型②)。 内网还有第二个视频模型 MiniMax H3(带原生音轨,20 步 / 无 LoRA)——它的采样节点、权重、输出节点与 A14B 完全不同,不能把本文参数或 submit_i2v.py 直接指过去。端点全表、H3 节点图、文生图与辅助模型 API 见 models.md,部署拓扑与恢复见部署侧 deploy/k8s-nvidia/deploy-as-built.md。

2026-11-13 起:图与两种视频都跑在同一个实例 192.168.1.30:30113(ComfyUI 0.45)。 videoModel.endpoint 默认已指向它;30112 / 30111 与它指向同一个实例(Service selector 改指),任选其一都能跑同一张图。 单实例共享 1 张 22 GB 卡与 4 GiB 内存硬限,出图/出视频必须串行。

tools/submit_i2v.py 默认适配 Wan2.2 I2V(A14B)双专家 4-step 工作流。端点、分辨率、帧数、步数全部从 config/pipeline.json → videoModel 读取;换模型需另写节点图(不是改 UNET/LORA 常量就够了)。

参数来源

项 来源
端点 HOST config/pipeline.json → videoModel.endpoint
宽高 / 帧数 / fps / steps 同上 videoModel.*
标称单段时长 frames / fps(默认 81/16 ≈ 5.06s)
运动提示词 40_prompts/Sxx.i2v.txt
首帧图 work/EPxx/images/Sxx.png(或 refs 指定路径)
输出 work/EPxx/videos/Sxx_<hash8>.mp4

协议(ComfyUI)

/upload/image → /prompt(双专家工作流)→ /history 轮询 → /view 下载。 明文 HTTP 若被本机代理改写成 text/html,脚本已内置 ProxyHandler({}) 绕过代理。 完整端点表与最小提交骨架见 models.md §3:/prompt 必须包 {"prompt": 节点图} 外层,裸 workflow 会 400。

预检(必做)

  1. 服务端 /system_stats:确认在线、看 argv 有无 --force-fp16(有则高风险);记下版本——30113 是 0.45.0,30112 是 0.38.0。同一张节点图两边都能跑,但 --fp16-unet 只有 0.38 需要,0.45 上出现它会毁掉 H3-Image 的 bf16 路径。
  2. /object_info/UNETLoader:必须能看到 wan2.2_i2v_high_noise_14B_fp8_scaled 与 low_noise。30113 上应共 4 个扩散模型;只剩 1 个(H3-Image)说明 pod 重建后 /local 软链丢了 → 容器内跑 sh /basedir/apply-multimodal.sh。
  3. /queue 确认空闲:30113 一个实例同时接出图与两种视频,有排队就先等,否则会撞 4 GiB 内存墙。
  4. 按启动参数预检,不按 RAM 硬挡。
  5. 确认提示词哈希与 a14b_runs.json 里的旧记录不同,避免误用旧片段。

踩坑(必读)

  • 不要 --force-fp16:fp8 权重被升成 fp16,是崩溃根因。
  • 必须挂 ModelSamplingSD3(shift=5):两个专家各挂一个。漏了不会报错,但画面发软、运动漂移(脚本 2026-11-13 已补上)。
  • SaveVideo.format 是动态组合:取值 auto / mp4 / mkv / webm(30113 还有 mov),传 video/h264-mp4 这类组合串会被静默丢弃。
  • 跨 prompt 传 conditioning 被服务端权限封死:分阶段/接力方案不做,每段自包含。
  • 单段超时:用 pad:true + tpad=stop_mode=clone,不要在提交端拉长帧数。
  • 网络超时不能证明未提交;重试前先查 /history,避免重复消耗算力。
  • 服务端 4 GiB cgroup 下串行提交,不要并发;30113 上还要和出图、H3 视频排队。
  • 别把 H3 的东西搬过来:turbo LoRA、MiniMaxH3ImageToVideo、SamplerCustomAdvanced、H3AudioClean 都属于另一条线。 反过来也别把 A14B 的禁忌套到 H3 上:--fp16-unet 对 30111(0.38)必需、对 30113(0.45)禁用。
  • 首帧图若无外部图像能力,用内网 H3-Image 出:python3 tools/submit_t2i.py --ep EPxx --shot Sxx --prompt-file 40_prompts/Sxx.t2i.txt(默认落 work/EPxx/images/Sxx.png,正是本脚本读取的路径)。
  • 导出后要清服务端:/view 拉回的 mp4 只是副本,服务端 output/ 里那份和 history 记录还在。见 models.md §3.4 与下方「导出后清理」。

命名与记录

work/EPxx/videos/Sxx_<promptHash8>.mp4

promptHash8 = 40_prompts/Sxx.i2v.txt 内容 sha256 前 8 位(脚本用 read().strip(),预估哈希要一致)。改提示词即换文件,旧版不覆盖,便于对比筛选。

每次提交在 50_manifest.json 追加一条 attempt:提示词快照、模型与完整有效参数、参考文件与顺序、返回与实际文件、授权范围与剩余次数。提示词版本与结果版本分开登记。

常用命令

python3 tools/submit_i2v.py projects/EPxx/30_shots.json              # 全部
python3 tools/submit_i2v.py projects/EPxx/30_shots.json --only S03   # 只提 S03
python3 tools/submit_i2v.py projects/EPxx/30_shots.json --only S03 --force  # 强制用新哈希重跑
python3 tools/submit_i2v.py projects/EPxx/30_shots.json --cleanup    # 每镜导出后自动清服务端

导出后清理(必做)

成片下载成功即触发,不清干净不算这一镜完结:

python3 tools/cleanup_comfyui.py --ep EP01                 # 预演,看将清哪些记录/文件
python3 tools/cleanup_comfyui.py --ep EP01 --apply        # 真清
python3 tools/cleanup_comfyui.py --ep EP01 --shot S03 --apply

也可用 --cleanup 让提交脚本导出后自动清,或在 config/pipeline.json → cleanup.auto 设 true。六条要点:① 只清自己发起的任务:提交脚本用 manju-i2v-* 作 client_id 并把 clientId 写进台账,清理时按 history 项 prompt[3]["client_id"] 精确比对(cleanup.clientIds / ownerPrefixes 兜底);requireOwner=true 时未通过归属一律拒绝、不调任何删除接口;② 记录删除走官方 /api 前缀标准接口(/api/history、/api/queue、/api/free),脚本会探测并回退;③ 200 空 body 是幂等响应,不等于删除成功,删后要复核 history 变 {}、queue 里不再有该 pid;④ 产物文件官方没有 HTTP 删除路由,优先用技能自带扩展 assets/comfyui-manju-cleanup/ 的 POST /manju/cleanup/purge(只传 pid,服务端从 history 反查文件、二次校验归属、防路径逃逸与跨任务共用),未装则降级 cleanup.deleteApi / cleanup.commands;⑤ 装了扩展要先删文件再删记录(purge 依赖 history 反查),没装扩展才用旧的「先抽清单 → 删记录 → 复核 → 删文件」;⑥ 只按 prompt_id 精确删,禁用 {"clear": true}。本地成片、提示词原文、manifest 一律不动。整批做完再统一 --free。python3 tools/selftest_cleanup.py 可本地 mock 自检 26 项断言。详见 models.md §3.4。

闸门

生成前展示:镜号与数量、模型、完整提示词、实际参考、规格、执行次数与预估算力消耗;等明确授权。返回任务 ID 只表示已开始,不宣称完成;完成以真实文件与状态回读为准。额外重试先核对授权是否覆盖。导出后再报一次清理结果:每条任务的 client_id 归属判定(拒绝的要说明)、history / queue 是否「删前有→删后无」地复核过、服务端产物文件是走扩展 purge 还是降级路线删掉、哪些因未配命令模板而待手工处理。不能把 HTTP 200 空 body 直接说成「已删」,也不能把别人的任务算进清理数。