Files
admin c67cec3feb docs: 新增 references/gpu-selection.md 选机速查
按卡选活的对照表:什么活该用哪台机、哪个端点。

覆盖高频踩坑点:
- H3 的 I2V 看卡不看端口:30113(22GB) 塞 first_frame 必 OOM,要首帧锁图用 A14B,
  要台词口型用 30121(64GB)
- 30113 一卡一实例 + 4Gi 内存墙,图/视频/A14B 只能串行;连续出图 30 张会崩
- H3 视频固定配方:20 步 / res_multistep+simple / cfg1.0 / 无 LoRA
- 两端出图量化档方向相反(30113=int8_convrot, 30121=w4a8),搞反静默出纯色图
- 30121 禁调 /api/free;queue/history 是内存态,实例重启任务静默全丢
- 附 30 秒开工自检(端点/队列/权重三查)

install.sh 完整性清单同步;SKILL.md 五条铁律处加引用。
2026-11-19 19:02:40 +08:00

7.8 KiB
Raw Permalink Blame History

选机与端点分工(按卡选活)

一句话:H3 的 I2V 看卡不看端口。 first_frame 只有 64 GB 的 30121 扛得住, 30113(2080Ti 22 GB)塞进去必 CUDA out of memory。端点只是入口,能不能干看显存和模态。

本文是选机速查:先查表定端点,再去 models.md 查节点图、去 pitfalls.md 查完整踩坑。 端点状态为 2026-11-19 实测;服务拓扑会变,开工前跑 §5 自检。


1. 选机速查表

你要干的活 用哪台 端点 为什么
人物有台词(口型 + 原生对白 + 环境音) K100 64 GB 192.168.1.23:30121 唯一的音画同出 I2V 路线
角色锚图 / 分镜首帧(出图) 2080Ti 192.168.1.30:30113 能出,但慢约 4 倍、连续 30 张会崩
要首帧锁图的静音动作镜 2080Ti 192.168.1.30:30113 用 A14B(不是 H3)
只要环境音、无对白的静音镜 2080Ti 192.168.1.30:30113 H3 T2V(不传 first_frame)
批量抽卡 / 快速迭代 2080Ti 192.168.1.30:30113 A14B 4 步,比 H3 快一个量级

30111 / 30112 是 30113 的同一实例别名(旧 deployment 已 scale 0,Service selector 改指), 端口照旧可用,但还是那一张卡——串行约束一并继承。


2. 头号坑:H3 + first_frame = 必 OOM

现象:给 MiniMaxH3ImageToVideo 传首帧图 → 采样阶段 CUDA out of memory。

原因(硬件问题,不是参数问题): first_frame 走 vae.encode(),video VAE 被 conditioning 持有到采样期结束,无法卸载。 TE 14.96 GB + VAE 4.97 GB 焊死在 22 GB 卡上 → 采样必爆。

怎么办:

  • 30113 上的 H3 只做 T2V(不传 first_frame / last_frame)。
  • 要首帧锁图 → 换 Wan2.2 I2V A14B(tools/submit_i2v.py)。
  • 要台词 + 口型 → 换 30121(tools/submit_h3_native.py)。

2026-11-14 干净态重放复现。调参救不回来。 30113 虽挂了 fl2va_w6a8 全套权重,但 23 GB 扛 576×1024×20 步存疑、服务先崩,没测成。 判据不变:I2V 只能在 64 GB 卡上做。


3. 30113(2080Ti)的三条硬约束

3.1 一卡一实例 + 4 GiB 内存墙 → 只能串行

30113 独占 1 张 RTX 2080Ti(nvidia.com/gpu: 1),跑在 4 GiB cgroup 硬限、无 swap 里。 图 / H3 视频 / A14B 三者共用这一个实例,互为并发冲突。

实测启动参数(2026-11-19 复核 argv):

--cache-none --disable-pinned-memory --disable-cuda-malloc --disable-smart-memory
  • 一次只跑一个任务,等结束再提交下一个。
  • 出图与视频不要并行。
  • 并发或连续跑 → pod 崩,三个端口一起 Connection refused(机器 ping 通,是 pod 崩重启,不是 OOM)。
  • kubectl 不在 PATH 时恢复很慢 → 音画同出任务别排到 30113,回退 30121。

3.2 H3 视频参数是固定配方

项 值 改错会怎样
步数 20 加步数无益(蒸馏模型)
采样器 res_multistep + simple 换组合可能出 NaN
cfg 1.0 —
LoRA 一个都不要加 turbo LoRA 合进 w6a8 量化权重 → 画面全 NaN
尺寸 320×192 / 22 帧(已实测) 更大规格在 0.45 未验证,要加从小往上加
输出 SaveVideo format="auto" —
抽帧自检 保留 SaveImage 节点 去掉报 Prompt has no outputs
量化档(出图) int8_convrot 不能用 w4a8(2080Ti 是 sm_75,w4a8 加速路径要求 sm_80)

节点图细节见 models.md §4.3。换模型不能只改 endpoint——H3 与 A14B 的采样节点、权重、输出节点全不同。

3.3 出图:能用,但慢且会崩

  • 速度:1024² ≈ 178 s、2048² ≈ 208 s。DCU 上 16 MP 约 40 s/step → 30113 慢约 4 倍。
  • 连续出图 30 张后服务整体崩(三端口同时 refused)。
  • 出图成功 ≠ 内容正确:脚本打 [SANITY] 行(颜色数/亮度/标准差),纯色图判失败、退出码 1。必须看这一行—— 量化档不对时 ComfyUI 不报错,只是静默出纯色图。

3.4 出图量化档:两端方向相反,别照搬

端点 权重 原因
30113(CUDA, sm_75) ..._int8_convrot.safetensors 没有 w4a8——w4a8 的 CUDA 加速路径要求 sm_80,2080Ti 跑不了
30121(ROCm, gfx928) ..._w4a8.safetensors 不要用 int8_convrot——gfx928 上 convrot 的 rint bug → NaN → 纯黑图

绝不能改成 fp16:2080Ti 无原生 bf16,靠补丁软件模拟 bf16;fp16 动态范围仅 ±65504, H3-Image 的 adaln/timestep 缩放会溢出成 inf → NaN → 出图全黑。

tools/submit_t2i.py 自动探测权重,不用手填;端点换了不用改代码。


4. 30121(K100 64 GB)专用约束

  • 🔴 禁调 /api/free:会让服务崩(约 20 s 自愈),且崩溃连带清空队列与 history—— 这是「任务莫名消失」的常见真因。要干净显存就从队列侧等,或让部署侧重启。
  • 禁调 --fp16-unet(会毁掉 H3-Image 的 bf16 路径)。
  • /upload/audio 返回 405:音频也走 /upload/image(同一 multipart 字段名 image)。
  • 出图与 90 分钟的视频任务抢同一队列,同时排要算好顺序。
  • 完整节点图、帧数网格、台词时长换算见 native-av.md。

5. 开工前自检

# ① 端点在不在、是什么卡
for U in 192.168.1.30:30113 192.168.1.23:30121; do
  printf "%-22s" "$U"; curl -s --noproxy '*' -m 8 "http://$U/system_stats" \
    | python3 -c "import sys,json;d=json.load(sys.stdin);print(d['system']['comfyui_version'], d['devices'][0]['name'])"
done

# ② 30113 上还有没有人在排队(有就别提交,并发必崩)
curl -s --noproxy '*' -m 8 "http://192.168.1.30:30113/queue" \
  | python3 -c "import sys,json;d=json.load(sys.stdin);print('running',len(d.get('queue_running',[])),'pending',len(d.get('queue_pending',[])))"

# ③ 权重齐不齐(少于 4 个 = pod 重建后 /local 软链丢了,不是模型坏了)
curl -s --noproxy '*' -m 10 "http://192.168.1.30:30113/object_info/UNETLoader" \
  | python3 -c "
import json,sys
d=json.load(sys.stdin)['UNETLoader']['input']['required']['unet_name'][0]
print(len(d),'个模型')
[print('  ',x) for x in d]
"

③ 少于 4 个模型 → pod 重建过(/local 是 emptyDir,丢了软链)→ 跑 /basedir/apply-multimodal.sh 恢复, 否则只剩出图能力。部署侧步骤见 deploy-as-built.md §6(不在技能包内)。


6. 通用:清内存态的两条硬约束

  • 队列与 history 都是内存态:实例一重启(重部署 / 崩了自愈 / 换权重)排队的任务静默消失,不报任何错。 实测 15:16 排 7 镜、15:43 实例重部署 → 队列清空、7 镜全丢。
  • GET /history/<pid> 返回 {} 有三义(排队中 / 执行中 / 不存在),单看它判不了任何事。 判据必须交叉核对 /queue:running+pending 为 0 且 history 查不到 → 任务已丢,重排。
  • 排完 5 分钟内做一次存在性自检(tools/queue_h3_native.py --check),交付前再核一次。
  • 别把本地进程挂在等待上:单镜 90 分钟级,会话回收 / 终端断掉后 pid 丢了就再也取不回来。 正确做法是「排队 → 落盘 prompt_id → 事后取回」。

完整踩坑见 pitfalls.md。


7. 一句话总结

30113 上:出图可以(慢、会崩),H3 只能 T2V,首帧锁图用 A14B,一切串行。 要台词口型:换 30121,禁 /api/free,排队别挂进程。 任务丢了不报错 —— 排完 5 分钟查一次 /queue。