按卡选活的对照表:什么活该用哪台机、哪个端点。 覆盖高频踩坑点: - H3 的 I2V 看卡不看端口:30113(22GB) 塞 first_frame 必 OOM,要首帧锁图用 A14B, 要台词口型用 30121(64GB) - 30113 一卡一实例 + 4Gi 内存墙,图/视频/A14B 只能串行;连续出图 30 张会崩 - H3 视频固定配方:20 步 / res_multistep+simple / cfg1.0 / 无 LoRA - 两端出图量化档方向相反(30113=int8_convrot, 30121=w4a8),搞反静默出纯色图 - 30121 禁调 /api/free;queue/history 是内存态,实例重启任务静默全丢 - 附 30 秒开工自检(端点/队列/权重三查) install.sh 完整性清单同步;SKILL.md 五条铁律处加引用。
156 lines
7.8 KiB
Markdown
156 lines
7.8 KiB
Markdown
# 选机与端点分工(按卡选活)
|
||
|
||
> **一句话**:**H3 的 I2V 看卡不看端口。** `first_frame` 只有 64 GB 的 `30121` 扛得住,
|
||
> `30113`(2080Ti 22 GB)塞进去必 `CUDA out of memory`。端点只是入口,**能不能干看显存和模态**。
|
||
>
|
||
> 本文是**选机速查**:先查表定端点,再去 [models.md](models.md) 查节点图、去 [pitfalls.md](pitfalls.md) 查完整踩坑。
|
||
> 端点状态为 **2026-11-19 实测**;服务拓扑会变,**开工前跑 §5 自检**。
|
||
|
||
---
|
||
|
||
## 1. 选机速查表
|
||
|
||
| 你要干的活 | 用哪台 | 端点 | 为什么 |
|
||
|---|---|---|---|
|
||
| **人物有台词**(口型 + 原生对白 + 环境音) | **K100 64 GB** | `192.168.1.23:30121` | 唯一的音画同出 I2V 路线 |
|
||
| 角色锚图 / 分镜首帧(出图) | 2080Ti | `192.168.1.30:30113` | 能出,但慢约 4 倍、连续 30 张会崩 |
|
||
| 要首帧锁图的**静音**动作镜 | 2080Ti | `192.168.1.30:30113` | 用 **A14B**(不是 H3) |
|
||
| 只要环境音、无对白的静音镜 | 2080Ti | `192.168.1.30:30113` | H3 **T2V**(不传 `first_frame`) |
|
||
| 批量抽卡 / 快速迭代 | 2080Ti | `192.168.1.30:30113` | A14B 4 步,比 H3 快一个量级 |
|
||
|
||
> `30111` / `30112` 是 `30113` 的**同一实例别名**(旧 deployment 已 scale 0,Service selector 改指),
|
||
> 端口照旧可用,但**还是那一张卡**——串行约束一并继承。
|
||
|
||
---
|
||
|
||
## 2. 头号坑:H3 + `first_frame` = 必 OOM
|
||
|
||
**现象**:给 `MiniMaxH3ImageToVideo` 传首帧图 → 采样阶段 `CUDA out of memory`。
|
||
|
||
**原因**(硬件问题,不是参数问题):
|
||
`first_frame` 走 `vae.encode()`,**video VAE 被 conditioning 持有到采样期结束,无法卸载**。
|
||
TE 14.96 GB + VAE 4.97 GB 焊死在 22 GB 卡上 → 采样必爆。
|
||
|
||
**怎么办**:
|
||
- `30113` 上的 H3 **只做 T2V**(不传 `first_frame` / `last_frame`)。
|
||
- 要首帧锁图 → 换 **Wan2.2 I2V A14B**(`tools/submit_i2v.py`)。
|
||
- 要台词 + 口型 → 换 **`30121`**(`tools/submit_h3_native.py`)。
|
||
|
||
> 2026-11-14 干净态重放复现。**调参救不回来。**
|
||
> `30113` 虽挂了 `fl2va_w6a8` 全套权重,但 23 GB 扛 576×1024×20 步存疑、服务先崩,**没测成**。
|
||
> 判据不变:I2V 只能在 64 GB 卡上做。
|
||
|
||
---
|
||
|
||
## 3. `30113`(2080Ti)的三条硬约束
|
||
|
||
### 3.1 一卡一实例 + 4 GiB 内存墙 → 只能串行
|
||
|
||
30113 独占 1 张 RTX 2080Ti(`nvidia.com/gpu: 1`),跑在 **4 GiB cgroup 硬限、无 swap** 里。
|
||
**图 / H3 视频 / A14B 三者共用这一个实例**,互为并发冲突。
|
||
|
||
**实测启动参数**(2026-11-19 复核 argv):
|
||
```
|
||
--cache-none --disable-pinned-memory --disable-cuda-malloc --disable-smart-memory
|
||
```
|
||
|
||
- **一次只跑一个任务**,等结束再提交下一个。
|
||
- 出图与视频**不要并行**。
|
||
- 并发或连续跑 → pod 崩,**三个端口一起 Connection refused**(机器 ping 通,是 pod 崩重启,不是 OOM)。
|
||
- `kubectl` 不在 PATH 时恢复很慢 → **音画同出任务别排到 30113**,回退 30121。
|
||
|
||
### 3.2 H3 视频参数是固定配方
|
||
|
||
| 项 | 值 | 改错会怎样 |
|
||
|---|---|---|
|
||
| 步数 | **20** | 加步数无益(蒸馏模型) |
|
||
| 采样器 | `res_multistep` + `simple` | 换组合可能出 NaN |
|
||
| cfg | 1.0 | — |
|
||
| LoRA | **一个都不要加** | turbo LoRA 合进 w6a8 量化权重 → **画面全 NaN** |
|
||
| 尺寸 | **320×192 / 22 帧**(已实测) | 更大规格在 0.45 未验证,要加从小往上加 |
|
||
| 输出 | `SaveVideo format="auto"` | — |
|
||
| 抽帧自检 | **保留 `SaveImage` 节点** | 去掉报 `Prompt has no outputs` |
|
||
| 量化档(出图) | `int8_convrot` | **不能用 w4a8**(2080Ti 是 sm_75,w4a8 加速路径要求 sm_80) |
|
||
|
||
> 节点图细节见 [models.md §4.3](models.md)。**换模型不能只改 endpoint**——H3 与 A14B 的采样节点、权重、输出节点全不同。
|
||
|
||
### 3.3 出图:能用,但慢且会崩
|
||
|
||
- **速度**:1024² ≈ 178 s、2048² ≈ 208 s。DCU 上 16 MP 约 40 s/step → **30113 慢约 4 倍**。
|
||
- **连续出图 30 张后服务整体崩**(三端口同时 refused)。
|
||
- **出图成功 ≠ 内容正确**:脚本打 `[SANITY]` 行(颜色数/亮度/标准差),纯色图判失败、退出码 1。**必须看这一行**——
|
||
量化档不对时 ComfyUI **不报错**,只是静默出纯色图。
|
||
|
||
### 3.4 出图量化档:两端方向相反,别照搬
|
||
|
||
| 端点 | 权重 | 原因 |
|
||
|---|---|---|
|
||
| `30113`(CUDA, sm_75) | `..._int8_convrot.safetensors` | **没有 w4a8**——w4a8 的 CUDA 加速路径要求 sm_80,2080Ti 跑不了 |
|
||
| `30121`(ROCm, gfx928) | `..._w4a8.safetensors` | **不要用 int8_convrot**——gfx928 上 convrot 的 `rint` bug → NaN → 纯黑图 |
|
||
|
||
**绝不能改成 fp16**:2080Ti 无原生 bf16,靠补丁软件模拟 bf16;fp16 动态范围仅 ±65504,
|
||
H3-Image 的 adaln/timestep 缩放会溢出成 inf → NaN → 出图全黑。
|
||
|
||
> `tools/submit_t2i.py` **自动探测权重**,不用手填;端点换了不用改代码。
|
||
|
||
---
|
||
|
||
## 4. `30121`(K100 64 GB)专用约束
|
||
|
||
- 🔴 **禁调 `/api/free`**:会让服务崩(约 20 s 自愈),**且崩溃连带清空队列与 history**——
|
||
这是「任务莫名消失」的常见真因。要干净显存就从队列侧等,或让部署侧重启。
|
||
- **禁调 `--fp16-unet`**(会毁掉 H3-Image 的 bf16 路径)。
|
||
- `/upload/audio` 返回 **405**:音频也走 `/upload/image`(同一 multipart 字段名 `image`)。
|
||
- 出图与 90 分钟的视频任务**抢同一队列**,同时排要算好顺序。
|
||
- 完整节点图、帧数网格、台词时长换算见 **[native-av.md](native-av.md)**。
|
||
|
||
---
|
||
|
||
## 5. 开工前自检
|
||
|
||
```bash
|
||
# ① 端点在不在、是什么卡
|
||
for U in 192.168.1.30:30113 192.168.1.23:30121; do
|
||
printf "%-22s" "$U"; curl -s --noproxy '*' -m 8 "http://$U/system_stats" \
|
||
| python3 -c "import sys,json;d=json.load(sys.stdin);print(d['system']['comfyui_version'], d['devices'][0]['name'])"
|
||
done
|
||
|
||
# ② 30113 上还有没有人在排队(有就别提交,并发必崩)
|
||
curl -s --noproxy '*' -m 8 "http://192.168.1.30:30113/queue" \
|
||
| python3 -c "import sys,json;d=json.load(sys.stdin);print('running',len(d.get('queue_running',[])),'pending',len(d.get('queue_pending',[])))"
|
||
|
||
# ③ 权重齐不齐(少于 4 个 = pod 重建后 /local 软链丢了,不是模型坏了)
|
||
curl -s --noproxy '*' -m 10 "http://192.168.1.30:30113/object_info/UNETLoader" \
|
||
| python3 -c "
|
||
import json,sys
|
||
d=json.load(sys.stdin)['UNETLoader']['input']['required']['unet_name'][0]
|
||
print(len(d),'个模型')
|
||
[print(' ',x) for x in d]
|
||
"
|
||
```
|
||
|
||
**③ 少于 4 个模型** → pod 重建过(`/local` 是 emptyDir,丢了软链)→ 跑 `/basedir/apply-multimodal.sh` 恢复,
|
||
否则只剩出图能力。部署侧步骤见 `deploy-as-built.md` §6(不在技能包内)。
|
||
|
||
---
|
||
|
||
## 6. 通用:清内存态的两条硬约束
|
||
|
||
- **队列与 history 都是内存态**:实例一重启(重部署 / 崩了自愈 / 换权重)排队的任务**静默消失,不报任何错**。
|
||
实测 15:16 排 7 镜、15:43 实例重部署 → 队列清空、7 镜全丢。
|
||
- **`GET /history/<pid>` 返回 `{}` 有三义**(排队中 / 执行中 / 不存在),单看它判不了任何事。
|
||
**判据必须交叉核对 `/queue`**:running+pending 为 0 且 history 查不到 → **任务已丢,重排**。
|
||
- 排完 **5 分钟内**做一次存在性自检(`tools/queue_h3_native.py --check`),交付前再核一次。
|
||
- **别把本地进程挂在等待上**:单镜 90 分钟级,会话回收 / 终端断掉后 pid 丢了就再也取不回来。
|
||
正确做法是「排队 → 落盘 `prompt_id` → 事后取回」。
|
||
|
||
完整踩坑见 [pitfalls.md](pitfalls.md)。
|
||
|
||
---
|
||
|
||
## 7. 一句话总结
|
||
|
||
**30113 上:出图可以(慢、会崩),H3 只能 T2V,首帧锁图用 A14B,一切串行。**
|
||
**要台词口型:换 30121,禁 `/api/free`,排队别挂进程。**
|
||
**任务丢了不报错 —— 排完 5 分钟查一次 `/queue`。**
|