Files
ai-manju/references/gpu-selection.md
T
admin c67cec3feb docs: 新增 references/gpu-selection.md 选机速查
按卡选活的对照表:什么活该用哪台机、哪个端点。

覆盖高频踩坑点:
- H3 的 I2V 看卡不看端口:30113(22GB) 塞 first_frame 必 OOM,要首帧锁图用 A14B,
  要台词口型用 30121(64GB)
- 30113 一卡一实例 + 4Gi 内存墙,图/视频/A14B 只能串行;连续出图 30 张会崩
- H3 视频固定配方:20 步 / res_multistep+simple / cfg1.0 / 无 LoRA
- 两端出图量化档方向相反(30113=int8_convrot, 30121=w4a8),搞反静默出纯色图
- 30121 禁调 /api/free;queue/history 是内存态,实例重启任务静默全丢
- 附 30 秒开工自检(端点/队列/权重三查)

install.sh 完整性清单同步;SKILL.md 五条铁律处加引用。
2026-11-19 19:02:40 +08:00

156 lines
7.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 选机与端点分工(按卡选活)
> **一句话**:**H3 的 I2V 看卡不看端口。** `first_frame` 只有 64 GB 的 `30121` 扛得住,
> `30113`(2080Ti 22 GB)塞进去必 `CUDA out of memory`。端点只是入口,**能不能干看显存和模态**。
>
> 本文是**选机速查**:先查表定端点,再去 [models.md](models.md) 查节点图、去 [pitfalls.md](pitfalls.md) 查完整踩坑。
> 端点状态为 **2026-11-19 实测**;服务拓扑会变,**开工前跑 §5 自检**。
---
## 1. 选机速查表
| 你要干的活 | 用哪台 | 端点 | 为什么 |
|---|---|---|---|
| **人物有台词**(口型 + 原生对白 + 环境音) | **K100 64 GB** | `192.168.1.23:30121` | 唯一的音画同出 I2V 路线 |
| 角色锚图 / 分镜首帧(出图) | 2080Ti | `192.168.1.30:30113` | 能出,但慢约 4 倍、连续 30 张会崩 |
| 要首帧锁图的**静音**动作镜 | 2080Ti | `192.168.1.30:30113` | 用 **A14B**(不是 H3) |
| 只要环境音、无对白的静音镜 | 2080Ti | `192.168.1.30:30113` | H3 **T2V**(不传 `first_frame`) |
| 批量抽卡 / 快速迭代 | 2080Ti | `192.168.1.30:30113` | A14B 4 步,比 H3 快一个量级 |
> `30111` / `30112` 是 `30113` 的**同一实例别名**(旧 deployment 已 scale 0,Service selector 改指),
> 端口照旧可用,但**还是那一张卡**——串行约束一并继承。
---
## 2. 头号坑:H3 + `first_frame` = 必 OOM
**现象**:给 `MiniMaxH3ImageToVideo` 传首帧图 → 采样阶段 `CUDA out of memory`。
**原因**(硬件问题,不是参数问题):
`first_frame` 走 `vae.encode()`,**video VAE 被 conditioning 持有到采样期结束,无法卸载**。
TE 14.96 GB + VAE 4.97 GB 焊死在 22 GB 卡上 → 采样必爆。
**怎么办**:
- `30113` 上的 H3 **只做 T2V**(不传 `first_frame` / `last_frame`)。
- 要首帧锁图 → 换 **Wan2.2 I2V A14B**(`tools/submit_i2v.py`)。
- 要台词 + 口型 → 换 **`30121`**(`tools/submit_h3_native.py`)。
> 2026-11-14 干净态重放复现。**调参救不回来。**
> `30113` 虽挂了 `fl2va_w6a8` 全套权重,但 23 GB 扛 576×1024×20 步存疑、服务先崩,**没测成**。
> 判据不变:I2V 只能在 64 GB 卡上做。
---
## 3. `30113`(2080Ti)的三条硬约束
### 3.1 一卡一实例 + 4 GiB 内存墙 → 只能串行
30113 独占 1 张 RTX 2080Ti(`nvidia.com/gpu: 1`),跑在 **4 GiB cgroup 硬限、无 swap** 里。
**图 / H3 视频 / A14B 三者共用这一个实例**,互为并发冲突。
**实测启动参数**(2026-11-19 复核 argv):
```
--cache-none --disable-pinned-memory --disable-cuda-malloc --disable-smart-memory
```
- **一次只跑一个任务**,等结束再提交下一个。
- 出图与视频**不要并行**。
- 并发或连续跑 → pod 崩,**三个端口一起 Connection refused**(机器 ping 通,是 pod 崩重启,不是 OOM)。
- `kubectl` 不在 PATH 时恢复很慢 → **音画同出任务别排到 30113**,回退 30121。
### 3.2 H3 视频参数是固定配方
| 项 | 值 | 改错会怎样 |
|---|---|---|
| 步数 | **20** | 加步数无益(蒸馏模型) |
| 采样器 | `res_multistep` + `simple` | 换组合可能出 NaN |
| cfg | 1.0 | — |
| LoRA | **一个都不要加** | turbo LoRA 合进 w6a8 量化权重 → **画面全 NaN** |
| 尺寸 | **320×192 / 22 帧**(已实测) | 更大规格在 0.45 未验证,要加从小往上加 |
| 输出 | `SaveVideo format="auto"` | — |
| 抽帧自检 | **保留 `SaveImage` 节点** | 去掉报 `Prompt has no outputs` |
| 量化档(出图) | `int8_convrot` | **不能用 w4a8**(2080Ti 是 sm_75,w4a8 加速路径要求 sm_80) |
> 节点图细节见 [models.md §4.3](models.md)。**换模型不能只改 endpoint**——H3 与 A14B 的采样节点、权重、输出节点全不同。
### 3.3 出图:能用,但慢且会崩
- **速度**:1024² ≈ 178 s、2048² ≈ 208 s。DCU 上 16 MP 约 40 s/step → **30113 慢约 4 倍**。
- **连续出图 30 张后服务整体崩**(三端口同时 refused)。
- **出图成功 ≠ 内容正确**:脚本打 `[SANITY]` 行(颜色数/亮度/标准差),纯色图判失败、退出码 1。**必须看这一行**——
量化档不对时 ComfyUI **不报错**,只是静默出纯色图。
### 3.4 出图量化档:两端方向相反,别照搬
| 端点 | 权重 | 原因 |
|---|---|---|
| `30113`(CUDA, sm_75) | `..._int8_convrot.safetensors` | **没有 w4a8**——w4a8 的 CUDA 加速路径要求 sm_80,2080Ti 跑不了 |
| `30121`(ROCm, gfx928) | `..._w4a8.safetensors` | **不要用 int8_convrot**——gfx928 上 convrot 的 `rint` bug → NaN → 纯黑图 |
**绝不能改成 fp16**:2080Ti 无原生 bf16,靠补丁软件模拟 bf16;fp16 动态范围仅 ±65504,
H3-Image 的 adaln/timestep 缩放会溢出成 inf → NaN → 出图全黑。
> `tools/submit_t2i.py` **自动探测权重**,不用手填;端点换了不用改代码。
---
## 4. `30121`(K100 64 GB)专用约束
- 🔴 **禁调 `/api/free`**:会让服务崩(约 20 s 自愈),**且崩溃连带清空队列与 history**——
这是「任务莫名消失」的常见真因。要干净显存就从队列侧等,或让部署侧重启。
- **禁调 `--fp16-unet`**(会毁掉 H3-Image 的 bf16 路径)。
- `/upload/audio` 返回 **405**:音频也走 `/upload/image`(同一 multipart 字段名 `image`)。
- 出图与 90 分钟的视频任务**抢同一队列**,同时排要算好顺序。
- 完整节点图、帧数网格、台词时长换算见 **[native-av.md](native-av.md)**。
---
## 5. 开工前自检
```bash
# ① 端点在不在、是什么卡
for U in 192.168.1.30:30113 192.168.1.23:30121; do
printf "%-22s" "$U"; curl -s --noproxy '*' -m 8 "http://$U/system_stats" \
| python3 -c "import sys,json;d=json.load(sys.stdin);print(d['system']['comfyui_version'], d['devices'][0]['name'])"
done
# ② 30113 上还有没有人在排队(有就别提交,并发必崩)
curl -s --noproxy '*' -m 8 "http://192.168.1.30:30113/queue" \
| python3 -c "import sys,json;d=json.load(sys.stdin);print('running',len(d.get('queue_running',[])),'pending',len(d.get('queue_pending',[])))"
# ③ 权重齐不齐(少于 4 个 = pod 重建后 /local 软链丢了,不是模型坏了)
curl -s --noproxy '*' -m 10 "http://192.168.1.30:30113/object_info/UNETLoader" \
| python3 -c "
import json,sys
d=json.load(sys.stdin)['UNETLoader']['input']['required']['unet_name'][0]
print(len(d),'个模型')
[print(' ',x) for x in d]
"
```
**③ 少于 4 个模型** → pod 重建过(`/local` 是 emptyDir,丢了软链)→ 跑 `/basedir/apply-multimodal.sh` 恢复,
否则只剩出图能力。部署侧步骤见 `deploy-as-built.md` §6(不在技能包内)。
---
## 6. 通用:清内存态的两条硬约束
- **队列与 history 都是内存态**:实例一重启(重部署 / 崩了自愈 / 换权重)排队的任务**静默消失,不报任何错**。
实测 15:16 排 7 镜、15:43 实例重部署 → 队列清空、7 镜全丢。
- **`GET /history/<pid>` 返回 `{}` 有三义**(排队中 / 执行中 / 不存在),单看它判不了任何事。
**判据必须交叉核对 `/queue`**:running+pending 为 0 且 history 查不到 → **任务已丢,重排**。
- 排完 **5 分钟内**做一次存在性自检(`tools/queue_h3_native.py --check`),交付前再核一次。
- **别把本地进程挂在等待上**:单镜 90 分钟级,会话回收 / 终端断掉后 pid 丢了就再也取不回来。
正确做法是「排队 → 落盘 `prompt_id` → 事后取回」。
完整踩坑见 [pitfalls.md](pitfalls.md)。
---
## 7. 一句话总结
**30113 上:出图可以(慢、会崩),H3 只能 T2V,首帧锁图用 A14B,一切串行。**
**要台词口型:换 30121,禁 `/api/free`,排队别挂进程。**
**任务丢了不报错 —— 排完 5 分钟查一次 `/queue`。**