两件事: 1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。 之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针 要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models 全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2 (验证失效 ≠ 上游没问题,不许假绿)。 三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据—— 智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版 故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误) **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。 live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。 分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。 2) agent.sh release 改 4/4 步:验证失败不再停在原地—— 抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动 POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后 再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。 ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」); 新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替 data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。 restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。 release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止 (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11 跑 §12.5 自更新。 附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable, live_check A 路径实测炸出),统一 ${VAR}。 线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。 只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
tests —— 本机回归夹具
改完 rust/ 或 conf/ 后跑这里,别靠手敲 curl 试。
bash tests/run.sh # 全部(域名网关 108 条 + LLM 代理 262 条 = 370)
bash tests/run.sh gateway # 只跑域名网关(108 条断言)
bash tests/run.sh llm # 只跑 LLM 代理(262 条断言)
脚本会自动 cargo build,起 nginx,跑断言,收尾停进程。期望输出「失败 0」。
上线后验证(真实环境,不是本机夹具)
上面跑的是假上游;deploy/agent.sh verify 又只验管理台,不发真实 LLM 请求。
要确认「新版在线上真能干活」,用这个把两半合起来一键跑:
bash tests/live_check.sh # 真实流量 + 环境验收(key 默认 ~/ssw.txt)
bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件
bash tests/live_check.sh --models-only # 只跑真实流量(4 slot × OpenAI/Anthropic + /v1/models)
bash tests/live_check.sh --verify-only # 只跑 deploy/agent.sh verify
Key 文件可以是裸 key,也可以是 sk=<key> 形式(带 # 注释行也认)——取整行会拿到
sk=sk_xxx → 全量 401,脚本内部已处理;全程不打印 Key 原文。
延迟参考:deepseek/qwen/minimax 12.6s,**glm 711s**,别拿 glm 当超时基线。
三个 apix 探针的固定坑(写脚本时踩过,改条目时留意):
- 必须伪装 UA:供应商边缘(souyi 走 Cloudflare)会拦
Python-urllib/3.x→403 error code: 1010;换 curl UA 立刻 200。看着像 IP 被封,其实是 UA。 - passthrough 的 tail 是
/apixp/<slug>之后的全部:上游/health对应/apixp/ocr/health;usage_hint里的/<tail>要换成 slug(/ocr/base64→/apixp/ocr/ocr/base64),照抄会得到上游 404。 - vendor 的参数只放白名单值:accel 只放行 GitHub/Gitee/GitLab,给
example.com会400 target host not allowed(链路其实是通的,属 ⚠️)。
目录
| 路径 | 作用 |
|---|---|
run.sh |
统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 |
live_check.sh |
上线后验证:真实流量(test_models.py)+ 正式环境验收(deploy/agent.sh verify) |
test_models.py |
真实流量探针:4 slot × OpenAI/Anthropic 调用 + /v1/models 模型发现(打的是线上 lm.mayishangshu.cn:88,不是本机夹具;失败退出码 1) |
apix_check.py |
apix 探针:/apix/<slug>(vendor) + /apixp/<slug>(passthrough) 是否真转发。只有「网关侧没生效」才算失败(无效 Key 预检 + 错误体归属判定),上游业务拒绝/供应商 WAF 只告警 |
gateway/nginx.conf.in |
域名网关测试配置模板(占位符 @MODULE@ / @REPO@ / @RUN@) |
gateway/e2e.sh |
108 条断言:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / 自动子域名(i+8位+dm)与点击复制 / 管理台与清理 |
gateway/backend/index.html |
转发靶机内容(断言里检查 "from":"backend") |
llm/nginx.conf.in |
LLM 代理测试配置模板(18090 网关 + 18091 管理端口,供账号态 /api/v1/* 断言) |
llm/upstream.py |
假上游(18999):记录它实际收到的 path / auth / host / body;/<slot>/v1/models 原样透传 |
llm/sse_test.py |
流式探针:输出 CHUNKS / FIRST / TOTAL,判断 SSE 有没有被缓冲 |
llm/e2e.sh |
262 条断言:鉴权 / 白名单 / 停用摘除 / Key 替换 / 路径拼接(含版本段去重)/ SSE / 模型发现 / 账号态用量 / 管理员用量总览与删账号清用量 / 统计落盘与重启恢复 |
llm/fixtures/*.json |
固定账号与上游表(合成数据,见下) |
.run/ |
运行目录(生成的 nginx.conf、data/、logs/、cookie.jar)—— 已 gitignore |
三条不要踩的线
- 绝不碰生产
data/。两套配置的ipass_data_dir都指向tests/.run/*/data/, 由run.sh渲染时写入,是独立目录。跑测试不需要也不应该动仓库根的data/。 - 不要直接把
.in模板交给 nginx。占位符没替换,load_module会失败。 要手工起就自己sed一遍,或者直接用run.sh。 .run/里的是运行产物,可以随时删;删了下次跑会重建。
为什么 llm/ 侧一定要看靶机日志
网关返回 200 不代表上游收到了正确的头。本项目要证的是「下游那把 sk_...
被换成了上游真 Key」——这只有读 upstream.py 记下的 auth 才能证。
所以 llm/e2e.sh 里最关键的两条断言是:
sse_test.py → 首块 < 0.5s 到达(证明 proxy_buffering off 生效)
靶机 auth → Bearer sk-UPSTREAM-REAL-SECRET 且不含 sk_alice_
fixtures 说明
llm/fixtures/users.json 与 llm-upstreams.json 是合成夹具:
pwd_hash 多为占位、api_key 是 aaaa… / bbbb…、上游 auth 是
sk-UPSTREAM-REAL-SECRET 这类明显假值。它们不是任何环境的真实凭据,
刻意入库,好让 LLM 侧回归在干净机器上一把跑通。
两个例外值得知道:
admin账号的pwd_hash是按项目算法真算出来的(口令123456)—— 【10】要真登录管理台才能查用量、删账号。算法见rust/src/util.rs::hash_password:x = sha256(salt + ":" + pwd),再迭代 1000 轮x = sha256(x + salt)。 改口令就照它重算,别写成占位(写错的表现是「登录 401」)。deepseeklike上游的base自带/v1,专测版本段去重 (少这一步会拼成/v1/v1/...→ 上游 404 且响应体为空)。
真实凭据只在仓库根的 data/*.json(已 gitignore,绝不入库)。
写这类脚本的引号陷阱(曾因此假绿,浪费一轮排查)
# ✗ 错:命令替换里再套双引号转义 —— bash 二次去转义,`{a,b}` 触发花括号展开,
# JSON 被拆成两个词,服务端只收到半截 body(如 `"id":"d_xxx"` 和 `"action":"approve"` 分两次发出)
curl ... -d "{\"id\":\"$ID\",\"action\":\"approve\"}"
# ✓ 对:在顶层用函数拼成变量,再整体引用
BODY=$(jbody id "$ID" action approve)
curl ... -d "$BODY"
危险点在于报错会伪装成业务 bug:服务端返回「参数缺失」,看着像后端解析问题。
判别手法:在服务端把收到的 body 原样打出来,或对比 Content-Length 与预期长度。
gateway/e2e.sh 开头的【0】自检断言就是为这类问题设的回归闸。