apix 发版后最容易静默失效:location 没挂 / shm 没装载都不报错,只是 404,
而回归打假上游、agent.sh verify 又不发真实请求 —— 之前完全没有覆盖。
新增 tests/apix_check.py:
- 从 /api/v1/me(mdm host + X-API-Key 头)拉能力目录,逐个探 enabled 条目;
- vendor → GET /apix/<slug>?<p>=<占位>;passthrough → GET /apixp/<slug>/health;
- **无效 Key 预检**:证明 location 挂着 + 鉴权生效(与上游是否抽风无关);
- 判定按错误体归属:网关体({"error":{...}} / {"code":..,"msg":..})→ 失败;
上游体({"detail":...} / WAF 页)→ 只告警,不染红发版验证。
实测踩到的三个坑(已写进 README):
1. urllib 默认 UA `Python-urllib/3.x` 被供应商边缘 Cloudflare 拦(403 error code:
1010),看着像 IP 被封,换 curl UA 立刻 200;
2. passthrough tail 是 /apixp/<slug> 之后的全部(上游 /health → /apixp/ocr/health),
usage_hint 里的 /<tail> 要换成 slug,照抄是上游 404;
3. vendor 参数要放白名单值:accel 给 example.com 是 400 target host not allowed
(链路通,属告警),换 raw.githubusercontent 小文件即 200。
live_check.sh 改为三步(LLM 真实流量 / apix 探针 / 环境验收),加 --apix-only。
线上实测:LLM 8/8 + apix 3/3 + 验收全绿。
109 lines
6.6 KiB
Markdown
109 lines
6.6 KiB
Markdown
# tests —— 本机回归夹具
|
||
|
||
改完 `rust/` 或 `conf/` 后跑这里,别靠手敲 curl 试。
|
||
|
||
```bash
|
||
bash tests/run.sh # 全部(域名网关 108 条 + LLM 代理 262 条 = 370)
|
||
bash tests/run.sh gateway # 只跑域名网关(108 条断言)
|
||
bash tests/run.sh llm # 只跑 LLM 代理(262 条断言)
|
||
```
|
||
|
||
脚本会自动 `cargo build`,起 nginx,跑断言,收尾停进程。**期望输出「失败 0」。**
|
||
|
||
## 上线后验证(真实环境,不是本机夹具)
|
||
|
||
上面跑的是**假上游**;`deploy/agent.sh verify` 又只验管理台,**不发真实 LLM 请求**。
|
||
要确认「新版在线上真能干活」,用这个把两半合起来一键跑:
|
||
|
||
```bash
|
||
bash tests/live_check.sh # 真实流量 + 环境验收(key 默认 ~/ssw.txt)
|
||
bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件
|
||
bash tests/live_check.sh --models-only # 只跑真实流量(4 slot × OpenAI/Anthropic + /v1/models)
|
||
bash tests/live_check.sh --verify-only # 只跑 deploy/agent.sh verify
|
||
```
|
||
|
||
Key 文件可以是裸 key,也可以是 `sk=<key>` 形式(带 `#` 注释行也认)——**取整行会拿到
|
||
`sk=sk_xxx` → 全量 401**,脚本内部已处理;全程不打印 Key 原文。
|
||
延迟参考:deepseek/qwen/minimax 1~2.6s,**glm 7~11s**,别拿 glm 当超时基线。
|
||
|
||
三个 apix 探针的固定坑(写脚本时踩过,改条目时留意):
|
||
|
||
1. **必须伪装 UA**:供应商边缘(souyi 走 Cloudflare)会拦 `Python-urllib/3.x` →
|
||
`403 error code: 1010`;换 curl UA 立刻 200。看着像 IP 被封,其实是 UA。
|
||
2. **passthrough 的 tail 是 `/apixp/<slug>` 之后的全部**:上游 `/health` 对应
|
||
`/apixp/ocr/health`;`usage_hint` 里的 `/<tail>` 要换成 slug(`/ocr/base64` →
|
||
`/apixp/ocr/ocr/base64`),照抄会得到上游 404。
|
||
3. **vendor 的参数只放白名单值**:accel 只放行 GitHub/Gitee/GitLab,给
|
||
`example.com` 会 `400 target host not allowed`(链路其实是通的,属 ⚠️)。
|
||
|
||
## 目录
|
||
|
||
| 路径 | 作用 |
|
||
| --- | --- |
|
||
| `run.sh` | 统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 |
|
||
| `live_check.sh` | **上线后验证**:真实流量(`test_models.py`)+ 正式环境验收(`deploy/agent.sh verify`) |
|
||
| `test_models.py` | 真实流量探针:4 slot × OpenAI/Anthropic 调用 + `/v1/models` 模型发现(打的是线上 `lm.mayishangshu.cn:88`,**不是本机夹具**;失败退出码 1) |
|
||
| `apix_check.py` | apix 探针:`/apix/<slug>`(vendor) + `/apixp/<slug>`(passthrough) 是否真转发。**只有「网关侧没生效」才算失败**(无效 Key 预检 + 错误体归属判定),上游业务拒绝/供应商 WAF 只告警 |
|
||
| `gateway/nginx.conf.in` | 域名网关测试配置**模板**(占位符 `@MODULE@` / `@REPO@` / `@RUN@`) |
|
||
| `gateway/e2e.sh` | **108 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / **自动子域名(`i`+8位+`dm`)与点击复制** / 管理台与清理 |
|
||
| `gateway/backend/index.html` | 转发靶机内容(断言里检查 `"from":"backend"`) |
|
||
| `llm/nginx.conf.in` | LLM 代理测试配置模板(18090 网关 + **18091 管理端口**,供账号态 `/api/v1/*` 断言) |
|
||
| `llm/upstream.py` | 假上游(18999):**记录它实际收到的 path / auth / host / body**;`/<slot>/v1/models` 原样透传 |
|
||
| `llm/sse_test.py` | 流式探针:输出 `CHUNKS` / `FIRST` / `TOTAL`,判断 SSE 有没有被缓冲 |
|
||
| `llm/e2e.sh` | **262 条断言**:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** / **统计落盘与重启恢复** |
|
||
| `llm/fixtures/*.json` | 固定账号与上游表(**合成数据**,见下) |
|
||
| `.run/` | 运行目录(生成的 `nginx.conf`、`data/`、`logs/`、`cookie.jar`)—— 已 gitignore |
|
||
|
||
## 三条不要踩的线
|
||
|
||
1. **绝不碰生产 `data/`**。两套配置的 `ipass_data_dir` 都指向 `tests/.run/*/data/`,
|
||
由 `run.sh` 渲染时写入,是独立目录。跑测试不需要也不应该动仓库根的 `data/`。
|
||
2. **不要直接把 `.in` 模板交给 nginx**。占位符没替换,`load_module` 会失败。
|
||
要手工起就自己 `sed` 一遍,或者直接用 `run.sh`。
|
||
3. **`.run/` 里的是运行产物**,可以随时删;删了下次跑会重建。
|
||
|
||
## 为什么 `llm/` 侧一定要看靶机日志
|
||
|
||
网关返回 200 **不代表**上游收到了正确的头。本项目要证的是「下游那把 `sk_...`
|
||
被换成了上游真 Key」——这只有读 `upstream.py` 记下的 `auth` 才能证。
|
||
所以 `llm/e2e.sh` 里最关键的两条断言是:
|
||
|
||
```
|
||
sse_test.py → 首块 < 0.5s 到达(证明 proxy_buffering off 生效)
|
||
靶机 auth → Bearer sk-UPSTREAM-REAL-SECRET 且不含 sk_alice_
|
||
```
|
||
|
||
## fixtures 说明
|
||
|
||
`llm/fixtures/users.json` 与 `llm-upstreams.json` 是**合成夹具**:
|
||
`pwd_hash` 多为占位、`api_key` 是 `aaaa…` / `bbbb…`、上游 `auth` 是
|
||
`sk-UPSTREAM-REAL-SECRET` 这类明显假值。它们**不是**任何环境的真实凭据,
|
||
刻意入库,好让 LLM 侧回归在干净机器上一把跑通。
|
||
|
||
两个例外值得知道:
|
||
|
||
- `admin` 账号的 `pwd_hash` 是**按项目算法真算出来的**(口令 `123456`)——
|
||
【10】要真登录管理台才能查用量、删账号。算法见 `rust/src/util.rs::hash_password`:
|
||
`x = sha256(salt + ":" + pwd)`,再迭代 1000 轮 `x = sha256(x + salt)`。
|
||
改口令就照它重算,别写成占位(写错的表现是「登录 401」)。
|
||
- `deepseeklike` 上游的 `base` **自带 `/v1`**,专测**版本段去重**
|
||
(少这一步会拼成 `/v1/v1/...` → 上游 404 且响应体为空)。
|
||
|
||
真实凭据只在仓库根的 `data/*.json`(已 gitignore,绝不入库)。
|
||
|
||
## 写这类脚本的引号陷阱(曾因此假绿,浪费一轮排查)
|
||
|
||
```bash
|
||
# ✗ 错:命令替换里再套双引号转义 —— bash 二次去转义,`{a,b}` 触发花括号展开,
|
||
# JSON 被拆成两个词,服务端只收到半截 body(如 `"id":"d_xxx"` 和 `"action":"approve"` 分两次发出)
|
||
curl ... -d "{\"id\":\"$ID\",\"action\":\"approve\"}"
|
||
|
||
# ✓ 对:在顶层用函数拼成变量,再整体引用
|
||
BODY=$(jbody id "$ID" action approve)
|
||
curl ... -d "$BODY"
|
||
```
|
||
|
||
危险点在于**报错会伪装成业务 bug**:服务端返回「参数缺失」,看着像后端解析问题。
|
||
判别手法:在服务端把收到的 body 原样打出来,或对比 `Content-Length` 与预期长度。
|
||
`gateway/e2e.sh` 开头的【0】自检断言就是为这类问题设的回归闸。
|