功能(本轮 5 项需求的落地):
- 上游可挂多模型:llm-upstreams.json 每上游新增 models 清单(仅用于模型发现,不参与路由)
- 模型发现:GET /v1/models(OpenAI {object:list} 形状,网关本地应答)+ /api/v1/models + /api/v1/upstreams
- 用量统计:/api/admin/usage(管理台「用量统计」Tab)+ /api/v1/usage + /me 的 llm_usage 摘要
口径:只统计真正转发出去的请求,401/403/404/429 不计;与配额计数 st: 刻意分开
- 账号展示名 display_name(纯展示,不进 ukey:)
- 修复 /v1 版本段重复拼接(llm::join_target)→ 上游 base 自带 /v1 时不再 404 空体
- 修复删账号未清用量键(stats::forget)
部署脚本 deploy/update-ipass.sh:
- 拉镜像 → tar 备份数据 → 删旧容器 → 按旧容器复刻端口/挂载/网络起新容器 → 自检
- 参数从 docker inspect 静态配置读取(docker port 对停止态容器返回空,会让端口静默回落)
- 端口按 host:container 去重(inspect 同一映射含 IPv4/IPv6 两项,重复 -p 会 address already in use)
- --bg 用 setsid/start_new_session 真正脱离会话(仅 nohup & 会被父进程组连带杀掉)
- 旧镜像自动打 rollback-<时间> 标签,收尾打印回滚命令
回归:bash tests/run.sh all → 网关 78 + LLM 75 = 153 条断言全绿。
文档:readme §12.4 / §15 / §16、CLAUDE.md 常用操作 + 排障速查已同步。
80 lines
4.3 KiB
Markdown
80 lines
4.3 KiB
Markdown
# tests —— 本机回归夹具
|
||
|
||
改完 `rust/` 或 `conf/` 后跑这里,别靠手敲 curl 试。
|
||
|
||
```bash
|
||
bash tests/run.sh # 全部(域名网关 + LLM 代理)
|
||
bash tests/run.sh gateway # 只跑域名网关(78 条断言)
|
||
bash tests/run.sh llm # 只跑 LLM 代理(75 条断言)
|
||
```
|
||
|
||
脚本会自动 `cargo build`,起 nginx,跑断言,收尾停进程。**期望输出「失败 0」。**
|
||
|
||
## 目录
|
||
|
||
| 路径 | 作用 |
|
||
| --- | --- |
|
||
| `run.sh` | 统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 |
|
||
| `gateway/nginx.conf.in` | 域名网关测试配置**模板**(占位符 `@MODULE@` / `@REPO@` / `@RUN@`) |
|
||
| `gateway/e2e.sh` | **55 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / 清理 |
|
||
| `gateway/backend/index.html` | 转发靶机内容(断言里检查 `"from":"backend"`) |
|
||
| `llm/nginx.conf.in` | LLM 代理测试配置模板(18090 网关 + **18091 管理端口**,供账号态 `/api/v1/*` 断言) |
|
||
| `llm/upstream.py` | 假上游(18999):**记录它实际收到的 path / auth / host / body**;`/<slot>/v1/models` 原样透传 |
|
||
| `llm/sse_test.py` | 流式探针:输出 `CHUNKS` / `FIRST` / `TOTAL`,判断 SSE 有没有被缓冲 |
|
||
| `llm/e2e.sh` | LLM 侧断言:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** |
|
||
| `llm/fixtures/*.json` | 固定账号与上游表(**合成数据**,见下) |
|
||
| `.run/` | 运行目录(生成的 `nginx.conf`、`data/`、`logs/`、`cookie.jar`)—— 已 gitignore |
|
||
|
||
## 三条不要踩的线
|
||
|
||
1. **绝不碰生产 `data/`**。两套配置的 `ipass_data_dir` 都指向 `tests/.run/*/data/`,
|
||
由 `run.sh` 渲染时写入,是独立目录。跑测试不需要也不应该动仓库根的 `data/`。
|
||
2. **不要直接把 `.in` 模板交给 nginx**。占位符没替换,`load_module` 会失败。
|
||
要手工起就自己 `sed` 一遍,或者直接用 `run.sh`。
|
||
3. **`.run/` 里的是运行产物**,可以随时删;删了下次跑会重建。
|
||
|
||
## 为什么 `llm/` 侧一定要看靶机日志
|
||
|
||
网关返回 200 **不代表**上游收到了正确的头。本项目要证的是「下游那把 `sk_...`
|
||
被换成了上游真 Key」——这只有读 `upstream.py` 记下的 `auth` 才能证。
|
||
所以 `llm/e2e.sh` 里最关键的两条断言是:
|
||
|
||
```
|
||
sse_test.py → 首块 < 0.5s 到达(证明 proxy_buffering off 生效)
|
||
靶机 auth → Bearer sk-UPSTREAM-REAL-SECRET 且不含 sk_alice_
|
||
```
|
||
|
||
## fixtures 说明
|
||
|
||
`llm/fixtures/users.json` 与 `llm-upstreams.json` 是**合成夹具**:
|
||
`pwd_hash` 多为占位、`api_key` 是 `aaaa…` / `bbbb…`、上游 `auth` 是
|
||
`sk-UPSTREAM-REAL-SECRET` 这类明显假值。它们**不是**任何环境的真实凭据,
|
||
刻意入库,好让 LLM 侧回归在干净机器上一把跑通。
|
||
|
||
两个例外值得知道:
|
||
|
||
- `admin` 账号的 `pwd_hash` 是**按项目算法真算出来的**(口令 `123456`)——
|
||
【10】要真登录管理台才能查用量、删账号。算法见 `rust/src/util.rs::hash_password`:
|
||
`x = sha256(salt + ":" + pwd)`,再迭代 1000 轮 `x = sha256(x + salt)`。
|
||
改口令就照它重算,别写成占位(写错的表现是「登录 401」)。
|
||
- `deepseeklike` 上游的 `base` **自带 `/v1`**,专测**版本段去重**
|
||
(少这一步会拼成 `/v1/v1/...` → 上游 404 且响应体为空)。
|
||
|
||
真实凭据只在仓库根的 `data/*.json`(已 gitignore,绝不入库)。
|
||
|
||
## 写这类脚本的引号陷阱(曾因此假绿,浪费一轮排查)
|
||
|
||
```bash
|
||
# ✗ 错:命令替换里再套双引号转义 —— bash 二次去转义,`{a,b}` 触发花括号展开,
|
||
# JSON 被拆成两个词,服务端只收到半截 body(如 `"id":"d_xxx"` 和 `"action":"approve"` 分两次发出)
|
||
curl ... -d "{\"id\":\"$ID\",\"action\":\"approve\"}"
|
||
|
||
# ✓ 对:在顶层用函数拼成变量,再整体引用
|
||
BODY=$(jbody id "$ID" action approve)
|
||
curl ... -d "$BODY"
|
||
```
|
||
|
||
危险点在于**报错会伪装成业务 bug**:服务端返回「参数缺失」,看着像后端解析问题。
|
||
判别手法:在服务端把收到的 body 原样打出来,或对比 `Content-Length` 与预期长度。
|
||
`gateway/e2e.sh` 开头的【0】自检断言就是为这类问题设的回归闸。
|