1.0.18 首次线上验证暴露:error.log 里有 10 次 [stats] 落盘(来自 6#0/18#0/23#0 多个 worker),GET /api/admin/stats/persist 却报「本进程还没落过」。 根因:LAST_DUMP_AT 是每 worker 的进程内静态量。maybe_dump() 挂在记账路径上, 而记账每 worker 各算各的 → 落盘时刻也就每 worker 一份;接口落到没落过盘的 worker 就报 0。与 1.0.18 已修过的 spr:last(上次恢复)是同一类错误。 修法:发布到共享内存 spd:last(publish_dump 取 max)。一次解决两件事: * 上报一致 —— 所有 worker 报同一份; * 节流收敛 —— maybe_dump 新增慢路径查它,把「8 个 worker 各写一遍同一个文件」 收敛成「全局每间隔一次」。快路径仍是原子比较,热路径代价不变。 顺带: - 新增回归断言「状态页报告的上次落盘时刻非空」(套件开 2 worker,能暴露该分歧) - deploy/agent.sh 加 stats-persist / stats-dump 子命令(线上观测口) - 统一文档里过期的断言条数(90/111/160/179/196/262/298 → 实际值) - 记录审计容量巡检 LAST_PURGE_AT/PURGING 同为每 worker 静态量(另案) 回归:bash tests/run.sh all → 299 条全绿(网关 102 + LLM 197)。
80 lines
4.5 KiB
Markdown
80 lines
4.5 KiB
Markdown
# tests —— 本机回归夹具
|
||
|
||
改完 `rust/` 或 `conf/` 后跑这里,别靠手敲 curl 试。
|
||
|
||
```bash
|
||
bash tests/run.sh # 全部(域名网关 102 条 + LLM 代理 197 条 = 299)
|
||
bash tests/run.sh gateway # 只跑域名网关(102 条断言)
|
||
bash tests/run.sh llm # 只跑 LLM 代理(197 条断言)
|
||
```
|
||
|
||
脚本会自动 `cargo build`,起 nginx,跑断言,收尾停进程。**期望输出「失败 0」。**
|
||
|
||
## 目录
|
||
|
||
| 路径 | 作用 |
|
||
| --- | --- |
|
||
| `run.sh` | 统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 |
|
||
| `gateway/nginx.conf.in` | 域名网关测试配置**模板**(占位符 `@MODULE@` / `@REPO@` / `@RUN@`) |
|
||
| `gateway/e2e.sh` | **102 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / **自动子域名(`i`+8位+`dm`)与点击复制** / 管理台与清理 |
|
||
| `gateway/backend/index.html` | 转发靶机内容(断言里检查 `"from":"backend"`) |
|
||
| `llm/nginx.conf.in` | LLM 代理测试配置模板(18090 网关 + **18091 管理端口**,供账号态 `/api/v1/*` 断言) |
|
||
| `llm/upstream.py` | 假上游(18999):**记录它实际收到的 path / auth / host / body**;`/<slot>/v1/models` 原样透传 |
|
||
| `llm/sse_test.py` | 流式探针:输出 `CHUNKS` / `FIRST` / `TOTAL`,判断 SSE 有没有被缓冲 |
|
||
| `llm/e2e.sh` | **197 条断言**:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** / **统计落盘与重启恢复** |
|
||
| `llm/fixtures/*.json` | 固定账号与上游表(**合成数据**,见下) |
|
||
| `.run/` | 运行目录(生成的 `nginx.conf`、`data/`、`logs/`、`cookie.jar`)—— 已 gitignore |
|
||
|
||
## 三条不要踩的线
|
||
|
||
1. **绝不碰生产 `data/`**。两套配置的 `ipass_data_dir` 都指向 `tests/.run/*/data/`,
|
||
由 `run.sh` 渲染时写入,是独立目录。跑测试不需要也不应该动仓库根的 `data/`。
|
||
2. **不要直接把 `.in` 模板交给 nginx**。占位符没替换,`load_module` 会失败。
|
||
要手工起就自己 `sed` 一遍,或者直接用 `run.sh`。
|
||
3. **`.run/` 里的是运行产物**,可以随时删;删了下次跑会重建。
|
||
|
||
## 为什么 `llm/` 侧一定要看靶机日志
|
||
|
||
网关返回 200 **不代表**上游收到了正确的头。本项目要证的是「下游那把 `sk_...`
|
||
被换成了上游真 Key」——这只有读 `upstream.py` 记下的 `auth` 才能证。
|
||
所以 `llm/e2e.sh` 里最关键的两条断言是:
|
||
|
||
```
|
||
sse_test.py → 首块 < 0.5s 到达(证明 proxy_buffering off 生效)
|
||
靶机 auth → Bearer sk-UPSTREAM-REAL-SECRET 且不含 sk_alice_
|
||
```
|
||
|
||
## fixtures 说明
|
||
|
||
`llm/fixtures/users.json` 与 `llm-upstreams.json` 是**合成夹具**:
|
||
`pwd_hash` 多为占位、`api_key` 是 `aaaa…` / `bbbb…`、上游 `auth` 是
|
||
`sk-UPSTREAM-REAL-SECRET` 这类明显假值。它们**不是**任何环境的真实凭据,
|
||
刻意入库,好让 LLM 侧回归在干净机器上一把跑通。
|
||
|
||
两个例外值得知道:
|
||
|
||
- `admin` 账号的 `pwd_hash` 是**按项目算法真算出来的**(口令 `123456`)——
|
||
【10】要真登录管理台才能查用量、删账号。算法见 `rust/src/util.rs::hash_password`:
|
||
`x = sha256(salt + ":" + pwd)`,再迭代 1000 轮 `x = sha256(x + salt)`。
|
||
改口令就照它重算,别写成占位(写错的表现是「登录 401」)。
|
||
- `deepseeklike` 上游的 `base` **自带 `/v1`**,专测**版本段去重**
|
||
(少这一步会拼成 `/v1/v1/...` → 上游 404 且响应体为空)。
|
||
|
||
真实凭据只在仓库根的 `data/*.json`(已 gitignore,绝不入库)。
|
||
|
||
## 写这类脚本的引号陷阱(曾因此假绿,浪费一轮排查)
|
||
|
||
```bash
|
||
# ✗ 错:命令替换里再套双引号转义 —— bash 二次去转义,`{a,b}` 触发花括号展开,
|
||
# JSON 被拆成两个词,服务端只收到半截 body(如 `"id":"d_xxx"` 和 `"action":"approve"` 分两次发出)
|
||
curl ... -d "{\"id\":\"$ID\",\"action\":\"approve\"}"
|
||
|
||
# ✓ 对:在顶层用函数拼成变量,再整体引用
|
||
BODY=$(jbody id "$ID" action approve)
|
||
curl ... -d "$BODY"
|
||
```
|
||
|
||
危险点在于**报错会伪装成业务 bug**:服务端返回「参数缺失」,看着像后端解析问题。
|
||
判别手法:在服务端把收到的 body 原样打出来,或对比 `Content-Length` 与预期长度。
|
||
`gateway/e2e.sh` 开头的【0】自检断言就是为这类问题设的回归闸。
|