起因:发版后管理台「用量」与「趋势」从 0 重新长起来。根因是统计类键
(ust:/ums:/utt:/utms:/ud:/udu:/uds:/uda:/uex:/uh:)只活在共享内存,
进程退出即消失;而上游/账号/域名/用户都有 data/*.json 所以不丢。
统计落盘(新 stats_persist.rs):
- 快照 data/llm-stats.json(与 users.json 同级),原子写 <path>.tmp.<pid> + rename
- 两个落盘点互补:worker 退出钩子 exit_process(发版/docker stop,零丢失)
+ 记账后按间隔节流落盘(默认 60s,覆盖 SIGKILL/OOM/断电)
- 启动 init_process 恢复,put-if-absent → 多 worker 幂等、不覆盖新数据
- 白名单 10 个统计前缀;刻意排除配置类/ukb:/内核态(各有数据文件或重启清零更安全)
- 恢复结果发布 shm spr:last(不再放进程内静态量,否则接口落到哪个 worker 报哪个数)
- 接口 GET /api/admin/stats/persist + POST /api/admin/stats/dump
- 指令 ipass_stats_persist <秒>(0=只留退出钩子);生产 conf 刻意不写
fix(audit): excerpt 双重编码
- json_quote_bytes(手工转义+两侧引号)塞进 json!() 被二次转义,落盘成
"excerpt":"\"{\\\"model\\\"…",解码后多一层引号,消费方全解析不到
- 改为 excerpt_text():只 from_utf8_lossy,转义交给 serde
docs: 新增 docs/llm/STATS_PERSISTENCE.md(含 runbook)、docs/llm/AUDIT_LOG.md
(两者此前被代码注释与 Dockerfile 引用但文件并不存在)
tests:
- 新增【15】统计落盘/重启恢复 13 条(间隔压 1s → 快照产出与白名单 →
nginx -s quit → 恢复键数 == 快照键数、用量不变、再打一笔 +1、趋势仍在)
- 【13】「不再生成 body 副本」改断言本轮增量 = 0(对历史残留免疫);
选择器改 body_bytes>400 且取最后一条匹配(目录里有首版的双重编码行)
- run.sh 复位改用 mv(rename 不算删除)——本机 safe-delete 钩子在累计删除
超 50 个文件后会静默拦掉后续删除,rm -rf 与 python rmtree 同样被拦
- 回归 298 全绿(网关 102 + LLM 196)
tests —— 本机回归夹具
改完 rust/ 或 conf/ 后跑这里,别靠手敲 curl 试。
bash tests/run.sh # 全部(域名网关 + LLM 代理)
bash tests/run.sh gateway # 只跑域名网关(90 条断言)
bash tests/run.sh llm # 只跑 LLM 代理(111 条断言)
脚本会自动 cargo build,起 nginx,跑断言,收尾停进程。期望输出「失败 0」。
目录
| 路径 | 作用 |
|---|---|
run.sh |
统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 |
gateway/nginx.conf.in |
域名网关测试配置模板(占位符 @MODULE@ / @REPO@ / @RUN@) |
gateway/e2e.sh |
90 条断言:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / 自动子域名(i+8位+dm)与点击复制 / 管理台与清理 |
gateway/backend/index.html |
转发靶机内容(断言里检查 "from":"backend") |
llm/nginx.conf.in |
LLM 代理测试配置模板(18090 网关 + 18091 管理端口,供账号态 /api/v1/* 断言) |
llm/upstream.py |
假上游(18999):记录它实际收到的 path / auth / host / body;/<slot>/v1/models 原样透传 |
llm/sse_test.py |
流式探针:输出 CHUNKS / FIRST / TOTAL,判断 SSE 有没有被缓冲 |
llm/e2e.sh |
111 条断言:鉴权 / 白名单 / 停用摘除 / Key 替换 / 路径拼接(含版本段去重)/ SSE / 模型发现 / 账号态用量 / 管理员用量总览与删账号清用量 |
llm/fixtures/*.json |
固定账号与上游表(合成数据,见下) |
.run/ |
运行目录(生成的 nginx.conf、data/、logs/、cookie.jar)—— 已 gitignore |
三条不要踩的线
- 绝不碰生产
data/。两套配置的ipass_data_dir都指向tests/.run/*/data/, 由run.sh渲染时写入,是独立目录。跑测试不需要也不应该动仓库根的data/。 - 不要直接把
.in模板交给 nginx。占位符没替换,load_module会失败。 要手工起就自己sed一遍,或者直接用run.sh。 .run/里的是运行产物,可以随时删;删了下次跑会重建。
为什么 llm/ 侧一定要看靶机日志
网关返回 200 不代表上游收到了正确的头。本项目要证的是「下游那把 sk_...
被换成了上游真 Key」——这只有读 upstream.py 记下的 auth 才能证。
所以 llm/e2e.sh 里最关键的两条断言是:
sse_test.py → 首块 < 0.5s 到达(证明 proxy_buffering off 生效)
靶机 auth → Bearer sk-UPSTREAM-REAL-SECRET 且不含 sk_alice_
fixtures 说明
llm/fixtures/users.json 与 llm-upstreams.json 是合成夹具:
pwd_hash 多为占位、api_key 是 aaaa… / bbbb…、上游 auth 是
sk-UPSTREAM-REAL-SECRET 这类明显假值。它们不是任何环境的真实凭据,
刻意入库,好让 LLM 侧回归在干净机器上一把跑通。
两个例外值得知道:
admin账号的pwd_hash是按项目算法真算出来的(口令123456)—— 【10】要真登录管理台才能查用量、删账号。算法见rust/src/util.rs::hash_password:x = sha256(salt + ":" + pwd),再迭代 1000 轮x = sha256(x + salt)。 改口令就照它重算,别写成占位(写错的表现是「登录 401」)。deepseeklike上游的base自带/v1,专测版本段去重 (少这一步会拼成/v1/v1/...→ 上游 404 且响应体为空)。
真实凭据只在仓库根的 data/*.json(已 gitignore,绝不入库)。
写这类脚本的引号陷阱(曾因此假绿,浪费一轮排查)
# ✗ 错:命令替换里再套双引号转义 —— bash 二次去转义,`{a,b}` 触发花括号展开,
# JSON 被拆成两个词,服务端只收到半截 body(如 `"id":"d_xxx"` 和 `"action":"approve"` 分两次发出)
curl ... -d "{\"id\":\"$ID\",\"action\":\"approve\"}"
# ✓ 对:在顶层用函数拼成变量,再整体引用
BODY=$(jbody id "$ID" action approve)
curl ... -d "$BODY"
危险点在于报错会伪装成业务 bug:服务端返回「参数缺失」,看着像后端解析问题。
判别手法:在服务端把收到的 body 原样打出来,或对比 Content-Length 与预期长度。
gateway/e2e.sh 开头的【0】自检断言就是为这类问题设的回归闸。