Files
ipass__ipass/tests
admin bfa3cf8ff8 feat(llm): 上游多账号路由 + 账号级负载统计 (1.0.14)
一个 slot 挂多把上游账号 Key,解决厂商「单账号额度/并发受限」与
「同一用户缓存命中」两个矛盾诉求。

多账号路由 (plugin-llm)
- models: Upstream.accounts[] (auth/note/resets) + 上游级
  exhaust_status/exhaust_markers;顶层 auth 保留兼容(accounts 为空时合成单账号)
- upstreams::pick_account:粘性绑定 ukb:<key> 优先 → 无绑定时
  FNV-1a(下游 Key) % 可用数 冷分散 → 绑定账号冷却则重新分散 → 全冷却取最早恢复
  * 分散避开厂商单账号 agent 并发上限;落点固定保住 prompt/token 缓存
- cool_until_until 天锚定冷却:boundary = day0 + ceil(已过/窗口)*窗口,
  封顶次日 0 点(MiniMax 5h 窗口、24=5*4+4 → 末段 20:00-24:00 只有 4h 随天重置)
- 耗尽双检测 (log 阶段):$upstream_status 命中 exhaust_status,或
  usage_filter 流式扫到 marker → $llm_acct 定位本次账号 → 写冷却 uac:
- shm: up:/upa:/uac:/ukb:/upe: 五类前缀;$llm_acct 变量 (NOCACHEABLE)

账号级负载统计(问题发现与跟踪)
- 新增 uda:<slot>:<idx>:<day>(请求/token)与 uex:(耗尽次数) 日桶,
  复用内核 usage::bump_day —— 无数据库、无新进程(项目红线)
- 计数点只在 log 阶段一次;pick_account 会被 $llm_target/$llm_auth/$llm_acct
  三个变量各触发一次,放进那里会三倍计数
- view() 投影带每账号 load 与 account_trend + trend_labels(日期由后端算)
- 管理台「上游」页密钥列:各 Key 今日请求/token/耗尽 + 负载比例条 +
  14 天迷你趋势(自绘 SVG,零第三方依赖)+ 冷却/耗尽徽标 + 上游合计

测试与验证
- 回归 279 条全绿(网关 102 + LLM 177),新增 6 条多账号/负载断言
- 假上游新增 UPSTREAM_FAIL_AUTH 模拟账号额度耗尽;靶机验证 Key 真被替换
- 前端以真实 admin.css + upstreams.js 渲染路径做无头浏览器断言:
  比例条与负载成比例(412 vs 96 → 100%/23%)、每账号 14 条块、
  悬停峰值日期与数据逐位吻合、单账号/无账号兜底正常、无横向溢出、零 JS 错误

文档
- 新增 docs/llm/MULTI_ACCOUNT_ROUTING.md(数据模型/路由/冷却数学/shm 布局/负载统计)
- readme §11 数据模型 + §15 上游配置 + §15 用量统计 + §12.6 tag 表 + §16 变更记录
- 修正 docs/llm/*.md 中插件化前的过时路径(rust/src/* → crates/plugin-llm/src/*)
2026-09-14 11:57:08 +08:00
..

tests —— 本机回归夹具

改完 rust/ 或 conf/ 后跑这里,别靠手敲 curl 试。

bash tests/run.sh            # 全部(域名网关 + LLM 代理)
bash tests/run.sh gateway    # 只跑域名网关(90 条断言)
bash tests/run.sh llm        # 只跑 LLM 代理(111 条断言)

脚本会自动 cargo build,起 nginx,跑断言,收尾停进程。期望输出「失败 0」。

目录

路径 作用
run.sh 统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾
gateway/nginx.conf.in 域名网关测试配置模板(占位符 @MODULE@ / @REPO@ / @RUN@)
gateway/e2e.sh 90 条断言:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / 自动子域名(i+8位+dm)与点击复制 / 管理台与清理
gateway/backend/index.html 转发靶机内容(断言里检查 "from":"backend")
llm/nginx.conf.in LLM 代理测试配置模板(18090 网关 + 18091 管理端口,供账号态 /api/v1/* 断言)
llm/upstream.py 假上游(18999):记录它实际收到的 path / auth / host / body;/<slot>/v1/models 原样透传
llm/sse_test.py 流式探针:输出 CHUNKS / FIRST / TOTAL,判断 SSE 有没有被缓冲
llm/e2e.sh 111 条断言:鉴权 / 白名单 / 停用摘除 / Key 替换 / 路径拼接(含版本段去重)/ SSE / 模型发现 / 账号态用量 / 管理员用量总览与删账号清用量
llm/fixtures/*.json 固定账号与上游表(合成数据,见下)
.run/ 运行目录(生成的 nginx.conf、data/、logs/、cookie.jar)—— 已 gitignore

三条不要踩的线

  1. 绝不碰生产 data/。两套配置的 ipass_data_dir 都指向 tests/.run/*/data/, 由 run.sh 渲染时写入,是独立目录。跑测试不需要也不应该动仓库根的 data/。
  2. 不要直接把 .in 模板交给 nginx。占位符没替换,load_module 会失败。 要手工起就自己 sed 一遍,或者直接用 run.sh。
  3. .run/ 里的是运行产物,可以随时删;删了下次跑会重建。

为什么 llm/ 侧一定要看靶机日志

网关返回 200 不代表上游收到了正确的头。本项目要证的是「下游那把 sk_... 被换成了上游真 Key」——这只有读 upstream.py 记下的 auth 才能证。 所以 llm/e2e.sh 里最关键的两条断言是:

sse_test.py  →  首块 < 0.5s 到达(证明 proxy_buffering off 生效)
靶机 auth    →  Bearer sk-UPSTREAM-REAL-SECRET 且不含 sk_alice_

fixtures 说明

llm/fixtures/users.json 与 llm-upstreams.json 是合成夹具: pwd_hash 多为占位、api_key 是 aaaa… / bbbb…、上游 auth 是 sk-UPSTREAM-REAL-SECRET 这类明显假值。它们不是任何环境的真实凭据, 刻意入库,好让 LLM 侧回归在干净机器上一把跑通。

两个例外值得知道:

  • admin 账号的 pwd_hash 是按项目算法真算出来的(口令 123456)—— 【10】要真登录管理台才能查用量、删账号。算法见 rust/src/util.rs::hash_password: x = sha256(salt + ":" + pwd),再迭代 1000 轮 x = sha256(x + salt)。 改口令就照它重算,别写成占位(写错的表现是「登录 401」)。
  • deepseeklike 上游的 base 自带 /v1,专测版本段去重 (少这一步会拼成 /v1/v1/... → 上游 404 且响应体为空)。

真实凭据只在仓库根的 data/*.json(已 gitignore,绝不入库)。

写这类脚本的引号陷阱(曾因此假绿,浪费一轮排查)

# ✗ 错:命令替换里再套双引号转义 —— bash 二次去转义,`{a,b}` 触发花括号展开,
#      JSON 被拆成两个词,服务端只收到半截 body(如 `"id":"d_xxx"` 和 `"action":"approve"` 分两次发出)
curl ... -d "{\"id\":\"$ID\",\"action\":\"approve\"}"

# ✓ 对:在顶层用函数拼成变量,再整体引用
BODY=$(jbody id "$ID" action approve)
curl ... -d "$BODY"

危险点在于报错会伪装成业务 bug:服务端返回「参数缺失」,看着像后端解析问题。 判别手法:在服务端把收到的 body 原样打出来,或对比 Content-Length 与预期长度。 gateway/e2e.sh 开头的【0】自检断言就是为这类问题设的回归闸。