test: 加 tests/live_check.sh —— 上线后验证(真实流量 + 环境验收)

回归(tests/run.sh)打的是假上游,deploy/agent.sh verify 又只验管理台不发真实
LLM 请求,两半都跑不到「新版在线上真能干活」。新脚本把两者合成一条命令:

- 真实流量:test_models.py 4 slot × OpenAI/Anthropic + /v1/models;
- 环境验收:deploy/agent.sh verify(登录 / 页面标记 / subdomain_rule / 趋势 / 账号 load)。
- --models-only / --verify-only 可只跑一半;key 文件默认 ~/ssw.txt。

顺带:
- test_models.py 补退出码(原来失败也退 0,包装脚本判不出失败);
- key 文件解析支持 `sk=<key>` 与 # 注释行(取整行会拿到 sk=sk_xxx → 全量 401);
- tests/README.md 断言数同步到 108 + 262 = 370,补两个脚本说明。

实测:8/8 通过 + 验收全绿;错 key / 缺 key 文件均退出 1。
This commit is contained in:
admin committed 2026-09-17 07:37:08 +08:00
1 parent 0a9047840d
commit 81f83f6f50
3 files changed
+147 -5

No files matched your search

+23 -5
View File
@@ -3,25 +3,43 @@
改完 `rust/` 或 `conf/` 后跑这里,别靠手敲 curl 试。
```bash
bash tests/run.sh # 全部(域名网关 102 条 + LLM 代理 197 条 = 299)
bash tests/run.sh gateway # 只跑域名网关(102 条断言)
bash tests/run.sh llm # 只跑 LLM 代理(197 条断言)
bash tests/run.sh # 全部(域名网关 108 条 + LLM 代理 262 条 = 370)
bash tests/run.sh gateway # 只跑域名网关(108 条断言)
bash tests/run.sh llm # 只跑 LLM 代理(262 条断言)
```
脚本会自动 `cargo build`,起 nginx,跑断言,收尾停进程。**期望输出「失败 0」。**
## 上线后验证(真实环境,不是本机夹具)
上面跑的是**假上游**;`deploy/agent.sh verify` 又只验管理台,**不发真实 LLM 请求**。
要确认「新版在线上真能干活」,用这个把两半合起来一键跑:
```bash
bash tests/live_check.sh # 真实流量 + 环境验收(key 默认 ~/ssw.txt)
bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件
bash tests/live_check.sh --models-only # 只跑真实流量(4 slot × OpenAI/Anthropic + /v1/models)
bash tests/live_check.sh --verify-only # 只跑 deploy/agent.sh verify
```
Key 文件可以是裸 key,也可以是 `sk=<key>` 形式(带 `#` 注释行也认)——**取整行会拿到
`sk=sk_xxx` → 全量 401**,脚本内部已处理;全程不打印 Key 原文。
延迟参考:deepseek/qwen/minimax 1~2.6s,**glm 7~11s**,别拿 glm 当超时基线。
## 目录
| 路径 | 作用 |
| --- | --- |
| `run.sh` | 统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 |
| `live_check.sh` | **上线后验证**:真实流量(`test_models.py`)+ 正式环境验收(`deploy/agent.sh verify`) |
| `test_models.py` | 真实流量探针:4 slot × OpenAI/Anthropic 调用 + `/v1/models` 模型发现(打的是线上 `lm.mayishangshu.cn:88`,**不是本机夹具**;失败退出码 1) |
| `gateway/nginx.conf.in` | 域名网关测试配置**模板**(占位符 `@MODULE@` / `@REPO@` / `@RUN@`) |
| `gateway/e2e.sh` | **102 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / **自动子域名(`i`+8位+`dm`)与点击复制** / 管理台与清理 |
| `gateway/e2e.sh` | **108 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / **自动子域名(`i`+8位+`dm`)与点击复制** / 管理台与清理 |
| `gateway/backend/index.html` | 转发靶机内容(断言里检查 `"from":"backend"`) |
| `llm/nginx.conf.in` | LLM 代理测试配置模板(18090 网关 + **18091 管理端口**,供账号态 `/api/v1/*` 断言) |
| `llm/upstream.py` | 假上游(18999):**记录它实际收到的 path / auth / host / body**;`/<slot>/v1/models` 原样透传 |
| `llm/sse_test.py` | 流式探针:输出 `CHUNKS` / `FIRST` / `TOTAL`,判断 SSE 有没有被缓冲 |
| `llm/e2e.sh` | **197 条断言**:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** / **统计落盘与重启恢复** |
| `llm/e2e.sh` | **262 条断言**:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** / **统计落盘与重启恢复** |
| `llm/fixtures/*.json` | 固定账号与上游表(**合成数据**,见下) |
| `.run/` | 运行目录(生成的 `nginx.conf`、`data/`、`logs/`、`cookie.jar`)—— 已 gitignore |
+121
View File
@@ -0,0 +1,121 @@
#!/usr/bin/env bash
# ---------------------------------------------------------------------------
# 上线后验证(live smoke)—— 发版流程的最后一步
#
# 本机回归(tests/run.sh)跑的是**假上游**,验不到真实链路:`bash deploy/agent.sh verify`
# 又只验管理台页面与后端常量,**不发一个真实 LLM 请求**。真正确认「新版在
# 线上能干活」需要两半合起来:
#
# 1. 真实流量:tests/test_models.py —— 4 个 slot × OpenAI/Anthropic 双格式真实调用
# + `/v1/models` 模型发现(下游 Key 鉴权、slot 路由、Key 替换、出站头都在这条链上)
# 2. 环境验收:deploy/agent.sh verify —— 登录、页面新标记、subdomain_rule、趋势、
# 账号级 load(确认跑的确实是新镜像,而不是旧容器没换)
#
# 用法:
# bash tests/live_check.sh # 两步都跑(key 默认 ~/ssw.txt)
# bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件
# bash tests/live_check.sh --models-only # 只跑真实流量
# bash tests/live_check.sh --verify-only # 只跑环境验收
# IPASS_LIVE_KEY_FILE=~/ssw.txt bash tests/live_check.sh
#
# Key 文件解析(踩过的坑):文件里常写成 `sk=<key>` 或带 `#` 注释行,
# **取整行会拿到 `sk=sk_xxx` → 全量 401 invalid_api_key**。这里统一:
# 跳过空行/注释行 → 有 `=` 取第一个 `=` 之后 → 去引号与空白 → 只认 `sk_` 开头。
#
# ⚠️ 全程不打印 Key 原文(test_models.py 自带 mask,只显示 `sk_2df...2dae`)。
# ---------------------------------------------------------------------------
set -uo pipefail
HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
REPO=$(cd "$HERE/.." && pwd)
KEY_FILE="${IPASS_LIVE_KEY_FILE:-$HOME/ssw.txt}"
RUN_MODELS=1
RUN_VERIFY=1
while [ $# -gt 0 ]; do
case "$1" in
--models-only) RUN_VERIFY=0; shift ;;
--verify-only) RUN_MODELS=0; shift ;;
-h|--help) sed -n '2,30p' "${BASH_SOURCE[0]}"; exit 0 ;;
-*) echo "✗ 未知参数:$1(用 -h 看用法)" >&2; exit 2 ;;
*) KEY_FILE="$1"; shift ;;
esac
done
# python3:优先隔离的托管运行时,其次系统的(与 tests/run.sh 同一套选择逻辑)
PY=""
for c in /Users/xs/.workbuddy/binaries/python/versions/3.13.12/bin/python3 python3; do
if command -v "$c" >/dev/null 2>&1; then PY="$c"; break; fi
done
[ -n "$PY" ] || { echo "✗ 找不到 python3" >&2; exit 2; }
# 从 key 文件里挑出真正的 Key(见文件头注释:支持 `k=v` / 注释行 / 裸 key)
pick_key() {
awk '
/^[[:space:]]*#/ { next }
/^[[:space:]]*$/ { next }
{
line = $0
sub(/\r$/, "", line)
gsub(/^[[:space:]]+|[[:space:]]+$/, "", line)
if (index(line, "=") > 0) { line = substr(line, index(line, "=") + 1) }
gsub(/["'"'"']/, "", line)
if (line ~ /^sk_/) { print line; exit }
}' "$1"
}
rc=0
step=0
# ---------------------------------------------------------------------------
# 1/2 真实流量
# ---------------------------------------------------------------------------
if [ "$RUN_MODELS" -eq 1 ]; then
step=$((step + 1))
echo "== $step/2 真实流量(test_models.py:4 slot × OpenAI/Anthropic) =="
if [ ! -f "$KEY_FILE" ]; then
echo "✗ 找不到 Key 文件:$KEY_FILE"
echo " 传路径或用 IPASS_LIVE_KEY_FILE 指定;文件内容可以是裸 key 或 sk=<key>"
rc=1
else
KEY="$(pick_key "$KEY_FILE")"
if [ -z "$KEY" ]; then
echo "✗ $KEY_FILE 里没解析到 Key(期望一行 sk_ 开头,或 sk=<key> 形式)"
rc=1
else
"$PY" "$HERE/test_models.py" "$KEY" --api both --concurrent --timeout 60
mrc=$?
[ "$mrc" -ne 0 ] && rc=1
if [ "$mrc" -eq 0 ]; then
# test_models.py 自己会根据结果退出;这里只做「全绿」提示,判定仍以它为准
echo "· 真实流量步骤完成"
fi
fi
fi
echo
fi
# ---------------------------------------------------------------------------
# 2/2 正式环境验收
# ---------------------------------------------------------------------------
if [ "$RUN_VERIFY" -eq 1 ]; then
step=$((step + 1))
echo "== $step/2 正式环境验收(deploy/agent.sh verify) =="
if [ ! -f "$REPO/.env" ]; then
echo "· 跳过:仓库根没有 .env(控制面凭据只从这里读,没有就跑不了验收)"
else
bash "$REPO/deploy/agent.sh" verify
vrc=$?
[ "$vrc" -ne 0 ] && rc=1
fi
echo
fi
if [ "$rc" -eq 0 ]; then
echo "✔ 上线后验证通过"
else
echo "✗ 上线后验证有失败项(见上面输出)"
fi
exit $rc
+3
View File
@@ -293,6 +293,9 @@ def main():
summary = " ".join(f"{k}:{v['ok']}/{v['total']}" for k, v in by_api.items())
print(f" by api: {summary}")
# 退出码:全绿 0,有失败 1 —— 供 tests/live_check.sh 之类的包装脚本判定
sys.exit(0 if ok == len(results) else 1)
def print_line(r: dict, newline: bool = False):
tag = f"[{r.get('api','?'):<9}] {r.get('provider','?')}/{r.get('model','?')}"