From 81f83f6f50ca7dad9a523f29b4fed81782a0c78d Mon Sep 17 00:00:00 2001 From: admin Date: Thu, 17 Sep 2026 07:37:08 +0800 Subject: [PATCH] =?UTF-8?q?test:=20=E5=8A=A0=20tests/live=5Fcheck.sh=20?= =?UTF-8?q?=E2=80=94=E2=80=94=20=E4=B8=8A=E7=BA=BF=E5=90=8E=E9=AA=8C?= =?UTF-8?q?=E8=AF=81=EF=BC=88=E7=9C=9F=E5=AE=9E=E6=B5=81=E9=87=8F=20+=20?= =?UTF-8?q?=E7=8E=AF=E5=A2=83=E9=AA=8C=E6=94=B6=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 回归(tests/run.sh)打的是假上游,deploy/agent.sh verify 又只验管理台不发真实 LLM 请求,两半都跑不到「新版在线上真能干活」。新脚本把两者合成一条命令: - 真实流量:test_models.py 4 slot × OpenAI/Anthropic + /v1/models; - 环境验收:deploy/agent.sh verify(登录 / 页面标记 / subdomain_rule / 趋势 / 账号 load)。 - --models-only / --verify-only 可只跑一半;key 文件默认 ~/ssw.txt。 顺带: - test_models.py 补退出码(原来失败也退 0,包装脚本判不出失败); - key 文件解析支持 `sk=` 与 # 注释行(取整行会拿到 sk=sk_xxx → 全量 401); - tests/README.md 断言数同步到 108 + 262 = 370,补两个脚本说明。 实测:8/8 通过 + 验收全绿;错 key / 缺 key 文件均退出 1。 --- tests/README.md | 28 ++++++++-- tests/live_check.sh | 121 +++++++++++++++++++++++++++++++++++++++++++ tests/test_models.py | 3 ++ 3 files changed, 147 insertions(+), 5 deletions(-) create mode 100755 tests/live_check.sh diff --git a/tests/README.md b/tests/README.md index 0a54c29..0bbb2fb 100644 --- a/tests/README.md +++ b/tests/README.md @@ -3,25 +3,43 @@ 改完 `rust/` 或 `conf/` 后跑这里,别靠手敲 curl 试。 ```bash -bash tests/run.sh # 全部(域名网关 102 条 + LLM 代理 197 条 = 299) -bash tests/run.sh gateway # 只跑域名网关(102 条断言) -bash tests/run.sh llm # 只跑 LLM 代理(197 条断言) +bash tests/run.sh # 全部(域名网关 108 条 + LLM 代理 262 条 = 370) +bash tests/run.sh gateway # 只跑域名网关(108 条断言) +bash tests/run.sh llm # 只跑 LLM 代理(262 条断言) ``` 脚本会自动 `cargo build`,起 nginx,跑断言,收尾停进程。**期望输出「失败 0」。** +## 上线后验证(真实环境,不是本机夹具) + +上面跑的是**假上游**;`deploy/agent.sh verify` 又只验管理台,**不发真实 LLM 请求**。 +要确认「新版在线上真能干活」,用这个把两半合起来一键跑: + +```bash +bash tests/live_check.sh # 真实流量 + 环境验收(key 默认 ~/ssw.txt) +bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件 +bash tests/live_check.sh --models-only # 只跑真实流量(4 slot × OpenAI/Anthropic + /v1/models) +bash tests/live_check.sh --verify-only # 只跑 deploy/agent.sh verify +``` + +Key 文件可以是裸 key,也可以是 `sk=` 形式(带 `#` 注释行也认)——**取整行会拿到 +`sk=sk_xxx` → 全量 401**,脚本内部已处理;全程不打印 Key 原文。 +延迟参考:deepseek/qwen/minimax 1~2.6s,**glm 7~11s**,别拿 glm 当超时基线。 + ## 目录 | 路径 | 作用 | | --- | --- | | `run.sh` | 统一入口:编译 → 渲染配置 → 起进程 → 跑断言 → 收尾 | +| `live_check.sh` | **上线后验证**:真实流量(`test_models.py`)+ 正式环境验收(`deploy/agent.sh verify`) | +| `test_models.py` | 真实流量探针:4 slot × OpenAI/Anthropic 调用 + `/v1/models` 模型发现(打的是线上 `lm.mayishangshu.cn:88`,**不是本机夹具**;失败退出码 1) | | `gateway/nginx.conf.in` | 域名网关测试配置**模板**(占位符 `@MODULE@` / `@REPO@` / `@RUN@`) | -| `gateway/e2e.sh` | **102 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / **自动子域名(`i`+8位+`dm`)与点击复制** / 管理台与清理 | +| `gateway/e2e.sh` | **108 条断言**:鉴权会话 / 账号 / 申请审核 / 免审 / 越权隔离 / Key 重置 / **自动子域名(`i`+8位+`dm`)与点击复制** / 管理台与清理 | | `gateway/backend/index.html` | 转发靶机内容(断言里检查 `"from":"backend"`) | | `llm/nginx.conf.in` | LLM 代理测试配置模板(18090 网关 + **18091 管理端口**,供账号态 `/api/v1/*` 断言) | | `llm/upstream.py` | 假上游(18999):**记录它实际收到的 path / auth / host / body**;`//v1/models` 原样透传 | | `llm/sse_test.py` | 流式探针:输出 `CHUNKS` / `FIRST` / `TOTAL`,判断 SSE 有没有被缓冲 | -| `llm/e2e.sh` | **197 条断言**:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** / **统计落盘与重启恢复** | +| `llm/e2e.sh` | **262 条断言**:鉴权 / 白名单 / 停用摘除 / **Key 替换** / 路径拼接(含版本段去重)/ SSE / **模型发现** / **账号态用量** / **管理员用量总览与删账号清用量** / **统计落盘与重启恢复** | | `llm/fixtures/*.json` | 固定账号与上游表(**合成数据**,见下) | | `.run/` | 运行目录(生成的 `nginx.conf`、`data/`、`logs/`、`cookie.jar`)—— 已 gitignore | diff --git a/tests/live_check.sh b/tests/live_check.sh new file mode 100755 index 0000000..aad48c1 --- /dev/null +++ b/tests/live_check.sh @@ -0,0 +1,121 @@ +#!/usr/bin/env bash +# --------------------------------------------------------------------------- +# 上线后验证(live smoke)—— 发版流程的最后一步 +# +# 本机回归(tests/run.sh)跑的是**假上游**,验不到真实链路:`bash deploy/agent.sh verify` +# 又只验管理台页面与后端常量,**不发一个真实 LLM 请求**。真正确认「新版在 +# 线上能干活」需要两半合起来: +# +# 1. 真实流量:tests/test_models.py —— 4 个 slot × OpenAI/Anthropic 双格式真实调用 +# + `/v1/models` 模型发现(下游 Key 鉴权、slot 路由、Key 替换、出站头都在这条链上) +# 2. 环境验收:deploy/agent.sh verify —— 登录、页面新标记、subdomain_rule、趋势、 +# 账号级 load(确认跑的确实是新镜像,而不是旧容器没换) +# +# 用法: +# bash tests/live_check.sh # 两步都跑(key 默认 ~/ssw.txt) +# bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件 +# bash tests/live_check.sh --models-only # 只跑真实流量 +# bash tests/live_check.sh --verify-only # 只跑环境验收 +# IPASS_LIVE_KEY_FILE=~/ssw.txt bash tests/live_check.sh +# +# Key 文件解析(踩过的坑):文件里常写成 `sk=` 或带 `#` 注释行, +# **取整行会拿到 `sk=sk_xxx` → 全量 401 invalid_api_key**。这里统一: +# 跳过空行/注释行 → 有 `=` 取第一个 `=` 之后 → 去引号与空白 → 只认 `sk_` 开头。 +# +# ⚠️ 全程不打印 Key 原文(test_models.py 自带 mask,只显示 `sk_2df...2dae`)。 +# --------------------------------------------------------------------------- +set -uo pipefail + +HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd) +REPO=$(cd "$HERE/.." && pwd) + +KEY_FILE="${IPASS_LIVE_KEY_FILE:-$HOME/ssw.txt}" +RUN_MODELS=1 +RUN_VERIFY=1 + +while [ $# -gt 0 ]; do + case "$1" in + --models-only) RUN_VERIFY=0; shift ;; + --verify-only) RUN_MODELS=0; shift ;; + -h|--help) sed -n '2,30p' "${BASH_SOURCE[0]}"; exit 0 ;; + -*) echo "✗ 未知参数:$1(用 -h 看用法)" >&2; exit 2 ;; + *) KEY_FILE="$1"; shift ;; + esac +done + +# python3:优先隔离的托管运行时,其次系统的(与 tests/run.sh 同一套选择逻辑) +PY="" +for c in /Users/xs/.workbuddy/binaries/python/versions/3.13.12/bin/python3 python3; do + if command -v "$c" >/dev/null 2>&1; then PY="$c"; break; fi +done +[ -n "$PY" ] || { echo "✗ 找不到 python3" >&2; exit 2; } + +# 从 key 文件里挑出真正的 Key(见文件头注释:支持 `k=v` / 注释行 / 裸 key) +pick_key() { + awk ' + /^[[:space:]]*#/ { next } + /^[[:space:]]*$/ { next } + { + line = $0 + sub(/\r$/, "", line) + gsub(/^[[:space:]]+|[[:space:]]+$/, "", line) + if (index(line, "=") > 0) { line = substr(line, index(line, "=") + 1) } + gsub(/["'"'"']/, "", line) + if (line ~ /^sk_/) { print line; exit } + }' "$1" +} + +rc=0 +step=0 + +# --------------------------------------------------------------------------- +# 1/2 真实流量 +# --------------------------------------------------------------------------- +if [ "$RUN_MODELS" -eq 1 ]; then + step=$((step + 1)) + echo "== $step/2 真实流量(test_models.py:4 slot × OpenAI/Anthropic) ==" + + if [ ! -f "$KEY_FILE" ]; then + echo "✗ 找不到 Key 文件:$KEY_FILE" + echo " 传路径或用 IPASS_LIVE_KEY_FILE 指定;文件内容可以是裸 key 或 sk=" + rc=1 + else + KEY="$(pick_key "$KEY_FILE")" + if [ -z "$KEY" ]; then + echo "✗ $KEY_FILE 里没解析到 Key(期望一行 sk_ 开头,或 sk= 形式)" + rc=1 + else + "$PY" "$HERE/test_models.py" "$KEY" --api both --concurrent --timeout 60 + mrc=$? + [ "$mrc" -ne 0 ] && rc=1 + if [ "$mrc" -eq 0 ]; then + # test_models.py 自己会根据结果退出;这里只做「全绿」提示,判定仍以它为准 + echo "· 真实流量步骤完成" + fi + fi + fi + echo +fi + +# --------------------------------------------------------------------------- +# 2/2 正式环境验收 +# --------------------------------------------------------------------------- +if [ "$RUN_VERIFY" -eq 1 ]; then + step=$((step + 1)) + echo "== $step/2 正式环境验收(deploy/agent.sh verify) ==" + if [ ! -f "$REPO/.env" ]; then + echo "· 跳过:仓库根没有 .env(控制面凭据只从这里读,没有就跑不了验收)" + else + bash "$REPO/deploy/agent.sh" verify + vrc=$? + [ "$vrc" -ne 0 ] && rc=1 + fi + echo +fi + +if [ "$rc" -eq 0 ]; then + echo "✔ 上线后验证通过" +else + echo "✗ 上线后验证有失败项(见上面输出)" +fi +exit $rc diff --git a/tests/test_models.py b/tests/test_models.py index 7a5ff04..1584dde 100644 --- a/tests/test_models.py +++ b/tests/test_models.py @@ -293,6 +293,9 @@ def main(): summary = " ".join(f"{k}:{v['ok']}/{v['total']}" for k, v in by_api.items()) print(f" by api: {summary}") + # 退出码:全绿 0,有失败 1 —— 供 tests/live_check.sh 之类的包装脚本判定 + sys.exit(0 if ok == len(results) else 1) + def print_line(r: dict, newline: bool = False): tag = f"[{r.get('api','?'):<9}] {r.get('provider','?')}/{r.get('model','?')}"