#!/usr/bin/env bash # --------------------------------------------------------------------------- # 上线后验证(live smoke)—— 发版流程的最后一步(agent.sh release 第 3/4 步调它) # # 本机回归(tests/run.sh)跑的是**假上游**,验不到真实链路;`deploy/agent.sh verify` # 又只验管理台页面与后端常量,**一个真实请求都不发**。真正确认「新版在线上能干活」 # 需要三步合起来: # # 1. LLM 真实流量:tests/test_models.py —— 用例目录从 /api/v1/me **动态拉** # (slot × 配置模型 × OpenAI/Anthropic 全展开),挨个真实调用 # 2. apix 探针:tests/apix_check.py —— 同样从 /api/v1/me 拉条目,验 # `/apix/`(vendor) 与 `/apixp/`(passthrough) 真转发。apix 发版后 # 最容易**静默失效**:location 没挂 / shm 没装载都不报错,只是 404 # 3. 环境验收:deploy/agent.sh verify —— 登录、页面标记、subdomain_rule、趋势、 # 账号级 load(确认跑的确实是新镜像,而不是旧容器没换) # # 三态口径(LLM/apix 共享 me_catalog.py): # ❌ = 网关侧故障(鉴权没生效/location 没挂/连不上)→ 影响退出码,发版要抓 # ⚠️ = 上游/厂商侧问题(欠费 402、不可达 502、WAF、探针参数被拒)→ **如实汇总 # 反馈但不染红**——网关正常、一方账号没钱了不是新镜像的锅 # # 退出码(release 自动化按这个决定是否回滚,别改语义): # 0 全部通过(⚠️ 不阻断,但会列出来) # 1 有确认的网关侧故障 → release 会回滚镜像+恢复数据 # 2 验证手段不可用(缺 key 文件 / 拉不到 /api/v1/me / 子脚本缺失) # → **不能**当成新版本坏了去回滚,release 只告警不回滚 # # 用法: # bash tests/live_check.sh # 三步都跑(key 默认 ~/ssw.txt) # bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件 # bash tests/live_check.sh --models-only / --apix-only / --verify-only # IPASS_LIVE_KEY_FILE=~/ssw.txt bash tests/live_check.sh # # Key 文件解析(踩过的坑):文件里常写成 `sk=` 或带 `#` 注释行, # **取整行会拿到 `sk=sk_xxx` → 全量 401**。这里统一:跳空行/注释 → 有 `=` 取 # 第一个 `=` 之后 → 去引号空白 → 只认 `sk_` 开头。⚠️ 全程不打印 Key 原文。 # --------------------------------------------------------------------------- set -uo pipefail HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd) REPO=$(cd "$HERE/.." && pwd) KEY_FILE="${IPASS_LIVE_KEY_FILE:-$HOME/ssw.txt}" RUN_MODELS=1 RUN_APIX=1 RUN_VERIFY=1 while [ $# -gt 0 ]; do case "$1" in --models-only) RUN_APIX=0; RUN_VERIFY=0; shift ;; --apix-only) RUN_MODELS=0; RUN_VERIFY=0; shift ;; --verify-only) RUN_MODELS=0; RUN_APIX=0; shift ;; -h|--help) sed -n '2,42p' "${BASH_SOURCE[0]}"; exit 0 ;; -*) echo "✗ 未知参数:$1(用 -h 看用法)" >&2; exit 2 ;; *) KEY_FILE="$1"; shift ;; esac done TOTAL=$((RUN_MODELS + RUN_APIX + RUN_VERIFY)) # python3:优先隔离的托管运行时,其次系统的(与 tests/run.sh 同一套选择逻辑) PY="" for c in /Users/xs/.workbuddy/binaries/python/versions/3.13.12/bin/python3 python3; do if command -v "$c" >/dev/null 2>&1; then PY="$c"; break; fi done [ -n "$PY" ] || { echo "✗ 找不到 python3(验证不可用)" >&2; exit 2; } # 从 key 文件里挑出真正的 Key(见文件头注释:支持 `k=v` / 注释行 / 裸 key) pick_key() { awk ' /^[[:space:]]*#/ { next } /^[[:space:]]*$/ { next } { line = $0 sub(/\r$/, "", line) gsub(/^[[:space:]]+|[[:space:]]+$/, "", line) if (index(line, "=") > 0) { line = substr(line, index(line, "=") + 1) } gsub(/["'"'"']/, "", line) if (line ~ /^sk_/) { print line; exit } }' "$1" } # 聚合退出码:任一 1 → 1(回滚);否则任一 2 → 2(验证不可用,不回滚);否则 0 CODE=0 bump() { # bump <本次rc> case "$1" in 1) CODE=1 ;; 2) [ "$CODE" != "1" ] && CODE=2 ;; esac } step=0 KEY="" # 要发真实请求的两步都得先有 Key —— 没有就是「验证不可用」(2),不是新版故障(1) if [ "$RUN_MODELS" -eq 1 ] || [ "$RUN_APIX" -eq 1 ]; then if [ ! -f "$KEY_FILE" ]; then echo "✗ 找不到 Key 文件:${KEY_FILE}(验证不可用)" echo " 传路径或用 IPASS_LIVE_KEY_FILE 指定;内容可以是裸 key 或 sk=" exit 2 fi KEY="$(pick_key "$KEY_FILE")" if [ -z "$KEY" ]; then echo "✗ $KEY_FILE 里没解析到 Key(期望一行 sk_ 开头,或 sk= 形式)" exit 2 fi fi # --------------------------------------------------------------------------- # 1/3 LLM 真实流量(目录驱动:/api/v1/me upstreams × models) # --------------------------------------------------------------------------- if [ "$RUN_MODELS" -eq 1 ]; then step=$((step + 1)) echo "== $step/$TOTAL LLM 真实流量(test_models.py:目录全展开 × OpenAI/Anthropic) ==" rc=0; "$PY" "$HERE/test_models.py" "$KEY" --timeout 60 || rc=$? bump "$rc" [ "$rc" = "2" ] && echo " ! test_models 无法建立验证基线(目录拉不到)——不回滚,查 Key/网络" echo fi # --------------------------------------------------------------------------- # 2/3 apix 探针(目录驱动:/api/v1/me apix 条目) # --------------------------------------------------------------------------- if [ "$RUN_APIX" -eq 1 ]; then step=$((step + 1)) echo "== $step/$TOTAL apix 探针(apix_check.py:vendor + passthrough) ==" rc=0; "$PY" "$HERE/apix_check.py" "$KEY" --timeout 40 || rc=$? bump "$rc" [ "$rc" = "2" ] && echo " ! apix_check 无法建立验证基线(目录拉不到)——不回滚,查 Key/网络" echo fi # --------------------------------------------------------------------------- # 3/3 正式环境验收 # --------------------------------------------------------------------------- if [ "$RUN_VERIFY" -eq 1 ]; then step=$((step + 1)) echo "== $step/$TOTAL 正式环境验收(deploy/agent.sh verify) ==" if [ ! -f "$REPO/.env" ]; then echo "· 跳过:仓库根没有 .env(控制面凭据只从这里读)——验收不可用" bump 2 else rc=0; bash "$REPO/deploy/agent.sh" verify || rc=1 bump "$rc" fi echo fi case "$CODE" in 0) echo "✔ 上线后验证通过(如有 ⚠️ 为上游/厂商侧问题,已如实列出,不阻断)" ;; 1) echo "✗ 上线后验证发现网关侧故障(见上面 ❌)——release 将回滚镜像+恢复数据" ;; 2) echo "✗ 上线后验证不可用(缺 key/拉不到目录/无 .env)——**不能据此判新版故障**,release 不回滚" ;; esac exit $CODE