Files
admin 762d308745 test+deploy: 探针改目录驱动 + 三态判定 + 发版失败自动回滚(镜像+数据)
两件事:

1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。
   之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针
   要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models
   全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2
   (验证失效 ≠ 上游没问题,不许假绿)。
   三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据——
   智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版
   故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误)
   **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。
   live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。
   分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。

2) agent.sh release 改 4/4 步:验证失败不再停在原地——
   抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动
   POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后
   再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。
   ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」);
   新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替
   data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。
   restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。
   release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止
   (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11
   跑 §12.5 自更新。
   附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable,
   live_check A 路径实测炸出),统一 ${VAR}。

线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。
只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
2026-09-17 08:41:48 +08:00

154 lines
6.7 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env bash
# ---------------------------------------------------------------------------
# 上线后验证(live smoke)—— 发版流程的最后一步(agent.sh release 第 3/4 步调它)
#
# 本机回归(tests/run.sh)跑的是**假上游**,验不到真实链路;`deploy/agent.sh verify`
# 又只验管理台页面与后端常量,**一个真实请求都不发**。真正确认「新版在线上能干活」
# 需要三步合起来:
#
# 1. LLM 真实流量:tests/test_models.py —— 用例目录从 /api/v1/me **动态拉**
# (slot × 配置模型 × OpenAI/Anthropic 全展开),挨个真实调用
# 2. apix 探针:tests/apix_check.py —— 同样从 /api/v1/me 拉条目,验
# `/apix/<slug>`(vendor) 与 `/apixp/<slug>`(passthrough) 真转发。apix 发版后
# 最容易**静默失效**:location 没挂 / shm 没装载都不报错,只是 404
# 3. 环境验收:deploy/agent.sh verify —— 登录、页面标记、subdomain_rule、趋势、
# 账号级 load(确认跑的确实是新镜像,而不是旧容器没换)
#
# 三态口径(LLM/apix 共享 me_catalog.py):
# ❌ = 网关侧故障(鉴权没生效/location 没挂/连不上)→ 影响退出码,发版要抓
# ⚠️ = 上游/厂商侧问题(欠费 402、不可达 502、WAF、探针参数被拒)→ **如实汇总
# 反馈但不染红**——网关正常、一方账号没钱了不是新镜像的锅
#
# 退出码(release 自动化按这个决定是否回滚,别改语义):
# 0 全部通过(⚠️ 不阻断,但会列出来)
# 1 有确认的网关侧故障 → release 会回滚镜像+恢复数据
# 2 验证手段不可用(缺 key 文件 / 拉不到 /api/v1/me / 子脚本缺失)
# → **不能**当成新版本坏了去回滚,release 只告警不回滚
#
# 用法:
# bash tests/live_check.sh # 三步都跑(key 默认 ~/ssw.txt)
# bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件
# bash tests/live_check.sh --models-only / --apix-only / --verify-only
# IPASS_LIVE_KEY_FILE=~/ssw.txt bash tests/live_check.sh
#
# Key 文件解析(踩过的坑):文件里常写成 `sk=<key>` 或带 `#` 注释行,
# **取整行会拿到 `sk=sk_xxx` → 全量 401**。这里统一:跳空行/注释 → 有 `=` 取
# 第一个 `=` 之后 → 去引号空白 → 只认 `sk_` 开头。⚠️ 全程不打印 Key 原文。
# ---------------------------------------------------------------------------
set -uo pipefail
HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
REPO=$(cd "$HERE/.." && pwd)
KEY_FILE="${IPASS_LIVE_KEY_FILE:-$HOME/ssw.txt}"
RUN_MODELS=1
RUN_APIX=1
RUN_VERIFY=1
while [ $# -gt 0 ]; do
case "$1" in
--models-only) RUN_APIX=0; RUN_VERIFY=0; shift ;;
--apix-only) RUN_MODELS=0; RUN_VERIFY=0; shift ;;
--verify-only) RUN_MODELS=0; RUN_APIX=0; shift ;;
-h|--help) sed -n '2,42p' "${BASH_SOURCE[0]}"; exit 0 ;;
-*) echo "✗ 未知参数:$1(用 -h 看用法)" >&2; exit 2 ;;
*) KEY_FILE="$1"; shift ;;
esac
done
TOTAL=$((RUN_MODELS + RUN_APIX + RUN_VERIFY))
# python3:优先隔离的托管运行时,其次系统的(与 tests/run.sh 同一套选择逻辑)
PY=""
for c in /Users/xs/.workbuddy/binaries/python/versions/3.13.12/bin/python3 python3; do
if command -v "$c" >/dev/null 2>&1; then PY="$c"; break; fi
done
[ -n "$PY" ] || { echo "✗ 找不到 python3(验证不可用)" >&2; exit 2; }
# 从 key 文件里挑出真正的 Key(见文件头注释:支持 `k=v` / 注释行 / 裸 key)
pick_key() {
awk '
/^[[:space:]]*#/ { next }
/^[[:space:]]*$/ { next }
{
line = $0
sub(/\r$/, "", line)
gsub(/^[[:space:]]+|[[:space:]]+$/, "", line)
if (index(line, "=") > 0) { line = substr(line, index(line, "=") + 1) }
gsub(/["'"'"']/, "", line)
if (line ~ /^sk_/) { print line; exit }
}' "$1"
}
# 聚合退出码:任一 1 → 1(回滚);否则任一 2 → 2(验证不可用,不回滚);否则 0
CODE=0
bump() { # bump <本次rc>
case "$1" in
1) CODE=1 ;;
2) [ "$CODE" != "1" ] && CODE=2 ;;
esac
}
step=0
KEY=""
# 要发真实请求的两步都得先有 Key —— 没有就是「验证不可用」(2),不是新版故障(1)
if [ "$RUN_MODELS" -eq 1 ] || [ "$RUN_APIX" -eq 1 ]; then
if [ ! -f "$KEY_FILE" ]; then
echo "✗ 找不到 Key 文件:${KEY_FILE}(验证不可用)"
echo " 传路径或用 IPASS_LIVE_KEY_FILE 指定;内容可以是裸 key 或 sk=<key>"
exit 2
fi
KEY="$(pick_key "$KEY_FILE")"
if [ -z "$KEY" ]; then
echo "✗ $KEY_FILE 里没解析到 Key(期望一行 sk_ 开头,或 sk=<key> 形式)"
exit 2
fi
fi
# ---------------------------------------------------------------------------
# 1/3 LLM 真实流量(目录驱动:/api/v1/me upstreams × models)
# ---------------------------------------------------------------------------
if [ "$RUN_MODELS" -eq 1 ]; then
step=$((step + 1))
echo "== $step/$TOTAL LLM 真实流量(test_models.py:目录全展开 × OpenAI/Anthropic) =="
rc=0; "$PY" "$HERE/test_models.py" "$KEY" --timeout 60 || rc=$?
bump "$rc"
[ "$rc" = "2" ] && echo " ! test_models 无法建立验证基线(目录拉不到)——不回滚,查 Key/网络"
echo
fi
# ---------------------------------------------------------------------------
# 2/3 apix 探针(目录驱动:/api/v1/me apix 条目)
# ---------------------------------------------------------------------------
if [ "$RUN_APIX" -eq 1 ]; then
step=$((step + 1))
echo "== $step/$TOTAL apix 探针(apix_check.py:vendor + passthrough) =="
rc=0; "$PY" "$HERE/apix_check.py" "$KEY" --timeout 40 || rc=$?
bump "$rc"
[ "$rc" = "2" ] && echo " ! apix_check 无法建立验证基线(目录拉不到)——不回滚,查 Key/网络"
echo
fi
# ---------------------------------------------------------------------------
# 3/3 正式环境验收
# ---------------------------------------------------------------------------
if [ "$RUN_VERIFY" -eq 1 ]; then
step=$((step + 1))
echo "== $step/$TOTAL 正式环境验收(deploy/agent.sh verify) =="
if [ ! -f "$REPO/.env" ]; then
echo "· 跳过:仓库根没有 .env(控制面凭据只从这里读)——验收不可用"
bump 2
else
rc=0; bash "$REPO/deploy/agent.sh" verify || rc=1
bump "$rc"
fi
echo
fi
case "$CODE" in
0) echo "✔ 上线后验证通过(如有 ⚠️ 为上游/厂商侧问题,已如实列出,不阻断)" ;;
1) echo "✗ 上线后验证发现网关侧故障(见上面 ❌)——release 将回滚镜像+恢复数据" ;;
2) echo "✗ 上线后验证不可用(缺 key/拉不到目录/无 .env)——**不能据此判新版故障**,release 不回滚" ;;
esac
exit $CODE