两件事: 1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。 之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针 要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models 全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2 (验证失效 ≠ 上游没问题,不许假绿)。 三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据—— 智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版 故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误) **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。 live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。 分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。 2) agent.sh release 改 4/4 步:验证失败不再停在原地—— 抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动 POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后 再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。 ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」); 新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替 data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。 restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。 release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止 (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11 跑 §12.5 自更新。 附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable, live_check A 路径实测炸出),统一 ${VAR}。 线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。 只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
154 lines
6.7 KiB
Bash
Executable File
154 lines
6.7 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# ---------------------------------------------------------------------------
|
||
# 上线后验证(live smoke)—— 发版流程的最后一步(agent.sh release 第 3/4 步调它)
|
||
#
|
||
# 本机回归(tests/run.sh)跑的是**假上游**,验不到真实链路;`deploy/agent.sh verify`
|
||
# 又只验管理台页面与后端常量,**一个真实请求都不发**。真正确认「新版在线上能干活」
|
||
# 需要三步合起来:
|
||
#
|
||
# 1. LLM 真实流量:tests/test_models.py —— 用例目录从 /api/v1/me **动态拉**
|
||
# (slot × 配置模型 × OpenAI/Anthropic 全展开),挨个真实调用
|
||
# 2. apix 探针:tests/apix_check.py —— 同样从 /api/v1/me 拉条目,验
|
||
# `/apix/<slug>`(vendor) 与 `/apixp/<slug>`(passthrough) 真转发。apix 发版后
|
||
# 最容易**静默失效**:location 没挂 / shm 没装载都不报错,只是 404
|
||
# 3. 环境验收:deploy/agent.sh verify —— 登录、页面标记、subdomain_rule、趋势、
|
||
# 账号级 load(确认跑的确实是新镜像,而不是旧容器没换)
|
||
#
|
||
# 三态口径(LLM/apix 共享 me_catalog.py):
|
||
# ❌ = 网关侧故障(鉴权没生效/location 没挂/连不上)→ 影响退出码,发版要抓
|
||
# ⚠️ = 上游/厂商侧问题(欠费 402、不可达 502、WAF、探针参数被拒)→ **如实汇总
|
||
# 反馈但不染红**——网关正常、一方账号没钱了不是新镜像的锅
|
||
#
|
||
# 退出码(release 自动化按这个决定是否回滚,别改语义):
|
||
# 0 全部通过(⚠️ 不阻断,但会列出来)
|
||
# 1 有确认的网关侧故障 → release 会回滚镜像+恢复数据
|
||
# 2 验证手段不可用(缺 key 文件 / 拉不到 /api/v1/me / 子脚本缺失)
|
||
# → **不能**当成新版本坏了去回滚,release 只告警不回滚
|
||
#
|
||
# 用法:
|
||
# bash tests/live_check.sh # 三步都跑(key 默认 ~/ssw.txt)
|
||
# bash tests/live_check.sh ~/.keys/ipass.txt # 指定 key 文件
|
||
# bash tests/live_check.sh --models-only / --apix-only / --verify-only
|
||
# IPASS_LIVE_KEY_FILE=~/ssw.txt bash tests/live_check.sh
|
||
#
|
||
# Key 文件解析(踩过的坑):文件里常写成 `sk=<key>` 或带 `#` 注释行,
|
||
# **取整行会拿到 `sk=sk_xxx` → 全量 401**。这里统一:跳空行/注释 → 有 `=` 取
|
||
# 第一个 `=` 之后 → 去引号空白 → 只认 `sk_` 开头。⚠️ 全程不打印 Key 原文。
|
||
# ---------------------------------------------------------------------------
|
||
set -uo pipefail
|
||
|
||
HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
|
||
REPO=$(cd "$HERE/.." && pwd)
|
||
|
||
KEY_FILE="${IPASS_LIVE_KEY_FILE:-$HOME/ssw.txt}"
|
||
RUN_MODELS=1
|
||
RUN_APIX=1
|
||
RUN_VERIFY=1
|
||
|
||
while [ $# -gt 0 ]; do
|
||
case "$1" in
|
||
--models-only) RUN_APIX=0; RUN_VERIFY=0; shift ;;
|
||
--apix-only) RUN_MODELS=0; RUN_VERIFY=0; shift ;;
|
||
--verify-only) RUN_MODELS=0; RUN_APIX=0; shift ;;
|
||
-h|--help) sed -n '2,42p' "${BASH_SOURCE[0]}"; exit 0 ;;
|
||
-*) echo "✗ 未知参数:$1(用 -h 看用法)" >&2; exit 2 ;;
|
||
*) KEY_FILE="$1"; shift ;;
|
||
esac
|
||
done
|
||
|
||
TOTAL=$((RUN_MODELS + RUN_APIX + RUN_VERIFY))
|
||
|
||
# python3:优先隔离的托管运行时,其次系统的(与 tests/run.sh 同一套选择逻辑)
|
||
PY=""
|
||
for c in /Users/xs/.workbuddy/binaries/python/versions/3.13.12/bin/python3 python3; do
|
||
if command -v "$c" >/dev/null 2>&1; then PY="$c"; break; fi
|
||
done
|
||
[ -n "$PY" ] || { echo "✗ 找不到 python3(验证不可用)" >&2; exit 2; }
|
||
|
||
# 从 key 文件里挑出真正的 Key(见文件头注释:支持 `k=v` / 注释行 / 裸 key)
|
||
pick_key() {
|
||
awk '
|
||
/^[[:space:]]*#/ { next }
|
||
/^[[:space:]]*$/ { next }
|
||
{
|
||
line = $0
|
||
sub(/\r$/, "", line)
|
||
gsub(/^[[:space:]]+|[[:space:]]+$/, "", line)
|
||
if (index(line, "=") > 0) { line = substr(line, index(line, "=") + 1) }
|
||
gsub(/["'"'"']/, "", line)
|
||
if (line ~ /^sk_/) { print line; exit }
|
||
}' "$1"
|
||
}
|
||
|
||
# 聚合退出码:任一 1 → 1(回滚);否则任一 2 → 2(验证不可用,不回滚);否则 0
|
||
CODE=0
|
||
bump() { # bump <本次rc>
|
||
case "$1" in
|
||
1) CODE=1 ;;
|
||
2) [ "$CODE" != "1" ] && CODE=2 ;;
|
||
esac
|
||
}
|
||
step=0
|
||
KEY=""
|
||
|
||
# 要发真实请求的两步都得先有 Key —— 没有就是「验证不可用」(2),不是新版故障(1)
|
||
if [ "$RUN_MODELS" -eq 1 ] || [ "$RUN_APIX" -eq 1 ]; then
|
||
if [ ! -f "$KEY_FILE" ]; then
|
||
echo "✗ 找不到 Key 文件:${KEY_FILE}(验证不可用)"
|
||
echo " 传路径或用 IPASS_LIVE_KEY_FILE 指定;内容可以是裸 key 或 sk=<key>"
|
||
exit 2
|
||
fi
|
||
KEY="$(pick_key "$KEY_FILE")"
|
||
if [ -z "$KEY" ]; then
|
||
echo "✗ $KEY_FILE 里没解析到 Key(期望一行 sk_ 开头,或 sk=<key> 形式)"
|
||
exit 2
|
||
fi
|
||
fi
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 1/3 LLM 真实流量(目录驱动:/api/v1/me upstreams × models)
|
||
# ---------------------------------------------------------------------------
|
||
if [ "$RUN_MODELS" -eq 1 ]; then
|
||
step=$((step + 1))
|
||
echo "== $step/$TOTAL LLM 真实流量(test_models.py:目录全展开 × OpenAI/Anthropic) =="
|
||
rc=0; "$PY" "$HERE/test_models.py" "$KEY" --timeout 60 || rc=$?
|
||
bump "$rc"
|
||
[ "$rc" = "2" ] && echo " ! test_models 无法建立验证基线(目录拉不到)——不回滚,查 Key/网络"
|
||
echo
|
||
fi
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 2/3 apix 探针(目录驱动:/api/v1/me apix 条目)
|
||
# ---------------------------------------------------------------------------
|
||
if [ "$RUN_APIX" -eq 1 ]; then
|
||
step=$((step + 1))
|
||
echo "== $step/$TOTAL apix 探针(apix_check.py:vendor + passthrough) =="
|
||
rc=0; "$PY" "$HERE/apix_check.py" "$KEY" --timeout 40 || rc=$?
|
||
bump "$rc"
|
||
[ "$rc" = "2" ] && echo " ! apix_check 无法建立验证基线(目录拉不到)——不回滚,查 Key/网络"
|
||
echo
|
||
fi
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 3/3 正式环境验收
|
||
# ---------------------------------------------------------------------------
|
||
if [ "$RUN_VERIFY" -eq 1 ]; then
|
||
step=$((step + 1))
|
||
echo "== $step/$TOTAL 正式环境验收(deploy/agent.sh verify) =="
|
||
if [ ! -f "$REPO/.env" ]; then
|
||
echo "· 跳过:仓库根没有 .env(控制面凭据只从这里读)——验收不可用"
|
||
bump 2
|
||
else
|
||
rc=0; bash "$REPO/deploy/agent.sh" verify || rc=1
|
||
bump "$rc"
|
||
fi
|
||
echo
|
||
fi
|
||
|
||
case "$CODE" in
|
||
0) echo "✔ 上线后验证通过(如有 ⚠️ 为上游/厂商侧问题,已如实列出,不阻断)" ;;
|
||
1) echo "✗ 上线后验证发现网关侧故障(见上面 ❌)——release 将回滚镜像+恢复数据" ;;
|
||
2) echo "✗ 上线后验证不可用(缺 key/拉不到目录/无 .env)——**不能据此判新版故障**,release 不回滚" ;;
|
||
esac
|
||
exit $CODE
|