Files
ipass__ipass/deploy/agent.sh
T
admin 762d308745 test+deploy: 探针改目录驱动 + 三态判定 + 发版失败自动回滚(镜像+数据)
两件事:

1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。
   之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针
   要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models
   全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2
   (验证失效 ≠ 上游没问题,不许假绿)。
   三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据——
   智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版
   故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误)
   **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。
   live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。
   分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。

2) agent.sh release 改 4/4 步:验证失败不再停在原地——
   抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动
   POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后
   再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。
   ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」);
   新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替
   data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。
   restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。
   release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止
   (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11
   跑 §12.5 自更新。
   附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable,
   live_check A 路径实测炸出),统一 ${VAR}。

线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。
只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
2026-09-17 08:41:48 +08:00

536 lines
25 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env bash
# ---------------------------------------------------------------------------
# iPass 控制面(ipass-agent,见 readme §12.5)调用 + 正式环境验收。
#
# **存在的理由(重要,别再退回手敲 curl)**
# WorkBuddy/CodeBuddy 的安全策略里有一条:**「可疑的 bash 命令即使已加入
# permissions.allow 白名单,也需要手动批准」**(见内置文档 cli/security.md
# 「命令注入检测」)。含 `Authorization: Bearer …` / `. ./.env` / 从环境取
# 口令这类形态的命令正好命中——表现为**每次都弹「凭证授权」**,甚至在用户
# 拒绝时「命令静默无输出」,很容易被误判成服务故障(实测踩过:一次 /update
# 就是这样没发出去)。
#
# 结论:**凭据绝不能出现在命令行上**。本脚本把凭据只从仓库根 `.env` 读,
# 对外暴露的全是无凭据的子命令,于是只需放行这一条:
# "Bash(bash deploy/agent.sh:*)"
#
# 用法:
# bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
# bash deploy/agent.sh update [tag] # 完整更新(缺省用 .env 的 IPASS_IMAGE_TAG)
# bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
# bash deploy/agent.sh verify # 正式环境端到端验收(登录+拉页面+查规则)
# bash deploy/agent.sh release <tag> # 一条龙:构建推送 → 更新 → live_check 验证
# # → 网关侧故障自动回滚镜像 + 恢复数据备份
# ...(其余子命令见 help)
#
# 依赖:仓库根 `.env`(已 gitignore)。缺文件或变量为空时直接报错退出。
# ---------------------------------------------------------------------------
set -euo pipefail
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
ENV_FILE="${IPASS_ENV_FILE:-$ROOT/.env}"
if [ ! -f "$ENV_FILE" ]; then
echo "✗ 找不到 $ENV_FILE —— 控制面凭据只从这里读(见 CLAUDE.md §凭据与授权)" >&2
exit 2
fi
set -a
# shellcheck disable=SC1090
. "$ENV_FILE"
set +a
A="${IPASS_AGENT_HOST:-}"
TOKEN="${IPASS_AGENT_TOKEN:-}"
REGISTRY="${IPASS_REGISTRY:-}"
DEFAULT_TAG="${IPASS_IMAGE_TAG:-}"
# 正式环境对外入口(验收用):管理域名 + 宿主端口 + 直连 IP
LIVE_HOST="${IPASS_MDM_HOST:-mdm.mayishangshu.cn}"
LIVE_PORT="${IPASS_PUBLIC_PORT:-88}"
LIVE_IP="${IPASS_LIVE_IP:-192.168.1.11}"
if [ -z "$A" ] || [ -z "$TOKEN" ]; then
echo "✗ .env 缺少 IPASS_AGENT_HOST / IPASS_AGENT_TOKEN" >&2
exit 2
fi
PY="$(command -v python3 || true)"
pretty() { if [ -n "$PY" ]; then "$PY" -m json.tool 2>/dev/null || cat; else cat; fi; }
jget() { "$PY" -c "import json,sys;print(json.load(sys.stdin).get('$1',''))" 2>/dev/null || true; }
get() { curl -s -m "${TIMEOUT:-30}" -H "Authorization: Bearer $TOKEN" "$A$1"; }
post() { curl -s -m "${TIMEOUT:-60}" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d "${2:-{\}}" "$A$1"; }
# tag / 完整镜像名 → 完整镜像名;空 → .env 的 IPASS_IMAGE_TAG
resolve_image() {
local t="${1:-}"
[ -z "$t" ] && t="$DEFAULT_TAG"
[ -z "$t" ] && { echo "✗ 未给 tag,且 .env 的 IPASS_IMAGE_TAG 为空" >&2; exit 2; }
case "$t" in
*/*:*|*:* ) printf '%s' "$t" ;;
ipass-* ) printf '%s:%s' "$REGISTRY" "$t" ;;
* ) printf '%s:ipass-%s' "$REGISTRY" "$t" ;;
esac
}
# ---- 正式环境访问(域名解析直连 .11,绕开 DNS) -----------------------------
# 全部在这里做,命令行里不出现任何凭据。
live_curl() { curl -sk -m "${TIMEOUT:-20}" --resolve "$LIVE_HOST:$LIVE_PORT:$LIVE_IP" "$@"; }
# 登录拿会话 cookie,写入 $1
live_login() {
local jar="$1" body code
body="$("$PY" - "$IPASS_ADMIN_USER" "$IPASS_ADMIN_PASSWORD" <<'PY'
import json, sys
print(json.dumps({"username": sys.argv[1], "password": sys.argv[2]}))
PY
)"
code="$(live_curl -o /dev/null -w '%{http_code}' -c "$jar" \
-H 'Content-Type: application/json' -d "$body" \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/login")"
[ "$code" = "200" ]
}
cmd_wait() {
local id="$1" i j state=""
for i in $(seq 1 120); do
j="$(get "/jobs/$id?offset=0")"
state="$(printf '%s' "$j" | jget state)"
case "$state" in done|failed|error|cancelled) break ;; esac
sleep 1
done
if [ -n "$PY" ] && [ -n "$j" ]; then
printf '%s' "$j" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
print("state:", d.get("state"))
lg = d.get("log") or d.get("output") or []
if isinstance(lg, str):
lg = lg.splitlines()
for line in lg[-35:]:
print(line)
'
else
printf '%s\n' "$j"
fi
[ "$state" = "done" ]
}
# 正式环境验收:镜像对不对 + 新代码真的在线上跑(页面标记 + 接口下发)
cmd_verify() {
local jar rc=0 img dig
jar="$(mktemp -t ipass-live.XXXXXX)"
img="$(get /status | jget image)"
dig="$(get /status | jget digest)"
echo "· 镜像: $img"
echo "· digest: ${dig##*@}"
# 0) 默认 tag 漂移告警:.env 的 IPASS_IMAGE_TAG 落后于线上时,
# 裸 `update`(不带 tag)会**静默降级**回旧镜像 —— 只提示,不判失败。
# 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点。
if [ -z "$DEFAULT_TAG" ]; then
echo " ! .env 未设 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(须显式传)"
elif [ "$img" = "${REGISTRY}:${DEFAULT_TAG}" ] || [ "$img" = "$DEFAULT_TAG" ]; then
echo " ✓ .env 默认 tag 与线上一致(${DEFAULT_TAG})"
else
echo " ! .env 的 IPASS_IMAGE_TAG=$DEFAULT_TAG 落后于线上(${img##*:})"
echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 请把 .env 同步成 ${img##*:}"
fi
echo "· 登录 ${LIVE_HOST}:${LIVE_PORT}(-> ${LIVE_IP})"
if ! live_login "$jar"; then
echo " ✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; return 1
fi
echo " ✓ 登录 200"
# 1) 管理台页面:多页拆分 + 图表(这两条都是本轮改动)
local html
html="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/admin")"
local m
for m in 'assets/admin.css' 'assets/chart.js' 'statTokToday'; do
if printf '%s' "$html" | grep -qF -- "$m"; then
echo " ✓ 页面含「${m}」"
else
echo " ✗ 页面缺「${m}」—— 镜像可能没真正换新"; rc=1
fi
done
# 2) 接口下发子域名规则(后端常量真的生效)
local rule
rule="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/domains" \
| "$PY" -c 'import json,sys;d=json.load(sys.stdin);print(json.dumps((d.get("data") or {}).get("subdomain_rule"),ensure_ascii=False))' 2>/dev/null || echo '')"
echo " · subdomain_rule = $rule"
case "$rule" in
*'"suffix": "dm"'*|*'"suffix":"dm"'*) echo " ✓ 规则后缀 = dm" ;;
*) echo " ✗ 规则未下发或后缀不对"; rc=1 ;;
esac
# 3) 趋势接口(日桶):新代码在跑的直接证据——旧镜像没有这个路由
local labels
labels="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/trend?days=7" \
| "$PY" -c 'import json,sys
d=(json.load(sys.stdin).get("data") or {})
print(len(d.get("labels") or []))' 2>/dev/null || echo '')"
if [ "$labels" = "7" ]; then
echo " ✓ 趋势接口返回 7 天序列"
else
echo " ✗ 趋势接口异常(labels=${labels:-空})—— 镜像可能没真正换新"; rc=1
fi
# 4) 上游账号级负载(1.0.14 新增):投影里出现 accounts[].load = 新代码在跑。
# 1.0.14 起**单 auth 的旧记录也会被合成为一条 account**,所以只要有任一上游记录,
# 新镜像必定返回该字段;旧镜像返回的 items 里根本没有 accounts 键 —— 新旧可分。
# 只验「字段在不在」不验数值(线上未必有流量)。三态避免「空库」时假失败。
local acct
acct="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams" \
| "$PY" -c 'import json,sys
d = json.load(sys.stdin).get("data") or {}
items = d.get("items") or [] if isinstance(d, dict) else (d if isinstance(d, list) else [])
if not items:
print("noupstream"); sys.exit(0)
for u in items:
for a in (u.get("accounts") or []):
if isinstance(a.get("load"), dict) and "requests" in a["load"]:
print("ok"); sys.exit(0)
print("old")' 2>/dev/null || echo '')"
case "$acct" in
ok) echo " ✓ 上游带账号级负载字段(accounts[].load)" ;;
noupstream) echo " · 线上没有任何上游,跳过账号负载证据(不判失败)" ;;
*) echo " ✗ 上游接口缺 accounts[].load —— 镜像可能没真正换新"; rc=1 ;;
esac
rm -f "$jar"
if [ "$rc" = "0" ]; then echo "✔ 正式环境验收通过"; else echo "✗ 正式环境验收未通过"; fi
return $rc
}
# 上游诊断(排障多账号路由 / 额度切换):登录管理台拉完整投影,
# 逐账号打印 **Authorization 掩码** / 冷却 / 重置周期 / 今日负载。
# 掩码为空会显式标 `**空**`——「配了 Key 却 401」最常见的原因就是它。
# ⚠️ 只回掩码(模块的 view() 本来也不回真值),真 Key 永不出容器。
cmd_upstreams() {
local jar json
jar="$(mktemp -t ipass-up.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; return 1
fi
json="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$json"; return 0; fi
printf '%s' "$json" | "$PY" -c '
import json, sys
d = json.load(sys.stdin).get("data") or {}
items = d.get("items") or [] if isinstance(d, dict) else (d if isinstance(d, list) else [])
if not items:
print("(线上没有任何上游)"); raise SystemExit(0)
for u in items:
accts = u.get("accounts") or []
print("%s base=%s enabled=%s 账号=%d" % (
u.get("slot"), u.get("base"), u.get("enabled"), len(accts)))
if not accts:
print(" (无账号 —— 转发时不会带 Authorization 头)")
for a in accts:
ld = a.get("load") or {}
m = a.get("auth_mask")
if not m or m == "-":
m = "**空** (转发不带 Authorization 头 → 上游报鉴权错)"
print(" #%s Authorization=%s%s resets=%s 今日 %s 请求 / 入 %s / 出 %s%s" % (
a.get("idx"), m,
" [冷却中]" if a.get("cooled") else "",
a.get("resets_text") or "-",
ld.get("requests", 0), ld.get("tokens_in", 0), ld.get("tokens_out", 0),
(" 耗尽%s" % ld["exhausts"]) if ld.get("exhausts") else ""))
'
}
# 上游连通性测试(不靠管理台浏览器):登录后调 /api/admin/upstreams/test,
# 把上游真实响应的 code / 关键错误体打出来。比点面板按钮的「测试」多两个价值:
# ① agent 自动化可调;② 出错时直接看厂商原话(不用肉眼对截图 OCR)。
# 用法:bash deploy/agent.sh upstream-test minimax
cmd_upstream_test() {
local slot="$1" jar code body tmp
jar="$(mktemp -t ipass-uptest.XXXXXX)"
tmp="$(mktemp -t ipass-uptest-body.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar" "$tmp"; return 1
fi
# 测试接口是 internal_redirect 到上游真实接口,返回体=上游原始响应,
# 状态码在 HTTP 状态行(不在 JSON 体里),所以单独用 -w 抓。
code="$(live_curl -b "$jar" -H 'Content-Type: application/json' \
-d "{\"slot\":\"$slot\"}" \
-o "$tmp" -w '%{http_code}' \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test")"
body="$(cat "$tmp" 2>/dev/null)"
rm -f "$jar" "$tmp"
echo " 上游 HTTP $code"
if [ -n "$body" ]; then
if [ -n "$PY" ]; then
printf '%s' "$body" | "$PY" -c '
import sys,json
b=sys.stdin.read()
try:
d=json.loads(b)
s=json.dumps(d, ensure_ascii=False)
print(" body:", s[:400] + ("…" if len(s)>400 else ""))
except Exception:
print(" body:", b[:400] + ("…" if len(b)>400 else ""))
'
else
echo " body: ${body:0:400}"
fi
fi
}
# 统计落盘/恢复状态(1.0.18+)。登录后读 /api/admin/stats/persist。
#
# 为什么值得有:这是「发版后统计还在不在」的唯一线上观测口。
# file_keys ≈ live_keys → 落盘正常(周期落盘在跑)
# file_keys 远小于 live_keys → 周期落盘没跑(查 interval_secs / last_dump_text)
# restored_keys / restore_total → 上次启动恢复情况(不等 = 有键被跳过)
# 首版没有历史快照时 file_exists=false、全都 0,属正常(跑一次 stats-dump 即可造出来)。
# 用法:bash deploy/agent.sh stats-persist
cmd_stats_persist() {
local jar
jar="$(mktemp -t ipass-stats.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
local body
body="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/stats/persist")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$body"; return 0; fi
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
# 统一响应体是 {code,msg,data},成功码 = 200(见 core http::ok)
if d.get("code") not in (200, "200", 0, "0"):
print(" ✗", d.get("msg")); sys.exit(1)
x = d.get("data") or {}
fk, lk = x.get("file_keys", 0), x.get("live_keys", 0)
print(" 快照文件 : %s%s" % (x.get("file") or "-",
"(%s B)" % x.get("file_bytes", 0) if x.get("file_exists") else "(不存在)"))
print(" 落盘间隔 : %s 秒%s" % (x.get("interval_secs"),
"(0=只靠退出钩子)" if x.get("interval_secs") == 0 else ""))
print(" 上次落盘 : %s" % (x.get("last_dump_text") or "(还没落过盘)"))
print(" 键数 : 快照 %d / 内存 %d%s" % (fk, lk,
"" if fk and lk and fk == lk else " <-- 两者长期不等要查原因"))
print(" 上次恢复 : %s(%s/%s 键)" % (x.get("restored_at") and "有" or "无",
x.get("restored_keys", 0), x.get("restore_total", 0)))
if not x.get("file_exists"):
print(" · 提示:尚无快照 —— 跑 `bash deploy/agent.sh stats-dump` 立即造一份")
'
}
# 立刻落盘一次(POST /api/admin/stats/dump),并回读状态确认文件真的写了。
# 用来在不重启、不等 60 秒周期的情况下验证落盘链路。
# 用法:bash deploy/agent.sh stats-dump
cmd_stats_dump() {
local jar body
jar="$(mktemp -t ipass-dump.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
body="$(live_curl -b "$jar" -X POST "https://$LIVE_HOST:$LIVE_PORT/api/admin/stats/dump")"
rm -f "$jar"
if [ -n "$PY" ]; then
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
if d.get("code") not in (200, "200", 0, "0"):
print(" ✗ 落盘失败:", d.get("msg")); sys.exit(1)
print(" ✓ 已落盘 %s 键(%s)" % ((d.get("data") or {}).get("keys", "?"), d.get("msg", "")))
' || return 1
else
printf '%s\n' "$body"
fi
echo " · 回读状态:"
cmd_stats_persist
}
# 直连网关改单条上游的 base / base_anthropic(不碰 auth/models/enabled)。
# 用例:双协议地址改造后,把智谱/阿里这类「OpenAI 与 Anthropic 路径段不同」的
# 上游的 Anthropic 地址显式写进去。凭据只从 .env 读,命令行不出现 key。
cmd_upstream_save() {
local jar slot base ba
slot="${1:-}"; base="${2:-}"; ba="${3:-}"
[ -n "$slot" ] && [ -n "$base" ] || {
echo "用法: bash deploy/agent.sh upstream-save <slot> <base> <base_anthropic>" >&2
echo " 例: bash deploy/agent.sh upstream-save glm \\" >&2
echo " 'https://open.bigmodel.cn/api/coding/paas/v4' \\" >&2
echo " 'https://open.bigmodel.cn/api/anthropic'" >&2
exit 2
}
jar="$(mktemp -t ipass-live.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; exit 1
fi
echo "· 保存 $slot (auth/models/enabled 保持原值)"
echo " base = $base"
echo " base_anthropic= $ba"
live_curl -b "$jar" -X POST \
-H 'Content-Type: application/x-www-form-urlencoded' \
--data-urlencode "slot=$slot" \
--data-urlencode "base=$base" \
--data-urlencode "base_anthropic=$ba" \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/save" | pretty
rm -f "$jar"
}
CMD="${1:-}"; shift || true
case "$CMD" in
status|check|health) get "/$CMD" | pretty ;;
containers) get "/containers" | pretty ;;
logs) get "/logs?tail=${1:-200}" ;;
jobs) get "/jobs?limit=${1:-5}" | pretty ;;
job) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh job <job-id> [offset]" >&2; exit 2; }
get "/jobs/$1?offset=${2:-0}" | pretty ;;
data) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh data users|domains|upstreams" >&2; exit 2; }
get "/data?file=$1" | pretty ;;
upstreams) cmd_upstreams ;;
upstream-test) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh upstream-test <slot>" >&2; exit 2; }
cmd_upstream_test "$1" ;;
upstream-save) cmd_upstream_save "${1:-}" "${2:-}" "${3:-}" ;;
stats-persist) cmd_stats_persist ;;
stats-dump) cmd_stats_dump ;;
pull) IMG="$(resolve_image "${1:-}")"; echo "· 拉取 $IMG"
post "/pull" "{\"image\":\"$IMG\"}" | pretty ;;
update) IMG="$(resolve_image "${1:-}")"; echo "· 更新到 $IMG"
post "/update" "{\"image\":\"$IMG\"}" | pretty ;;
wait) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh wait <job-id>" >&2; exit 2; }
cmd_wait "$1" ;;
verify) cmd_verify ;;
rollback) # 第二参给备份 tar 路径(.11 上 ~/ipass/backup/ 下)→ 回滚镜像同时恢复数据
if [ -n "${2:-}" ]; then
post "/rollback" "{\"tag\":\"$1\",\"restore_backup\":\"$2\"}" | pretty
elif [ -n "${1:-}" ]; then
post "/rollback" "{\"tag\":\"$1\"}" | pretty
else
post "/rollback" '{}' | pretty
fi ;;
restart) post "/restart" '{}' | pretty ;;
raw) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh raw GET /check" >&2; exit 2; }
get "$2" | pretty ;;
release)
TAG="${1:-}"
[ -n "$TAG" ] || { echo "用法: bash deploy/agent.sh release 1.0.7" >&2; exit 2; }
IMG="$(resolve_image "$TAG")"
# ---- 控制面版本闸门:自动回滚依赖 restore_backup + rollback 自动拉镜像,
# 这两条是 ipass-agent 1.0.2 加的。旧控制面会**静默忽略** restore_backup ——
# 真出故障时就回不了数据,必须开跑前说清楚。
AGENT_VER="$(get /health | jget version)"
if [ -z "$AGENT_VER" ] || [ "$(printf '%s\n1.0.2\n' "$AGENT_VER" | sort -V | head -1)" != "1.0.2" ]; then
echo "! 控制面版本 ${AGENT_VER:-未知} < 1.0.2:验证失败时将无法自动恢复数据。"
echo " 先在 .11 上跑一次自更新(readme §12.5)再继续发版。"
[ "${IPASS_FORCE_RELEASE:-}" = "1" ] || { echo "✗ 中止(确认要跳过闸门:IPASS_FORCE_RELEASE=1 重跑)" >&2; exit 3; }
fi
# ---- 回滚目标的两个要素,**动手前先抓**:
# 1) 当前线上镜像(release 同版本重发时 PRE_IMG==IMG,回滚无意义要提醒)
# 2) update job 结果里的数据备份路径(验证失败时连数据一起恢复——
# 故障版本可能已把污染写穿 shm→data,只回镜像不回数据,旧版会读坏数据)
PRE_IMG="$(get /status | jget image)"
echo "· 回滚目标:镜像 ${PRE_IMG:-(未知)}"
echo "== 1/4 构建并推送 $IMG =="
bash "$ROOT/deploy/release.sh" "${TAG#ipass-}"
echo
echo "== 2/4 更新正式环境 =="
JOB="$(post "/update" "{\"image\":\"$IMG\"}" | jget job)"
[ -n "$JOB" ] || { echo "✗ 未拿到 job id" >&2; exit 1; }
echo "· job = $JOB"
if ! cmd_wait "$JOB"; then
echo "✗ 更新任务未成功(容器还没换成新镜像,无需回滚)" >&2
exit 1
fi
BACKUP="$(get "/jobs/$JOB" | "$PY" -c 'import json,sys;print((json.load(sys.stdin).get("result") or {}).get("backup") or "")' 2>/dev/null || true)"
echo "· 数据备份 = ${BACKUP:-(未记录!回滚时无法恢复数据)}"
echo
echo "== 3/4 发版后验证(live_check:LLM 真实流量 + apix 探针 + 环境验收) =="
# 退出码约定(与 tests/live_check.sh 一致):
# 0=通过;1=网关侧故障(要回滚);2=验证手段本身不可用(缺 key/拉不到目录,
# **不能**当成新版本坏了去回滚——盲目回滚比带病观察更危险)
LIVE_RC=0
bash "$ROOT/tests/live_check.sh" || LIVE_RC=$?
if [ "$LIVE_RC" = "2" ]; then
echo "⚠ 验证不可用(退出码 2)——**不回滚**,但发版未确认成功。"
echo " 请修好验证入口(key 文件 / 网络)后手动:bash tests/live_check.sh"
exit 2
fi
if [ "$LIVE_RC" != "0" ]; then
echo
echo "== 4/4 ✗ 验证失败 → 自动回滚 =="
if [ -z "$PRE_IMG" ]; then
echo "✗ 拿不到回滚目标镜像(release 前 /status 就没返回 image),不敢自动回滚。"
echo " 人工处理:bash deploy/agent.sh rollback <上一版完整镜像名>,数据备份 ${BACKUP:-无}"
exit 1
fi
if [ "$PRE_IMG" = "$IMG" ]; then
echo "✗ 线上镜像与本次目标相同(同版本重发),回滚无意义——问题不在这次发布动作,"
echo " 按上面失败项人工排查(配置/数据/外部依赖)。"
exit 1
fi
RB_ARGS="{\"tag\":\"$PRE_IMG\""
[ -n "$BACKUP" ] && RB_ARGS="$RB_ARGS,\"restore_backup\":\"$BACKUP\""
[ -n "$BACKUP" ] || echo " ! 无备份路径:只回滚镜像、不恢复数据(污染可能残留)"
RB_JOB="$(post "/rollback" "$RB_ARGS" | jget job)"
[ -n "$RB_JOB" ] || { echo "✗ 回滚任务未启动" >&2; exit 1; }
echo "· 回滚 job = ${RB_JOB}(镜像 -> ${PRE_IMG}${BACKUP:+,数据 <- $BACKUP})"
cmd_wait "$RB_JOB" || { echo "✗✗ 回滚任务本身失败!立刻人工上 .11 处理" >&2; exit 1; }
echo
echo "· 回滚后自检(环境验收):"
if cmd_verify; then
echo "✔ 已回滚到 ${PRE_IMG},验收通过。发版判定:失败(新版本未上线,线上恢复旧版)。"
else
echo "✗✗ 回滚后验收仍不过!立刻人工上 .11 处理(数据备份:${BACKUP:-无})"
fi
exit 1
fi
echo
echo "== 4/4 验证通过,无需回滚 =="
echo "✔ 发版成功:${IMG}(回滚快照保留在 $PRE_IMG / ${BACKUP:-无备份})"
;;
*)
cat <<'USAGE'
iPass 控制面包装(凭据只从 .env 读,命令行里不出现任何 key)
状态与信息
bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
bash deploy/agent.sh containers # 所有容器(标出受管容器)
bash deploy/agent.sh logs [tail] # 受管容器日志
bash deploy/agent.sh data users|domains|upstreams
bash deploy/agent.sh upstreams # 上游排障:逐账号掩码/冷却/今日负载
bash deploy/agent.sh upstream-test <slot> # 上游连通性:调测试接口并打印厂商真实响应
bash deploy/agent.sh upstream-save <slot> <base> <base_anthropic> # 直连网关改双协议地址
bash deploy/agent.sh stats-persist # 统计落盘状态(快照/内存键数、上次恢复)
bash deploy/agent.sh stats-dump # 立即落盘一次并回读状态
变更
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 .env 的 IPASS_IMAGE_TAG)
bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
bash deploy/agent.sh rollback [tag] [备份tar] # 回滚;带 .11 上 ~/ipass/backup/*.tar.gz 时同时恢复数据
bash deploy/agent.sh restart # 只重启
bash deploy/agent.sh pull [tag] # 只拉镜像
发版一条龙(构建推送 → 更新 → 发版后验证 → 失败自动回滚镜像+恢复数据)
bash deploy/agent.sh release 1.0.7
正式环境验收
bash deploy/agent.sh verify # 登录 + 拉页面标记 + 查 subdomain_rule
任务
bash deploy/agent.sh jobs [limit]
bash deploy/agent.sh job <id> [offset]
bash deploy/agent.sh raw GET /check
传 1.0.6 / ipass-1.0.6 / 完整镜像名 均可。
USAGE
[ -n "$CMD" ] && exit 2 || exit 0 ;;
esac