Files
ipass__ipass/deploy/agent.sh
T
admin 7b83646369 chore(deploy): cmd_upstreams 耗尽判定回显改用单数键 exhaust_status
view() 的字段名是 exhaust_status,之前 cmd_upstreams 拼成 exhaust_statuses,
导致所有 slot 的 markers/statuses 都显示成「-」假空——排查 minimax 整池冷却
事故时,这条假空线索让 agent 视角看不到「默认 [402,429,403]」才是真凶。

只动 agent.sh 显示拼装,不影响二进制行为;以后 cmd_upstreams 现在能如实回显
任何 slot 的 effective 状态码 + marker 列表(配合 mark_exhausted / read_upe 的
实义),便于定位误标事故的第一现场。
2026-09-18 12:10:55 +08:00

589 lines
28 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env bash
# ---------------------------------------------------------------------------
# iPass 控制面(ipass-agent,见 readme §12.5)调用 + 正式环境验收。
#
# **存在的理由(重要,别再退回手敲 curl)**
# WorkBuddy/CodeBuddy 的安全策略里有一条:**「可疑的 bash 命令即使已加入
# permissions.allow 白名单,也需要手动批准」**(见内置文档 cli/security.md
# 「命令注入检测」)。含 `Authorization: Bearer …` / `. ./.env` / 从环境取
# 口令这类形态的命令正好命中——表现为**每次都弹「凭证授权」**,甚至在用户
# 拒绝时「命令静默无输出」,很容易被误判成服务故障(实测踩过:一次 /update
# 就是这样没发出去)。
#
# 结论:**凭据绝不能出现在命令行上**。本脚本把凭据只从仓库根 `.env` 读,
# 对外暴露的全是无凭据的子命令,于是只需放行这一条:
# "Bash(bash deploy/agent.sh:*)"
#
# 用法:
# bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
# bash deploy/agent.sh update [tag] # 完整更新(缺省用 deploy/image.conf 的 IPASS_IMAGE_TAG)
# bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
# bash deploy/agent.sh verify # 正式环境端到端验收(登录+拉页面+查规则)
# bash deploy/agent.sh release <tag> # 一条龙:构建推送 → 更新 → live_check 验证
# # → 网关侧故障自动回滚镜像 + 恢复数据备份
# ...(其余子命令见 help)
#
# 依赖:仓库根 `.env`(已 gitignore)。缺文件或变量为空时直接报错退出。
# ---------------------------------------------------------------------------
set -euo pipefail
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
ENV_FILE="${IPASS_ENV_FILE:-$ROOT/.env}"
if [ ! -f "$ENV_FILE" ]; then
echo "✗ 找不到 $ENV_FILE —— 控制面凭据只从这里读(见 CLAUDE.md §凭据与授权)" >&2
exit 2
fi
set -a
# shellcheck disable=SC1090
. "$ENV_FILE"
set +a
A="${IPASS_AGENT_HOST:-}"
TOKEN="${IPASS_AGENT_TOKEN:-}"
REGISTRY="${IPASS_REGISTRY:-}"
# 线上默认 tag:非秘密,放仓库文件 deploy/image.conf(release 成功后自动回写并提交)。
# .env 的 IPASS_IMAGE_TAG 仅作临时覆盖。此前靠人肉同步 .env,出过两次事故形态:
# 「发完忘同步 → 裸 update 静默降级回旧镜像」和「.env 注释掉 → 裸 update 直接没缺省」。
TAG_FILE="$ROOT/deploy/image.conf"
FILE_TAG=""
if [ -f "$TAG_FILE" ]; then
FILE_TAG="$(sed -n 's/^[[:space:]]*IPASS_IMAGE_TAG=//p' "$TAG_FILE" | head -1 | tr -d "\"'" | tr -d '[:space:]')"
fi
DEFAULT_TAG="${IPASS_IMAGE_TAG:-$FILE_TAG}"
# 正式环境对外入口(验收用):管理域名 + 宿主端口 + 直连 IP
LIVE_HOST="${IPASS_MDM_HOST:-mdm.mayishangshu.cn}"
LIVE_PORT="${IPASS_PUBLIC_PORT:-88}"
LIVE_IP="${IPASS_LIVE_IP:-192.168.1.11}"
if [ -z "$A" ] || [ -z "$TOKEN" ]; then
echo "✗ .env 缺少 IPASS_AGENT_HOST / IPASS_AGENT_TOKEN" >&2
exit 2
fi
PY="$(command -v python3 || true)"
pretty() { if [ -n "$PY" ]; then "$PY" -m json.tool 2>/dev/null || cat; else cat; fi; }
jget() { "$PY" -c "import json,sys;print(json.load(sys.stdin).get('$1',''))" 2>/dev/null || true; }
get() { curl -s -m "${TIMEOUT:-30}" -H "Authorization: Bearer $TOKEN" "$A$1"; }
post() { curl -s -m "${TIMEOUT:-60}" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d "${2:-{\}}" "$A$1"; }
# tag / 完整镜像名 → 完整镜像名;空 → deploy/image.conf 的 IPASS_IMAGE_TAG(.env 可临时覆盖)
resolve_image() {
local t="${1:-}"
[ -z "$t" ] && t="$DEFAULT_TAG"
[ -z "$t" ] && { echo "✗ 未给 tag,且 deploy/image.conf 没有 IPASS_IMAGE_TAG(跑一次 release 会自动写入)" >&2; exit 2; }
case "$t" in
*/*:*|*:* ) printf '%s' "$t" ;;
ipass-* ) printf '%s:%s' "$REGISTRY" "$t" ;;
* ) printf '%s:ipass-%s' "$REGISTRY" "$t" ;;
esac
}
# ---- 正式环境访问(域名解析直连 .11,绕开 DNS) -----------------------------
# 全部在这里做,命令行里不出现任何凭据。
live_curl() { curl -sk -m "${TIMEOUT:-20}" --resolve "$LIVE_HOST:$LIVE_PORT:$LIVE_IP" "$@"; }
# 登录拿会话 cookie,写入 $1
live_login() {
local jar="$1" body code
body="$("$PY" - "$IPASS_ADMIN_USER" "$IPASS_ADMIN_PASSWORD" <<'PY'
import json, sys
print(json.dumps({"username": sys.argv[1], "password": sys.argv[2]}))
PY
)"
code="$(live_curl -o /dev/null -w '%{http_code}' -c "$jar" \
-H 'Content-Type: application/json' -d "$body" \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/login")"
[ "$code" = "200" ]
}
cmd_wait() {
local id="$1" i j state=""
for i in $(seq 1 120); do
j="$(get "/jobs/$id?offset=0")"
state="$(printf '%s' "$j" | jget state)"
case "$state" in done|failed|error|cancelled) break ;; esac
sleep 1
done
if [ -n "$PY" ] && [ -n "$j" ]; then
printf '%s' "$j" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
print("state:", d.get("state"))
lg = d.get("log") or d.get("output") or []
if isinstance(lg, str):
lg = lg.splitlines()
for line in lg[-35:]:
print(line)
'
else
printf '%s\n' "$j"
fi
[ "$state" = "done" ]
}
# 正式环境验收:镜像对不对 + 新代码真的在线上跑(页面标记 + 接口下发)
cmd_verify() {
local jar rc=0 img dig
jar="$(mktemp -t ipass-live.XXXXXX)"
img="$(get /status | jget image)"
dig="$(get /status | jget digest)"
echo "· 镜像: $img"
echo "· digest: ${dig##*@}"
# 0) 默认 tag 漂移告警:deploy/image.conf 落后于线上时,
# 裸 `update`(不带 tag)会**静默降级**回旧镜像 —— 只提示,不判失败。
# 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点(正常情况下
# release 成功尾部已自动回写,这里应当恒绿;报 ! 说明 release 中途失败过)。
if [ -z "$DEFAULT_TAG" ]; then
echo " ! deploy/image.conf 无 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(跑一次 release 会自动写入)"
elif [ "$img" = "${REGISTRY}:${DEFAULT_TAG}" ] || [ "$img" = "$DEFAULT_TAG" ]; then
echo " ✓ 默认 tag 与线上一致(${DEFAULT_TAG})"
else
echo " ! 默认 tag(deploy/image.conf 或 .env 覆盖)= $DEFAULT_TAG 落后于线上(${img##*:})"
echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 检查 release 是否中途失败未回写"
fi
echo "· 登录 ${LIVE_HOST}:${LIVE_PORT}(-> ${LIVE_IP})"
if ! live_login "$jar"; then
echo " ✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; return 1
fi
echo " ✓ 登录 200"
# 1) 管理台页面:多页拆分 + 图表(这两条都是本轮改动)
local html
html="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/admin")"
local m
for m in 'assets/admin.css' 'assets/chart.js' 'statTokToday'; do
if printf '%s' "$html" | grep -qF -- "$m"; then
echo " ✓ 页面含「${m}」"
else
echo " ✗ 页面缺「${m}」—— 镜像可能没真正换新"; rc=1
fi
done
# 2) 接口下发子域名规则(后端常量真的生效)
local rule
rule="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/domains" \
| "$PY" -c 'import json,sys;d=json.load(sys.stdin);print(json.dumps((d.get("data") or {}).get("subdomain_rule"),ensure_ascii=False))' 2>/dev/null || echo '')"
echo " · subdomain_rule = $rule"
case "$rule" in
*'"suffix": "dm"'*|*'"suffix":"dm"'*) echo " ✓ 规则后缀 = dm" ;;
*) echo " ✗ 规则未下发或后缀不对"; rc=1 ;;
esac
# 3) 趋势接口(日桶):新代码在跑的直接证据——旧镜像没有这个路由
local labels
labels="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/trend?days=7" \
| "$PY" -c 'import json,sys
d=(json.load(sys.stdin).get("data") or {})
print(len(d.get("labels") or []))' 2>/dev/null || echo '')"
if [ "$labels" = "7" ]; then
echo " ✓ 趋势接口返回 7 天序列"
else
echo " ✗ 趋势接口异常(labels=${labels:-空})—— 镜像可能没真正换新"; rc=1
fi
# 4) 上游账号级负载(1.0.14 新增):投影里出现 accounts[].load = 新代码在跑。
# 1.0.14 起**单 auth 的旧记录也会被合成为一条 account**,所以只要有任一上游记录,
# 新镜像必定返回该字段;旧镜像返回的 items 里根本没有 accounts 键 —— 新旧可分。
# 只验「字段在不在」不验数值(线上未必有流量)。三态避免「空库」时假失败。
local acct
acct="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams" \
| "$PY" -c 'import json,sys
d = json.load(sys.stdin).get("data") or {}
items = d.get("items") or [] if isinstance(d, dict) else (d if isinstance(d, list) else [])
if not items:
print("noupstream"); sys.exit(0)
for u in items:
for a in (u.get("accounts") or []):
if isinstance(a.get("load"), dict) and "requests" in a["load"]:
print("ok"); sys.exit(0)
print("old")' 2>/dev/null || echo '')"
case "$acct" in
ok) echo " ✓ 上游带账号级负载字段(accounts[].load)" ;;
noupstream) echo " · 线上没有任何上游,跳过账号负载证据(不判失败)" ;;
*) echo " ✗ 上游接口缺 accounts[].load —— 镜像可能没真正换新"; rc=1 ;;
esac
rm -f "$jar"
if [ "$rc" = "0" ]; then echo "✔ 正式环境验收通过"; else echo "✗ 正式环境验收未通过"; fi
return $rc
}
# 上游诊断(排障多账号路由 / 额度切换):登录管理台拉完整投影,
# 逐账号打印 **Authorization 掩码** / 冷却 / 重置周期 / 今日负载。
# 掩码为空会显式标 `**空**`——「配了 Key 却 401」最常见的原因就是它。
# ⚠️ 只回掩码(模块的 view() 本来也不回真值),真 Key 永不出容器。
cmd_upstreams() {
local jar json
jar="$(mktemp -t ipass-up.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; return 1
fi
json="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$json"; return 0; fi
printf '%s' "$json" | "$PY" -c '
import json, sys
d = json.load(sys.stdin).get("data") or {}
items = d.get("items") or [] if isinstance(d, dict) else (d if isinstance(d, list) else [])
if not items:
print("(线上没有任何上游)"); raise SystemExit(0)
for u in items:
accts = u.get("accounts") or []
print("%s base=%s enabled=%s 账号=%d" % (
u.get("slot"), u.get("base"), u.get("enabled"), len(accts)))
# 耗尽判定配置(误标排查第一现场:请求级错误码混进 markers 会把好账号点进冷却)
print(" 耗尽判定 statuses=%s markers=%s" % (
",".join(str(s) for s in (u.get("exhaust_status") or [])) or "-",
" | ".join(u.get("exhaust_markers") or []) or "-"))
if not accts:
print(" (无账号 —— 转发时不会带 Authorization 头)")
for a in accts:
ld = a.get("load") or {}
m = a.get("auth_mask")
if not m or m == "-":
m = "**空** (转发不带 Authorization 头 → 上游报鉴权错)"
print(" #%s Authorization=%s%s resets=%s 今日 %s 请求 / 入 %s / 出 %s%s" % (
a.get("idx"), m,
" [冷却中]" if a.get("cooled") else "",
a.get("resets_text") or "-",
ld.get("requests", 0), ld.get("tokens_in", 0), ld.get("tokens_out", 0),
(" 耗尽%s" % ld["exhausts"]) if ld.get("exhausts") else ""))
'
}
# 上游连通性测试(不靠管理台浏览器):登录后调 /api/admin/upstreams/test,
# 把上游真实响应的 code / 关键错误体打出来。比点面板按钮的「测试」多两个价值:
# ① agent 自动化可调;② 出错时直接看厂商原话(不用肉眼对截图 OCR)。
# 用法:bash deploy/agent.sh upstream-test minimax
cmd_upstream_test() {
local slot="$1" jar code body tmp
jar="$(mktemp -t ipass-uptest.XXXXXX)"
tmp="$(mktemp -t ipass-uptest-body.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar" "$tmp"; return 1
fi
# 测试接口是 internal_redirect 到上游真实接口,返回体=上游原始响应,
# 状态码在 HTTP 状态行(不在 JSON 体里),所以单独用 -w 抓。
# ⚠️ 探测体必须与面板同款(slot 走 query + body 用**第一个登记模型**):
# 1.1.1 起探测体原样转发给厂商,空体/假模型会被严格校验的厂商拒
# (minimax 2013 unknown model 事故同款),拿着假失败去排障。
local model
model="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams" | "$PY" -c '
import json, sys
try:
items = json.load(sys.stdin)["data"]["items"]
except Exception:
sys.exit(0)
for u in items:
if u.get("slot") == sys.argv[1]:
ms = u.get("models") or []
if ms:
print(ms[0])
break
' "$slot" 2>/dev/null)"
if [ -z "$model" ]; then
echo "✗ 上游 $slot 不存在或没有登记模型(探测体没法拼)"
rm -f "$jar" "$tmp"
return 1
fi
code="$(live_curl -b "$jar" -H 'Content-Type: application/json' \
-d "{\"model\":\"$model\",\"max_tokens\":1,\"stream\":false,\"messages\":[{\"role\":\"user\",\"content\":\"ping\"}]}" \
-o "$tmp" -w '%{http_code}' \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test?slot=$slot")"
body="$(cat "$tmp" 2>/dev/null)"
rm -f "$jar" "$tmp"
echo " 上游 HTTP ${code}(探测 model=${model})"
if [ -n "$body" ]; then
if [ -n "$PY" ]; then
printf '%s' "$body" | "$PY" -c '
import sys,json
b=sys.stdin.read()
try:
d=json.loads(b)
s=json.dumps(d, ensure_ascii=False)
print(" body:", s[:400] + ("…" if len(s)>400 else ""))
except Exception:
print(" body:", b[:400] + ("…" if len(b)>400 else ""))
'
else
echo " body: ${body:0:400}"
fi
fi
}
# 统计落盘/恢复状态(1.0.18+)。登录后读 /api/admin/stats/persist。
#
# 为什么值得有:这是「发版后统计还在不在」的唯一线上观测口。
# file_keys ≈ live_keys → 落盘正常(周期落盘在跑)
# file_keys 远小于 live_keys → 周期落盘没跑(查 interval_secs / last_dump_text)
# restored_keys / restore_total → 上次启动恢复情况(不等 = 有键被跳过)
# 首版没有历史快照时 file_exists=false、全都 0,属正常(跑一次 stats-dump 即可造出来)。
# 用法:bash deploy/agent.sh stats-persist
cmd_stats_persist() {
local jar
jar="$(mktemp -t ipass-stats.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
local body
body="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/stats/persist")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$body"; return 0; fi
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
# 统一响应体是 {code,msg,data},成功码 = 200(见 core http::ok)
if d.get("code") not in (200, "200", 0, "0"):
print(" ✗", d.get("msg")); sys.exit(1)
x = d.get("data") or {}
fk, lk = x.get("file_keys", 0), x.get("live_keys", 0)
print(" 快照文件 : %s%s" % (x.get("file") or "-",
"(%s B)" % x.get("file_bytes", 0) if x.get("file_exists") else "(不存在)"))
print(" 落盘间隔 : %s 秒%s" % (x.get("interval_secs"),
"(0=只靠退出钩子)" if x.get("interval_secs") == 0 else ""))
print(" 上次落盘 : %s" % (x.get("last_dump_text") or "(还没落过盘)"))
print(" 键数 : 快照 %d / 内存 %d%s" % (fk, lk,
"" if fk and lk and fk == lk else " <-- 两者长期不等要查原因"))
print(" 上次恢复 : %s(%s/%s 键)" % (x.get("restored_at") and "有" or "无",
x.get("restored_keys", 0), x.get("restore_total", 0)))
if not x.get("file_exists"):
print(" · 提示:尚无快照 —— 跑 `bash deploy/agent.sh stats-dump` 立即造一份")
'
}
# 立刻落盘一次(POST /api/admin/stats/dump),并回读状态确认文件真的写了。
# 用来在不重启、不等 60 秒周期的情况下验证落盘链路。
# 用法:bash deploy/agent.sh stats-dump
cmd_stats_dump() {
local jar body
jar="$(mktemp -t ipass-dump.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
body="$(live_curl -b "$jar" -X POST "https://$LIVE_HOST:$LIVE_PORT/api/admin/stats/dump")"
rm -f "$jar"
if [ -n "$PY" ]; then
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
if d.get("code") not in (200, "200", 0, "0"):
print(" ✗ 落盘失败:", d.get("msg")); sys.exit(1)
print(" ✓ 已落盘 %s 键(%s)" % ((d.get("data") or {}).get("keys", "?"), d.get("msg", "")))
' || return 1
else
printf '%s\n' "$body"
fi
echo " · 回读状态:"
cmd_stats_persist
}
# 直连网关改单条上游的 base / base_anthropic(不碰 auth/models/enabled)。
# 用例:双协议地址改造后,把智谱/阿里这类「OpenAI 与 Anthropic 路径段不同」的
# 上游的 Anthropic 地址显式写进去。凭据只从 .env 读,命令行不出现 key。
cmd_upstream_save() {
local jar slot base ba
slot="${1:-}"; base="${2:-}"; ba="${3:-}"
[ -n "$slot" ] && [ -n "$base" ] || {
echo "用法: bash deploy/agent.sh upstream-save <slot> <base> <base_anthropic>" >&2
echo " 例: bash deploy/agent.sh upstream-save glm \\" >&2
echo " 'https://open.bigmodel.cn/api/coding/paas/v4' \\" >&2
echo " 'https://open.bigmodel.cn/api/anthropic'" >&2
exit 2
}
jar="$(mktemp -t ipass-live.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; exit 1
fi
echo "· 保存 $slot (auth/models/enabled 保持原值)"
echo " base = $base"
echo " base_anthropic= $ba"
live_curl -b "$jar" -X POST \
-H 'Content-Type: application/x-www-form-urlencoded' \
--data-urlencode "slot=$slot" \
--data-urlencode "base=$base" \
--data-urlencode "base_anthropic=$ba" \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/save" | pretty
rm -f "$jar"
}
CMD="${1:-}"; shift || true
case "$CMD" in
status|check|health) get "/$CMD" | pretty ;;
containers) get "/containers" | pretty ;;
logs) get "/logs?tail=${1:-200}" ;;
jobs) get "/jobs?limit=${1:-5}" | pretty ;;
job) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh job <job-id> [offset]" >&2; exit 2; }
get "/jobs/$1?offset=${2:-0}" | pretty ;;
data) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh data users|domains|upstreams" >&2; exit 2; }
get "/data?file=$1" | pretty ;;
upstreams) cmd_upstreams ;;
upstream-test) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh upstream-test <slot>" >&2; exit 2; }
cmd_upstream_test "$1" ;;
upstream-save) cmd_upstream_save "${1:-}" "${2:-}" "${3:-}" ;;
stats-persist) cmd_stats_persist ;;
stats-dump) cmd_stats_dump ;;
pull) IMG="$(resolve_image "${1:-}")"; echo "· 拉取 $IMG"
post "/pull" "{\"image\":\"$IMG\"}" | pretty ;;
update) IMG="$(resolve_image "${1:-}")"; echo "· 更新到 $IMG"
post "/update" "{\"image\":\"$IMG\"}" | pretty ;;
wait) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh wait <job-id>" >&2; exit 2; }
cmd_wait "$1" ;;
verify) cmd_verify ;;
rollback) # 第二参给备份 tar 路径(.11 上 ~/ipass/backup/ 下)→ 回滚镜像同时恢复数据
if [ -n "${2:-}" ]; then
post "/rollback" "{\"tag\":\"$1\",\"restore_backup\":\"$2\"}" | pretty
elif [ -n "${1:-}" ]; then
post "/rollback" "{\"tag\":\"$1\"}" | pretty
else
post "/rollback" '{}' | pretty
fi ;;
restart) post "/restart" '{}' | pretty ;;
raw) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh raw GET /check" >&2; exit 2; }
get "$2" | pretty ;;
release)
TAG="${1:-}"
[ -n "$TAG" ] || { echo "用法: bash deploy/agent.sh release 1.0.7" >&2; exit 2; }
IMG="$(resolve_image "$TAG")"
# ---- 控制面版本闸门:自动回滚依赖 restore_backup + rollback 自动拉镜像 +
# rollback 参数容忍(完整镜像名/短 tag 都认),分别是 1.0.2 / 1.0.4 加的。
# 1.1.1 发版实测:远端旧控制面对同一条 rollback 请求报「需要显式传 tag」
# (参数约定对不上)→ 验证误报时回滚失败,线上靠「错进错出」才留在新版。
# 自动回滚必须**先证明它能工作**才允许依赖它,所以闸门抬到 1.0.4。
AGENT_VER="$(get /health | jget version)"
if [ -z "$AGENT_VER" ] || [ "$(printf '%s\n1.0.4\n' "$AGENT_VER" | sort -V | head -1)" != "1.0.4" ]; then
echo "! 控制面版本 ${AGENT_VER:-未知} < 1.0.4:验证失败时自动回滚不可靠(参数约定/数据恢复)。"
echo " 先在 .11 上自更新 ipass-agent.py 到 1.0.4(readme §12.5)再继续发版。"
[ "${IPASS_FORCE_RELEASE:-}" = "1" ] || { echo "✗ 中止(确认要跳过闸门:IPASS_FORCE_RELEASE=1 重跑)" >&2; exit 3; }
fi
# ---- 回滚目标的两个要素,**动手前先抓**:
# 1) 当前线上镜像(release 同版本重发时 PRE_IMG==IMG,回滚无意义要提醒)
# 2) update job 结果里的数据备份路径(验证失败时连数据一起恢复——
# 故障版本可能已把污染写穿 shm→data,只回镜像不回数据,旧版会读坏数据)
PRE_IMG="$(get /status | jget image)"
echo "· 回滚目标:镜像 ${PRE_IMG:-(未知)}"
echo "== 1/4 构建并推送 $IMG =="
bash "$ROOT/deploy/release.sh" "${TAG#ipass-}"
echo
echo "== 2/4 更新正式环境 =="
JOB="$(post "/update" "{\"image\":\"$IMG\"}" | jget job)"
[ -n "$JOB" ] || { echo "✗ 未拿到 job id" >&2; exit 1; }
echo "· job = $JOB"
if ! cmd_wait "$JOB"; then
echo "✗ 更新任务未成功(容器还没换成新镜像,无需回滚)" >&2
exit 1
fi
BACKUP="$(get "/jobs/$JOB" | "$PY" -c 'import json,sys;print((json.load(sys.stdin).get("result") or {}).get("backup") or "")' 2>/dev/null || true)"
echo "· 数据备份 = ${BACKUP:-(未记录!回滚时无法恢复数据)}"
echo
echo "== 3/4 发版后验证(live_check:LLM 真实流量 + apix 探针 + 环境验收) =="
# 退出码约定(与 tests/live_check.sh 一致):
# 0=通过;1=网关侧故障(要回滚);2=验证手段本身不可用(缺 key/拉不到目录,
# **不能**当成新版本坏了去回滚——盲目回滚比带病观察更危险)
LIVE_RC=0
bash "$ROOT/tests/live_check.sh" || LIVE_RC=$?
if [ "$LIVE_RC" = "2" ]; then
echo "⚠ 验证不可用(退出码 2)——**不回滚**,但发版未确认成功。"
echo " 请修好验证入口(key 文件 / 网络)后手动:bash tests/live_check.sh"
exit 2
fi
if [ "$LIVE_RC" != "0" ]; then
echo
echo "== 4/4 ✗ 验证失败 → 自动回滚 =="
if [ -z "$PRE_IMG" ]; then
echo "✗ 拿不到回滚目标镜像(release 前 /status 就没返回 image),不敢自动回滚。"
echo " 人工处理:bash deploy/agent.sh rollback <上一版完整镜像名>,数据备份 ${BACKUP:-无}"
exit 1
fi
if [ "$PRE_IMG" = "$IMG" ]; then
echo "✗ 线上镜像与本次目标相同(同版本重发),回滚无意义——问题不在这次发布动作,"
echo " 按上面失败项人工排查(配置/数据/外部依赖)。"
exit 1
fi
# JSON 用 python 拼(手拼转义是事故孵化器);tag/image 双写——
# 新控制面读 tag,1.0.4 前的旧控制面读 image 也能凑合活。
RB_ARGS="$("$PY" -c '
import json, sys
d = {"tag": sys.argv[1], "image": sys.argv[1]}
if sys.argv[2]:
d["restore_backup"] = sys.argv[2]
print(json.dumps(d))' "$PRE_IMG" "$BACKUP")"
[ -n "$BACKUP" ] || echo " ! 无备份路径:只回滚镜像、不恢复数据(污染可能残留)"
RB_JOB="$(post "/rollback" "$RB_ARGS" | jget job)"
[ -n "$RB_JOB" ] || { echo "✗ 回滚任务未启动" >&2; exit 1; }
echo "· 回滚 job = ${RB_JOB}(镜像 -> ${PRE_IMG}${BACKUP:+,数据 <- $BACKUP})"
cmd_wait "$RB_JOB" || { echo "✗✗ 回滚任务本身失败!立刻人工上 .11 处理" >&2; exit 1; }
echo
echo "· 回滚后自检(环境验收):"
if cmd_verify; then
echo "✔ 已回滚到 ${PRE_IMG},验收通过。发版判定:失败(新版本未上线,线上恢复旧版)。"
else
echo "✗✗ 回滚后验收仍不过!立刻人工上 .11 处理(数据备份:${BACKUP:-无})"
fi
exit 1
fi
echo
echo "== 4/4 验证通过,无需回滚 =="
# 默认 tag 回写(deploy/image.conf,非秘密):成功后裸 update 的缺省即本版,
# 不再依赖人肉同步 .env。顺手 commit,保证下次 release.sh 的工作区干净检查。
printf 'IPASS_IMAGE_TAG=%s\n' "${IMG##*:}" > "$TAG_FILE"
if git -C "$ROOT" rev-parse --is-inside-work-tree >/dev/null 2>&1; then
git -C "$ROOT" add "$TAG_FILE" 2>/dev/null || true
git -C "$ROOT" diff --cached --quiet 2>/dev/null \
|| git -C "$ROOT" commit -q -m "chore(release): 默认 tag → ${IMG##*:}" \
|| echo " ! deploy/image.conf 自动提交失败,请手动 commit(内容已写入)"
fi
echo "✔ 发版成功:${IMG}(回滚快照保留在 $PRE_IMG / ${BACKUP:-无备份};deploy/image.conf 已回写,记得 git push)"
;;
*)
cat <<'USAGE'
iPass 控制面包装(凭据只从 .env 读,命令行里不出现任何 key)
状态与信息
bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
bash deploy/agent.sh containers # 所有容器(标出受管容器)
bash deploy/agent.sh logs [tail] # 受管容器日志
bash deploy/agent.sh data users|domains|upstreams
bash deploy/agent.sh upstreams # 上游排障:逐账号掩码/冷却/今日负载
bash deploy/agent.sh upstream-test <slot> # 上游连通性:调测试接口并打印厂商真实响应
bash deploy/agent.sh upstream-save <slot> <base> <base_anthropic> # 直连网关改双协议地址
bash deploy/agent.sh stats-persist # 统计落盘状态(快照/内存键数、上次恢复)
bash deploy/agent.sh stats-dump # 立即落盘一次并回读状态
变更
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 deploy/image.conf 的 IPASS_IMAGE_TAG)
bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
bash deploy/agent.sh rollback [tag] [备份tar] # 回滚;带 .11 上 ~/ipass/backup/*.tar.gz 时同时恢复数据
bash deploy/agent.sh restart # 只重启
bash deploy/agent.sh pull [tag] # 只拉镜像
发版一条龙(构建推送 → 更新 → 发版后验证 → 失败自动回滚镜像+恢复数据)
bash deploy/agent.sh release 1.0.7
正式环境验收
bash deploy/agent.sh verify # 登录 + 拉页面标记 + 查 subdomain_rule
任务
bash deploy/agent.sh jobs [limit]
bash deploy/agent.sh job <id> [offset]
bash deploy/agent.sh raw GET /check
传 1.0.6 / ipass-1.0.6 / 完整镜像名 均可。
USAGE
[ -n "$CMD" ] && exit 2 || exit 0 ;;
esac