Files
ssw__ipass/deploy/agent.sh
T
admin 1bc316e014 fix(stats): 「上次落盘」记录移入共享内存(1.0.19)
1.0.18 首次线上验证暴露:error.log 里有 10 次 [stats] 落盘(来自 6#0/18#0/23#0
多个 worker),GET /api/admin/stats/persist 却报「本进程还没落过」。

根因:LAST_DUMP_AT 是每 worker 的进程内静态量。maybe_dump() 挂在记账路径上,
而记账每 worker 各算各的 → 落盘时刻也就每 worker 一份;接口落到没落过盘的
worker 就报 0。与 1.0.18 已修过的 spr:last(上次恢复)是同一类错误。

修法:发布到共享内存 spd:last(publish_dump 取 max)。一次解决两件事:
* 上报一致 —— 所有 worker 报同一份;
* 节流收敛 —— maybe_dump 新增慢路径查它,把「8 个 worker 各写一遍同一个文件」
  收敛成「全局每间隔一次」。快路径仍是原子比较,热路径代价不变。

顺带:
- 新增回归断言「状态页报告的上次落盘时刻非空」(套件开 2 worker,能暴露该分歧)
- deploy/agent.sh 加 stats-persist / stats-dump 子命令(线上观测口)
- 统一文档里过期的断言条数(90/111/160/179/196/262/298 → 实际值)
- 记录审计容量巡检 LAST_PURGE_AT/PURGING 同为每 worker 静态量(另案)

回归:bash tests/run.sh all → 299 条全绿(网关 102 + LLM 197)。
2026-09-14 20:05:51 +08:00

422 lines
18 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env bash
# ---------------------------------------------------------------------------
# iPass 控制面(ipass-agent,见 readme §12.5)调用 + 正式环境验收。
#
# **存在的理由(重要,别再退回手敲 curl)**
# WorkBuddy/CodeBuddy 的安全策略里有一条:**「可疑的 bash 命令即使已加入
# permissions.allow 白名单,也需要手动批准」**(见内置文档 cli/security.md
# 「命令注入检测」)。含 `Authorization: Bearer …` / `. ./.env` / 从环境取
# 口令这类形态的命令正好命中——表现为**每次都弹「凭证授权」**,甚至在用户
# 拒绝时「命令静默无输出」,很容易被误判成服务故障(实测踩过:一次 /update
# 就是这样没发出去)。
#
# 结论:**凭据绝不能出现在命令行上**。本脚本把凭据只从仓库根 `.env` 读,
# 对外暴露的全是无凭据的子命令,于是只需放行这一条:
# "Bash(bash deploy/agent.sh:*)"
#
# 用法:
# bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
# bash deploy/agent.sh update [tag] # 完整更新(缺省用 .env 的 IPASS_IMAGE_TAG)
# bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
# bash deploy/agent.sh verify # 正式环境端到端验收(登录+拉页面+查规则)
# bash deploy/agent.sh release <tag> # 构建推送镜像并更新、验收(一条龙)
# ...(其余子命令见 help)
#
# 依赖:仓库根 `.env`(已 gitignore)。缺文件或变量为空时直接报错退出。
# ---------------------------------------------------------------------------
set -euo pipefail
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
ENV_FILE="${IPASS_ENV_FILE:-$ROOT/.env}"
if [ ! -f "$ENV_FILE" ]; then
echo "✗ 找不到 $ENV_FILE —— 控制面凭据只从这里读(见 CLAUDE.md §凭据与授权)" >&2
exit 2
fi
set -a
# shellcheck disable=SC1090
. "$ENV_FILE"
set +a
A="${IPASS_AGENT_HOST:-}"
TOKEN="${IPASS_AGENT_TOKEN:-}"
REGISTRY="${IPASS_REGISTRY:-}"
DEFAULT_TAG="${IPASS_IMAGE_TAG:-}"
# 正式环境对外入口(验收用):管理域名 + 宿主端口 + 直连 IP
LIVE_HOST="${IPASS_MDM_HOST:-mdm.mayishangshu.cn}"
LIVE_PORT="${IPASS_PUBLIC_PORT:-88}"
LIVE_IP="${IPASS_LIVE_IP:-192.168.1.11}"
if [ -z "$A" ] || [ -z "$TOKEN" ]; then
echo "✗ .env 缺少 IPASS_AGENT_HOST / IPASS_AGENT_TOKEN" >&2
exit 2
fi
PY="$(command -v python3 || true)"
pretty() { if [ -n "$PY" ]; then "$PY" -m json.tool 2>/dev/null || cat; else cat; fi; }
jget() { "$PY" -c "import json,sys;print(json.load(sys.stdin).get('$1',''))" 2>/dev/null || true; }
get() { curl -s -m "${TIMEOUT:-30}" -H "Authorization: Bearer $TOKEN" "$A$1"; }
post() { curl -s -m "${TIMEOUT:-60}" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d "${2:-{\}}" "$A$1"; }
# tag / 完整镜像名 → 完整镜像名;空 → .env 的 IPASS_IMAGE_TAG
resolve_image() {
local t="${1:-}"
[ -z "$t" ] && t="$DEFAULT_TAG"
[ -z "$t" ] && { echo "✗ 未给 tag,且 .env 的 IPASS_IMAGE_TAG 为空" >&2; exit 2; }
case "$t" in
*/*:*|*:* ) printf '%s' "$t" ;;
ipass-* ) printf '%s:%s' "$REGISTRY" "$t" ;;
* ) printf '%s:ipass-%s' "$REGISTRY" "$t" ;;
esac
}
# ---- 正式环境访问(域名解析直连 .11,绕开 DNS) -----------------------------
# 全部在这里做,命令行里不出现任何凭据。
live_curl() { curl -sk -m "${TIMEOUT:-20}" --resolve "$LIVE_HOST:$LIVE_PORT:$LIVE_IP" "$@"; }
# 登录拿会话 cookie,写入 $1
live_login() {
local jar="$1" body code
body="$("$PY" - "$IPASS_ADMIN_USER" "$IPASS_ADMIN_PASSWORD" <<'PY'
import json, sys
print(json.dumps({"username": sys.argv[1], "password": sys.argv[2]}))
PY
)"
code="$(live_curl -o /dev/null -w '%{http_code}' -c "$jar" \
-H 'Content-Type: application/json' -d "$body" \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/login")"
[ "$code" = "200" ]
}
cmd_wait() {
local id="$1" i j state=""
for i in $(seq 1 120); do
j="$(get "/jobs/$id?offset=0")"
state="$(printf '%s' "$j" | jget state)"
case "$state" in done|failed|error|cancelled) break ;; esac
sleep 1
done
if [ -n "$PY" ] && [ -n "$j" ]; then
printf '%s' "$j" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
print("state:", d.get("state"))
lg = d.get("log") or d.get("output") or []
if isinstance(lg, str):
lg = lg.splitlines()
for line in lg[-35:]:
print(line)
'
else
printf '%s\n' "$j"
fi
[ "$state" = "done" ]
}
# 正式环境验收:镜像对不对 + 新代码真的在线上跑(页面标记 + 接口下发)
cmd_verify() {
local jar rc=0 img dig
jar="$(mktemp -t ipass-live.XXXXXX)"
img="$(get /status | jget image)"
dig="$(get /status | jget digest)"
echo "· 镜像: $img"
echo "· digest: ${dig##*@}"
# 0) 默认 tag 漂移告警:.env 的 IPASS_IMAGE_TAG 落后于线上时,
# 裸 `update`(不带 tag)会**静默降级**回旧镜像 —— 只提示,不判失败。
# 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点。
if [ -z "$DEFAULT_TAG" ]; then
echo " ! .env 未设 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(须显式传)"
elif [ "$img" = "${REGISTRY}:${DEFAULT_TAG}" ] || [ "$img" = "$DEFAULT_TAG" ]; then
echo " ✓ .env 默认 tag 与线上一致($DEFAULT_TAG)"
else
echo " ! .env 的 IPASS_IMAGE_TAG=$DEFAULT_TAG 落后于线上(${img##*:})"
echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 请把 .env 同步成 ${img##*:}"
fi
echo "· 登录 ${LIVE_HOST}:${LIVE_PORT}(-> ${LIVE_IP})"
if ! live_login "$jar"; then
echo " ✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; return 1
fi
echo " ✓ 登录 200"
# 1) 管理台页面:多页拆分 + 图表(这两条都是本轮改动)
local html
html="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/admin")"
local m
for m in 'assets/admin.css' 'assets/chart.js' 'statTokToday'; do
if printf '%s' "$html" | grep -qF -- "$m"; then
echo " ✓ 页面含「${m}」"
else
echo " ✗ 页面缺「${m}」—— 镜像可能没真正换新"; rc=1
fi
done
# 2) 接口下发子域名规则(后端常量真的生效)
local rule
rule="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/domains" \
| "$PY" -c 'import json,sys;d=json.load(sys.stdin);print(json.dumps((d.get("data") or {}).get("subdomain_rule"),ensure_ascii=False))' 2>/dev/null || echo '')"
echo " · subdomain_rule = $rule"
case "$rule" in
*'"suffix": "dm"'*|*'"suffix":"dm"'*) echo " ✓ 规则后缀 = dm" ;;
*) echo " ✗ 规则未下发或后缀不对"; rc=1 ;;
esac
# 3) 趋势接口(日桶):新代码在跑的直接证据——旧镜像没有这个路由
local labels
labels="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/trend?days=7" \
| "$PY" -c 'import json,sys
d=(json.load(sys.stdin).get("data") or {})
print(len(d.get("labels") or []))' 2>/dev/null || echo '')"
if [ "$labels" = "7" ]; then
echo " ✓ 趋势接口返回 7 天序列"
else
echo " ✗ 趋势接口异常(labels=${labels:-空})—— 镜像可能没真正换新"; rc=1
fi
# 4) 上游账号级负载(1.0.14 新增):投影里出现 accounts[].load = 新代码在跑。
# 1.0.14 起**单 auth 的旧记录也会被合成为一条 account**,所以只要有任一上游记录,
# 新镜像必定返回该字段;旧镜像返回的 items 里根本没有 accounts 键 —— 新旧可分。
# 只验「字段在不在」不验数值(线上未必有流量)。三态避免「空库」时假失败。
local acct
acct="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams" \
| "$PY" -c 'import json,sys
d = json.load(sys.stdin).get("data") or {}
items = d.get("items") or [] if isinstance(d, dict) else (d if isinstance(d, list) else [])
if not items:
print("noupstream"); sys.exit(0)
for u in items:
for a in (u.get("accounts") or []):
if isinstance(a.get("load"), dict) and "requests" in a["load"]:
print("ok"); sys.exit(0)
print("old")' 2>/dev/null || echo '')"
case "$acct" in
ok) echo " ✓ 上游带账号级负载字段(accounts[].load)" ;;
noupstream) echo " · 线上没有任何上游,跳过账号负载证据(不判失败)" ;;
*) echo " ✗ 上游接口缺 accounts[].load —— 镜像可能没真正换新"; rc=1 ;;
esac
rm -f "$jar"
if [ "$rc" = "0" ]; then echo "✔ 正式环境验收通过"; else echo "✗ 正式环境验收未通过"; fi
return $rc
}
# 上游诊断(排障多账号路由 / 额度切换):登录管理台拉完整投影,
# 逐账号打印 **Authorization 掩码** / 冷却 / 重置周期 / 今日负载。
# 掩码为空会显式标 `**空**`——「配了 Key 却 401」最常见的原因就是它。
# ⚠️ 只回掩码(模块的 view() 本来也不回真值),真 Key 永不出容器。
cmd_upstreams() {
local jar json
jar="$(mktemp -t ipass-up.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败(HTTP 非 200)"; rm -f "$jar"; return 1
fi
json="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$json"; return 0; fi
printf '%s' "$json" | "$PY" -c '
import json, sys
d = json.load(sys.stdin).get("data") or {}
items = d.get("items") or [] if isinstance(d, dict) else (d if isinstance(d, list) else [])
if not items:
print("(线上没有任何上游)"); raise SystemExit(0)
for u in items:
accts = u.get("accounts") or []
print("%s base=%s enabled=%s 账号=%d" % (
u.get("slot"), u.get("base"), u.get("enabled"), len(accts)))
if not accts:
print(" (无账号 —— 转发时不会带 Authorization 头)")
for a in accts:
ld = a.get("load") or {}
m = a.get("auth_mask")
if not m or m == "-":
m = "**空** (转发不带 Authorization 头 → 上游报鉴权错)"
print(" #%s Authorization=%s%s resets=%s 今日 %s 请求 / 入 %s / 出 %s%s" % (
a.get("idx"), m,
" [冷却中]" if a.get("cooled") else "",
a.get("resets_text") or "-",
ld.get("requests", 0), ld.get("tokens_in", 0), ld.get("tokens_out", 0),
(" 耗尽%s" % ld["exhausts"]) if ld.get("exhausts") else ""))
'
}
# 上游连通性测试(不靠管理台浏览器):登录后调 /api/admin/upstreams/test,
# 把上游真实响应的 code / 关键错误体打出来。比点面板按钮的「测试」多两个价值:
# ① agent 自动化可调;② 出错时直接看厂商原话(不用肉眼对截图 OCR)。
# 用法:bash deploy/agent.sh upstream-test minimax
cmd_upstream_test() {
local slot="$1" jar body
jar="$(mktemp -t ipass-uptest.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
body="$(live_curl -b "$jar" -H 'Content-Type: application/json' \
-d "{\"slot\":\"$slot\"}" \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$body"; return 0; fi
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
data = d.get("data") or {}
code = data.get("status_code") or d.get("code")
status = data.get("status") or d.get("msg", "")
body = data.get("body") or ""
print(f" 上游 HTTP {code} {status}")
if body:
short = body if len(body) <= 300 else body[:300] + "…"
print(" body:", short)
'
}
# 统计落盘/恢复状态(1.0.18+)。登录后读 /api/admin/stats/persist。
#
# 为什么值得有:这是「发版后统计还在不在」的唯一线上观测口。
# file_keys ≈ live_keys → 落盘正常(周期落盘在跑)
# file_keys 远小于 live_keys → 周期落盘没跑(查 interval_secs / last_dump_text)
# restored_keys / restore_total → 上次启动恢复情况(不等 = 有键被跳过)
# 首版没有历史快照时 file_exists=false、全都 0,属正常(跑一次 stats-dump 即可造出来)。
# 用法:bash deploy/agent.sh stats-persist
cmd_stats_persist() {
local jar
jar="$(mktemp -t ipass-stats.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
local body
body="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/stats/persist")"
rm -f "$jar"
if [ -z "$PY" ]; then printf '%s\n' "$body"; return 0; fi
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
# 统一响应体是 {code,msg,data},成功码 = 200(见 core http::ok)
if d.get("code") not in (200, "200", 0, "0"):
print(" ✗", d.get("msg")); sys.exit(1)
x = d.get("data") or {}
fk, lk = x.get("file_keys", 0), x.get("live_keys", 0)
print(" 快照文件 : %s%s" % (x.get("file") or "-",
"(%s B)" % x.get("file_bytes", 0) if x.get("file_exists") else "(不存在)"))
print(" 落盘间隔 : %s 秒%s" % (x.get("interval_secs"),
"(0=只靠退出钩子)" if x.get("interval_secs") == 0 else ""))
print(" 上次落盘 : %s" % (x.get("last_dump_text") or "(还没落过盘)"))
print(" 键数 : 快照 %d / 内存 %d%s" % (fk, lk,
"" if fk and lk and fk == lk else " <-- 两者长期不等要查原因"))
print(" 上次恢复 : %s(%s/%s 键)" % (x.get("restored_at") and "有" or "无",
x.get("restored_keys", 0), x.get("restore_total", 0)))
if not x.get("file_exists"):
print(" · 提示:尚无快照 —— 跑 `bash deploy/agent.sh stats-dump` 立即造一份")
'
}
# 立刻落盘一次(POST /api/admin/stats/dump),并回读状态确认文件真的写了。
# 用来在不重启、不等 60 秒周期的情况下验证落盘链路。
# 用法:bash deploy/agent.sh stats-dump
cmd_stats_dump() {
local jar body
jar="$(mktemp -t ipass-dump.XXXXXX)"
if ! live_login "$jar"; then
echo "✗ 登录失败"; rm -f "$jar"; return 1
fi
body="$(live_curl -b "$jar" -X POST "https://$LIVE_HOST:$LIVE_PORT/api/admin/stats/dump")"
rm -f "$jar"
if [ -n "$PY" ]; then
printf '%s' "$body" | "$PY" -c '
import json, sys
d = json.load(sys.stdin)
if d.get("code") not in (200, "200", 0, "0"):
print(" ✗ 落盘失败:", d.get("msg")); sys.exit(1)
print(" ✓ 已落盘 %s 键(%s)" % ((d.get("data") or {}).get("keys", "?"), d.get("msg", "")))
' || return 1
else
printf '%s\n' "$body"
fi
echo " · 回读状态:"
cmd_stats_persist
}
CMD="${1:-}"; shift || true
case "$CMD" in
status|check|health) get "/$CMD" | pretty ;;
containers) get "/containers" | pretty ;;
logs) get "/logs?tail=${1:-200}" ;;
jobs) get "/jobs?limit=${1:-5}" | pretty ;;
job) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh job <job-id> [offset]" >&2; exit 2; }
get "/jobs/$1?offset=${2:-0}" | pretty ;;
data) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh data users|domains|upstreams" >&2; exit 2; }
get "/data?file=$1" | pretty ;;
upstreams) cmd_upstreams ;;
upstream-test) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh upstream-test <slot>" >&2; exit 2; }
cmd_upstream_test "$1" ;;
stats-persist) cmd_stats_persist ;;
stats-dump) cmd_stats_dump ;;
pull) IMG="$(resolve_image "${1:-}")"; echo "· 拉取 $IMG"
post "/pull" "{\"image\":\"$IMG\"}" | pretty ;;
update) IMG="$(resolve_image "${1:-}")"; echo "· 更新到 $IMG"
post "/update" "{\"image\":\"$IMG\"}" | pretty ;;
wait) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh wait <job-id>" >&2; exit 2; }
cmd_wait "$1" ;;
verify) cmd_verify ;;
rollback) if [ -n "${1:-}" ]; then post "/rollback" "{\"tag\":\"$1\"}" | pretty
else post "/rollback" '{}' | pretty; fi ;;
restart) post "/restart" '{}' | pretty ;;
raw) [ -n "${1:-}" ] || { echo "用法: bash deploy/agent.sh raw GET /check" >&2; exit 2; }
get "$2" | pretty ;;
release)
TAG="${1:-}"
[ -n "$TAG" ] || { echo "用法: bash deploy/agent.sh release 1.0.7" >&2; exit 2; }
IMG="$(resolve_image "$TAG")"
echo "== 1/3 构建并推送 $IMG =="
bash "$ROOT/deploy/release.sh" "${TAG#ipass-}"
echo
echo "== 2/3 更新正式环境 =="
JOB="$(post "/update" "{\"image\":\"$IMG\"}" | jget job)"
[ -n "$JOB" ] || { echo "✗ 未拿到 job id" >&2; exit 1; }
echo "· job = $JOB"
cmd_wait "$JOB" || { echo "✗ 更新任务未成功" >&2; exit 1; }
echo
echo "== 3/3 验收 =="
cmd_verify ;;
*)
cat <<'USAGE'
iPass 控制面包装(凭据只从 .env 读,命令行里不出现任何 key)
状态与信息
bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
bash deploy/agent.sh containers # 所有容器(标出受管容器)
bash deploy/agent.sh logs [tail] # 受管容器日志
bash deploy/agent.sh data users|domains|upstreams
bash deploy/agent.sh upstreams # 上游排障:逐账号掩码/冷却/今日负载
bash deploy/agent.sh upstream-test <slot> # 上游连通性:调测试接口并打印厂商真实响应
bash deploy/agent.sh stats-persist # 统计落盘状态(快照/内存键数、上次恢复)
bash deploy/agent.sh stats-dump # 立即落盘一次并回读状态
变更
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 .env 的 IPASS_IMAGE_TAG)
bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
bash deploy/agent.sh rollback [tag] # 回滚
bash deploy/agent.sh restart # 只重启
bash deploy/agent.sh pull [tag] # 只拉镜像
发版一条龙(构建推送 → 更新 → 验收)
bash deploy/agent.sh release 1.0.7
正式环境验收
bash deploy/agent.sh verify # 登录 + 拉页面标记 + 查 subdomain_rule
任务
bash deploy/agent.sh jobs [limit]
bash deploy/agent.sh job <id> [offset]
bash deploy/agent.sh raw GET /check
传 1.0.6 / ipass-1.0.6 / 完整镜像名 均可。
USAGE
[ -n "$CMD" ] && exit 2 || exit 0 ;;
esac