fix(release): 发版链路三处缺陷(1.1.1 发版误回滚暴露)

1. me_catalog.py 把 .env 约定的**裸主机名**当完整 URL 用:release 里
   agent.sh source .env 后子进程继承,live_check 两步探针 ValueError 崩退 1,
   被三态口径判成「网关侧故障」触发自动回滚(1.1.1 实测,健康版本差点被回)。
   现在补 scheme + IPASS_PUBLIC_PORT;探针脚本未捕获异常统一退 2(验证不可用),
   崩溃永远不该触发回滚。
2. rollback 参数键位漂移:远端控制面对 release 发的 {"tag":...} 报「需要显式传
   tag」→ 自动回滚 job 失败。agent.sh 的 rollback/回滚体改 python 拼 JSON 并
   tag/image 双写;ipass-agent 1.0.4 的 op_rollback 两种键都认、短 tag/裸版本
   用受管容器仓库段补全;release 版本闸门抬到 1.0.4(自动回滚必须先证明可用)。
3. 线上默认 tag 迁出 .env → deploy/image.conf(非秘密、入库):release 成功
   自动回写 + commit,不再需要人肉同步;.env 的 IPASS_IMAGE_TAG 仅临时覆盖。
   另修 agent.sh upstream-test:旧契约(slot 塞 body、无探测体)换成面板同款
   (query slot + 第一个登记模型),实测 minimax 200。
This commit is contained in:
admin committed 2026-09-17 18:52:22 +08:00
1 parent eae2063bef
commit 6081151410
7 files changed
+138 -36

No files matched your search

+8 -7
View File
@@ -453,7 +453,7 @@ set -a; . ./.env; set +a
| 远程控制面 | `$IPASS_AGENT_HOST` + `Authorization: Bearer $IPASS_AGENT_TOKEN` |
| 管理台登录 | `$IPASS_ADMIN_USER` / `$IPASS_ADMIN_PASSWORD` |
| 三个域名 | `$IPASS_MDM_HOST` / `$IPASS_LLM_HOST` / `$IPASS_ENTERPRISE_SUFFIX`,宿主端口 `$IPASS_PUBLIC_PORT` |
| 发版 | `$IPASS_REGISTRY` / `$IPASS_IMAGE_TAG` |
| 发版 | `$IPASS_REGISTRY`;线上默认 tag 在 `deploy/image.conf`(非秘密、入库)——release 成功后自动回写。`$IPASS_IMAGE_TAG` 仅作临时覆盖 |
| 源码仓库 | `$IPASS_GITEA` |
硬约定:
@@ -466,11 +466,12 @@ set -a; . ./.env; set +a
破坏性命令(`rm` / `sudo` / `docker rm` / `git push --force` / `git reset --hard`)显式 `deny`,仍会被硬拦。
- 白名单是**本机**配置:换机器要重拷 `.env` 与 `.workbuddy/settings.local.json`。
- **`.env` 是只读的**:沙箱会拦写入(`sed -i .env` → `Operation not permitted`),
改它只能由用户手动编辑。所以发版后 `IPASS_IMAGE_TAG` 的同步要**明确交回用户**,
别用 `cp` 备份到 `/tmp`(那是凭据副本,必须立刻删)。
- ⚠️ **发版后 `.env` 的 `IPASS_IMAGE_TAG` 必须同步成新 tag**:`update` 不带 tag 时用它做缺省值,
落后即**静默降级**回旧镜像(真踩过:1.0.14 发完,`.env` 仍停在 1.0.9)。
`agent.sh verify` 已加漂移告警(不一致时打印 `!`,不判失败)。
改它只能由用户手动编辑。别用 `cp` 备份到 `/tmp`(那是凭据副本,必须立刻删)。
- **线上默认 tag 走 `deploy/image.conf`,不走 `.env`(1.1.1 起)**:非秘密、入库,
`agent.sh release` 成功后**自动回写并 commit**(提示 git push),裸 `update` 以它做缺省。
**不再需要提醒用户手动同步任何东西。**`.env` 的 `IPASS_IMAGE_TAG`(如设置)仅作临时覆盖。
旧规矩「人肉同步 .env」的事故形态(1.0.14 发完 .env 仍停 1.0.9 → 裸 update 静默降级)不复存在;
`agent.sh verify` 的漂移告警保留——打印 `!` 说明 release 中途失败没回写,去查那次发版。
### ⚠️ 含凭据的命令**不要手敲**,一律走 `deploy/agent.sh`
@@ -484,7 +485,7 @@ set -a; . ./.env; set +a
```bash
bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 .env 的 IPASS_IMAGE_TAG)
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 deploy/image.conf)
bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
bash deploy/agent.sh release 1.0.7 # 构建推送 → 更新 → 验收,一条龙
bash deploy/agent.sh verify # 正式环境验收(登录+页面标记+subdomain_rule)
+72 -23
View File
@@ -16,7 +16,7 @@
#
# 用法:
# bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要
# bash deploy/agent.sh update [tag] # 完整更新(缺省用 .env 的 IPASS_IMAGE_TAG)
# bash deploy/agent.sh update [tag] # 完整更新(缺省用 deploy/image.conf 的 IPASS_IMAGE_TAG)
# bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
# bash deploy/agent.sh verify # 正式环境端到端验收(登录+拉页面+查规则)
# bash deploy/agent.sh release <tag> # 一条龙:构建推送 → 更新 → live_check 验证
@@ -43,7 +43,16 @@ set +a
A="${IPASS_AGENT_HOST:-}"
TOKEN="${IPASS_AGENT_TOKEN:-}"
REGISTRY="${IPASS_REGISTRY:-}"
DEFAULT_TAG="${IPASS_IMAGE_TAG:-}"
# 线上默认 tag:非秘密,放仓库文件 deploy/image.conf(release 成功后自动回写并提交)。
# .env 的 IPASS_IMAGE_TAG 仅作临时覆盖。此前靠人肉同步 .env,出过两次事故形态:
# 「发完忘同步 → 裸 update 静默降级回旧镜像」和「.env 注释掉 → 裸 update 直接没缺省」。
TAG_FILE="$ROOT/deploy/image.conf"
FILE_TAG=""
if [ -f "$TAG_FILE" ]; then
FILE_TAG="$(sed -n 's/^[[:space:]]*IPASS_IMAGE_TAG=//p' "$TAG_FILE" | head -1 | tr -d "\"'" | tr -d '[:space:]')"
fi
DEFAULT_TAG="${IPASS_IMAGE_TAG:-$FILE_TAG}"
# 正式环境对外入口(验收用):管理域名 + 宿主端口 + 直连 IP
LIVE_HOST="${IPASS_MDM_HOST:-mdm.mayishangshu.cn}"
@@ -63,11 +72,11 @@ get() { curl -s -m "${TIMEOUT:-30}" -H "Authorization: Bearer $TOKEN" "$A$1"; }
post() { curl -s -m "${TIMEOUT:-60}" -H "Authorization: Bearer $TOKEN" \
-H 'Content-Type: application/json' -d "${2:-{\}}" "$A$1"; }
# tag / 完整镜像名 → 完整镜像名;空 → .env 的 IPASS_IMAGE_TAG
# tag / 完整镜像名 → 完整镜像名;空 → deploy/image.conf 的 IPASS_IMAGE_TAG(.env 可临时覆盖)
resolve_image() {
local t="${1:-}"
[ -z "$t" ] && t="$DEFAULT_TAG"
[ -z "$t" ] && { echo "✗ 未给 tag,且 .env 的 IPASS_IMAGE_TAG 为空" >&2; exit 2; }
[ -z "$t" ] && { echo "✗ 未给 tag,且 deploy/image.conf 没有 IPASS_IMAGE_TAG(跑一次 release 会自动写入)" >&2; exit 2; }
case "$t" in
*/*:*|*:* ) printf '%s' "$t" ;;
ipass-* ) printf '%s:%s' "$REGISTRY" "$t" ;;
@@ -128,16 +137,17 @@ cmd_verify() {
echo "· 镜像: $img"
echo "· digest: ${dig##*@}"
# 0) 默认 tag 漂移告警:.env 的 IPASS_IMAGE_TAG 落后于线上时,
# 0) 默认 tag 漂移告警:deploy/image.conf 落后于线上时,
# 裸 `update`(不带 tag)会**静默降级**回旧镜像 —— 只提示,不判失败。
# 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点。
# 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点(正常情况下
# release 成功尾部已自动回写,这里应当恒绿;报 ! 说明 release 中途失败过)。
if [ -z "$DEFAULT_TAG" ]; then
echo " ! .env 未设 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(须显式传)"
echo " ! deploy/image.conf 无 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(跑一次 release 会自动写入)"
elif [ "$img" = "${REGISTRY}:${DEFAULT_TAG}" ] || [ "$img" = "$DEFAULT_TAG" ]; then
echo " ✓ .env 默认 tag 与线上一致(${DEFAULT_TAG})"
echo " ✓ 默认 tag 与线上一致(${DEFAULT_TAG})"
else
echo " ! .env 的 IPASS_IMAGE_TAG=$DEFAULT_TAG 落后于线上(${img##*:})"
echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 请把 .env 同步成 ${img##*:}"
echo " ! 默认 tag(deploy/image.conf 或 .env 覆盖)= $DEFAULT_TAG 落后于线上(${img##*:})"
echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 检查 release 是否中途失败未回写"
fi
echo "· 登录 ${LIVE_HOST}:${LIVE_PORT}(-> ${LIVE_IP})"
@@ -259,13 +269,35 @@ cmd_upstream_test() {
fi
# 测试接口是 internal_redirect 到上游真实接口,返回体=上游原始响应,
# 状态码在 HTTP 状态行(不在 JSON 体里),所以单独用 -w 抓。
# ⚠️ 探测体必须与面板同款(slot 走 query + body 用**第一个登记模型**):
# 1.1.1 起探测体原样转发给厂商,空体/假模型会被严格校验的厂商拒
# (minimax 2013 unknown model 事故同款),拿着假失败去排障。
local model
model="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams" | "$PY" -c '
import json, sys
try:
items = json.load(sys.stdin)["data"]["items"]
except Exception:
sys.exit(0)
for u in items:
if u.get("slot") == sys.argv[1]:
ms = u.get("models") or []
if ms:
print(ms[0])
break
' "$slot" 2>/dev/null)"
if [ -z "$model" ]; then
echo "✗ 上游 $slot 不存在或没有登记模型(探测体没法拼)"
rm -f "$jar" "$tmp"
return 1
fi
code="$(live_curl -b "$jar" -H 'Content-Type: application/json' \
-d "{\"slot\":\"$slot\"}" \
-d "{\"model\":\"$model\",\"max_tokens\":1,\"stream\":false,\"messages\":[{\"role\":\"user\",\"content\":\"ping\"}]}" \
-o "$tmp" -w '%{http_code}' \
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test")"
"https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test?slot=$slot")"
body="$(cat "$tmp" 2>/dev/null)"
rm -f "$jar" "$tmp"
echo " 上游 HTTP $code"
echo " 上游 HTTP ${code}(探测 model=${model})"
if [ -n "$body" ]; then
if [ -n "$PY" ]; then
printf '%s' "$body" | "$PY" -c '
@@ -419,13 +451,15 @@ case "$CMD" in
[ -n "$TAG" ] || { echo "用法: bash deploy/agent.sh release 1.0.7" >&2; exit 2; }
IMG="$(resolve_image "$TAG")"
# ---- 控制面版本闸门:自动回滚依赖 restore_backup + rollback 自动拉镜像,
# 这两条是 ipass-agent 1.0.2 加的。旧控制面会**静默忽略** restore_backup ——
# 真出故障时就回不了数据,必须开跑前说清楚。
# ---- 控制面版本闸门:自动回滚依赖 restore_backup + rollback 自动拉镜像 +
# rollback 参数容忍(完整镜像名/短 tag 都认),分别是 1.0.2 / 1.0.4 加的。
# 1.1.1 发版实测:远端旧控制面对同一条 rollback 请求报「需要显式传 tag」
# (参数约定对不上)→ 验证误报时回滚失败,线上靠「错进错出」才留在新版。
# 自动回滚必须**先证明它能工作**才允许依赖它,所以闸门抬到 1.0.4。
AGENT_VER="$(get /health | jget version)"
if [ -z "$AGENT_VER" ] || [ "$(printf '%s\n1.0.2\n' "$AGENT_VER" | sort -V | head -1)" != "1.0.2" ]; then
echo "! 控制面版本 ${AGENT_VER:-未知} < 1.0.2:验证失败时将无法自动恢复数据。"
echo " 先在 .11 上跑一次自更新(readme §12.5)再继续发版。"
if [ -z "$AGENT_VER" ] || [ "$(printf '%s\n1.0.4\n' "$AGENT_VER" | sort -V | head -1)" != "1.0.4" ]; then
echo "! 控制面版本 ${AGENT_VER:-未知} < 1.0.4:验证失败时自动回滚不可靠(参数约定/数据恢复)。"
echo " 先在 .11 上自更新 ipass-agent.py 到 1.0.4(readme §12.5)再继续发版。"
[ "${IPASS_FORCE_RELEASE:-}" = "1" ] || { echo "✗ 中止(确认要跳过闸门:IPASS_FORCE_RELEASE=1 重跑)" >&2; exit 3; }
fi
@@ -476,8 +510,14 @@ case "$CMD" in
echo " 按上面失败项人工排查(配置/数据/外部依赖)。"
exit 1
fi
RB_ARGS="{\"tag\":\"$PRE_IMG\""
[ -n "$BACKUP" ] && RB_ARGS="$RB_ARGS,\"restore_backup\":\"$BACKUP\""
# JSON 用 python 拼(手拼转义是事故孵化器);tag/image 双写——
# 新控制面读 tag,1.0.4 前的旧控制面读 image 也能凑合活。
RB_ARGS="$("$PY" -c '
import json, sys
d = {"tag": sys.argv[1], "image": sys.argv[1]}
if sys.argv[2]:
d["restore_backup"] = sys.argv[2]
print(json.dumps(d))' "$PRE_IMG" "$BACKUP")"
[ -n "$BACKUP" ] || echo " ! 无备份路径:只回滚镜像、不恢复数据(污染可能残留)"
RB_JOB="$(post "/rollback" "$RB_ARGS" | jget job)"
[ -n "$RB_JOB" ] || { echo "✗ 回滚任务未启动" >&2; exit 1; }
@@ -494,7 +534,16 @@ case "$CMD" in
fi
echo
echo "== 4/4 验证通过,无需回滚 =="
echo "✔ 发版成功:${IMG}(回滚快照保留在 $PRE_IMG / ${BACKUP:-无备份})"
# 默认 tag 回写(deploy/image.conf,非秘密):成功后裸 update 的缺省即本版,
# 不再依赖人肉同步 .env。顺手 commit,保证下次 release.sh 的工作区干净检查。
printf 'IPASS_IMAGE_TAG=%s\n' "${IMG##*:}" > "$TAG_FILE"
if git -C "$ROOT" rev-parse --is-inside-work-tree >/dev/null 2>&1; then
git -C "$ROOT" add "$TAG_FILE" 2>/dev/null || true
git -C "$ROOT" diff --cached --quiet 2>/dev/null \
|| git -C "$ROOT" commit -q -m "chore(release): 默认 tag → ${IMG##*:}" \
|| echo " ! deploy/image.conf 自动提交失败,请手动 commit(内容已写入)"
fi
echo "✔ 发版成功:${IMG}(回滚快照保留在 $PRE_IMG / ${BACKUP:-无备份};deploy/image.conf 已回写,记得 git push)"
;;
*)
cat <<'USAGE'
@@ -512,7 +561,7 @@ iPass 控制面包装(凭据只从 .env 读,命令行里不出现任何 key
bash deploy/agent.sh stats-dump # 立即落盘一次并回读状态
变更
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 .env 的 IPASS_IMAGE_TAG)
bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 deploy/image.conf 的 IPASS_IMAGE_TAG)
bash deploy/agent.sh wait <job-id> # 轮询任务直到结束并打印日志
bash deploy/agent.sh rollback [tag] [备份tar] # 回滚;带 .11 上 ~/ipass/backup/*.tar.gz 时同时恢复数据
bash deploy/agent.sh restart # 只重启
+3
View File
@@ -0,0 +1,3 @@
# 线上默认 tag(非秘密,随仓库走)。`agent.sh release` 成功后自动回写并 commit。
# 裸 `agent.sh update` 缺省用它;.env 的 IPASS_IMAGE_TAG 仅作临时覆盖。
IPASS_IMAGE_TAG=ipass-1.1.1
+18 -2
View File
@@ -83,7 +83,7 @@ from urllib.parse import urlparse, parse_qs
# ------------------------------------------------------------------ 常量
SERVICE = "ipass-agent"
VERSION = "1.0.3"
VERSION = "1.0.4"
DEFAULT_PORT = 18099
DEFAULT_IMAGE = ("crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/"
@@ -800,7 +800,9 @@ def op_update(job, p):
def op_rollback(job, p):
tag = p.get("tag")
# tag / image 两个键都认:release 自动回滚双写两者(旧调用方只填 image,
# 新调用方填 tag)——参数键位不一致曾让 1.1.1 的自动回滚 job 直接失败。
tag = p.get("tag") or p.get("image")
# 1.0.17 起 update 不再在本地留 `ipass-gateway:rollback-*` 镜像标签(理由:
# 镜像动辄 100 MB+,本地磁盘会越积越多;阿里云私仓永远保留所有 tag,需要时
# `docker pull` 即可)。所以回滚**必须显式传 tag**,否则直接报错——避免误
@@ -811,6 +813,20 @@ def op_rollback(job, p):
"请从阿里云私仓拉指定 tag 后再 rollback,例如:"
"`bash deploy/agent.sh rollback ipass-1.0.15`)"
)
# 三种形态都收:完整镜像名(release 自动回滚传这个)、`ipass-x.y.z` 短 tag、
# 裸 `x.y.z`。短形态用受管容器当前镜像的仓库段补全——私仓前缀在 .11 现场
# 取现值最可靠,别让调用方背地址。
if "/" not in tag:
short = tag if tag.startswith("ipass-") else "ipass-" + tag
name = ensure_managed(p.get("name"))
rc, out = docker(["inspect", "-f", "{{.Config.Image}}", name], timeout=30)
cur = out.strip() if rc == 0 else ""
if cur and ":" in cur.rsplit("/", 1)[-1]:
cur = cur.rsplit(":", 1)[0]
if not cur:
raise RuntimeError("短 tag %s 无法补全:读不到受管容器镜像引用" % short)
tag = "%s:%s" % (cur, short)
jlog(job, "短 tag 补全为 %s" % tag)
if not image_exists(tag):
# 自动补齐:私仓永远保留所有 tag。发版失败触发的**自动**回滚必须能自愈,
# 不能停在「本地恰好没拉过旧镜像」上(人工场景报错让人决定)。
+8 -1
View File
@@ -158,4 +158,11 @@ def main():
if __name__ == "__main__":
main()
try:
main()
except SystemExit:
raise
except Exception as e: # noqa: BLE001
# 同 test_models.py:脚本崩溃 = 验证手段不可用(2),绝不能退 1 触发回滚。
print(f"✗ 探针脚本自身异常,按「验证不可用」处理(不触发回滚):{type(e).__name__}: {e}", file=sys.stderr)
sys.exit(2)
+19 -2
View File
@@ -26,8 +26,25 @@ import time
import urllib.error
import urllib.request
MDM = os.environ.get("IPASS_MDM_HOST", "https://mdm.mayishangshu.cn:88")
LM = os.environ.get("IPASS_LM_HOST", "https://lm.mayishangshu.cn:88")
def _base_url(env_name: str, default_host: str) -> str:
""".env 约定 IPASS_MDM_HOST / IPASS_LM_HOST 存**裸主机名**(与 agent.sh 的
LIVE_HOST + LIVE_PORT 拆分同一口径,宿主端口在 IPASS_PUBLIC_PORT,三域名共用)。
直接当完整 URL 用会 `ValueError: unknown url type`——1.1.1 发版实测:release
里 agent.sh 已 source .env,子进程继承了裸主机名,live_check 两步探针全崩,
还因「未捕获异常退 1」被误判成网关侧故障触发了自动回滚。这里统一补 scheme 与端口。
"""
v = (os.environ.get(env_name) or default_host).strip().rstrip("/")
if "://" not in v:
v = "https://" + v
hostport = v.split("://", 1)[1].split("/", 1)[0]
if ":" not in hostport:
v = "%s:%s" % (v, (os.environ.get("IPASS_PUBLIC_PORT") or "88").strip())
return v
MDM = _base_url("IPASS_MDM_HOST", "mdm.mayishangshu.cn")
LM = _base_url("IPASS_LM_HOST", "lm.mayishangshu.cn")
# 供应商边缘(souyi 走 Cloudflare)会拦默认 `Python-urllib/3.x` → 403 error code:1010
# (2026-09-17 实测,同请求换 curl UA 立刻 200)。可被 IPASS_UA 覆盖。
+10 -1
View File
@@ -221,4 +221,13 @@ def main():
if __name__ == "__main__":
main()
try:
main()
except SystemExit:
raise
except Exception as e: # noqa: BLE001
# 脚本自身/环境异常(拼 URL 崩、缺依赖…)= **验证手段不可用(2)**。
# 未捕获栈会退 1,被 live_check 判成网关侧故障触发自动回滚——1.1.1 发版
# 实测踩过(me_catalog 拿裸主机名当 URL 崩,差点把健康版本回滚掉)。
print(f"✗ 探针脚本自身异常,按「验证不可用」处理(不触发回滚):{type(e).__name__}: {e}", file=sys.stderr)
sys.exit(2)