diff --git a/CLAUDE.md b/CLAUDE.md index 8517117..885d74e 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -453,7 +453,7 @@ set -a; . ./.env; set +a | 远程控制面 | `$IPASS_AGENT_HOST` + `Authorization: Bearer $IPASS_AGENT_TOKEN` | | 管理台登录 | `$IPASS_ADMIN_USER` / `$IPASS_ADMIN_PASSWORD` | | 三个域名 | `$IPASS_MDM_HOST` / `$IPASS_LLM_HOST` / `$IPASS_ENTERPRISE_SUFFIX`,宿主端口 `$IPASS_PUBLIC_PORT` | -| 发版 | `$IPASS_REGISTRY` / `$IPASS_IMAGE_TAG` | +| 发版 | `$IPASS_REGISTRY`;线上默认 tag 在 `deploy/image.conf`(非秘密、入库)——release 成功后自动回写。`$IPASS_IMAGE_TAG` 仅作临时覆盖 | | 源码仓库 | `$IPASS_GITEA` | 硬约定: @@ -466,11 +466,12 @@ set -a; . ./.env; set +a 破坏性命令(`rm` / `sudo` / `docker rm` / `git push --force` / `git reset --hard`)显式 `deny`,仍会被硬拦。 - 白名单是**本机**配置:换机器要重拷 `.env` 与 `.workbuddy/settings.local.json`。 - **`.env` 是只读的**:沙箱会拦写入(`sed -i .env` → `Operation not permitted`), - 改它只能由用户手动编辑。所以发版后 `IPASS_IMAGE_TAG` 的同步要**明确交回用户**, - 别用 `cp` 备份到 `/tmp`(那是凭据副本,必须立刻删)。 -- ⚠️ **发版后 `.env` 的 `IPASS_IMAGE_TAG` 必须同步成新 tag**:`update` 不带 tag 时用它做缺省值, - 落后即**静默降级**回旧镜像(真踩过:1.0.14 发完,`.env` 仍停在 1.0.9)。 - `agent.sh verify` 已加漂移告警(不一致时打印 `!`,不判失败)。 + 改它只能由用户手动编辑。别用 `cp` 备份到 `/tmp`(那是凭据副本,必须立刻删)。 +- **线上默认 tag 走 `deploy/image.conf`,不走 `.env`(1.1.1 起)**:非秘密、入库, + `agent.sh release` 成功后**自动回写并 commit**(提示 git push),裸 `update` 以它做缺省。 + **不再需要提醒用户手动同步任何东西。**`.env` 的 `IPASS_IMAGE_TAG`(如设置)仅作临时覆盖。 + 旧规矩「人肉同步 .env」的事故形态(1.0.14 发完 .env 仍停 1.0.9 → 裸 update 静默降级)不复存在; + `agent.sh verify` 的漂移告警保留——打印 `!` 说明 release 中途失败没回写,去查那次发版。 ### ⚠️ 含凭据的命令**不要手敲**,一律走 `deploy/agent.sh` @@ -484,7 +485,7 @@ set -a; . ./.env; set +a ```bash bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要 -bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 .env 的 IPASS_IMAGE_TAG) +bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 deploy/image.conf) bash deploy/agent.sh wait # 轮询任务直到结束并打印日志 bash deploy/agent.sh release 1.0.7 # 构建推送 → 更新 → 验收,一条龙 bash deploy/agent.sh verify # 正式环境验收(登录+页面标记+subdomain_rule) diff --git a/deploy/agent.sh b/deploy/agent.sh index d820465..6b8620a 100755 --- a/deploy/agent.sh +++ b/deploy/agent.sh @@ -16,7 +16,7 @@ # # 用法: # bash deploy/agent.sh status # 容器状态 + 镜像 digest + 数据摘要 -# bash deploy/agent.sh update [tag] # 完整更新(缺省用 .env 的 IPASS_IMAGE_TAG) +# bash deploy/agent.sh update [tag] # 完整更新(缺省用 deploy/image.conf 的 IPASS_IMAGE_TAG) # bash deploy/agent.sh wait # 轮询任务直到结束并打印日志 # bash deploy/agent.sh verify # 正式环境端到端验收(登录+拉页面+查规则) # bash deploy/agent.sh release # 一条龙:构建推送 → 更新 → live_check 验证 @@ -43,7 +43,16 @@ set +a A="${IPASS_AGENT_HOST:-}" TOKEN="${IPASS_AGENT_TOKEN:-}" REGISTRY="${IPASS_REGISTRY:-}" -DEFAULT_TAG="${IPASS_IMAGE_TAG:-}" + +# 线上默认 tag:非秘密,放仓库文件 deploy/image.conf(release 成功后自动回写并提交)。 +# .env 的 IPASS_IMAGE_TAG 仅作临时覆盖。此前靠人肉同步 .env,出过两次事故形态: +# 「发完忘同步 → 裸 update 静默降级回旧镜像」和「.env 注释掉 → 裸 update 直接没缺省」。 +TAG_FILE="$ROOT/deploy/image.conf" +FILE_TAG="" +if [ -f "$TAG_FILE" ]; then + FILE_TAG="$(sed -n 's/^[[:space:]]*IPASS_IMAGE_TAG=//p' "$TAG_FILE" | head -1 | tr -d "\"'" | tr -d '[:space:]')" +fi +DEFAULT_TAG="${IPASS_IMAGE_TAG:-$FILE_TAG}" # 正式环境对外入口(验收用):管理域名 + 宿主端口 + 直连 IP LIVE_HOST="${IPASS_MDM_HOST:-mdm.mayishangshu.cn}" @@ -63,11 +72,11 @@ get() { curl -s -m "${TIMEOUT:-30}" -H "Authorization: Bearer $TOKEN" "$A$1"; } post() { curl -s -m "${TIMEOUT:-60}" -H "Authorization: Bearer $TOKEN" \ -H 'Content-Type: application/json' -d "${2:-{\}}" "$A$1"; } -# tag / 完整镜像名 → 完整镜像名;空 → .env 的 IPASS_IMAGE_TAG +# tag / 完整镜像名 → 完整镜像名;空 → deploy/image.conf 的 IPASS_IMAGE_TAG(.env 可临时覆盖) resolve_image() { local t="${1:-}" [ -z "$t" ] && t="$DEFAULT_TAG" - [ -z "$t" ] && { echo "✗ 未给 tag,且 .env 的 IPASS_IMAGE_TAG 为空" >&2; exit 2; } + [ -z "$t" ] && { echo "✗ 未给 tag,且 deploy/image.conf 没有 IPASS_IMAGE_TAG(跑一次 release 会自动写入)" >&2; exit 2; } case "$t" in */*:*|*:* ) printf '%s' "$t" ;; ipass-* ) printf '%s:%s' "$REGISTRY" "$t" ;; @@ -128,16 +137,17 @@ cmd_verify() { echo "· 镜像: $img" echo "· digest: ${dig##*@}" - # 0) 默认 tag 漂移告警:.env 的 IPASS_IMAGE_TAG 落后于线上时, + # 0) 默认 tag 漂移告警:deploy/image.conf 落后于线上时, # 裸 `update`(不带 tag)会**静默降级**回旧镜像 —— 只提示,不判失败。 - # 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点。 + # 发版一条龙结尾必跑 verify,所以这里是一次固定的自检点(正常情况下 + # release 成功尾部已自动回写,这里应当恒绿;报 ! 说明 release 中途失败过)。 if [ -z "$DEFAULT_TAG" ]; then - echo " ! .env 未设 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(须显式传)" + echo " ! deploy/image.conf 无 IPASS_IMAGE_TAG —— 裸 update 无缺省 tag(跑一次 release 会自动写入)" elif [ "$img" = "${REGISTRY}:${DEFAULT_TAG}" ] || [ "$img" = "$DEFAULT_TAG" ]; then - echo " ✓ .env 默认 tag 与线上一致(${DEFAULT_TAG})" + echo " ✓ 默认 tag 与线上一致(${DEFAULT_TAG})" else - echo " ! .env 的 IPASS_IMAGE_TAG=$DEFAULT_TAG 落后于线上(${img##*:})" - echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 请把 .env 同步成 ${img##*:}" + echo " ! 默认 tag(deploy/image.conf 或 .env 覆盖)= $DEFAULT_TAG 落后于线上(${img##*:})" + echo " 裸 \`bash deploy/agent.sh update\` 会退回 $DEFAULT_TAG —— 检查 release 是否中途失败未回写" fi echo "· 登录 ${LIVE_HOST}:${LIVE_PORT}(-> ${LIVE_IP})" @@ -259,13 +269,35 @@ cmd_upstream_test() { fi # 测试接口是 internal_redirect 到上游真实接口,返回体=上游原始响应, # 状态码在 HTTP 状态行(不在 JSON 体里),所以单独用 -w 抓。 + # ⚠️ 探测体必须与面板同款(slot 走 query + body 用**第一个登记模型**): + # 1.1.1 起探测体原样转发给厂商,空体/假模型会被严格校验的厂商拒 + # (minimax 2013 unknown model 事故同款),拿着假失败去排障。 + local model + model="$(live_curl -b "$jar" "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams" | "$PY" -c ' +import json, sys +try: + items = json.load(sys.stdin)["data"]["items"] +except Exception: + sys.exit(0) +for u in items: + if u.get("slot") == sys.argv[1]: + ms = u.get("models") or [] + if ms: + print(ms[0]) + break +' "$slot" 2>/dev/null)" + if [ -z "$model" ]; then + echo "✗ 上游 $slot 不存在或没有登记模型(探测体没法拼)" + rm -f "$jar" "$tmp" + return 1 + fi code="$(live_curl -b "$jar" -H 'Content-Type: application/json' \ - -d "{\"slot\":\"$slot\"}" \ + -d "{\"model\":\"$model\",\"max_tokens\":1,\"stream\":false,\"messages\":[{\"role\":\"user\",\"content\":\"ping\"}]}" \ -o "$tmp" -w '%{http_code}' \ - "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test")" + "https://$LIVE_HOST:$LIVE_PORT/api/admin/upstreams/test?slot=$slot")" body="$(cat "$tmp" 2>/dev/null)" rm -f "$jar" "$tmp" - echo " 上游 HTTP $code" + echo " 上游 HTTP ${code}(探测 model=${model})" if [ -n "$body" ]; then if [ -n "$PY" ]; then printf '%s' "$body" | "$PY" -c ' @@ -419,13 +451,15 @@ case "$CMD" in [ -n "$TAG" ] || { echo "用法: bash deploy/agent.sh release 1.0.7" >&2; exit 2; } IMG="$(resolve_image "$TAG")" - # ---- 控制面版本闸门:自动回滚依赖 restore_backup + rollback 自动拉镜像, - # 这两条是 ipass-agent 1.0.2 加的。旧控制面会**静默忽略** restore_backup —— - # 真出故障时就回不了数据,必须开跑前说清楚。 + # ---- 控制面版本闸门:自动回滚依赖 restore_backup + rollback 自动拉镜像 + + # rollback 参数容忍(完整镜像名/短 tag 都认),分别是 1.0.2 / 1.0.4 加的。 + # 1.1.1 发版实测:远端旧控制面对同一条 rollback 请求报「需要显式传 tag」 + # (参数约定对不上)→ 验证误报时回滚失败,线上靠「错进错出」才留在新版。 + # 自动回滚必须**先证明它能工作**才允许依赖它,所以闸门抬到 1.0.4。 AGENT_VER="$(get /health | jget version)" - if [ -z "$AGENT_VER" ] || [ "$(printf '%s\n1.0.2\n' "$AGENT_VER" | sort -V | head -1)" != "1.0.2" ]; then - echo "! 控制面版本 ${AGENT_VER:-未知} < 1.0.2:验证失败时将无法自动恢复数据。" - echo " 先在 .11 上跑一次自更新(readme §12.5)再继续发版。" + if [ -z "$AGENT_VER" ] || [ "$(printf '%s\n1.0.4\n' "$AGENT_VER" | sort -V | head -1)" != "1.0.4" ]; then + echo "! 控制面版本 ${AGENT_VER:-未知} < 1.0.4:验证失败时自动回滚不可靠(参数约定/数据恢复)。" + echo " 先在 .11 上自更新 ipass-agent.py 到 1.0.4(readme §12.5)再继续发版。" [ "${IPASS_FORCE_RELEASE:-}" = "1" ] || { echo "✗ 中止(确认要跳过闸门:IPASS_FORCE_RELEASE=1 重跑)" >&2; exit 3; } fi @@ -476,8 +510,14 @@ case "$CMD" in echo " 按上面失败项人工排查(配置/数据/外部依赖)。" exit 1 fi - RB_ARGS="{\"tag\":\"$PRE_IMG\"" - [ -n "$BACKUP" ] && RB_ARGS="$RB_ARGS,\"restore_backup\":\"$BACKUP\"" + # JSON 用 python 拼(手拼转义是事故孵化器);tag/image 双写—— + # 新控制面读 tag,1.0.4 前的旧控制面读 image 也能凑合活。 + RB_ARGS="$("$PY" -c ' +import json, sys +d = {"tag": sys.argv[1], "image": sys.argv[1]} +if sys.argv[2]: + d["restore_backup"] = sys.argv[2] +print(json.dumps(d))' "$PRE_IMG" "$BACKUP")" [ -n "$BACKUP" ] || echo " ! 无备份路径:只回滚镜像、不恢复数据(污染可能残留)" RB_JOB="$(post "/rollback" "$RB_ARGS" | jget job)" [ -n "$RB_JOB" ] || { echo "✗ 回滚任务未启动" >&2; exit 1; } @@ -494,7 +534,16 @@ case "$CMD" in fi echo echo "== 4/4 验证通过,无需回滚 ==" - echo "✔ 发版成功:${IMG}(回滚快照保留在 $PRE_IMG / ${BACKUP:-无备份})" + # 默认 tag 回写(deploy/image.conf,非秘密):成功后裸 update 的缺省即本版, + # 不再依赖人肉同步 .env。顺手 commit,保证下次 release.sh 的工作区干净检查。 + printf 'IPASS_IMAGE_TAG=%s\n' "${IMG##*:}" > "$TAG_FILE" + if git -C "$ROOT" rev-parse --is-inside-work-tree >/dev/null 2>&1; then + git -C "$ROOT" add "$TAG_FILE" 2>/dev/null || true + git -C "$ROOT" diff --cached --quiet 2>/dev/null \ + || git -C "$ROOT" commit -q -m "chore(release): 默认 tag → ${IMG##*:}" \ + || echo " ! deploy/image.conf 自动提交失败,请手动 commit(内容已写入)" + fi + echo "✔ 发版成功:${IMG}(回滚快照保留在 $PRE_IMG / ${BACKUP:-无备份};deploy/image.conf 已回写,记得 git push)" ;; *) cat <<'USAGE' @@ -512,7 +561,7 @@ iPass 控制面包装(凭据只从 .env 读,命令行里不出现任何 key bash deploy/agent.sh stats-dump # 立即落盘一次并回读状态 变更 - bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 .env 的 IPASS_IMAGE_TAG) + bash deploy/agent.sh update [tag] # 拉镜像 + 重建容器(缺省用 deploy/image.conf 的 IPASS_IMAGE_TAG) bash deploy/agent.sh wait # 轮询任务直到结束并打印日志 bash deploy/agent.sh rollback [tag] [备份tar] # 回滚;带 .11 上 ~/ipass/backup/*.tar.gz 时同时恢复数据 bash deploy/agent.sh restart # 只重启 diff --git a/deploy/image.conf b/deploy/image.conf new file mode 100644 index 0000000..2b6d4ff --- /dev/null +++ b/deploy/image.conf @@ -0,0 +1,3 @@ +# 线上默认 tag(非秘密,随仓库走)。`agent.sh release` 成功后自动回写并 commit。 +# 裸 `agent.sh update` 缺省用它;.env 的 IPASS_IMAGE_TAG 仅作临时覆盖。 +IPASS_IMAGE_TAG=ipass-1.1.1 diff --git a/deploy/ipass-agent.py b/deploy/ipass-agent.py index ffdbc9b..3d46aae 100644 --- a/deploy/ipass-agent.py +++ b/deploy/ipass-agent.py @@ -83,7 +83,7 @@ from urllib.parse import urlparse, parse_qs # ------------------------------------------------------------------ 常量 SERVICE = "ipass-agent" -VERSION = "1.0.3" +VERSION = "1.0.4" DEFAULT_PORT = 18099 DEFAULT_IMAGE = ("crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/" @@ -800,7 +800,9 @@ def op_update(job, p): def op_rollback(job, p): - tag = p.get("tag") + # tag / image 两个键都认:release 自动回滚双写两者(旧调用方只填 image, + # 新调用方填 tag)——参数键位不一致曾让 1.1.1 的自动回滚 job 直接失败。 + tag = p.get("tag") or p.get("image") # 1.0.17 起 update 不再在本地留 `ipass-gateway:rollback-*` 镜像标签(理由: # 镜像动辄 100 MB+,本地磁盘会越积越多;阿里云私仓永远保留所有 tag,需要时 # `docker pull` 即可)。所以回滚**必须显式传 tag**,否则直接报错——避免误 @@ -811,6 +813,20 @@ def op_rollback(job, p): "请从阿里云私仓拉指定 tag 后再 rollback,例如:" "`bash deploy/agent.sh rollback ipass-1.0.15`)" ) + # 三种形态都收:完整镜像名(release 自动回滚传这个)、`ipass-x.y.z` 短 tag、 + # 裸 `x.y.z`。短形态用受管容器当前镜像的仓库段补全——私仓前缀在 .11 现场 + # 取现值最可靠,别让调用方背地址。 + if "/" not in tag: + short = tag if tag.startswith("ipass-") else "ipass-" + tag + name = ensure_managed(p.get("name")) + rc, out = docker(["inspect", "-f", "{{.Config.Image}}", name], timeout=30) + cur = out.strip() if rc == 0 else "" + if cur and ":" in cur.rsplit("/", 1)[-1]: + cur = cur.rsplit(":", 1)[0] + if not cur: + raise RuntimeError("短 tag %s 无法补全:读不到受管容器镜像引用" % short) + tag = "%s:%s" % (cur, short) + jlog(job, "短 tag 补全为 %s" % tag) if not image_exists(tag): # 自动补齐:私仓永远保留所有 tag。发版失败触发的**自动**回滚必须能自愈, # 不能停在「本地恰好没拉过旧镜像」上(人工场景报错让人决定)。 diff --git a/tests/apix_check.py b/tests/apix_check.py index 3d2223e..e296bf3 100644 --- a/tests/apix_check.py +++ b/tests/apix_check.py @@ -158,4 +158,11 @@ def main(): if __name__ == "__main__": - main() + try: + main() + except SystemExit: + raise + except Exception as e: # noqa: BLE001 + # 同 test_models.py:脚本崩溃 = 验证手段不可用(2),绝不能退 1 触发回滚。 + print(f"✗ 探针脚本自身异常,按「验证不可用」处理(不触发回滚):{type(e).__name__}: {e}", file=sys.stderr) + sys.exit(2) diff --git a/tests/me_catalog.py b/tests/me_catalog.py index 4c13df0..6d87c81 100644 --- a/tests/me_catalog.py +++ b/tests/me_catalog.py @@ -26,8 +26,25 @@ import time import urllib.error import urllib.request -MDM = os.environ.get("IPASS_MDM_HOST", "https://mdm.mayishangshu.cn:88") -LM = os.environ.get("IPASS_LM_HOST", "https://lm.mayishangshu.cn:88") +def _base_url(env_name: str, default_host: str) -> str: + """.env 约定 IPASS_MDM_HOST / IPASS_LM_HOST 存**裸主机名**(与 agent.sh 的 + LIVE_HOST + LIVE_PORT 拆分同一口径,宿主端口在 IPASS_PUBLIC_PORT,三域名共用)。 + + 直接当完整 URL 用会 `ValueError: unknown url type`——1.1.1 发版实测:release + 里 agent.sh 已 source .env,子进程继承了裸主机名,live_check 两步探针全崩, + 还因「未捕获异常退 1」被误判成网关侧故障触发了自动回滚。这里统一补 scheme 与端口。 + """ + v = (os.environ.get(env_name) or default_host).strip().rstrip("/") + if "://" not in v: + v = "https://" + v + hostport = v.split("://", 1)[1].split("/", 1)[0] + if ":" not in hostport: + v = "%s:%s" % (v, (os.environ.get("IPASS_PUBLIC_PORT") or "88").strip()) + return v + + +MDM = _base_url("IPASS_MDM_HOST", "mdm.mayishangshu.cn") +LM = _base_url("IPASS_LM_HOST", "lm.mayishangshu.cn") # 供应商边缘(souyi 走 Cloudflare)会拦默认 `Python-urllib/3.x` → 403 error code:1010 # (2026-09-17 实测,同请求换 curl UA 立刻 200)。可被 IPASS_UA 覆盖。 diff --git a/tests/test_models.py b/tests/test_models.py index db04d4c..3cfedb7 100644 --- a/tests/test_models.py +++ b/tests/test_models.py @@ -221,4 +221,13 @@ def main(): if __name__ == "__main__": - main() + try: + main() + except SystemExit: + raise + except Exception as e: # noqa: BLE001 + # 脚本自身/环境异常(拼 URL 崩、缺依赖…)= **验证手段不可用(2)**。 + # 未捕获栈会退 1,被 live_check 判成网关侧故障触发自动回滚——1.1.1 发版 + # 实测踩过(me_catalog 拿裸主机名当 URL 崩,差点把健康版本回滚掉)。 + print(f"✗ 探针脚本自身异常,按「验证不可用」处理(不触发回滚):{type(e).__name__}: {e}", file=sys.stderr) + sys.exit(2)