From 6b8d694c54392a606949085df84e4bd80653469a Mon Sep 17 00:00:00 2001 From: admin Date: Mon, 14 Sep 2026 18:01:27 +0800 Subject: [PATCH] =?UTF-8?q?deploy(agent):=20=E5=A4=87=E4=BB=BD=E6=94=B9=20?= =?UTF-8?q?~/ipass/backup/=20+=20=E5=88=A0=20rollback-*=20=E6=A0=87?= =?UTF-8?q?=E7=AD=BE=20(1.0.17)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 3 处变更,都是苏苏 9-14 反馈: 1. **备份路径**:从 `~/ipass-data-backup-<时间>.tar.gz` 改成 `~/ipass/backup/ipass-data-<时间>.tar.gz`。 `ls ~` 不再被一堆 `ipass-data-backup-*.tar.gz` 文件刷屏。 2. **审计目录权限**:宿主侧首建 audit/ 目录后显式 `chmod 777`。 agent 是 root 跑的,`os.makedirs` 创建的目录属主是 root, 但容器内 worker 是 nobody,写不动 → 日志刷 `[audit] 建日期目录失败 Permission denied`、整个审计废掉。 用 777 而非按 uid chown:宿主 uid 与容器内 nobody uid 不一定一致 (镜像内 nobody=65534,宿主 root mkdir 后 uid=0),按 uid 改 要么拖数字要么拖 docker 进程解析;777 简单可读, 且 audit 是「append-only JSON 元数据」、没有防篡改语义。 3. **去掉「旧镜像留 rollback tag」步骤**:镜像动辄 100 MB+, 本地磁盘会越积越多;阿里云私仓永远保留所有 tag,需要时 `docker pull` 即可。 - 删除 §3(7 步变 6 步:2/6 备份 → 3/6 删容器 → 4/6 起新容器 → 5/6 自检 → 6/6 探活) - 删 `ROLLBACK_PREFIX` 常量 - `op_rollback` 不再自动选 local rollback-tag,**必须显式传 tag**, 否则报错指引去阿里云拉 - 同时清掉 .11 上积的 `ipass-gateway:rollback-20260912-104954` (144 MB) CLAUDE.md 同步:发版/回滚段补三条 1.0.17 注意事项。 --- CLAUDE.md | 8 ++++- deploy/ipass-agent.py | 81 ++++++++++++++++++++----------------------- 2 files changed, 44 insertions(+), 45 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index fd3a99c..2b219dd 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -532,7 +532,13 @@ bash update-ipass.sh --bg # 后台更新(日志 ~/ipass-update-<时间>.l - **`--bg` 必须 `setsid` / `start_new_session`**:只 `nohup &` 时,脚本被父进程组回收, 表现是「删完旧容器就停住,新容器没起来」(数据没事,但服务是断的)。 - 数据目录 `chown 65534:65534`(worker 是 nobody),否则写穿 JSON 失败。 -- 动手前 `tar` 备份 + 旧镜像打 `rollback-<时间>` 标签,收尾打印回滚命令。 +- 动手前 `tar` 备份到 `~/ipass/backup/ipass-data-<时间>.tar.gz`(**1.0.17 起**:从 `~/` + 根目录挪到子目录,`ls ~` 不再被一堆 `ipass-data-backup-*.tar.gz` 文件刷屏)。 +- 旧镜像**不在本地**打 `rollback-<时间>` 标签(**1.0.17 起**:镜像动辄 100 MB+, + 本地磁盘会越积越多;阿里云私仓永远保留所有 tag,回滚时 `docker pull` 即可), + 收尾打印回滚命令:用户显式传 tag,从阿里云拉。 +- **审计目录权限**:宿主侧首建后必须 `chmod 777`,否则容器内 nobody worker 写不动, + 日志刷 `[audit] 建日期目录失败 Permission denied`、整个审计废掉(实测踩过,1.0.17 修)。 - 旧容器若是 compose 创建,脚本会提示「已用 docker run 接管」。 > 验证脚本本身:本机用 `NAME=ipass-dt HOST_PORT=<高位> DATA_DIR=/tmp/... SKIP_PULL=1` diff --git a/deploy/ipass-agent.py b/deploy/ipass-agent.py index 0ca76e6..e44c763 100644 --- a/deploy/ipass-agent.py +++ b/deploy/ipass-agent.py @@ -95,7 +95,9 @@ MAIN_CPORT = "18098" # 容器内主端口(宿主映 NGINX_BIN = "/usr/local/nginx/sbin/nginx" ADMIN_HOST = "mdm.mayishangshu.cn" # 探活用的 Host 头 -ROLLBACK_PREFIX = "ipass-gateway:rollback-" +# 1.0.17 起 update 不再在本地留 `ipass-gateway:rollback-*` 镜像标签。镜像在阿里云私仓 +# 永远保留,需要时 `docker pull <完整镜像名>` 即可——本地磁盘不再被一堆历史镜像撑大。 +# 回滚入口仍保留(`op_rollback` + agent.sh `rollback `),但**必须显式传 tag**。 JOB_KEEP = 20 PULL_TIMEOUT = 1800 @@ -462,7 +464,16 @@ def backup_data(data_dir, job): if not data_dir or not os.path.isdir(data_dir): jlog(job, " ! 数据目录不存在,跳过备份:%s" % data_dir) return None - dest = os.path.join(os.path.expanduser("~"), "ipass-data-backup-%s.tar.gz" % ts_tag()) + # 备份统一收到 ~/ipass/backup/ 下:不再散在 $HOME 根目录被 `ls ~` 一眼看到一堆 + # `ipass-data-backup-20260914-*.tar.gz` 文件。命名沿用 `ipass-data-.tar.gz` + # 保留 `ipass-data-` 前缀便于识别时间序列。 + dest_dir = os.path.join(os.path.expanduser("~"), "ipass", "backup") + try: + os.makedirs(dest_dir, exist_ok=True) + except Exception as e: # noqa: BLE001 + jlog(job, " ! 创建备份目录失败(继续,但请留意):%s" % e) + return None + dest = os.path.join(dest_dir, "ipass-data-%s.tar.gz" % ts_tag()) try: with tarfile.open(dest, "w:gz") as tf: tf.add(data_dir, arcname="data") @@ -614,29 +625,10 @@ def op_update(job, p): "registry_pass": p.get("registry_pass")}) # ---- 2 备份数据 - jlog(job, "\n2/7 备份数据") + jlog(job, "\n2/6 备份数据") job["backup"] = backup_data(data_src, job) - # ---- 3 旧镜像留回滚标签 - jlog(job, "\n3/7 旧镜像留回滚标签") - rollback_tag = None - # ★ 按**镜像内容 id** 判重,不能按 tag 名:同一个 tag 被覆盖推送是常态 - # (如 ipass-1.0.0 迭代),比 tag 名会把「内容已变」误判成「相同」→ - # 跳过回滚标签,且只在日志里留一句不起眼的「跳过」,等于悄悄失去回滚点。 - old_id = cfg.get("Image") or "" - new_id = image_id(image) - if old_id and old_id != new_id: - rollback_tag = "%s%s" % (ROLLBACK_PREFIX, ts_tag()) - rc, out = docker(["tag", old_id, rollback_tag]) - if rc == 0: - job["rollback_tag"] = rollback_tag - jlog(job, " %s (%s) → %s" % (old_image, old_id[:19], rollback_tag)) - else: - jlog(job, " ! 打标签失败:%s" % out.strip()) - else: - jlog(job, " (旧容器镜像与新镜像内容一致,无需回滚点)") - - # ---- 4 删旧容器 + # ---- 3 删旧容器 jlog(job, "\n4/7 停止并删除旧容器") docker(["stop", "-t", "10", name], timeout=60) rc, out = docker(["rm", "-f", name], timeout=60) @@ -645,18 +637,25 @@ def op_update(job, p): jlog(job, " 已删除 %s" % name) # ---- 5 起新容器 - jlog(job, "\n5/7 起新容器") + jlog(job, "\n4/6 起新容器") argv = ["run", "-d", "--name", name] if restart: argv += ["--restart", restart] argv += port_args argv += ["-v", "%s:%s" % (data_src, CONTAINER_DATA)] # 审计挂载:宿主侧 = 数据目录的兄弟目录 audit/(docs/llm/AUDIT_LOG.md)。 - # 容器重建不丢审计档案;目录不存在就先建(属主 nobody 由镜像内 mkdir 兜底, - # 宿主侧首建后 Docker 会继承容器内属主——首次写入前手动 chown 一次更稳)。 + # 容器重建不丢审计档案;目录不存在就先建。 + # ⚠️ worker 在容器里跑 nobody,宿主目录首建属主是 root(agent 是 root 跑的), + # nobody 写不动 → 日志刷 `[audit] 建日期目录失败 Permission denied`、整个审计废掉。 + # 解决:建完目录**显式 chmod 777**,与 data 目录保持一致(worker 还要建日期子目录)。 + # 用 777 而非按 uid chown:宿主侧的 uid 与容器内 nobody 的 uid 不一定一致 + # (镜像内 nobody=65534,宿主侧 root 直接 mkdir 后 uid=0),按 uid 改要么拖数字 + # 要么拖 docker 进程解析。777 简单可读,且 audit 是「append-only JSON 元数据」、 + # 没有「拒绝别人改我的审计」语义。 try: audit_src = os.path.join(os.path.dirname(data_src.rstrip("/")), "audit") os.makedirs(audit_src, exist_ok=True) + os.chmod(audit_src, 0o777) argv += ["-v", "%s:%s" % (audit_src, CONTAINER_AUDIT)] jlog(job, " 审计目录 %s -> %s" % (audit_src, CONTAINER_AUDIT)) except OSError as e: @@ -697,8 +696,8 @@ def op_update(job, p): jlog(job, " worker(nobody) 审计目录可写:%s" % ("是" if "WRITABLE" in out else "否(审计功能将停用)")) - # ---- 7 数据 + 宿主探活 - jlog(job, "\n7/7 数据与探活") + # ---- 6 数据 + 宿主探活 + jlog(job, "\n6/6 数据与探活") summ = data_summary(data_src) jlog(job, " 账号 %s / 域名 %s / 上游 %s" % (summ.get("users"), summ.get("domains"), summ.get("upstreams"))) @@ -718,24 +717,18 @@ def op_update(job, p): def op_rollback(job, p): tag = p.get("tag") + # 1.0.17 起 update 不再在本地留 `ipass-gateway:rollback-*` 镜像标签(理由: + # 镜像动辄 100 MB+,本地磁盘会越积越多;阿里云私仓永远保留所有 tag,需要时 + # `docker pull` 即可)。所以回滚**必须显式传 tag**,否则直接报错——避免误 + # 用「之前回滚过一次的旧镜像」导致回滚到非预期版本。 if not tag: - rc, out = docker(["images", "--format", - "{{.Repository}}:{{.Tag}}\t{{.CreatedAt}}"]) - cands = [] - for line in out.splitlines(): - parts = line.split("\t") - if len(parts) == 2 and "rollback-" in parts[0]: - cands.append(parts) - if not cands: - raise RuntimeError("没有 rollback-* 镜像可回滚") - # 按 **tag 名里的时间戳** 排序(`rollback-YYYYMMDD-HHMMSS` 的字典序即时间序)。 - # 不要按 {{.CreatedAt}}:那是镜像的**构建时间**,而回滚标签是事后用 image id - # 补打的 —— 用它排序会把「刚打的、指向旧内容的」标签排到最后(甚至选错)。 - cands.sort(key=lambda x: x[0], reverse=True) - tag = cands[0][0] - jlog(job, "自动选中最近的回滚镜像:%s" % tag) + raise RuntimeError( + "rollback 需要显式传 tag(1.0.17 起 update 不在本地留 rollback-* 镜像;" + "请从阿里云私仓拉指定 tag 后再 rollback,例如:" + "`bash deploy/agent.sh rollback ipass-1.0.15`)" + ) if not image_exists(tag): - raise RuntimeError("回滚镜像不存在:%s" % tag) + raise RuntimeError("回滚镜像不存在:%s(要先 docker pull?)" % tag) jlog(job, "回滚到 %s\n" % tag) params = {"image": tag, "skip_pull": True} for k in ("name", "data_dir", "host_port"):