Commit Graph
10 Commits
Author SHA1 Message Date
admin 6081151410 fix(release): 发版链路三处缺陷(1.1.1 发版误回滚暴露)
1. me_catalog.py 把 .env 约定的**裸主机名**当完整 URL 用:release 里
   agent.sh source .env 后子进程继承,live_check 两步探针 ValueError 崩退 1,
   被三态口径判成「网关侧故障」触发自动回滚(1.1.1 实测,健康版本差点被回)。
   现在补 scheme + IPASS_PUBLIC_PORT;探针脚本未捕获异常统一退 2(验证不可用),
   崩溃永远不该触发回滚。
2. rollback 参数键位漂移:远端控制面对 release 发的 {"tag":...} 报「需要显式传
   tag」→ 自动回滚 job 失败。agent.sh 的 rollback/回滚体改 python 拼 JSON 并
   tag/image 双写;ipass-agent 1.0.4 的 op_rollback 两种键都认、短 tag/裸版本
   用受管容器仓库段补全;release 版本闸门抬到 1.0.4(自动回滚必须先证明可用)。
3. 线上默认 tag 迁出 .env → deploy/image.conf(非秘密、入库):release 成功
   自动回写 + commit,不再需要人肉同步;.env 的 IPASS_IMAGE_TAG 仅临时覆盖。
   另修 agent.sh upstream-test:旧契约(slot 塞 body、无探测体)换成面板同款
   (query slot + 第一个登记模型),实测 minimax 200。
2026-09-17 18:52:22 +08:00
admin 6bb8c3f158 fix(agent): rollback 停容器**前**预检备份(1.0.3)
restore_backup 的路径/存在性/tar 可读性校验抽成 check_backup,放在 docker stop
之前——stop 是手工停止(restart policy 不救),原来若备份坏了会停在
「容器已停 + 数据未恢复」干等人工,比不回滚还糟。预检不过直接失败、容器不动。
restore_data 单测 + check_backup 越界/不存在两拒绝路径实测通过。
2026-09-17 08:50:38 +08:00
admin 762d308745 test+deploy: 探针改目录驱动 + 三态判定 + 发版失败自动回滚(镜像+数据)
两件事:

1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。
   之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针
   要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models
   全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2
   (验证失效 ≠ 上游没问题,不许假绿)。
   三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据——
   智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版
   故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误)
   **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。
   live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。
   分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。

2) agent.sh release 改 4/4 步:验证失败不再停在原地——
   抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动
   POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后
   再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。
   ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」);
   新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替
   data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。
   restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。
   release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止
   (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11
   跑 §12.5 自更新。
   附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable,
   live_check A 路径实测炸出),统一 ${VAR}。

线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。
只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
2026-09-17 08:41:48 +08:00
admin 4129d2449e refactor(agent): 路径统一到 ~/ipass/,加迁移脚本
agent 自身的三件套(py/log/pid + token)原本散在 $HOME 根目录,跟
~/ipass/{data,backup,audit} 不是一个根,运维一眼看不到。

ipass-agent.py:
  * 新增 INSTALL_DIR/TOKEN_FILE/PID_FILE/LOG_FILE 四个常量
  * load_token()/main() 用常量替代 hardcoded os.path.join(~, ...)
  * 文档注释同步路径

deploy/migrate-agent-home.sh (新):
  * 一次性迁移:停旧 agent → mv 文件到 ~/ipass/ → 启新 agent
  * 旧日志 gzip 归档到 ~/ipass/ipass-agent.log.old.gz
  * 旧位置残留检查,避免漏删
  * 仅做一次:commit 之后 git pull + restart 即可

deploy/update-agent-face.sh:
  * 注释里的 ~/.ipass-agent-token / ~/ipass-agent.log 同步新路径

deploy/release.sh:
  * §12.5 指引里的 ~/.ipass-agent-token 同步新路径

CLAUDE.md:
  * 控制面 §12.5 的 ipass-agent.py CLI 示例同步新路径
2026-09-16 11:40:06 +08:00
admin 184b052ec0 fix(backup): 备份含 audit 兄弟目录 + 路径对齐 ~/ipass/backup/
update-ipass.sh:
  * 备份路径 ~/ipass-data-backup-*.tar.gz → ~/ipass/backup/ipass-data-*.tar.gz
    (与 ipass-agent.py:470 同口径,CLAUDE.md 1.0.17 后的约定)
  * 同时打包 audit 兄弟目录(data 的父目录下 sibling audit,1.0.18+
    对话审计落这里);不存在则只打包 data
  * 复用 agent.py:656 已有的 audit_src = parent/audit 推导逻辑

ipass-agent.py backup_data():
  * tf.add(data_dir) 后追加 tf.add(parent/audit),与 update-ipass.sh
    对齐;同样 audit 不存在就跳过
  * 加 jlog 一行 + 审计目录 %s 让备份日志能看出 audit 进没进

CLAUDE.md:
  * 「生产更新」段补一条:两条入口走同一份逻辑 + audit 进归档 +
    audit 不存在则只打包 data

效果:旧备份只有 data/(5 KB 级),新备份含 data/ + audit/
(实测从 5 KB 跳到 354 KiB,把之前漏掉的对话审计元数据补回来)
2026-09-16 11:27:40 +08:00
admin 6b8d694c54 deploy(agent): 备份改 ~/ipass/backup/ + 删 rollback-* 标签 (1.0.17)
3 处变更,都是苏苏 9-14 反馈:

1. **备份路径**:从 `~/ipass-data-backup-<时间>.tar.gz` 改成
   `~/ipass/backup/ipass-data-<时间>.tar.gz`。
   `ls ~` 不再被一堆 `ipass-data-backup-*.tar.gz` 文件刷屏。

2. **审计目录权限**:宿主侧首建 audit/ 目录后显式 `chmod 777`。
   agent 是 root 跑的,`os.makedirs` 创建的目录属主是 root,
   但容器内 worker 是 nobody,写不动 → 日志刷
   `[audit] 建日期目录失败 Permission denied`、整个审计废掉。
   用 777 而非按 uid chown:宿主 uid 与容器内 nobody uid 不一定一致
   (镜像内 nobody=65534,宿主 root mkdir 后 uid=0),按 uid 改
   要么拖数字要么拖 docker 进程解析;777 简单可读,
   且 audit 是「append-only JSON 元数据」、没有防篡改语义。

3. **去掉「旧镜像留 rollback tag」步骤**:镜像动辄 100 MB+,
   本地磁盘会越积越多;阿里云私仓永远保留所有 tag,需要时
   `docker pull` 即可。
   - 删除 §3(7 步变 6 步:2/6 备份 → 3/6 删容器 → 4/6 起新容器 →
     5/6 自检 → 6/6 探活)
   - 删 `ROLLBACK_PREFIX` 常量
   - `op_rollback` 不再自动选 local rollback-tag,**必须显式传 tag**,
     否则报错指引去阿里云拉
   - 同时清掉 .11 上积的 `ipass-gateway:rollback-20260912-104954` (144 MB)

CLAUDE.md 同步:发版/回滚段补三条 1.0.17 注意事项。
2026-09-14 18:01:27 +08:00
admin 401f9be351 feat(llm): token 计量 + 对话审计日志(10GiB 容量触发式清理)
- llm_usage.rs: body filter 旁路(FFI 注册 top_body_filter,无需额外 C 模块),
  透传 SSE 的同时抓尾部 usage chunk(OpenAI stream_options.include_usage / Anthropic message_delta),
  解析 prompt/completion tokens 写 shm utt:/utms: 键
- llm_audit.rs: log 阶段把请求体临时文件复制进审计目录(audit/ = data 兄弟目录),
  meta.jsonl 记 user/slot/status/token;10 GiB 容量阈值触发式清理,按日期目录从最旧删起
- conf/nginx.conf: LLM location 去掉 proxy_request_buffering off(它管请求体方向、
  与 SSE 无关且与 client_body_in_file_only 互斥),SSE 流式由 proxy_buffering off 保障
- stats/api: 用量接口增加 tokens 维度(today/total per user per slot)
- ipass-agent.py: 容器重建时自动挂审计卷(宿主 audit/ = data 兄弟目录,自动建目录)
- update-agent-face.sh: 控制面自更新脚本(.11 上一行命令完成下载/备份/校验/重启/自检)
- tests: LLM 117/117(+6: 审计 4 + token 2)、网关 90/90,共 207 全绿
2026-09-12 17:59:34 +08:00
admin 13c0c7a427 fix(deploy): ipass-agent 加「受管容器」锁,破坏性操作只碰 ipass 容器
问题:update / restart / rollback 的 name 参数**没有任何校验** —— 传
{"name":"invoicehelper-nginx"} 就会去重启/删除同机别的容器(.11 上还跑着
invoicehelper-nginx、d15-nginx-1 等)。

修复:
- 新增 managed_container() / ensure_managed():--name 指定者优先 → 自动探测到的
  ipass 容器 → 两者都没有时退化为 ipass* 前缀白名单
- _post 同步前置校验(非法 name 直接 403、**不建任务**);op_update 内再校验一次
  (op_rollback 内部也走 op_update,纵深防御)
- _dispatch 把 PermissionError 映射为 403;/containers 保留全量但标注 managed;
  / 与 /logs 统一走受管容器
- VERSION 1.0.0 → 1.0.1

本地实测(自造 victim-app + ipass-dt2 两个容器,未触碰任何真实业务容器):
- `--name ipass-dt2`:对 victim-app 发 restart/update/rollback 全部 403,且
  victim-app 的 State.StartedAt 前后完全一致;对 ipass-dt2 正常重启
- 无 `--name` 且机器上没有 ipass 容器:victim-app → 403(前缀白名单);
  ipass-x 通过校验后由 docker 报「No such container」
2026-09-12 11:02:28 +08:00
admin 2f21f4b1c5 fix(deploy): ipass-agent 回滚点判重改按镜像 id;回滚改按 tag 时间戳选最近
两个缺陷都只在「同一个 tag 被覆盖推送」这个常态场景下暴露(如 ipass-1.0.0 迭代):

1. 回滚点被静默跳过
   原逻辑比较 old_image != image,两边都是 **tag 名**。同 tag 覆盖推送时 tag 名相同
   → 判为「相同」→ 跳过打标签,只在日志留一句不起眼的「跳过」,等于悄悄失去回滚能力。
   改为按**镜像内容 id** 判重(新增 image_id()),并用旧 id 打标签。
   实测:同名 tag 但内容不同时,正确产出 ipass-gateway:rollback-<ts>(指向旧内容)。

2. 自动回滚可能选错镜像
   原来按 {{.CreatedAt}} 取最新,而 CreatedAt 是镜像的**构建时间**;回滚标签是事后用
   image id 补打的,CreatedAt 会很旧(实测标签时间 10:49:54、CreatedAt 10:45:45)
   → 「选最近」反而可能选到旧镜像。改为按 tag 名里的时间戳排序(字典序即时间序)。

验证:本机造「同名 tag、不同内容」的旧容器 → update 正确产出回滚标签并打印回滚命令。
2026-09-12 10:50:22 +08:00
admin 5e8c38aef4 feat(deploy): 新增 ipass-agent.py —— 跑在 .11 的远程更新控制面(HTTP)
把 update-ipass.sh 的动作暴露成 HTTP 接口,远端(AI/值班人)不必登录服务器即可
完成「拉镜像 → 重启 → 看日志 → 回滚」,形成「本机构建推送 → 远程自更新 → 自验证」闭环。

- 单文件、仅 Python 标准库(无 Flask/requests);Bearer token 鉴权,token 落
  ~/.ipass-agent-token(600);--bg 双 fork + setsid 真后台,另有 --stop/--check。
- 端点:/health /check /status /containers /logs /data(脱敏) /jobs[/id] /pull /update
  /rollback /restart。
- 变更类接口为异步任务(返 job id,/jobs/<id>?offset=N 增量取日志);
  同一时刻只允许一个变更任务,并发返回 409。
- 端口/挂载/网络/env/重启策略全部从旧容器 docker inspect 复刻;自定义 env 保留、
  Docker 自带的不照抄;动手前自动备份数据 + 打 rollback-<时间> 标签。

修掉两个真实隐患:
- HTTP/1.1 下鉴权失败的请求体若不消费,残包会被当作下一个请求的请求行 → 响应串包
  (已在 _dispatch 开头统一读掉 body)。
- 端口映射同一 host:container 在 inspect 中含 IPv4/IPv6 两条,不去重会重复 -p。

本机用真实流程验证:自动探测 → update 7 步全过(端口/自定义 env 复刻)→ rollback
回到旧镜像 → restart/logs/data 脱敏 → 409 并发保护 → 同连接残包测试 → --bg/--stop。

文档:readme §12.5 / §16、CLAUDE.md 新增「远程控制面」小节。
2026-09-12 10:20:49 +08:00