From 9c7446e47531c4ae48785dfb92becc88a72d54b1 Mon Sep 17 00:00:00 2001 From: admin Date: Wed, 11 Nov 2026 16:40:59 +0800 Subject: [PATCH] =?UTF-8?q?feat(deploy):=20=E6=8C=82=E8=BD=BD=E5=85=B1?= =?UTF-8?q?=E4=BA=AB=E8=B4=A6=E5=8F=B7=E8=A1=A8=E7=9B=AE=E5=BD=95=20+=20?= =?UTF-8?q?=E6=8C=87=E5=90=91=E5=85=B1=E4=BA=AB=20users.json=20+=20?= =?UTF-8?q?=E9=80=80=E5=BD=B9=E5=90=8C=E6=AD=A5=E5=B1=82=20env?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Code --- CLAUDE.md | 38 +++++++++++++++++++++++++++++++++----- deploy/k8s/ipass-sso.yaml | 27 +++++++++++++++++++-------- deploy/nginx.conf | 3 +++ 3 files changed, 55 insertions(+), 13 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index a4e6112..f9ed4ef 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -58,6 +58,8 @@ K8s 约束(wuguirong 租户,细节见 Claude 技能 k8s-tenant-wuguirong) - 容器级 `runAsUser: 10106`(准入强制,pod 级无效);非 root → conf 里 pid/temp 全在 /tmp - 无新 PVC 可用 → 复用共享 PVC `nginx-data`,subPath **`sso`**(initContainer 以 10106 预建 目录,否则 kubelet 按 root 建目录,业务写盘才炸) + ⚠️ 另挂 **`accounts/`** 子目录:那是**与 ipass-all 共用的账号表**(见下「共享账号表」), + 两个部署指向同一份 `users.json` - **replicas=1 + strategy=Recreate**:运行期真源是进程内共享内存 + JSON 写穿;多副本或滚动 时新旧并存 = 脑裂 + 双写 JSON - 暴露:NodePort **30089** → pod 18098(明文) @@ -89,9 +91,12 @@ runtime 用 `COPY --from=builder /out/libipass_sso_gateway.so`。完整理由与 - 单端口 **18098**(明文,NodePort 30089)。SSL 段在 conf 里是**注释状态**,TLS 当前不在 sso 侧终结;要启用就取消注释 `listen 18098 ssl default_server` + 三条 ssl_certificate。 -- `env` 白名单 18 条(`ADMIN_INIT_PASSWORD` / `OAUTH_*` / `SYNC_*` / `PASSWORD_RESET_*` / - `WXWORK_*` / `IPASS_SYNC_*`):nginx 默认剥离环境变量,**漏一条 = worker 里恒空**, - 新增 env 必须同步加进这里。 +- `env` 白名单 **18 条**(`ADMIN_INIT_PASSWORD` / `OAUTH_*` / `SYNC_*` / `PASSWORD_RESET_*` / + `WXWORK_*` / `IPASS_SYNC_*` / **`IPASS_USERS_PATH`**):nginx 默认剥离环境变量, + **漏一条 = worker 里恒空**,新增 env 必须同步加进这里。 + ⚠️ `IPASS_SYNC_*` 三条**仍留在 nginx.conf 里**(回滚成本低:只要把 manifest 的 env + 加回来就能恢复同步层),只是 manifest 不再设它们 ⇒ 同步层已退役。 + ⚠️ `IPASS_USERS_PATH` 也**只在 nginx.conf 里放行**,真正取值来自 manifest 的 env。 - location 分组: - `/api/` 与 `/` 开 `ipass_api on`——OIDC/身份协议端点都挂在根路径,由 sso 插件认领: `/oauth/*`(authorize/token/userinfo/jwks/introspect)、`/.well-known/*` @@ -114,7 +119,30 @@ runtime 用 `COPY --from=builder /out/libipass_sso_gateway.so`。完整理由与 - ⚠️ `WXWORK_REDIRECT` 必须是 `https://i28868828dm.mayishangshu.cn:88/portal/wxwork/callback` ——企微后台该应用(agentid 1000017)的可信域名按 **:88** 配置,改成 `:188` 会被 authorize 页拒(redirect_uri 与可信域名不一致)。 -- 账号同步对端 = ipass-all:`IPASS_SYNC_PEER=http://ipass-all.wuguirong.svc.cluster.local:18097`。 +- **同步层已退役**:manifest **不再设** `IPASS_SYNC_*` 三条(nginx.conf 里仍留着放行, + 只为回滚方便)⇒ 账号表改为与 ipass-all **共用** `accounts/users.json` + (挂 PVC `nginx-data` 的 `accounts/` subPath,env `IPASS_USERS_PATH` 指定)。 + 管理台点「同步」按钮会看到「未配置 IPASS_SYNC_SIDE / IPASS_SYNC_PEER / IPASS_SYNC_TOKEN」 + ——**这是预期的**(同步层 fail-closed,不影响任何写操作)。 + ⚠️ 共享表**缺失**时两个 pod 都**不会**建表(内核 fail-closed)⇒ 切换前必须先跑合并作业 + (`../ipass-all/scripts/merge-users-tables.py`)产出共享表,否则全员 401。 + ⚠️ 共享目录必须**可写**(`.lock` 锁文件要建得出来)。 + +## 共享账号表(与 ipass-all 共用,2026-11-11) + +- **只有一份 `users.json`**:本部署挂 PVC `nginx-data` 的 `accounts/` 子目录到 + `/usr/local/nginx/accounts`,env `IPASS_USERS_PATH=/usr/local/nginx/accounts/users.json` + 指定路径 ⇒ 与 ipass-all **共用同一份文件**(不再是「两表 + 双向同步」)。 +- ⚠️ `IPASS_USERS_PATH` **只在进程启动时读一次** ⇒ 改它必须**重启 pod**; + nginx.conf 还要 `env IPASS_USERS_PATH;` 放行,否则 worker 里恒空。 +- ⚠️ **切换前必须先跑合并作业**(`../ipass-all/scripts/merge-users-tables.py`)产出 + `accounts/users.json`:共享模式下文件缺失 ⇒ 两个 pod 都**不会**建表(内核 fail-closed) + ⇒ 全员 401。**任何路径都不得造出空的 `users.json`**(空表 ⇒ 换入空索引 ⇒ 全员 401)。 +- ⚠️ 共享目录必须**可写**:`.lock` 锁文件要建得出来 + ⇒ `accounts/` 由 initContainer 以 **10106** 预建(kubelet 对不存在的 subPath 目录 + 按 `root` 建 ⇒ 10106 写不进 ⇒ 业务写盘时才炸)。 +- 锁序(唯一):进程内互斥 → 跨进程 `fcntl` → 共享内存 file_lock → map 锁。 + 细节与共享知识见 `../ipass-all/CLAUDE.md` 与 `../ipass-core/CLAUDE.md`。 ## 边界 / 常见坑 @@ -133,7 +161,7 @@ runtime 用 `COPY --from=builder /out/libipass_sso_gateway.so`。完整理由与 | 产物 | `libipass_sso_gateway.so` | `libipass_all_gateway.so` | | 端口 | 18098(NodePort 30089,明文) | 18098/18099(30083 TLS、30084 LLM) | | named context | 2 个 | 7 个 | -| 数据 subPath | `sso` | `ipass-all` | +| 数据 subPath | `sso`(账号表 subPath = `accounts`,两边相同) | `ipass-all` | | 指令 | 4 条 | 10 条 | 管理台架构定案、壳契约 v2、legacy 集成、WAF 三连坑、TLS 全量策略等**共享知识只在 diff --git a/deploy/k8s/ipass-sso.yaml b/deploy/k8s/ipass-sso.yaml index b61fad5..a1a30b0 100644 --- a/deploy/k8s/ipass-sso.yaml +++ b/deploy/k8s/ipass-sso.yaml @@ -81,7 +81,10 @@ spec: - name: init-data-dir image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.8.2 imagePullPolicy: IfNotPresent - command: ["bash", "-c", "mkdir -p /persist/sso && ls -la /persist"] + # accounts/ = 与 ipass-all 共用的账号表目录,必须由本 initContainer 以 10106 建出来 + # (kubelet 对不存在的 subPath 目录按 root 建 ⇒ 10106 建不了锁文件)。 + # ⚠️ 只建目录、**不建 users.json**:空表 ⇒ 换入空索引 ⇒ 全员 401。 + command: ["bash", "-c", "mkdir -p /persist/sso /persist/accounts && ls -la /persist"] securityContext: runAsUser: 10106 runAsNonRoot: true @@ -128,13 +131,17 @@ spec: # :188 会被企微 authorize 页拒(redirect_uri 与可信域名不一致) - name: WXWORK_REDIRECT value: "https://i28868828dm.mayishangshu.cn:88/portal/wxwork/callback" - # ---- 集群内账号同步(对端 = ipass-all)---- - - name: IPASS_SYNC_SIDE - value: "sso" - - name: IPASS_SYNC_PEER - value: "http://ipass-all.wuguirong.svc.cluster.local:18097" - - name: IPASS_SYNC_TOKEN - value: "63d2fc05f7dfa6f5dd9df6d7ead14ef9da73957ecc08a08b232298fb0b1a8b4e" + # ---- 共享账号表(ipass-sso 与 ipass-all 共用同一份 users.json)---- + # 唯一真相 = NFS(PVC nginx-data) 上 accounts/users.json, + # 由 env IPASS_USERS_PATH 指定(内核只读一次 ⇒ 改它必须重启 pod)。 + # ⚠️ 切换前**必须先跑合并作业**产出该文件:共享模式下文件缺失 ⇒ + # 两个 pod 都**不会**建表(内核 fail-closed)⇒ 全员 401。 + # ⚠️ 同一次发布必须删掉旧的三条同步 env(同步层已退役):留着的话同步层的 + # upsert 会把共享表里已删掉的账号**复活**。 + # 回滚 = apply 旧 manifest(去掉 accounts 挂载与 IPASS_USERS_PATH、 + # 加回旧的三条同步 env)。 + - name: IPASS_USERS_PATH + value: "/usr/local/nginx/accounts/users.json" securityContext: runAsUser: 10106 runAsNonRoot: true @@ -165,6 +172,10 @@ spec: - name: data mountPath: /usr/local/nginx/data subPath: sso + # 共享账号表目录(与 ipass-all 同 PVC 同 subPath ⇒ 全集群只有一份 users.json) + - name: data + mountPath: /usr/local/nginx/accounts + subPath: accounts volumes: - name: data persistentVolumeClaim: diff --git a/deploy/nginx.conf b/deploy/nginx.conf index 726c1a5..05c831b 100644 --- a/deploy/nginx.conf +++ b/deploy/nginx.conf @@ -41,6 +41,9 @@ env WXWORK_REDIRECT; env IPASS_SYNC_SIDE; env IPASS_SYNC_PEER; env IPASS_SYNC_TOKEN; +# 共享账号表路径(ipass-sso 与 ipass-all 共用 NFS 上同一份 users.json) +# —— 非空 ⇒ 内核用它当账号表路径(只读一次,改它必须重启 pod) +env IPASS_USERS_PATH; events { worker_connections 2048;