feat(deploy): 挂载共享账号表目录 + 指向共享 users.json + 退役同步层 env

Co-Authored-By: Claude Code <[email protected]>
This commit is contained in:
adminandClaude Code committed 2026-11-11 16:40:59 +08:00
1 parent 17dc0a9e30
commit 9c7446e475
3 files changed
+55 -13

No files matched your search

+33 -5
View File
@@ -58,6 +58,8 @@ K8s 约束(wuguirong 租户,细节见 Claude 技能 k8s-tenant-wuguirong)
- 容器级 `runAsUser: 10106`(准入强制,pod 级无效);非 root → conf 里 pid/temp 全在 /tmp
- 无新 PVC 可用 → 复用共享 PVC `nginx-data`,subPath **`sso`**(initContainer 以 10106 预建
目录,否则 kubelet 按 root 建目录,业务写盘才炸)
⚠️ 另挂 **`accounts/`** 子目录:那是**与 ipass-all 共用的账号表**(见下「共享账号表」),
两个部署指向同一份 `users.json`
- **replicas=1 + strategy=Recreate**:运行期真源是进程内共享内存 + JSON 写穿;多副本或滚动
时新旧并存 = 脑裂 + 双写 JSON
- 暴露:NodePort **30089** → pod 18098(明文)
@@ -89,9 +91,12 @@ runtime 用 `COPY --from=builder /out/libipass_sso_gateway.so`。完整理由与
- 单端口 **18098**(明文,NodePort 30089)。SSL 段在 conf 里是**注释状态**,TLS 当前不在
sso 侧终结;要启用就取消注释 `listen 18098 ssl default_server` + 三条 ssl_certificate。
- `env` 白名单 18 条(`ADMIN_INIT_PASSWORD` / `OAUTH_*` / `SYNC_*` / `PASSWORD_RESET_*` /
`WXWORK_*` / `IPASS_SYNC_*`):nginx 默认剥离环境变量,**漏一条 = worker 里恒空**,
新增 env 必须同步加进这里。
- `env` 白名单 **18 条**(`ADMIN_INIT_PASSWORD` / `OAUTH_*` / `SYNC_*` / `PASSWORD_RESET_*` /
`WXWORK_*` / `IPASS_SYNC_*` / **`IPASS_USERS_PATH`**):nginx 默认剥离环境变量,
**漏一条 = worker 里恒空**,新增 env 必须同步加进这里。
⚠️ `IPASS_SYNC_*` 三条**仍留在 nginx.conf 里**(回滚成本低:只要把 manifest 的 env
加回来就能恢复同步层),只是 manifest 不再设它们 ⇒ 同步层已退役。
⚠️ `IPASS_USERS_PATH` 也**只在 nginx.conf 里放行**,真正取值来自 manifest 的 env。
- location 分组:
- `/api/` 与 `/` 开 `ipass_api on`——OIDC/身份协议端点都挂在根路径,由 sso 插件认领:
`/oauth/*`(authorize/token/userinfo/jwks/introspect)、`/.well-known/*`
@@ -114,7 +119,30 @@ runtime 用 `COPY --from=builder /out/libipass_sso_gateway.so`。完整理由与
- ⚠️ `WXWORK_REDIRECT` 必须是 `https://i28868828dm.mayishangshu.cn:88/portal/wxwork/callback`
——企微后台该应用(agentid 1000017)的可信域名按 **:88** 配置,改成 `:188` 会被 authorize
页拒(redirect_uri 与可信域名不一致)。
- 账号同步对端 = ipass-all:`IPASS_SYNC_PEER=http://ipass-all.wuguirong.svc.cluster.local:18097`。
- **同步层已退役**:manifest **不再设** `IPASS_SYNC_*` 三条(nginx.conf 里仍留着放行,
只为回滚方便)⇒ 账号表改为与 ipass-all **共用** `accounts/users.json`
(挂 PVC `nginx-data` 的 `accounts/` subPath,env `IPASS_USERS_PATH` 指定)。
管理台点「同步」按钮会看到「未配置 IPASS_SYNC_SIDE / IPASS_SYNC_PEER / IPASS_SYNC_TOKEN」
——**这是预期的**(同步层 fail-closed,不影响任何写操作)。
⚠️ 共享表**缺失**时两个 pod 都**不会**建表(内核 fail-closed)⇒ 切换前必须先跑合并作业
(`../ipass-all/scripts/merge-users-tables.py`)产出共享表,否则全员 401。
⚠️ 共享目录必须**可写**(`<users.json>.lock` 锁文件要建得出来)。
## 共享账号表(与 ipass-all 共用,2026-11-11)
- **只有一份 `users.json`**:本部署挂 PVC `nginx-data` 的 `accounts/` 子目录到
`/usr/local/nginx/accounts`,env `IPASS_USERS_PATH=/usr/local/nginx/accounts/users.json`
指定路径 ⇒ 与 ipass-all **共用同一份文件**(不再是「两表 + 双向同步」)。
- ⚠️ `IPASS_USERS_PATH` **只在进程启动时读一次** ⇒ 改它必须**重启 pod**;
nginx.conf 还要 `env IPASS_USERS_PATH;` 放行,否则 worker 里恒空。
- ⚠️ **切换前必须先跑合并作业**(`../ipass-all/scripts/merge-users-tables.py`)产出
`accounts/users.json`:共享模式下文件缺失 ⇒ 两个 pod 都**不会**建表(内核 fail-closed)
⇒ 全员 401。**任何路径都不得造出空的 `users.json`**(空表 ⇒ 换入空索引 ⇒ 全员 401)。
- ⚠️ 共享目录必须**可写**:`<users.json>.lock` 锁文件要建得出来
⇒ `accounts/` 由 initContainer 以 **10106** 预建(kubelet 对不存在的 subPath 目录
按 `root` 建 ⇒ 10106 写不进 ⇒ 业务写盘时才炸)。
- 锁序(唯一):进程内互斥 → 跨进程 `fcntl` → 共享内存 file_lock → map 锁。
细节与共享知识见 `../ipass-all/CLAUDE.md` 与 `../ipass-core/CLAUDE.md`。
## 边界 / 常见坑
@@ -133,7 +161,7 @@ runtime 用 `COPY --from=builder /out/libipass_sso_gateway.so`。完整理由与
| 产物 | `libipass_sso_gateway.so` | `libipass_all_gateway.so` |
| 端口 | 18098(NodePort 30089,明文) | 18098/18099(30083 TLS、30084 LLM) |
| named context | 2 个 | 7 个 |
| 数据 subPath | `sso` | `ipass-all` |
| 数据 subPath | `sso`(账号表 subPath = `accounts`,两边相同) | `ipass-all` |
| 指令 | 4 条 | 10 条 |
管理台架构定案、壳契约 v2、legacy 集成、WAF 三连坑、TLS 全量策略等**共享知识只在
+19 -8
View File
@@ -81,7 +81,10 @@ spec:
- name: init-data-dir
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.8.2
imagePullPolicy: IfNotPresent
command: ["bash", "-c", "mkdir -p /persist/sso && ls -la /persist"]
# accounts/ = 与 ipass-all 共用的账号表目录,必须由本 initContainer 以 10106 建出来
# (kubelet 对不存在的 subPath 目录按 root 建 ⇒ 10106 建不了锁文件)。
# ⚠️ 只建目录、**不建 users.json**:空表 ⇒ 换入空索引 ⇒ 全员 401。
command: ["bash", "-c", "mkdir -p /persist/sso /persist/accounts && ls -la /persist"]
securityContext:
runAsUser: 10106
runAsNonRoot: true
@@ -128,13 +131,17 @@ spec:
# :188 会被企微 authorize 页拒(redirect_uri 与可信域名不一致)
- name: WXWORK_REDIRECT
value: "https://i28868828dm.mayishangshu.cn:88/portal/wxwork/callback"
# ---- 集群内账号同步(对端 = ipass-all)----
- name: IPASS_SYNC_SIDE
value: "sso"
- name: IPASS_SYNC_PEER
value: "http://ipass-all.wuguirong.svc.cluster.local:18097"
- name: IPASS_SYNC_TOKEN
value: "63d2fc05f7dfa6f5dd9df6d7ead14ef9da73957ecc08a08b232298fb0b1a8b4e"
# ---- 共享账号表(ipass-sso 与 ipass-all 共用同一份 users.json)----
# 唯一真相 = NFS(PVC nginx-data) 上 accounts/users.json,
# 由 env IPASS_USERS_PATH 指定(内核只读一次 ⇒ 改它必须重启 pod)。
# ⚠️ 切换前**必须先跑合并作业**产出该文件:共享模式下文件缺失 ⇒
# 两个 pod 都**不会**建表(内核 fail-closed)⇒ 全员 401。
# ⚠️ 同一次发布必须删掉旧的三条同步 env(同步层已退役):留着的话同步层的
# upsert 会把共享表里已删掉的账号**复活**。
# 回滚 = apply 旧 manifest(去掉 accounts 挂载与 IPASS_USERS_PATH、
# 加回旧的三条同步 env)。
- name: IPASS_USERS_PATH
value: "/usr/local/nginx/accounts/users.json"
securityContext:
runAsUser: 10106
runAsNonRoot: true
@@ -165,6 +172,10 @@ spec:
- name: data
mountPath: /usr/local/nginx/data
subPath: sso
# 共享账号表目录(与 ipass-all 同 PVC 同 subPath ⇒ 全集群只有一份 users.json)
- name: data
mountPath: /usr/local/nginx/accounts
subPath: accounts
volumes:
- name: data
persistentVolumeClaim:
+3
View File
@@ -41,6 +41,9 @@ env WXWORK_REDIRECT;
env IPASS_SYNC_SIDE;
env IPASS_SYNC_PEER;
env IPASS_SYNC_TOKEN;
# 共享账号表路径(ipass-sso 与 ipass-all 共用 NFS 上同一份 users.json)
# —— 非空 ⇒ 内核用它当账号表路径(只读一次,改它必须重启 pod)
env IPASS_USERS_PATH;
events {
worker_connections 2048;