Files
sso/deploy/k8s/ipass-sso.yaml
adminandClaude 546ddd6d2f chore(deploy): 镜像 tag 升到 ipass-sso-v0.9.1(reloader 扫描线程楔死修复)
- 2 处 image 字段换新 tag(v0.8.2 → v0.9.1,绕开旧 tag 落后于集群的降级风险)
- 清单头部补 v0.9.1 发布说明:症状/根因/改动/「只落 .so ⇒ 必须重启 pod」

Co-Authored-By: Claude <[email protected]>
2026-11-12 19:05:53 +08:00

221 lines
11 KiB
YAML
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# ============================================================================
# ipass-sso K8s 部署清单(wuguirong 租户 ns)—— SSO-only 精简版
#
# 2026-11-12 升级 v0.9.0 → v0.9.1(修 reloader 扫描线程楔死,生产事故):
# - 症状:扫描线程完成一次重建后**静默停止**(无错误日志)⇒ 共享内存里的
# `ukey:` 索引不再刷新 ⇒ 改 api_key / 配额后管理台看得见、数据面却 401
# 且不报错(共享账号表切换后暴露)。
# - 根因:读共享账号表走 NFS 硬挂载,`std::fs::read` **无超时** ⇒ 线程被钉死;
# 且 `rlm:built` 只记**文件**摘要,没有任何机制能发现「索引与文件对不上」。
# - 改动(ipass-core):有界读(独立读线程 + 5s 超时)、读前后 stat 一致性核对、
# 防回滚闸门、**索引实际内容**与文件对账、心跳与状态回显、抢锁失败记日志、
# `catch_unwind` + 双扫描线程、临时文件名唯一化(防并发写互相截断)。
# - ⚠️ 改动只落模块 .so ⇒ 部署后必须**重启 pod**(reload 不重载动态模块)。
#
# 2026-11-11 升级 v0.8.1 → v0.8.2(启用 users.json 后台重载扫描线程):
# - ipass-core 新增后台扫描线程(worker 期 spawn):data/users.json 改动后
# ≤3s 自动重建共享内存 ukey: 索引 —— 改 api_key / allowed_models /
# llm_rpm / llm_daily 不再需要重启 pod(改完仍 401 的老坑修掉)
# - 解析失败保留原索引(绝不回退空表 ⇒ 不会把全员打成 401)
# - 扫描周期 env IPASS_RELOAD_INTERVAL(默认 3s,本清单不设 ⇒ 用默认)
# - 换镜像必须 bump tag(节点 imagePullPolicy=IfNotPresent,同 tag 不刷新)
#
# 2026-10-12 升级 v0.7.21 → v0.7.22 (IAP 补 proxy_set_header X-Auth-* 注头):
# - v0.7.21 nginx.conf IAP location 块只有 sso_iap on, 缺 proxy_set_header
# X-Auth-User $auth_user 等 5 行, 导致 demo app 收不到 X-Auth-User 头
# - 源码确认: ipass-plugin-sso/src/lib.rs:140 sso_iap 模块只设 nginx 变量
# $auth_user/$auth_email/$auth_groups/$auth_sub/$auth_token, 不自动加 header
# - 必须在每个 IAP location 块显式 proxy_set_header (4 处, 覆盖 app-crm /
# app-mobile 的 callback + iap 主块, callback 虽无 sso_sid 也保持一致)
#
# 2026-10-12 升级 v0.7.20 → v0.7.21 (IAP upstream 改 K8s Service + 删 hostAliases):
# - nginx.conf upstream: host.docker.internal:18101/18102 → app-crm-svc:8000
# / app-mobile-svc:8000 (同 ns ClusterIP, 见 deploy/k8s/iap-demo.yaml)
# - 移除 hostAliases 占位 (集群 DNS 直接解析 Service 名)
# - 镜像: v0.7.20 → v0.7.21
#
# 2026-10-12 重建(v0.7.20,从本机 OrbStack docker 迁回 K8s):
# - 镜像:v0.6.1 (旧) → v0.7.20 (与 docker 一致)
# - NodePort:30082 (旧) → 30089 (新;用户要"动态可分配端口")
# - 数据:subPath sso/ 已从 ~/.ipass-sso-data 同步过来(含 /proxy/app-crm
# 等 IAP redirect URI、企微 verify/、active.jwk.json)
# - Secret ipass-sso-secrets 已重建(WXWORK_SECRET / OAUTH_SIGNING_SECRET)
#
# 集群约束(与 ipass-all 同源,2026-09-26 摸底结论):
# - 准入 tenant-storage-guard:容器级 securityContext.runAsUser=10106(pod 级无效)
# - SC nfs-wuguirong 已恢复(2026-10-07 实测),仍复用 nginx-data PVC(共享)
# - 无 Ingress → NodePort
# - replicas=1:运行期真源是进程内共享内存 + JSON 写穿,
# 多副本各自持 shm 互不可见(脑裂),架构上不允许横向扩
#
# ⚠️ IAP /proxy/app-crm/ 反代上游指向 host.docker.internal:18101/18102:
# K8s pod 里 host.docker.internal 不解析 → 这两个路径会 502。
# 核心 OAuth/WeChat Work/管理台 全部不受影响(走 sso_sid cookie 与
# proxy_pass 到本机进程的逻辑不依赖 IAP 上游)。如需 IAP 复活,
# 需把 demo app 也搬上 K8s(或用 Mac LAN IP 直连 + demo app 改绑 0.0.0.0)。
#
# 暴露:Mac 28889 = socat 18889→K8s NodePort(30089),路由器 WAN:88 → Mac:28889
# 应用:kubectl apply -f deploy/k8s/ipass-sso.yaml
# 验证:curl -fs http://192.168.1.26:30089/.well-known/openid-configuration
# ============================================================================
apiVersion: apps/v1
kind: Deployment
metadata:
name: ipass-sso
namespace: wuguirong
labels:
app: ipass-sso
spec:
replicas: 1
strategy:
type: Recreate # 共享 PVC RWX 但数据语义单写:滚动时新旧并存会双写 JSON
selector:
matchLabels:
app: ipass-sso
template:
metadata:
labels:
app: ipass-sso
spec:
# 2026-10-12 移除 hostAliases 占位: IAP upstream 已从 host.docker.internal
# 改为 K8s Service app-crm-svc:8000 / app-mobile-svc:8000 (deploy/k8s/iap-demo.yaml),
# 同 ns 集群 DNS 直接解析, 不再需要 hostAliases.
# 之前占位理由 (nginx -t 拒启) 已不适用.
securityContext:
runAsUser: 10106
runAsNonRoot: true
fsGroup: 10106
# 数据子目录 bootstrap:subPath 目录必须预先存在且属主 10106
# (kubelet 对不存在的 subPath 按 root 属主建,10106 写不进——挂载成功
# 之后业务写盘才炸,最难查)。幂等,每次滚动都会跑。
initContainers:
- name: init-data-dir
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.9.1
imagePullPolicy: IfNotPresent
# accounts/ = 与 ipass-all 共用的账号表目录,必须由本 initContainer 以 10106 建出来
# (kubelet 对不存在的 subPath 目录按 root 建 ⇒ 10106 建不了锁文件)。
# ⚠️ 只建目录、**不建 users.json**:空表 ⇒ 换入空索引 ⇒ 全员 401。
command: ["bash", "-c", "mkdir -p /persist/sso /persist/accounts && ls -la /persist"]
securityContext:
runAsUser: 10106
runAsNonRoot: true
allowPrivilegeEscalation: false
volumeMounts:
- name: data
mountPath: /persist
containers:
- name: ipass-sso
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.9.1
imagePullPolicy: IfNotPresent
ports:
- name: http
containerPort: 18098
env:
# issuer 必须与浏览器/第三方实际访问地址逐字一致
# iPhone 走 i28868828dm.mayishangshu.cn:88 → 路由器 :88 NAT
# → 192.168.1.26:30089(K8s control plane NodePort)→ pod:18098
# (:188 NAT 已于 2026-11 在路由器停用,全站统一 :88)
- name: OAUTH_ISSUER
value: "https://i28868828dm.mayishangshu.cn:88"
- name: OAUTH_COOKIE_DOMAIN
value: "mayishangshu.cn"
# 固定签名密钥:保证 docker → K8s 迁移后已签发 token 仍能验签
- name: OAUTH_SIGNING_SECRET
valueFrom:
secretKeyRef:
name: ipass-sso-secrets
key: oauth-signing-secret
# 企微 OAuth
- name: WXWORK_ENABLED
value: "true"
- name: WXWORK_CORP_ID
value: "wwac71328171b889cb"
- name: WXWORK_AGENT_ID
value: "1000017"
- name: WXWORK_SECRET
valueFrom:
secretKeyRef:
name: ipass-sso-secrets
key: wxwork-secret
# 回调端口必须与企微后台该应用配置的「网页授权可信域名」一致——
# 新应用(尚数网工作台, agentid 1000017)后台配的是 :88(校验文件也按 :88 过的),
# 其他端口(含已停用的 :188)会被企微 authorize 页拒(redirect_uri 与可信域名不一致)
- name: WXWORK_REDIRECT
value: "https://i28868828dm.mayishangshu.cn:88/portal/wxwork/callback"
# ---- 共享账号表(ipass-sso 与 ipass-all 共用同一份 users.json)----
# 唯一真相 = NFS(PVC nginx-data) 上 accounts/users.json,
# 由 env IPASS_USERS_PATH 指定(内核只读一次 ⇒ 改它必须重启 pod)。
# ⚠️ 切换前**必须先跑合并作业**产出该文件:共享模式下文件缺失 ⇒
# 两个 pod 都**不会**建表(内核 fail-closed)⇒ 全员 401。
# ⚠️ 同一次发布必须删掉旧的三条同步 env(同步层已退役):留着的话同步层的
# upsert 会把共享表里已删掉的账号**复活**。
# ⚠️ 发版顺序铁律:**先上新镜像,再 apply 本清单**(ipass-all 与 ipass-sso 两个
# deploy 都一样)。反序 = 静默失败:`env IPASS_USERS_PATH;` 写在**镜像里的
# nginx.conf** 里,旧镜像没放行 ⇒ worker 里该 env 恒空 ⇒ 两个 pod 各自读
# 自己的旧表 ⇒ 两表分叉,且**不报错、不 401**。
# ⚠️ 核对要看**本清单里的 image 字段**(仓库里现在仍是旧 tag,**由人改成
# 新 tag 再 apply**):`kubectl apply` 以清单字段为准,会把集群里的镜像
# 覆盖成清单写的 tag ⇒ **核对清单里的 tag,不是核对集群当前状态**。
# 集群侧当前状态(只反映当下,**不能代替**清单侧核对):
# kubectl get deploy ipass-all ipass-sso -n wuguirong -o jsonpath='{range .items[*]}{.metadata.name}{" "}{.spec.template.spec.containers[*].image}{"\n"}{end}'
# 回滚 = apply 旧 manifest(去掉 accounts 挂载与 IPASS_USERS_PATH、
# 加回 IPASS_SYNC_SIDE / IPASS_SYNC_PEER / IPASS_SYNC_TOKEN 三条;取值见旧 manifest)。
- name: IPASS_USERS_PATH
value: "/usr/local/nginx/accounts/users.json"
securityContext:
runAsUser: 10106
runAsNonRoot: true
allowPrivilegeEscalation: false
capabilities:
drop: ["ALL"]
resources:
requests:
cpu: 100m
memory: 128Mi
limits:
cpu: "1"
memory: 512Mi
readinessProbe:
httpGet:
path: /admin/
port: 18098
initialDelaySeconds: 5
periodSeconds: 10
livenessProbe:
httpGet:
path: /admin/
port: 18098
initialDelaySeconds: 10
periodSeconds: 20
failureThreshold: 3
volumeMounts:
- name: data
mountPath: /usr/local/nginx/data
subPath: sso
# 共享账号表目录(与 ipass-all 同 PVC 同 subPath ⇒ 全集群只有一份 users.json)
- name: data
mountPath: /usr/local/nginx/accounts
subPath: accounts
volumes:
- name: data
persistentVolumeClaim:
claimName: nginx-data
---
apiVersion: v1
kind: Service
metadata:
name: ipass-sso
namespace: wuguirong
labels:
app: ipass-sso
spec:
type: NodePort
selector:
app: ipass-sso
ports:
- name: http
port: 18098
targetPort: http
nodePort: 30089