- 2 处 image 字段换新 tag(v0.8.2 → v0.9.1,绕开旧 tag 落后于集群的降级风险) - 清单头部补 v0.9.1 发布说明:症状/根因/改动/「只落 .so ⇒ 必须重启 pod」 Co-Authored-By: Claude <[email protected]>
221 lines
11 KiB
YAML
221 lines
11 KiB
YAML
# ============================================================================
|
||
# ipass-sso K8s 部署清单(wuguirong 租户 ns)—— SSO-only 精简版
|
||
#
|
||
# 2026-11-12 升级 v0.9.0 → v0.9.1(修 reloader 扫描线程楔死,生产事故):
|
||
# - 症状:扫描线程完成一次重建后**静默停止**(无错误日志)⇒ 共享内存里的
|
||
# `ukey:` 索引不再刷新 ⇒ 改 api_key / 配额后管理台看得见、数据面却 401
|
||
# 且不报错(共享账号表切换后暴露)。
|
||
# - 根因:读共享账号表走 NFS 硬挂载,`std::fs::read` **无超时** ⇒ 线程被钉死;
|
||
# 且 `rlm:built` 只记**文件**摘要,没有任何机制能发现「索引与文件对不上」。
|
||
# - 改动(ipass-core):有界读(独立读线程 + 5s 超时)、读前后 stat 一致性核对、
|
||
# 防回滚闸门、**索引实际内容**与文件对账、心跳与状态回显、抢锁失败记日志、
|
||
# `catch_unwind` + 双扫描线程、临时文件名唯一化(防并发写互相截断)。
|
||
# - ⚠️ 改动只落模块 .so ⇒ 部署后必须**重启 pod**(reload 不重载动态模块)。
|
||
#
|
||
# 2026-11-11 升级 v0.8.1 → v0.8.2(启用 users.json 后台重载扫描线程):
|
||
# - ipass-core 新增后台扫描线程(worker 期 spawn):data/users.json 改动后
|
||
# ≤3s 自动重建共享内存 ukey: 索引 —— 改 api_key / allowed_models /
|
||
# llm_rpm / llm_daily 不再需要重启 pod(改完仍 401 的老坑修掉)
|
||
# - 解析失败保留原索引(绝不回退空表 ⇒ 不会把全员打成 401)
|
||
# - 扫描周期 env IPASS_RELOAD_INTERVAL(默认 3s,本清单不设 ⇒ 用默认)
|
||
# - 换镜像必须 bump tag(节点 imagePullPolicy=IfNotPresent,同 tag 不刷新)
|
||
#
|
||
# 2026-10-12 升级 v0.7.21 → v0.7.22 (IAP 补 proxy_set_header X-Auth-* 注头):
|
||
# - v0.7.21 nginx.conf IAP location 块只有 sso_iap on, 缺 proxy_set_header
|
||
# X-Auth-User $auth_user 等 5 行, 导致 demo app 收不到 X-Auth-User 头
|
||
# - 源码确认: ipass-plugin-sso/src/lib.rs:140 sso_iap 模块只设 nginx 变量
|
||
# $auth_user/$auth_email/$auth_groups/$auth_sub/$auth_token, 不自动加 header
|
||
# - 必须在每个 IAP location 块显式 proxy_set_header (4 处, 覆盖 app-crm /
|
||
# app-mobile 的 callback + iap 主块, callback 虽无 sso_sid 也保持一致)
|
||
#
|
||
# 2026-10-12 升级 v0.7.20 → v0.7.21 (IAP upstream 改 K8s Service + 删 hostAliases):
|
||
# - nginx.conf upstream: host.docker.internal:18101/18102 → app-crm-svc:8000
|
||
# / app-mobile-svc:8000 (同 ns ClusterIP, 见 deploy/k8s/iap-demo.yaml)
|
||
# - 移除 hostAliases 占位 (集群 DNS 直接解析 Service 名)
|
||
# - 镜像: v0.7.20 → v0.7.21
|
||
#
|
||
# 2026-10-12 重建(v0.7.20,从本机 OrbStack docker 迁回 K8s):
|
||
# - 镜像:v0.6.1 (旧) → v0.7.20 (与 docker 一致)
|
||
# - NodePort:30082 (旧) → 30089 (新;用户要"动态可分配端口")
|
||
# - 数据:subPath sso/ 已从 ~/.ipass-sso-data 同步过来(含 /proxy/app-crm
|
||
# 等 IAP redirect URI、企微 verify/、active.jwk.json)
|
||
# - Secret ipass-sso-secrets 已重建(WXWORK_SECRET / OAUTH_SIGNING_SECRET)
|
||
#
|
||
# 集群约束(与 ipass-all 同源,2026-09-26 摸底结论):
|
||
# - 准入 tenant-storage-guard:容器级 securityContext.runAsUser=10106(pod 级无效)
|
||
# - SC nfs-wuguirong 已恢复(2026-10-07 实测),仍复用 nginx-data PVC(共享)
|
||
# - 无 Ingress → NodePort
|
||
# - replicas=1:运行期真源是进程内共享内存 + JSON 写穿,
|
||
# 多副本各自持 shm 互不可见(脑裂),架构上不允许横向扩
|
||
#
|
||
# ⚠️ IAP /proxy/app-crm/ 反代上游指向 host.docker.internal:18101/18102:
|
||
# K8s pod 里 host.docker.internal 不解析 → 这两个路径会 502。
|
||
# 核心 OAuth/WeChat Work/管理台 全部不受影响(走 sso_sid cookie 与
|
||
# proxy_pass 到本机进程的逻辑不依赖 IAP 上游)。如需 IAP 复活,
|
||
# 需把 demo app 也搬上 K8s(或用 Mac LAN IP 直连 + demo app 改绑 0.0.0.0)。
|
||
#
|
||
# 暴露:Mac 28889 = socat 18889→K8s NodePort(30089),路由器 WAN:88 → Mac:28889
|
||
# 应用:kubectl apply -f deploy/k8s/ipass-sso.yaml
|
||
# 验证:curl -fs http://192.168.1.26:30089/.well-known/openid-configuration
|
||
# ============================================================================
|
||
apiVersion: apps/v1
|
||
kind: Deployment
|
||
metadata:
|
||
name: ipass-sso
|
||
namespace: wuguirong
|
||
labels:
|
||
app: ipass-sso
|
||
spec:
|
||
replicas: 1
|
||
strategy:
|
||
type: Recreate # 共享 PVC RWX 但数据语义单写:滚动时新旧并存会双写 JSON
|
||
selector:
|
||
matchLabels:
|
||
app: ipass-sso
|
||
template:
|
||
metadata:
|
||
labels:
|
||
app: ipass-sso
|
||
spec:
|
||
# 2026-10-12 移除 hostAliases 占位: IAP upstream 已从 host.docker.internal
|
||
# 改为 K8s Service app-crm-svc:8000 / app-mobile-svc:8000 (deploy/k8s/iap-demo.yaml),
|
||
# 同 ns 集群 DNS 直接解析, 不再需要 hostAliases.
|
||
# 之前占位理由 (nginx -t 拒启) 已不适用.
|
||
securityContext:
|
||
runAsUser: 10106
|
||
runAsNonRoot: true
|
||
fsGroup: 10106
|
||
# 数据子目录 bootstrap:subPath 目录必须预先存在且属主 10106
|
||
# (kubelet 对不存在的 subPath 按 root 属主建,10106 写不进——挂载成功
|
||
# 之后业务写盘才炸,最难查)。幂等,每次滚动都会跑。
|
||
initContainers:
|
||
- name: init-data-dir
|
||
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.9.1
|
||
imagePullPolicy: IfNotPresent
|
||
# accounts/ = 与 ipass-all 共用的账号表目录,必须由本 initContainer 以 10106 建出来
|
||
# (kubelet 对不存在的 subPath 目录按 root 建 ⇒ 10106 建不了锁文件)。
|
||
# ⚠️ 只建目录、**不建 users.json**:空表 ⇒ 换入空索引 ⇒ 全员 401。
|
||
command: ["bash", "-c", "mkdir -p /persist/sso /persist/accounts && ls -la /persist"]
|
||
securityContext:
|
||
runAsUser: 10106
|
||
runAsNonRoot: true
|
||
allowPrivilegeEscalation: false
|
||
volumeMounts:
|
||
- name: data
|
||
mountPath: /persist
|
||
containers:
|
||
- name: ipass-sso
|
||
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.9.1
|
||
imagePullPolicy: IfNotPresent
|
||
ports:
|
||
- name: http
|
||
containerPort: 18098
|
||
env:
|
||
# issuer 必须与浏览器/第三方实际访问地址逐字一致
|
||
# iPhone 走 i28868828dm.mayishangshu.cn:88 → 路由器 :88 NAT
|
||
# → 192.168.1.26:30089(K8s control plane NodePort)→ pod:18098
|
||
# (:188 NAT 已于 2026-11 在路由器停用,全站统一 :88)
|
||
- name: OAUTH_ISSUER
|
||
value: "https://i28868828dm.mayishangshu.cn:88"
|
||
- name: OAUTH_COOKIE_DOMAIN
|
||
value: "mayishangshu.cn"
|
||
# 固定签名密钥:保证 docker → K8s 迁移后已签发 token 仍能验签
|
||
- name: OAUTH_SIGNING_SECRET
|
||
valueFrom:
|
||
secretKeyRef:
|
||
name: ipass-sso-secrets
|
||
key: oauth-signing-secret
|
||
# 企微 OAuth
|
||
- name: WXWORK_ENABLED
|
||
value: "true"
|
||
- name: WXWORK_CORP_ID
|
||
value: "wwac71328171b889cb"
|
||
- name: WXWORK_AGENT_ID
|
||
value: "1000017"
|
||
- name: WXWORK_SECRET
|
||
valueFrom:
|
||
secretKeyRef:
|
||
name: ipass-sso-secrets
|
||
key: wxwork-secret
|
||
# 回调端口必须与企微后台该应用配置的「网页授权可信域名」一致——
|
||
# 新应用(尚数网工作台, agentid 1000017)后台配的是 :88(校验文件也按 :88 过的),
|
||
# 其他端口(含已停用的 :188)会被企微 authorize 页拒(redirect_uri 与可信域名不一致)
|
||
- name: WXWORK_REDIRECT
|
||
value: "https://i28868828dm.mayishangshu.cn:88/portal/wxwork/callback"
|
||
# ---- 共享账号表(ipass-sso 与 ipass-all 共用同一份 users.json)----
|
||
# 唯一真相 = NFS(PVC nginx-data) 上 accounts/users.json,
|
||
# 由 env IPASS_USERS_PATH 指定(内核只读一次 ⇒ 改它必须重启 pod)。
|
||
# ⚠️ 切换前**必须先跑合并作业**产出该文件:共享模式下文件缺失 ⇒
|
||
# 两个 pod 都**不会**建表(内核 fail-closed)⇒ 全员 401。
|
||
# ⚠️ 同一次发布必须删掉旧的三条同步 env(同步层已退役):留着的话同步层的
|
||
# upsert 会把共享表里已删掉的账号**复活**。
|
||
# ⚠️ 发版顺序铁律:**先上新镜像,再 apply 本清单**(ipass-all 与 ipass-sso 两个
|
||
# deploy 都一样)。反序 = 静默失败:`env IPASS_USERS_PATH;` 写在**镜像里的
|
||
# nginx.conf** 里,旧镜像没放行 ⇒ worker 里该 env 恒空 ⇒ 两个 pod 各自读
|
||
# 自己的旧表 ⇒ 两表分叉,且**不报错、不 401**。
|
||
# ⚠️ 核对要看**本清单里的 image 字段**(仓库里现在仍是旧 tag,**由人改成
|
||
# 新 tag 再 apply**):`kubectl apply` 以清单字段为准,会把集群里的镜像
|
||
# 覆盖成清单写的 tag ⇒ **核对清单里的 tag,不是核对集群当前状态**。
|
||
# 集群侧当前状态(只反映当下,**不能代替**清单侧核对):
|
||
# kubectl get deploy ipass-all ipass-sso -n wuguirong -o jsonpath='{range .items[*]}{.metadata.name}{" "}{.spec.template.spec.containers[*].image}{"\n"}{end}'
|
||
# 回滚 = apply 旧 manifest(去掉 accounts 挂载与 IPASS_USERS_PATH、
|
||
# 加回 IPASS_SYNC_SIDE / IPASS_SYNC_PEER / IPASS_SYNC_TOKEN 三条;取值见旧 manifest)。
|
||
- name: IPASS_USERS_PATH
|
||
value: "/usr/local/nginx/accounts/users.json"
|
||
securityContext:
|
||
runAsUser: 10106
|
||
runAsNonRoot: true
|
||
allowPrivilegeEscalation: false
|
||
capabilities:
|
||
drop: ["ALL"]
|
||
resources:
|
||
requests:
|
||
cpu: 100m
|
||
memory: 128Mi
|
||
limits:
|
||
cpu: "1"
|
||
memory: 512Mi
|
||
readinessProbe:
|
||
httpGet:
|
||
path: /admin/
|
||
port: 18098
|
||
initialDelaySeconds: 5
|
||
periodSeconds: 10
|
||
livenessProbe:
|
||
httpGet:
|
||
path: /admin/
|
||
port: 18098
|
||
initialDelaySeconds: 10
|
||
periodSeconds: 20
|
||
failureThreshold: 3
|
||
volumeMounts:
|
||
- name: data
|
||
mountPath: /usr/local/nginx/data
|
||
subPath: sso
|
||
# 共享账号表目录(与 ipass-all 同 PVC 同 subPath ⇒ 全集群只有一份 users.json)
|
||
- name: data
|
||
mountPath: /usr/local/nginx/accounts
|
||
subPath: accounts
|
||
volumes:
|
||
- name: data
|
||
persistentVolumeClaim:
|
||
claimName: nginx-data
|
||
|
||
---
|
||
apiVersion: v1
|
||
kind: Service
|
||
metadata:
|
||
name: ipass-sso
|
||
namespace: wuguirong
|
||
labels:
|
||
app: ipass-sso
|
||
spec:
|
||
type: NodePort
|
||
selector:
|
||
app: ipass-sso
|
||
ports:
|
||
- name: http
|
||
port: 18098
|
||
targetPort: http
|
||
nodePort: 30089
|