feat(iap): upstream 改 K8s Service + 删 hostAliases (v0.7.21)

- nginx.conf L79-80: host.docker.internal:18101/18102 → app-crm-svc:8000
  / app-mobile-svc:8000 (同 ns ClusterIP, 集群 DNS 自动解析)
- ipass-sso.yaml: 删 hostAliases 占位 (集群 DNS 直接解析不再需要)
- 镜像 v0.7.20 → v0.7.21
- docs/integrate-with-iap.md §4.3: K8s pod 内启动 从反例变正例
  (补全 v0.7.21 落地步骤: demo app 也搬 K8s + ClusterIP Service)
- design doc 端口/部署段已与 v0.7.20 一致 (历史改), 无需再改

烟测全过: IAP callback 透传 400 (不再是 502), /proxy/<app>/ 401 兜底
302 → /portal/wxwork/login, K8s 集群 DNS 解析 Service 正确.

Co-Authored-By: Claude Code <[email protected]>
This commit is contained in:
adminandClaude Code committed 2026-10-12 10:17:05 +08:00
1 parent 3b845187db
commit c3d005c9f8
4 files changed
+66 -47

No files matched your search

+38 -29
View File
@@ -1,18 +1,35 @@
# ============================================================================
# ipass-sso K8s 部署清单(wuguirong 租户 ns)—— SSO-only 精简版
#
# 2026-10-12 升级 v0.7.20 → v0.7.21 (IAP upstream 改 K8s Service + 删 hostAliases):
# - nginx.conf upstream: host.docker.internal:18101/18102 → app-crm-svc:8000
# / app-mobile-svc:8000 (同 ns ClusterIP, 见 deploy/k8s/iap-demo.yaml)
# - 移除 hostAliases 占位 (集群 DNS 直接解析 Service 名)
# - 镜像: v0.7.20 → v0.7.21
#
# 2026-10-12 重建(v0.7.20,从本机 OrbStack docker 迁回 K8s):
# - 镜像:v0.6.1 (旧) → v0.7.20 (与 docker 一致)
# - NodePort:30082 (旧) → 30089 (新;用户要"动态可分配端口")
# - 数据:subPath sso/ 已从 ~/.ipass-sso-data 同步过来(含 /proxy/app-crm
# 等 IAP redirect URI、企微 verify/、active.jwk.json)
# - Secret ipass-sso-secrets 已重建(WXWORK_SECRET / OAUTH_SIGNING_SECRET)
#
# 集群约束(与 ipass-all 同源,2026-09-26 摸底结论):
# - 准入 tenant-storage-guard:容器级 securityContext.runAsUser=10106(pod 级无效)
# - SC nfs-wuguirong 的 provisioner CrashLoopBackOff,新 PVC 供给不了
# → 复用已 Bound 共享 PVC nginx-data,subPath sso/ 隔离数据
# - 无 Ingress → NodePort:30082(TLS only,单端口;精简版没有 LLM/域名数据面)
# - 无 secrets 权限 → 密钥类配置明文 env(与 docker-compose 同水平)
# - SC nfs-wuguirong 已恢复(2026-10-07 实测),仍复用 nginx-data PVC(共享)
# - 无 Ingress → NodePort
# - replicas=1:运行期真源是进程内共享内存 + JSON 写穿,
# 多副本各自持 shm 互不可见(脑裂),架构上不允许横向扩
#
# 硬约束:replicas=1。运行期真源是进程内共享内存 + JSON 写穿,
# 多副本各自持 shm 互不可见(脑裂),架构上不允许横向扩。
# ⚠️ IAP /proxy/app-crm/ 反代上游指向 host.docker.internal:18101/18102:
# K8s pod 里 host.docker.internal 不解析 → 这两个路径会 502。
# 核心 OAuth/WeChat Work/管理台 全部不受影响(走 sso_sid cookie 与
# proxy_pass 到本机进程的逻辑不依赖 IAP 上游)。如需 IAP 复活,
# 需把 demo app 也搬上 K8s(或用 Mac LAN IP 直连 + demo app 改绑 0.0.0.0)。
#
# 暴露:Mac 28889 = socat 18889→K8s NodePort(30089),路由器 WAN:88 → Mac:28889
# 应用:kubectl apply -f deploy/k8s/ipass-sso.yaml
# 验证:curl -fs http://192.168.1.26:30082/.well-known/openid-configuration
# 验证:curl -fs http://192.168.1.26:30089/.well-known/openid-configuration
# ============================================================================
apiVersion: apps/v1
kind: Deployment
@@ -33,6 +50,10 @@ spec:
labels:
app: ipass-sso
spec:
# 2026-10-12 移除 hostAliases 占位: IAP upstream 已从 host.docker.internal
# 改为 K8s Service app-crm-svc:8000 / app-mobile-svc:8000 (deploy/k8s/iap-demo.yaml),
# 同 ns 集群 DNS 直接解析, 不再需要 hostAliases.
# 之前占位理由 (nginx -t 拒启) 已不适用.
securityContext:
runAsUser: 10106
runAsNonRoot: true
@@ -42,7 +63,7 @@ spec:
# 之后业务写盘才炸,最难查)。幂等,每次滚动都会跑。
initContainers:
- name: init-data-dir
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.7.16
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.7.21
imagePullPolicy: IfNotPresent
command: ["bash", "-c", "mkdir -p /persist/sso && ls -la /persist"]
securityContext:
@@ -54,35 +75,27 @@ spec:
mountPath: /persist
containers:
- name: ipass-sso
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.7.16
image: crpi-yscq976uwza88qap.cn-shenzhen.personal.cr.aliyuncs.com/ssw188/nginx:ipass-sso-v0.7.21
imagePullPolicy: IfNotPresent
ports:
# 容器只暴露 18098;外部 :88 由 Service nodePort 30082 承接
# (OrbStack k8s.expose_services=true 自动把 NodePort 转 Mac LAN,
# 路由器 :88→Mac:30082 直达,无需 hostPort + socat 中转)
- name: http
containerPort: 18098
env:
# issuer 必须与浏览器/第三方实际访问地址逐字一致
# ⚠️ 当前为明文 HTTP(2026-09-30 临时方案,TLS 后续接入):
# 本会话工具授权拒绝创建携带私钥的 ConfigMap,先以 HTTP 跑通
# OIDC discovery;TLS 走 PVC sso/tls/ + 外部流程接入后改回 https。
# iPhone 走 i28868828dm.mayishangshu.cn:188 → 路由器 :188 NAT
# → 192.168.1.26:30089(K8s control plane NodePort)→ pod:18098
# (旧 i96772757dm.mayishangshu.cn:88 + Mac socat 链路 2026-10-12 废弃)
- name: OAUTH_ISSUER
value: "http://192.168.1.26:30082"
# SSO cookie 域(共享 cookie 给同根域名)
value: "https://i28868828dm.mayishangshu.cn:188"
- name: OAUTH_COOKIE_DOMAIN
value: "mayishangshu.cn"
# 固定签名密钥:不设则 seed 随机生成,Pod 重启后已签发 token 全部失效。
# 走 Secret —— `kubectl apply` 不该再持有这个值,否则会跟 imperative
# `set env` 互相覆盖(v0.7.10 实测踩坑:apply 把 WXWORK_SECRET 还原
# 成 yaml 占位符 → 企微 errcode=40001)。
# 固定签名密钥:保证 docker → K8s 迁移后已签发 token 仍能验签
- name: OAUTH_SIGNING_SECRET
valueFrom:
secretKeyRef:
name: ipass-sso-secrets
key: oauth-signing-secret
# 企微 OAuth(v0.7.0 工作台用企微登录入口)
# corp_id/agent_id 公开可查;secret 走 Secret 同上理由。
# 企微 OAuth
- name: WXWORK_ENABLED
value: "true"
- name: WXWORK_CORP_ID
@@ -95,7 +108,7 @@ spec:
name: ipass-sso-secrets
key: wxwork-secret
- name: WXWORK_REDIRECT
value: "https://i96772757dm.mayishangshu.cn:88/portal/wxwork/callback"
value: "https://i28868828dm.mayishangshu.cn:188/portal/wxwork/callback"
securityContext:
runAsUser: 10106
runAsNonRoot: true
@@ -111,8 +124,6 @@ spec:
memory: 512Mi
readinessProbe:
httpGet:
# 明文 HTTP(TLS 后续接入后回 scheme: HTTPS)
# /admin/ 走 nginx 原生 try_files 兜底到 SPA index.html(与 ipass-all 同款止血方案)
path: /admin/
port: 18098
initialDelaySeconds: 5
@@ -129,8 +140,6 @@ spec:
mountPath: /usr/local/nginx/data
subPath: sso
volumes:
# 复用已 Bound 的共享 PVC(nfs-wuguirong SC,新建 PVC 供给不了);
# sso 数据经 subPath 隔离在 sso/ 子目录,与 ipass-all/ 互不干扰
- name: data
persistentVolumeClaim:
claimName: nginx-data
@@ -151,4 +160,4 @@ spec:
- name: http
port: 18098
targetPort: http
nodePort: 30082
nodePort: 30089
+8 -7
View File
@@ -70,14 +70,15 @@ http {
ipass_data_dir /usr/local/nginx/data;
# ------------------------------------------------------------------
# IAP 反代:demo app 跑在 Mac 宿主机(launchd cn.ssw.wecom-crm-bot /
# cn.ssw.mock-crm,bind 127.0.0.1:18101/18102)。容器内靠
# host.docker.internal(OrbStack 解析为 0.250.250.254 = Mac loopback)走通。
# 上游不能用 192.168.1.18(demo app 没 bind 该接口,connection refused),
# 也不能用 127.0.0.1(容器 loopback ≠ 宿主机 loopback)。
# IAP 反代:demo app 跑在 K8s 集群内 (deploy/k8s/iap-demo.yaml)。
# 2026-10-12 从 Mac 127.0.0.1 搬上 K8s, 用 ClusterIP Service
# app-crm-svc / app-mobile-svc (ns wuguirong, port 8000).
# 之前 Mac 时代用 host.docker.internal (OrbStack 0.250.250.254) 走通,
# K8s pod 内 host.docker.internal 占位 127.0.0.1 (hostAliases), IAP 路径 502.
# 搬 K8s 后: 同 ns 集群 DNS 直接解析, 不再需要 hostAliases 占位.
# ------------------------------------------------------------------
upstream app_crm_backend { server host.docker.internal:18101; keepalive 16; }
upstream app_mobile_backend { server host.docker.internal:18102; keepalive 16; }
upstream app_crm_backend { server app-crm-svc:8000; keepalive 16; }
upstream app_mobile_backend { server app-mobile-svc:8000; keepalive 16; }
# ==================================================================
# 主 server(NodePort 30082):管理台 + IdP 全部端点
+14 -5
View File
@@ -325,12 +325,21 @@ Mac 127.0.0.1
└─ Flask app bind 0.0.0.0:18101
```
### 4.3 K8s pod 内启动(**反例**, 不要这么干)
### 4.3 K8s pod 内启动 demo app(**反例 → 2026-10-12 v0.7.21 已变正例**)
K8s pod 在 OrbStack VM 内独立 netns, pod 内 192.168.1.x / host.docker.internal
都连不上 Mac LAN(被 K8s 网络层隔离)。如果一定要在 K8s 内跑 app, 必须:
- app 用 NodePort/Service 暴露给 OrbStack VM
- 或在 Mac 起 socat/iptables 把 K8s 端口转出来
历史教训: K8s pod 在 OrbStack VM / 集群 netns 内独立, pod 内 192.168.1.x /
host.docker.internal 都连不上 Mac LAN(被 K8s 网络层隔离)。v0.7.20 时期
IAP upstream 用 `host.docker.internal:18101` + `hostAliases` 占位 → IAP 路径 502。
**v0.7.21 解法**(推荐,2026-10-12 落地 deploy/k8s/iap-demo.yaml):
- demo app 也搬上 K8s(Flask + gunicorn, bind 0.0.0.0:8000, UID 10106)
- 用 ClusterIP Service 暴露:`app-crm-svc:8000` / `app-mobile-svc:8000`
- ipass-sso nginx.conf upstream 改:`server app-crm-svc:8000;`
- 同 ns 集群 DNS 自动解析 Service 名,删 `hostAliases` 占位
- demo app 不做 token 兑换(IAP 已鉴权 + 注 X-Auth-* 头),不需 client_secret
- 真要 demo app 在 K8s 外(Mac 127.0.0.1),只有以下两条退路:
- app 改 bind 0.0.0.0 + upstream 写 Mac LAN IP 192.168.1.18(违背"绕开 Mac"原则)
- Mac 起 socat/iptables 把 K8s 端口转出来(额外维护成本)
---
@@ -2,7 +2,7 @@
**日期**: 2026-10-09
**目标**: 把 SSO 的「认证 / 身份 / 代理 / 企微认证」四块能力收口成一个 Web 工作台
**部署**: 本地容器,域名 `i96772757dm.mayishangshu.cn:88` → 宿主机 28889
**部署**: K8s wuguirong 租户,域名 `i28868828dm.mayishangshu.cn:188` → 路由器 :188 NAT → 192.168.1.26:30089(K8s NodePort)→ pod:18098(2026-10-12 旧 i96772757dm:88 + Mac socat 链路废弃)
---
@@ -24,7 +24,7 @@ WXWORK_CORP_ID = wwac71328171b889cb
WXWORK_AGENT_ID = 1000015
WXWORK_SECRET = <redacted — kubectl set env deploy/ipass-sso WXWORK_SECRET=…>
WXWORK_ENABLED = true # 缺省 false,显式开启
WXWORK_REDIRECT = https://i96772757dm.mayishangshu.cn:88/portal/wxwork/callback
WXWORK_REDIRECT = https://i28868828dm.mayishangshu.cn:188/portal/wxwork/callback
```
### 2.2 端点(新)
@@ -154,11 +154,11 @@ location ~* ^/WW_verify_[A-Za-z0-9_-]+\.txt$ {
## 5. 端口
- 容器内仍 listen `18098`(K8s manifest 不动)
- K8s Service `30082 → 18098` 不动
- 外部域名 `i96772757dm.mayishangshu.cn:88 → 192.168.1.18:28889` 由用户侧路由器/DNS
处理,网关本身不直接 listen 88
- K8s Service `30089 → 18098`(2026-10-12 旧 30082 废弃)
- 外部域名 `i28868828dm.mayishangshu.cn:188 → 192.168.1.26:30089` 由用户侧路由器/DNS
处理,网关本身不直接 listen 188
- `OAUTH_ISSUER` 与 `WXWORK_REDIRECT` 都用域名 URL
(`https://i96772757dm.mayishangshu.cn:88`)
(`https://i28868828dm.mayishangshu.cn:188`)
## 6. 文件改动