Files
ssw-mpc/deploy/k8s/fisco/README.md
T
admin c1ae7d7473 docs: 系统性更新项目文档至 2026-11-08 当前状态,新增文档总索引
- 新增 docs/INDEX.md:文档分类(活真相源/专题设计/历史阶段快照)、
  当前状态总览、权威入口表、旧结论对照表、诚实边界与 8 条更新纪律。
- README.md 现状改为「2026-10-30 算子基线 + 2026-11-08 增量」,补齐真机
  TEE、国密链真交易、合约实证、k8s 持久化、22 条门禁与目录树。
- CLAUDE.md 纠正三处失效结论(门禁 20→22 条、3.x eth_ 兼容端点、
  flush 只发规范字节/不宣称能上链),文档章节改为分组索引。
- INTEGRATION_ANALYSIS.md 等历史阶段文档加「当时→当前」状态锚点与对照表,
  保留取证链不改写历史;真机文档第 7/9.4 节指向第 10 节合流结论。
- 修正两处事实错误:k8s README 把本机写成节点 IP、复现文档把
  20200/30300 标反;链复现入口统一指向 deploy/k8s/fisco/README.md。
- 诚实边界保持:软件签名器密评不可过、真 bcos-rpc TLCP 未通、hostd
  执行面仍在真机、OPA 未进 guest、链上撤销与 decision 上链未做。
2026-11-08 19:11:39 +08:00

6.1 KiB
Raw Blame History

FISCO 国密链 → wuguirong k8s 迁移与持久化

2026-11-08:把原跑在本机 macOS Docker 容器 fisco-gm(账本在 /tmp)的 FISCO BCOS v3.17.1 国密链,连同现有 149M 账本迁进 wuguirong 租户 k8s, 用 nfs-wuguirong PVC 做持久化。配套把管理/验证工具与 hostd 台账也沉淀进集群。

1. 迁移前后对照(硬证据,不是声明)

判据 迁移前(本机容器) 迁移后(k8s)
链高度 getBlockNumber 30 30(起链后判据写入 4 块 → 34)
block 30 哈希 0x892af32b…3972d 完全相同
block 1/2/3/10/20/29/30 哈希 逐个记录 7/7 逐个相同
真链 22 项判据(部署/写/读回/负向矩阵) 22/22 22/22(指向 192.168.1.26:30100)
删 Pod 重建后新块是否保留 — 高度仍 34,block 30 哈希不变,Pod UID 已变
三个节点 NodePort — 192.168.1.26/27/29:30100 全部返回 200

结论:这是同一条链的搬家,不是新起一条空链。

2. 架构

镜像 ssw188/nginx:fisco-bcos-gm-v3.17.1
  └ 只含静态 fisco-bcos 二进制(52M, stripped ELF,无动态依赖)
     ★ 账本 / config / 国密证书 / 节点私钥一律不进镜像、不进 ConfigMap、不进 git

PVC fisco-chain-data (nfs-wuguirong, RWO, 5Gi)
  └ /data: config.ini / config.genesis / nodes.json / conf/ / data/ / log/
     ★ 数据的家。删 Deployment/Pod 保留它;删它 = 整条链没了。

Deployment fisco-chain (replicas=1, strategy=Recreate)
  └ Service NodePort 30100(rpc 20200) / 30101(p2p 30300)

Deployment fisco-verify (常驻守卫)
  └ 每 60s 判:链活着 + 高度 >= 30 + block30 哈希 == 迁移前指纹
     ★ 三条负向样例已逐条破坏验证过(基线抬高/指纹篡改/地址不存在),不是恒绿

ConfigMap mpc-admin-tools        判据脚本/ABI/合约源码/链配置(从仓库原文件生成)
ConfigMap mpc-hostd-registry    hostd 管理面台账(执行面仍留真机,见 §5)

3. 复现 / 运维 SOP

export KUBECONFIG=/Users/xs/.kube/kubeconfig-wuguirong

# ① 构建镜像(二进制 52M 不进 git,从 FISCO_BIN 拷进临时 context)
FISCO_BIN=/tmp/fisco-dl/lin/fisco-bcos bash deploy/k8s/fisco/build-and-push.sh

# ② 一次性账本迁移(会硬检查本机链已停;幂等,不覆盖已有账本)
docker stop fisco-gm                    # 必须先停,避免边写边拷毁 RocksDB
bash deploy/k8s/fisco/migrate-ledger.sh

# ③ 起链 + 管理面
kubectl apply -f deploy/k8s/fisco/30-chain.yaml
kubectl rollout status deploy/fisco-chain -n wuguirong --timeout=180s
bash deploy/k8s/fisco/make-admin-configmap.sh
kubectl apply -f deploy/k8s/fisco/40-admin.yaml

# ④ 验证
for ip in 192.168.1.26 192.168.1.27 192.168.1.29; do
  curl -s -X POST -H 'Content-Type: application/json' \
    -d '{"jsonrpc":"2.0","method":"getBlockNumber","params":["group0","node0"],"id":1}' \
    http://$ip:30100
done
MPC_FISCO_CHAIN_CONFIG=tools/fisco-realnode/example.chain.json \
MPC_FISCO_KEY=/path/to/key.pem MPC_FISCO_ABI=build/contracts/combined.json \
python3 tools/selftest-fisco-contract.py          # 期望 22 通过 / 0 失败

tools/fisco-realnode/example.chain.json 已指向 k8s 链 192.168.1.26:30100。

4. 踩过的坑 / 硬约束(别回退)

  • 准入策略 tenant-storage-guard:每个容器容器级 runAsUser: 10106(pod 级不生效), runAsNonRoot + fsGroup: 10106;禁止直接挂 hostPath/nfs,只能 PVC。 链端口 20200/30300 都是高位端口,非 root 可绑。
  • NodePort 集群级分配:本 ns 列表看不全。30100/30101 已用 kubectl apply --dry-run=server 实撞过;本 ns 已占 30082-30098、30960/30961。
  • replicas=1 + strategy: Recreate:单节点 PBFT,两个实例写同一账本会分裂状态; RWO 卷也不允许 RollingUpdate 时新旧 Pod 抢挂载。
  • 账本不能烤进镜像:否则每次重建 Pod 都回到快照,是「假持久化」;且 conf/node.pem 等国密私钥进 CR 就再也收不回。
  • 迁移前必须停本机链:RocksDB 边写边拷会拿到损坏账本。脚本里有硬检查,不静默跳过。
  • macOS tar 注入 ._*:脚本用 COPYFILE_DISABLE=1 规避。
  • 容器内是 busybox:只有 sha256sum 没有 shasum;seed 用未压缩 tar(busybox tar 不保证支持 gzip 解包)。
  • 删 PVC 一定丢数据:SC nfs-wuguirong 的 onDelete=delete 分支直接 rm -rf, archiveOnDelete 是死配置。删 Deployment/Service/Pod 都要保留 PVC。
  • kubectl delete 一次只认一种资源类型:删 deploy 和 svc 要分两条命令。

5. hostd / TEE 执行面的诚实边界(重要)

用户要求「全挪进去」,但 hostd 执行面物理上不能进 k8s:

  • mpc-hostd 要起 qemu guest、访问 /dev/sev(SNP)或海光 CSV vmmcall/ioctl, wuguirong 的 4 个节点没有 TEE 设备;
  • 项目铁律:TEE 直调度,绝不走 Kata / 编排层,crates/ 零容器编排字样;
  • 因此只把管理面台账(真机清单 192.168.1.102 海光 CSV / 192.168.1.7 AMD SNP、 端点约定、xop 凭据引用名)沉淀成 ConfigMap mpc-hostd-registry。 真正的 hostd 二进制仍以 musl 静态产物跑在真机上(127.0.0.1:3010)。

这不等于「hostd 已搬进 k8s」——只是台账进集群,执行面原地不动。 另:本租户 SA 无 create secret 权限,LLM 凭据 Secret mpc-llm 需管理员代建; 链客户端私钥 MPC_FISCO_KEY 保持仓库外,不进任何镜像/ConfigMap/git。

6. 本机残留

  • fisco-gm 容器:已 docker stop(未删除,可回滚),docker start fisco-gm 即可临时恢复。 但它与 k8s 链是同一份账本的两份拷贝,不要同时对外服务,避免两条链分叉。
  • 账本备份:/tmp/fisco-node-backup-20261108(逐文件 sha256 与源 28/28 一致)。
  • 本机 macOS 容器 fisco-gm 的 127.0.0.1:20200 已停(注意 192.168.1.26 是 k8s 节点,不是本机);判据脚本默认改指向 192.168.1.26:30100。