- 新增 docs/INDEX.md:文档分类(活真相源/专题设计/历史阶段快照)、 当前状态总览、权威入口表、旧结论对照表、诚实边界与 8 条更新纪律。 - README.md 现状改为「2026-10-30 算子基线 + 2026-11-08 增量」,补齐真机 TEE、国密链真交易、合约实证、k8s 持久化、22 条门禁与目录树。 - CLAUDE.md 纠正三处失效结论(门禁 20→22 条、3.x eth_ 兼容端点、 flush 只发规范字节/不宣称能上链),文档章节改为分组索引。 - INTEGRATION_ANALYSIS.md 等历史阶段文档加「当时→当前」状态锚点与对照表, 保留取证链不改写历史;真机文档第 7/9.4 节指向第 10 节合流结论。 - 修正两处事实错误:k8s README 把本机写成节点 IP、复现文档把 20200/30300 标反;链复现入口统一指向 deploy/k8s/fisco/README.md。 - 诚实边界保持:软件签名器密评不可过、真 bcos-rpc TLCP 未通、hostd 执行面仍在真机、OPA 未进 guest、链上撤销与 decision 上链未做。
6.1 KiB
6.1 KiB
FISCO 国密链 → wuguirong k8s 迁移与持久化
2026-11-08:把原跑在本机 macOS Docker 容器
fisco-gm(账本在/tmp)的 FISCO BCOS v3.17.1 国密链,连同现有 149M 账本迁进 wuguirong 租户 k8s, 用nfs-wuguirongPVC 做持久化。配套把管理/验证工具与 hostd 台账也沉淀进集群。
1. 迁移前后对照(硬证据,不是声明)
| 判据 | 迁移前(本机容器) | 迁移后(k8s) |
|---|---|---|
链高度 getBlockNumber |
30 | 30(起链后判据写入 4 块 → 34) |
| block 30 哈希 | 0x892af32b…3972d |
完全相同 |
| block 1/2/3/10/20/29/30 哈希 | 逐个记录 | 7/7 逐个相同 |
| 真链 22 项判据(部署/写/读回/负向矩阵) | 22/22 | 22/22(指向 192.168.1.26:30100) |
| 删 Pod 重建后新块是否保留 | — | 高度仍 34,block 30 哈希不变,Pod UID 已变 |
| 三个节点 NodePort | — | 192.168.1.26/27/29:30100 全部返回 200 |
结论:这是同一条链的搬家,不是新起一条空链。
2. 架构
镜像 ssw188/nginx:fisco-bcos-gm-v3.17.1
└ 只含静态 fisco-bcos 二进制(52M, stripped ELF,无动态依赖)
★ 账本 / config / 国密证书 / 节点私钥一律不进镜像、不进 ConfigMap、不进 git
PVC fisco-chain-data (nfs-wuguirong, RWO, 5Gi)
└ /data: config.ini / config.genesis / nodes.json / conf/ / data/ / log/
★ 数据的家。删 Deployment/Pod 保留它;删它 = 整条链没了。
Deployment fisco-chain (replicas=1, strategy=Recreate)
└ Service NodePort 30100(rpc 20200) / 30101(p2p 30300)
Deployment fisco-verify (常驻守卫)
└ 每 60s 判:链活着 + 高度 >= 30 + block30 哈希 == 迁移前指纹
★ 三条负向样例已逐条破坏验证过(基线抬高/指纹篡改/地址不存在),不是恒绿
ConfigMap mpc-admin-tools 判据脚本/ABI/合约源码/链配置(从仓库原文件生成)
ConfigMap mpc-hostd-registry hostd 管理面台账(执行面仍留真机,见 §5)
3. 复现 / 运维 SOP
export KUBECONFIG=/Users/xs/.kube/kubeconfig-wuguirong
# ① 构建镜像(二进制 52M 不进 git,从 FISCO_BIN 拷进临时 context)
FISCO_BIN=/tmp/fisco-dl/lin/fisco-bcos bash deploy/k8s/fisco/build-and-push.sh
# ② 一次性账本迁移(会硬检查本机链已停;幂等,不覆盖已有账本)
docker stop fisco-gm # 必须先停,避免边写边拷毁 RocksDB
bash deploy/k8s/fisco/migrate-ledger.sh
# ③ 起链 + 管理面
kubectl apply -f deploy/k8s/fisco/30-chain.yaml
kubectl rollout status deploy/fisco-chain -n wuguirong --timeout=180s
bash deploy/k8s/fisco/make-admin-configmap.sh
kubectl apply -f deploy/k8s/fisco/40-admin.yaml
# ④ 验证
for ip in 192.168.1.26 192.168.1.27 192.168.1.29; do
curl -s -X POST -H 'Content-Type: application/json' \
-d '{"jsonrpc":"2.0","method":"getBlockNumber","params":["group0","node0"],"id":1}' \
http://$ip:30100
done
MPC_FISCO_CHAIN_CONFIG=tools/fisco-realnode/example.chain.json \
MPC_FISCO_KEY=/path/to/key.pem MPC_FISCO_ABI=build/contracts/combined.json \
python3 tools/selftest-fisco-contract.py # 期望 22 通过 / 0 失败
tools/fisco-realnode/example.chain.json 已指向 k8s 链 192.168.1.26:30100。
4. 踩过的坑 / 硬约束(别回退)
- 准入策略
tenant-storage-guard:每个容器容器级runAsUser: 10106(pod 级不生效),runAsNonRoot+fsGroup: 10106;禁止直接挂 hostPath/nfs,只能 PVC。 链端口 20200/30300 都是高位端口,非 root 可绑。 - NodePort 集群级分配:本 ns 列表看不全。30100/30101 已用
kubectl apply --dry-run=server实撞过;本 ns 已占 30082-30098、30960/30961。 replicas=1+strategy: Recreate:单节点 PBFT,两个实例写同一账本会分裂状态; RWO 卷也不允许 RollingUpdate 时新旧 Pod 抢挂载。- 账本不能烤进镜像:否则每次重建 Pod 都回到快照,是「假持久化」;且
conf/node.pem等国密私钥进 CR 就再也收不回。 - 迁移前必须停本机链:RocksDB 边写边拷会拿到损坏账本。脚本里有硬检查,不静默跳过。
- macOS
tar注入._*:脚本用COPYFILE_DISABLE=1规避。 - 容器内是 busybox:只有
sha256sum没有shasum;seed 用未压缩 tar(busybox tar 不保证支持 gzip 解包)。 - 删 PVC 一定丢数据:SC
nfs-wuguirong的onDelete=delete分支直接rm -rf,archiveOnDelete是死配置。删 Deployment/Service/Pod 都要保留 PVC。 kubectl delete一次只认一种资源类型:删 deploy 和 svc 要分两条命令。
5. hostd / TEE 执行面的诚实边界(重要)
用户要求「全挪进去」,但 hostd 执行面物理上不能进 k8s:
mpc-hostd要起 qemu guest、访问/dev/sev(SNP)或海光 CSVvmmcall/ioctl, wuguirong 的 4 个节点没有 TEE 设备;- 项目铁律:TEE 直调度,绝不走 Kata / 编排层,
crates/零容器编排字样; - 因此只把管理面台账(真机清单
192.168.1.102海光 CSV /192.168.1.7AMD SNP、 端点约定、xop 凭据引用名)沉淀成 ConfigMapmpc-hostd-registry。 真正的 hostd 二进制仍以 musl 静态产物跑在真机上(127.0.0.1:3010)。
这不等于「hostd 已搬进 k8s」——只是台账进集群,执行面原地不动。
另:本租户 SA 无 create secret 权限,LLM 凭据 Secret mpc-llm 需管理员代建;
链客户端私钥 MPC_FISCO_KEY 保持仓库外,不进任何镜像/ConfigMap/git。
6. 本机残留
fisco-gm容器:已docker stop(未删除,可回滚),docker start fisco-gm即可临时恢复。 但它与 k8s 链是同一份账本的两份拷贝,不要同时对外服务,避免两条链分叉。- 账本备份:
/tmp/fisco-node-backup-20261108(逐文件 sha256 与源 28/28 一致)。 - 本机 macOS 容器
fisco-gm的127.0.0.1:20200已停(注意192.168.1.26是 k8s 节点,不是本机);判据脚本默认改指向192.168.1.26:30100。