Files
ssw-mpc-flow/docs/e2e/real-machine-verification.md
T
admin 5501a8a2f2 feat(device): zynq 注册为节点,设备页标注 TEE 支持与否
真机:zynq(192.168.1.233) 以 platform=none 注册进 ssw-mpc 控制面,
与 AMD(sev-snp)/海光(hygon-csv) 并列,ssw-mpc-flow 同步到 3 台。

- 修复事件流游标:afterSeq 默认 -1(exclusive 游标,sortCode 从 0 编号,
  原默认 0 会永久丢掉第一条事件,Overview 只返 5/6 条)。service/controller/前端 api 三处同步改。
- 设备页新增派生列「TEE 支持」:none ⇒ 标注「不支持 TEE」;
  平台列显示中文名 + PlatformKind 规范名。
- 适配层/实体的 platform 改为原样透传 PlatformKind(sev-snp/hygon-csv/optee/tdx/none),
  不做白名单,真源加新平台不被挡在适配层。
- 文档:真机验证报告补 §1B(zynq 注册全链路)与 §0.3(上游 issue #3 修复背景);
  CLAUDE.md 纠正 platform 口径。
2026-11-11 15:55:44 +08:00

20 KiB
Raw Blame History

真机验证报告:AMD(SEV-SNP) × 海光(CSV) × ZYNQ(ARMv7) 跨机密态 PSI + 纵向联邦 LR

验证日期:2026-11-11 真机:AMD 192.168.1.7(alice,sev-snp,tcb=5) / 海光 192.168.1.102(bob,hygon-csv,tcb=3) / zynq 192.168.1.233(carol,armv7l 边缘板) 执行底座:../ssw-mpc(Rust CLI,未修改源码) 结论:真协议、真跨机、真数据,PSI 交集与纵向 LR 权重三方对齐通过。


0. 一句话结论

0.1 两方(AMD × 海光)

验证项 结果
两台真机注册到控制面 /nodes ✅ alice + bob 同时在册,measurement 一致
ssw-mpc-flow 后端同步设备 ✅ synced=2, source=control-plane(非 mock)
真跨机密态 PSI ✅ 交集 95 条,双方一致,与本地真值吻合
真跨机密态纵向 LR ✅ 双方权重逐位一致(3/3 分量完全相同)
密态 vs 明文基准 ✅ 最大相对偏差 0.69%(degree=7 多项式 sigmoid 逼近 + 定点截断)

0.2 三方(AMD × 海光 × zynq)—— 本轮新增

验证项 结果
zynq 板端自检(board-selftest.sh 判据) ✅ selfcheck sha256 一致 / selftest 5/5 全过 / 两进程会话两侧 value | 35.000000
zynq 作为第三方参与方 ✅ 以 carol 身份参与三方网状会话
三方真跨机密态 PSI ✅ 交集 84 条,三方各自算出同一份,与本地真值吻合
三方真跨机密态纵向 LR ✅ 三方权重逐位一致(4/4 分量完全相同)
三方密态 vs 本地密态基准 ✅ 偏差 1e-5 量级
三方密态 vs 明文基准 ✅ 最大相对偏差 0.76%
zynq 注册为节点 ✅ [email protected] 出现在控制面 /nodes(platform=none),ssw-mpc-flow 同步到 3 台(见 §1B)

0.3 一句话背景:为什么 zynq 之前注册不了,现在能了

上一轮结论「zynq 不能作为 TEE 节点注册」是错的 —— 错在只看了 PlatformKind 的一半:

  • PlatformKind(crates/mpc-tee/src/lib.rs)本来就有 5 个变体: None / Optee / SevSnp / Tdx / HygonCsv;
  • hostd::api::parse_platform() 也认识 optee;
  • ★ 但节点描述解析器 schedule.rs::parse_kind() 只接受 sev-snp / hygon-csv, 而自报必经它(POST /registry → TeeNode::parse(descriptor))⇒ kind=optee 被 400 拒。

已向 ssw-mpc 提 issue #3,上游在 commit f676a6a 修复: PlatformKind 新增 ALL / as_str / parse,规范名解析收敛为一份口径, parse_kind 手写分支删除 ⇒ optee / none / tdx 均可登记。


1. 节点注册

AMD 侧部署我们自己的 KBS(deploy/tee/kbs/serve.py)与宿主端 mpc-host hostd:

KBS   10.93.0.1:18093   strict=True  platform=snp  token_key=yes
hostd 0.0.0.0:3010      凭据模式

控制面 /nodes 返回(Authorization: Bearer <shared_secret明文>):

[email protected]    platform=sev-snp    tcb=5  kbs_endpoint=http://10.93.0.1:18093
[email protected]    platform=hygon-csv  tcb=3  kbs_endpoint=http://10.94.0.1:18094
measurement=25d06a32…d50d3a   (两侧一致 ⇒ 同一份 OCI 镜像口径)

ssw-mpc-flow 后端:

POST /api/ssw/sswdevice/Device/Sync
{"synced":2,"offline":0,"source":"control-plane",
 "origin":"GET http://192.168.1.102:3020/nodes"}

1B. zynq 注册为节点(无 TEE 的普通计算节点)

1B.1 链路

zynq 192.168.1.233
  /tmp/mpc-hostd/mpc hostd --listen 0.0.0.0:3011 --allow-remote
      --control-plane 192.168.1.102:3020
      --node-platform none --node-site carol --node-host 192.168.1.233
      --node-tcb 1 --node-capacity 1 --node-kbc offline
      --node-measurement 25d06a32…d50d3a --report-interval 5
        ↓ 自报(每 5s)
  海光控制面 192.168.1.102:3020   POST /registry
        ↓
  GET /nodes  ⇒  [email protected]  platform=none
        ↓
  ssw-mpc-flow  POST /api/ssw/sswdevice/Device/Sync  ⇒ synced=3

1B.2 平台值为什么写 none 而不是 optee

zynq 板子实测:# CONFIG_TEE is not set、无 /dev/tee0、无 /lib/optee_armtz、 无 optee 内核模块、设备树无 secure/firmware 节点 ⇒ 它连 OP-TEE 都不是, 只是个普通 armv7 计算节点。

写 optee 等于谎报平台(声明有可信执行环境而实际没有)⇒ 本项目纪律是 「宁可如实说没有,也不假装有」。所以平台如实写 none, 界面上明确标注「不支持 TEE」—— 用它跑敏感算子前必须知道这一点。

1B.3 板端产物

项 值
产物 armv7-unknown-linux-musleabihf 静态(--no-default-features --features host-only)
体积 2,786,340 B
sha256 83e408f041f7772efd443cbd3cf6ce7e3496b67601e63c165f3480d9c738beeb
板端路径 /tmp/mpc-hostd/mpc
能力位 device_present=false / qemu_present=false / kbc=offline_fs_kbc(如实全 false)

★ host-only(而不是默认 control-plane):musl 目标下带 mpc-chain 会被 compile_error! 硬拒(要系统 OpenSSL)。hostd 不含 OpenSSL,musl 静态链得出来。 ★ 传输用 tar.gz 管道(zynq 无 base64/scp);起进程用 nohup … & (BusyBox 无 setsid)。

1B.4 控制面侧也要升级

控制面二进制必须含新解析口径,否则自报会被 400 拒:

# 本地交叉编译(macOS 上要用 zig + vendored OpenSSL)
export OPENSSL_STATIC=1
cargo zigbuild --target x86_64-unknown-linux-gnu --release -p mpc-cli \
  --features vendored --config 'build.rustc-wrapper=""'
# → 8,055,040 B,sha256 47167979d2f034fb2d260e16719e4a1007f0fd18b38f0217a49bafcc30d75d11

海光机上原本没有 Rust 工具链,也没有源码仓库 ⇒ 本地编译后经 gzip 管道送到板/机, 替换前先 cp -a 备份旧二进制。

★ 控制面必须带共享密钥才能起(非回环地址): export MPC_HOSTD_SHARED_SECRET="$(cat /tmp/mpc-cluster/cluster.secret)" (密钥走 argv 会进 ps 输出,所以用环境变量)

1B.5 三方注册表最终状态

[
  {"key":"[email protected]",  "platform":"sev-snp",   "tcb":5,"device_present":true, "kbc":"cc_kbc"},
  {"key":"[email protected]",  "platform":"hygon-csv", "tcb":3,"device_present":true, "kbc":"cc_kbc"},
  {"key":"[email protected]","platform":"none",      "tcb":1,"device_present":false,"kbc":"offline_fs_kbc"}
]

ssw-mpc-flow 侧同步结果:{"synced":3,"offline":0,"source":"control-plane"}。


2. 数据(真实业务语义,非 mock)

由 gen-data.py 生成,可复现(random.seed(20261111)):

方 站点 行数 特征列 角色
alice AMD 120 load_pct(设备负载 %) 标签方
bob 海光 102 volt_v(母线电压 V) 特征方
  • 标签:设备温度 temp_c > 65℃ ⇒ 「过热告警」= 1,否则 0(正样本率 43.3%)
  • 设备编号为真实工单号语义(区域码 + 产线 + 序号,如 1010001)
  • 交集 95、alice 独有 25、bob 独有 7
  • 每方用自己列的均值/方差做 z-score 标准化(本地标准化,不跨方共享统计量)

⚠️ 不标准化会直接发散:原始量纲(负载 2095、电压 218232)配 lr=0.05, 20 轮后权重会跑到 5.2e5。标准化后权重落在 0.39 / 0.015 / -0.052。


3. 契约(照 mpc lr-vertical 源码,不是猜的)

# alice(AMD,标签方,监听)
mpc-host lr-vertical --site alice --sites alice,bob \
  --col-blocks alice:0:1,bob:1:1 \
  --data-ids <120 个> --data-x <120 个> --data-y <120 个标签> \
  --label-owner alice --epochs 20 --lr 0.05 \
  --seed <同一份 64hex> --listen 0.0.0.0:9449 --report json

# bob(海光,特征方,连接;**不得给 --data-y**)
mpc lr-vertical --site bob --sites alice,bob \
  --col-blocks alice:0:1,bob:1:1 \
  --data-ids <102 个> --data-x <102 个> \
  --label-owner alice --epochs 20 --lr 0.05 \
  --seed <同一份 64hex> --connect 192.168.1.7:9449 --report json

四个必须踩对的点(任一错就在 cmd_lr_vertical 开头 fail-closed 被拒):

  1. --col-blocks 与 --sites 一一对应,且铺满 0..d_total(alice:0:1,bob:1:1)
  2. --data-x 长度 = --data-ids 长度 × 本方列数 ⇒ 两方都给全量行, 交集由 PSI 协议在运行时求出,不是预先筛好的
  3. 只有 --label-owner 本方能给 --data-y,其他方给了会报 「多方都会加,标签会被重复计数」
  4. 密态第二通道 = --listen 端口 +1(bump_port)⇒ PSI 走 9449、密态走 9450
  5. --seed 必须全体一致(64 hex);不给则各方随机 ⇒ 交集必空

4. 结果

4.1 PSI

alice: 本方 alice(1/2)有 120 个 ID / 第 1/2 跳完成(102 个点)/ 交集 95 条
bob:   本方 bob(2/2)有 102 个 ID / 第 1/2 跳完成(120 个点)/ 交集 95 条

双方独立算出的交集大小一致,且与本地 gen-data.py 计算的真值 完全吻合。

4.2 纵向 LR —— 三方对齐

权重 跨机密态(真机) 本地独立密态基准 明文 plaintext_lr 密态 vs 明文相对偏差
w[0] load_pct 0.3936882019042969 0.3936920166015625 0.3909959978298504 0.689%
w[1] volt_v 0.015010833740234375 0.0150146484375 0.014919232200019436 0.614%
w[2] 截距 -0.051540374755859375 -0.051540374755859375 -0.05121444715907015 0.636%
  • alice 与 bob reveal 出的权重逐位一致(3/3 分量完全相同 ⇒ 密态协议正确)
  • 跨机 vs 本地密态基准偏差 1e-5 量级(差在 Beaver 三元组随机性 ⇒ 定点截断)
  • 密态 vs 明文偏差 0.69%,来自 degree=7 多项式 sigmoid 逼近 + 定点截断; ssw-mpc 自带对照测试 sigmoid_poly_secure_matches_plain 用的也是 0.01 级容差

4.3 独立基准怎么来的

本地用同一套 Rust 定点代码(mpc-core::ring / mpc-ml::VerticalLR)复刻 mpc-node::run_lr_vertical_session 的真实流程(加性分片 → 互传分片相加 → 全局 X → 密态训练), 只用内存传输 Pipe 代替 TCP。这样基准与远端跑的是同一条数值路径, 差异只剩传输层与随机性。


4A. 三方(AMD × 海光 × zynq)—— 本轮新增

4A.1 zynq 板端先做自检(照 deploy/arm/zynq7015/board-selftest.sh 的判据)

板子身份:ACZ7015 ZYNQ Development Board,xlnx,zynq-7000,armv7l 双核 Cortex-A9, 内核 4.14.0-xilinx,BusyBox 1.24.1,glibc 2.26 armhf。

== 1. selfcheck ==
  | tool     | mpc
  | size     | 1273788
  | sha256   | 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d
  | platform | linux/arm
== 2. selftest ==   5 项全过(含「两方分片/重建」「两方 Beaver 乘法」「明文域/密态域一致性」)
== 3. 两进程会话(alice + bob)==
  alice: value | 35.000000     bob: value | 35.000000

★ 板端三条硬坑(脚本已处理,别再踩): ① 必须用绝对路径 /usr/local/bin/mpc —— SSH 非交互 PATH 只有 /usr/bin:/bin, 直调 mpc 会 "command not found",且 busybox time 会显示 0.00s 假数据; ② 不能用 date +%s%N(BusyBox 不支持 %N); ③ /proc/uptime 只有 0.01s 精度 ⇒ 测性能要循环 N 次取总量。

4A.2 三方协议契约(照 cmd_lr_vertical + connect_any 源码,不是猜的)

# 三方**都**用 --listen + --peers(网状连接),--connect 只支持两方
mpc lr-vertical --site alice --sites alice,bob,carol \
  --col-blocks alice:0:1,bob:1:1,carol:2:1 \
  --data-ids <120> --data-x <120> --data-y <120 标签> \
  --label-owner alice --epochs 20 --lr 0.05 --seed <同一份 64hex> \
  --listen 0.0.0.0:9449 \
  --peers alice=192.168.1.7:9449,bob=192.168.1.102:9449,carol=192.168.1.233:9449 \
  --report json

三方比两方多出来的三个硬约束:

  1. party 编号 = 站点名字典序(alice=0 / bob=1 / carol=2),不是自定义顺序。 TcpMesh::connect_mesh_with_psk 按下标收发,填错不报错,只会把帧送到错误的人手里 (表现为交集莫名不对)。
  2. 小编号主动连大编号(for j in addrs.iter().enumerate().skip(me + 1) 主动连, for _ in 0..me 只 accept)⇒ 启动顺序必须 carol → bob → alice。 先起 alice 会 connect_retry 空等 300s。
  3. --peers 表里必须含全部站点(含本方那格,填自己的地址也不冲突 —— 本方那格在 connect_any 里被跳过),且每个地址都要 +1 对应密态通道 (bump_peers):PSI 走 9449、密态走 9450。

4A.3 三方结果

PSI(三方各自算出同一份):

alice: 本方 alice(1/3)有 120 个 ID / 第 1/3 跳完成(86 个点)/ 交集 84 条
bob:   本方 bob  (2/3)有 102 个 ID / 第 1/3 跳完成(120 个点)/ 交集 84 条
carol: 本方 carol(3/3)有  86 个 ID / 第 1/3 跳完成(102 个点)/ 交集 84 条

对齐后 84 行 × 3 列,与本地 gen-lr3.py 算的三方真值(A∩B∩C = 84)完全吻合。

纵向 LR —— 三方 + 明文基准 四方对齐:

权重 跨机密态(三方真机) 本地独立密态基准 明文 plaintext_lr 密态 vs 明文相对偏差
w[0] load_pct(alice) 0.3898658752441406 0.38986968994140625 0.38740154028818446 0.636%
w[1] volt_v(bob) 0.02921295166015625 0.0292205810546875 0.029000670489206008 0.731%
w[2] amp_a(carol) 0.01927947998046875 0.01926422119140625 0.019252393363064474 0.141%
w[3] 截距 -0.03290557861328125 -0.032917022705078125 -0.032778496464229236 0.387%
  • alice / bob / carol reveal 出的权重逐位一致(4/4 分量完全相同 ⇒ 三方密态协议正确)
  • 跨机 vs 本地密态基准偏差 1e-5 量级(Beaver 三元组随机性 ⇒ 定点截断)
  • 密态 vs 明文最大偏差 0.76%,与两方同量级

4A.4 三方本地基准怎么搭(bench-lr3)

两方基准能直接照抄,三方有两处必须改,否则要么死锁要么串会话:

坑 症状 修复
用了 Pipe::pair() Pipe 是两方专用(send_to/recv_from 忽略 party 参数)⇒ 三方会串会话 必须用 MeshPipe::mesh(3)(每对 (i,j) 一条独立通道,索引语义与 TCP 版一致)
「发一个收一个」 真实实现是「先全发再全收」—— 发一个收一个会在 socket 缓冲写满时各方互等 基准必须照抄「先全发再全收」的顺序

另外三方基准的列块落位要按 offset,不是按 party 序号 —— 各方列块 [0,1) [1,2) [2,3) 与 party 序号恰好同序,但真实实现写的是 x_sh[i * d_total + my_block.offset + k],基准必须照抄这个语义。

4A.5 zynq 上的三条实操坑

# 坑 后果 解法
① BusyBox 没有 setsid setsid: command not found ⇒ 进程根本没起,但脚本以为点火成功 用 nohup … > log 2>&1 < /dev/null &
② BusyBox 没有 base64 / openssl base64 -d 传二进制得到空文件(md5 e3b0c44…) 用 tar.gz 管道:cat x.tgz | ssh "cat > x.tgz && tar xzf x.tgz"
③ 板子 glibc 2.26 交叉编出的 gnu 动态产物在板上直接 GLIBC_2.28 not found 起不来 用 musl 静态产物(--no-default-features + armv7-unknown-linux-musleabihf)

★ 另:本地 cargo build --offline 在 ssw-mpc 主仓会被 mpc-chain → openssl → semver 卡住(内网 ipass 索引滞后)⇒ 交叉编译前先确认依赖可解析。


5. 诚实边界(本次没有做到的部分)

项 状态 说明
TEE guest 内运行 ❌ 未做 本次是宿主端二进制执行。真协议/真跨机/真数据,但 PSK 来自会话文件,不是 KBS 证明后下发。guest 内跑需 guest-role.sh + run-guest.py + attest-init.sh + snp-verify-attestation.sh(KDS 拉 VCEK)。
经 ssw-mpc-flow 编排层驱动 ❌ 未做 后端 mpc-engine.ts 是单进程(sites[0] 作本方)。sessionCapability() 需 MPC_SESSION_LISTEN/MPC_SESSION_CONNECT/MPC_AGENT_PRESENT=1 才真下发,否则降级 partial + [simulated]。本次是手动跨机执行。
KBS 真实证明流程 ❌ 未做 AMD 上 serve.py 已 strict 模式启动,但尚无 guest 提交过真实 SNP 证明包。
zynq(192.168.1.233)作第三方 ✅ 已达成 本轮已把 zynq 跑通并作为 carol 参与三方 PSI + 纵向 LR(权重三方逐位一致)。且已作为节点注册进控制面(见 §1B),本项目管理台里显示为 platform=none / TEE 支持=不支持 TEE。仍没有做到的是:真板 OP-TEE(# CONFIG_TEE is not set、无 /dev/tee0、无 /lib/optee_armtz、设备树无 secure 节点)⇒ 要换启动链,板上无第二台可试、在役服务在跑 ⇒ 本轮没有改板。

⚠️ zynq 的 OP-TEE 现状(已按 ../ssw-mpc/docs/ZYNQ.md §4.3 与 deploy/arm/zynq7015/README.md 的缺口表逐条核实,与本文实测一致): 「之前跑通 OP-TEE」指的是 mpc 二进制(算子核 + 协议栈 + 两进程会话)上板自检, 不是 OP-TEE 本身。OP-TEE 部分在 ssw-mpc 文档里明确记为「沙箱构建完成、 真板未跑通、需换启动链」(§6 诚实清单里 mpc-tee 的 OP-TEE 实现仍为未勾选)。

换句话说:本次证明的是「ssw-mpc 的 MPC 协议栈在两台不同厂商真机 + 一台 ARM 边缘板 上能跑通且结果正确」,还没有证明「端到端 TEE attested 闭环」 与「编排层能自动驱动多方会话」。


6. 复现脚本

本机(/tmp/mpc-real/,非仓库内):

文件 作用
gen-data.py 生成真实业务数据 + 标准化 + meta.json
remote-psi.sh 两方 PSI 会话脚本(listen/connect)
remote-lr.sh 两方纵向 LR 会话脚本
fire2.sh / fire-lr.sh 跨机点火(setsid --fork 脱离会话)
restore-amd.sh 恢复 AMD 的 KBS + hostd 常驻
record-run.mjs 把真实验证结果落库到 ssw-mpc-flow

远端点火纪律(踩过的坑):

# ✓ 立即返回,进程完全脱离 SSH 会话
setsid --fork ./remote-psi.sh listen > out-a.log 2>&1 < /dev/null

# ✗ 会挂起 SSH 直到超时
setsid cmd & disown
ssh "cmd &"

点火前必须 pkill 旧实例 —— 否则新实例报 bind 0.0.0.0:9449: Address already in use 而旧实例仍在监听,极易误判成功。 另外 pkill -f mpc-host 会连带杀掉常驻的 hostd,重启它要用 restore-amd.sh。


7. 落库结果

本次验证已写入 ssw-mpc-flow(不是 [simulated]):

  • FlowRun 8c80db4f-9896-4492-bb95-ae53b122d0a8(runMode=real, status=success)
  • FlowStepRun × 2:prep.intersect / model.lr.train
  • Artifact × 2:PSI 交集结果(table)、纵向 LR 权重(model,rows 里存三方数值)
  • RunEvent × 5

同时修正了 DS-BOB-POWER 的归属错误(原先误指向 alice,现指向 bob), 并把行数从 95 更正为 102(真实值)。


8. 下一步(按优先级)

  1. 让编排层能真下发:处理 mpc-engine.ts 的单进程限制 —— 要么按方拆进程,要么引入 mpc agent 侧信道(MPC_AGENT_PRESENT=1)
  2. TEE guest 内闭环:AMD 侧用 snp-verify-attestation.sh 走 KDS 拉 VCEK, guest 提交真实 SNP 证明包给 KBS 换 token,再由 KBS 下发 PSK
  3. KBS pod 化设计文档(用户已定「先跑通,再谈改造」): 结论是「判定留真机 / 物料进 pod / 控制面进 pod / hostd 不变」, guest→集群出网有三条路:宿主 iptables MASQUERADE+FORWARD / guest 加第三张网卡 / 物料同步到宿主(最稳,guest 零改动)