Files
ssw-mpc/docs/ZYNQ.md
T
admin 01b8bb44aa docs: 更新 OP-TEE 实跑状态,纠正文档里 storage 默认路径的错误认知
- docs/INDEX.md / ARCHITECTURE_SYSTEM.md / README.md:
  「OP-TEE QEMU 实跑未做(缺 SDK)」改为已做,但明确标注是 QEMU 模拟
  (dna = 编译期 sha256 种子、HUK = 模拟值),不能当真板设备绑定证据。
- docs/OPTEE_VERIF_PLAN.md:补第 4 条实跑证据表与破坏实验表;
  新增坑 ⑦⑧⑨(storage 默认路径 / 落点检查时机 / QEMU 不退出);
  状态表判据用例 15 → 19;步骤 3 状态改为完成。
- 更正 §3 里「storage 默认在 /data/tee,所以不用改 tee-supplicant 启动参数」
  这句错误认知 —— 实测默认是 /var/lib/tee,必须显式 -f /data/tee。
- ARCHITECTURE_SYSTEM.html 由 tools/render-share-html.py 重新生成,--check 同步通过。
- CLAUDE.md 补集群调度面与 OP-TEE 实跑结论。
2026-11-09 13:20:35 +08:00

16 KiB
Raw Permalink Blame History

在 Zynq-7015 上跑 mpc

目标:ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算。 场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。

x86 + SEV-SNP 是算力上去以后的横向扩展,不是 Zynq 的替代品—— 两者用同一份 mpc 二进制、同一套协议,只是规模档位不同。


1. 它能跑什么(性能预算)

数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9: A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×, 再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 8–12×。

负载 i5 实测 A9 估算 判断
matmul 64³ u64 0.26 ms ~2.5 ms ✅ 随便跑
matmul 128³ 2.2 ms ~22 ms ✅
逐元素乘 100 万元素 ~3.6 ms ~35 ms ✅
纵向 LR 400×7 × 40 轮 ~15 ms ~150 ms ✅ 秒级
PSI 1 万条(2×X25519) — ~8–15 s ✅ 可接受
PSI 10 万条 — ~2 min ⚠️ 能跑但慢
Paillier 1024 位 × 1000 元素 ~0.1 s(Rust 估) ~1–2 s ✅
Paillier 1024 位 × 1 万 ~1 s ~15 s ⚠️
密文 MLP(256³ × 150 轮) 18 ms×150 = 2.7 s ~40 s/轮 → 不可行 ❌ 上 x86

结论:Zynq 适合 PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行。 不适合大矩阵密文训练——那类负载直接上 x86。

注意上表是推算,不是板上实测。真数字要等第一次上板跑 mpc selftest 与一个 64³ matmul 基准。不要拿推算当验收结论。

★ 2026-11-09 更新:上板已经跑了(见 §4.2 / §4b)。mpc selftest 单次 ≈4 ms、峰值 RSS 3.5 MB —— 与本表"A9 是 i5 的 8–12× 慢"的 推算量级不矛盾(selftest 本身极小,进程启动开销占主导), 但各算子的规模曲线仍未实测,上表数字继续按"推算"看待。


2. 交叉编译

目标三元组用 armv7-unknown-linux-musleabihf(不是 gnueabihf)。 理由:产物是静态链接的单文件,不绑板上 glibc 版本,PetaLinux / buildroot / Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装, 不需要任何外部交叉 gcc——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。

rustup target add armv7-unknown-linux-musleabihf
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features

--no-default-features 是必须的,不是可选优化:mpc-cli 默认开 control-plane,会把 mpc-hostd(axum / tokio / reqwest)与 mpc-chain (系统 OpenSSL)拉进 mpc。板上的二进制是 guest / 边缘节点侧的静态产物, 既不该背这些依赖,也没有 musl 版 libcrypto 可链;musl 目标下开着该 feature 会被 main.rs 的 compile_error! 直接挡下并提示加这个参数。 宿主端 mpc 保持默认 feature,mpc hostd / link / chain 才可用。 这条边界由主门禁第 4 条的 tools/check-guest-artifact.py 三层探针钉死。

链接器由仓库里的 .cargo/config.toml 指定为 rust-lld + link-self-contained, 所以不用再 export 任何 CARGO_TARGET_* 变量。

实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):

target/armv7-unknown-linux-musleabihf/release/mpc
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped   687 KB
flags 0x5000400  →  EABI5 + hard-float
耗时 83 秒

早前这里写的是「macOS 上没有 arm-linux-gnueabihf-gcc,出二进制要去 Linux 上做」—— 那是错的。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。

已知约束(都是已经踩过或必须防的):

约束 原因 守它的方式
mpc-core 必须 no_std 要能编进 TA cargo build -p mpc-core --no-default-features
不能用 f64::round_ties_even std-only,no_std 编不过 已自实现银行家舍入
不能假设 AVX2/NEON A9 有 NEON 但 64 位整数乘用不上 simd 是可选 feature,默认标量
栈只有 8–32 KB(TA 内) OP-TEE TA 的栈很小 mpc-core 所有临时缓冲上限 64 个 u64
Ray C++ 内核进不来 无 32 位 ARM 构建,.so 44 MB 见 docs/RAY_CORE.md §5;边缘侧用 mpc-orch

3. 两种部署形态

形态 A:普通 world + TEE 管密钥(推荐先做)

┌─────────────────────── Linux (normal world) ───────────────────────┐
│  mpc node  ── 分片计算、TCP、审计日志                              │
│      │                                                              │
│      └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign      │
└────────────────────────────────────────────────────────────────────┘
  • 计算在普通 world:A9 的双核都能用,内存不受 secure world 限制。
  • 密钥与策略在安全 world:会话主种子、设备绑定密钥、出域判定签名。
  • 攻击面:宿主 root 能读到明文和分片,但读不到密钥,也伪造不了 attestation。

这条路径能立刻验证,且复用 ../op-tee-test 已经跑通的 syvault-core(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。

形态 B:计算进 TA(只在极小规模可行)

把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:

  • TA 是单线程、无文件系统、栈很小;
  • secure world 内存通常只有几 MB,装不下大矩阵;
  • 每次 TEEC_InvokeCommand 有固定开销(微秒到毫秒级)。

只建议:把 mpc-core 的比较/排序/小规模聚合这类 "数据量 KB 级、但泄露后果严重"的算子放进 TA。 不要指望在 TA 里跑 256³ 矩阵乘。


4. 上板实测(2026-11-09 已执行)

本节是实证记录。凡标 [实证] 的都真在 192.168.1.233 上跑过; 标 [桩验] 的是 QEMU / 框架契约,不等于真板。

4.1 板子身份([实证])

项 实测值
型号 ACZ7015 ZYNQ Development Board(设备树 xlnx,zynq-7000)
内核 Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT
架构 armv7l,双核 Cortex-A9(cpu/online = 0-1)
启动介质 SD 卡 mmcblk0;p1 = vfat 98.5M(boot),p2 = ext4 7.0G(root)
启动链 BOOT.BIN(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ uEnv.txt → system.bit + zImage + system.dtb
bootcmd run sdboot → fatload mmc 0 … 加载 bit/zImage/dtb → bootz
在役服务 board-agent(:18080/:12222/:1891)、easytier-core(m4gw)、healthwd.sh、monitor.sh、dropbear
工具链 无 gcc / make / python3(板子不能本地编译任何东西)

启动链基线 sha256(2026-11-09,改动前):

bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc  BOOT.BIN
86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb  system.bit
ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e  zImage
5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01  system.dtb
d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9  uEnv.txt

板子 p1 里已存在 boot_backup.tar.gz(14 MB,内含 zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt), 说明此前已有人备份过启动链。换启动链前必须再存一份带哈希的基线。

4.2 mpc 二进制上板([实证])

产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU):

target/armv7-unknown-linux-musleabihf/release/mpc
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped   1,273,788 B
sha256  8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d

板上结果:

判据 结果
mpc selftest 5/5 全过
两进程 MPC 会话(alice+bob) 两侧 value | 35.000000(= 1+2+3+4+5+6+7+8+9+10)
mpc selfcheck sha256 与本机构建产物逐字节一致
mpc selfcheck platform linux/arm
mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested" L3,needs_mpc=true、needs_tee=true、allow_plaintext_merge=false

★ mpc selfcheck 的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制, 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版, 必须核 sha)。

4.3 OP-TEE 上真板的真实缺口([实证])

结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。

缺口 实测证据 影响
内核无 TEE 支持 zcat /proc/config.gz → # CONFIG_TEE is not set 无 /dev/tee* ⇒ CA 调不到 TA
无 OP-TEE 运行时 无 /lib/optee_armtz、无 optee 内核模块 TA 装不进去
EL3 无 OP-TEE 承载 BOOT.BIN 里 grep trusty|atf|optee 仅命中无关串;bootcmd 直接 bootz 进内核 安全世界镜像无处安放
板子无构建工具 无 gcc/make/python3 只能交叉编译后拷贝

因此真板 OP-TEE 需要同时具备:

  1. 带 CONFIG_TEE 的 zImage(配套 system.dtb 加 firmware/optee 节点);
  2. 能加载安全世界镜像的启动链(OP-TEE plat-zynq7k 的 zc702 flavor 走 U-Boot 直接加载 bl32;另一条 atf flavor 需要 EL3 上的 ATF);
  3. libteec + tee-supplicant(secure storage 持久化 K_root 必需)。

风险(必须在动手前讲清):

  • 换 zImage / uEnv.txt / BOOT.BIN = 改启动链;
  • 板子上跑着 board-agent、easytier-core(m4gw 网关)、healthwd.sh 等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置;
  • 板子无本地编译环境,一旦启动链改坏,没有第二台板子可试; ⇒ 必须先做带哈希基线的完整备份,并保留可回滚路径。

本轮没有替换启动链,也没有在板上安装任何 OP-TEE 组件 —— 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。


4b. 上板步骤(mpc 二进制部分,已执行)

# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features

# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
scp target/armv7-unknown-linux-musleabihf/release/mpc root@<board>:/usr/local/bin/

# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
mpc selftest

# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
mpc node --site bob   --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35

验收判据(三条,已全部达成):

  1. mpc selftest 5/5 全过 —— 说明算子核在 armv7 上数值正确 (尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
  2. 两进程会话得到 35.000000 —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
  3. mpc selfcheck sha256 与本机构建产物一致 —— 上板的就是这份产物。

★ 性能实测(2026-11-09,板端 [实证]): mpc selftest 单次约 4.0 ms,峰值常驻内存 3568 KB(约 3.5 MB)。

测量方式(板子是 BusyBox,date 不支持 %N 纳秒,/usr/bin/time 也没有; busybox time 分辨率只有 0.01 s,单次跑测不出来 ⇒ 放大信号):

busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
  → real 0m 0.84s     ⇒ 单次 4.2 ms
busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
  → real 0m 2.00s     ⇒ 单次 4.0 ms

两组独立测量互相印证(4.2 / 4.0 ms),取 ≈4 ms。

★★ 踩坑记录:板子 SSH 非交互会话的 PATH 只有 /usr/bin:/bin, 而 mpc 装在 /usr/local/bin/mpc ⇒ mpc 直接调会 "command not found", 且 busybox time 只报 can't execute 'mpc'、耗时显示 0.00s —— 假数据。 板端一律用绝对路径。这条差点让「性能基线」变成凭空捏造的数。


5. 与 x86 + SNP 的分工

Zynq-7015 x86 + SEV-SNP
定位 边缘节点 / 数据源侧 / 密钥守门 计算节点
优势 TEE 天然在板上、低功耗、便宜、可离线 算力、内存带宽、大矩阵
适合 PSI、安全统计、小 LR、策略执行 密文训练、大 SQL、批量 Paillier
不适合 大矩阵、10 万级 PSI 现场部署、低功耗场景

同一份二进制、同一套协议,靠 TrustPlan 决定这一轮走 MPC 还是 "双方 TEE 互验后明文直算"(见 docs/ARCHITECTURE.md §4.3 的 L2)。

配置方式(规划中):

# mpc-cluster.yaml
sites:
  edge-a: { kind: optee,  addr: 10.0.0.11:9443 }
  edge-b: { kind: optee,  addr: 10.0.0.12:9443 }
compute:
  kind: sev-snp
  addr: 10.0.1.10:9443
trust_plan: TeeAssisted      # 边侧有 TEE,计算节点独立

6. 还没做的(诚实清单)

  • 板上实测性能数字(mpc selftest ≈4 ms / 峰值 RSS 3.5 MB,2026-11-09 [实证], 见 §4b;但只覆盖 selftest 规模,各算子的规模曲线仍未逐项实测)
  • mpc-tee 的 OP-TEE 实现在真板上跑通(产物已在沙箱构建,见 §4.3 缺口表)
  • 真板 OP-TEE 的启动链方案:带 CONFIG_TEE 的 zImage + 能加载 bl32 的 U-Boot ⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试)
  • TA 侧的最小算子(比较、聚合)
  • NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
  • 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加 cargo build --target armv7-...-musleabihf --no-default-features 即可(★ 不能省这个参数,见 §2)
  • 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
  • mpc 二进制上板自检 + 两进程会话(2026-11-09,[实证],见 §4.2)
  • 板子身份与启动链基线固化(sha256,见 §4.1)
  • OP-TEE zynq7k 构建脚本(build/build_optee_zynq7k.sh,含 board feature 真板 DNA 读取)