- docs/INDEX.md / ARCHITECTURE_SYSTEM.md / README.md: 「OP-TEE QEMU 实跑未做(缺 SDK)」改为已做,但明确标注是 QEMU 模拟 (dna = 编译期 sha256 种子、HUK = 模拟值),不能当真板设备绑定证据。 - docs/OPTEE_VERIF_PLAN.md:补第 4 条实跑证据表与破坏实验表; 新增坑 ⑦⑧⑨(storage 默认路径 / 落点检查时机 / QEMU 不退出); 状态表判据用例 15 → 19;步骤 3 状态改为完成。 - 更正 §3 里「storage 默认在 /data/tee,所以不用改 tee-supplicant 启动参数」 这句错误认知 —— 实测默认是 /var/lib/tee,必须显式 -f /data/tee。 - ARCHITECTURE_SYSTEM.html 由 tools/render-share-html.py 重新生成,--check 同步通过。 - CLAUDE.md 补集群调度面与 OP-TEE 实跑结论。
16 KiB
在 Zynq-7015 上跑 mpc
目标:ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算。 场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。
x86 + SEV-SNP 是算力上去以后的横向扩展,不是 Zynq 的替代品——
两者用同一份 mpc 二进制、同一套协议,只是规模档位不同。
1. 它能跑什么(性能预算)
数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9: A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×, 再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 8–12×。
| 负载 | i5 实测 | A9 估算 | 判断 |
|---|---|---|---|
matmul 64³ u64 |
0.26 ms | ~2.5 ms | ✅ 随便跑 |
matmul 128³ |
2.2 ms | ~22 ms | ✅ |
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
结论:Zynq 适合 PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行。 不适合大矩阵密文训练——那类负载直接上 x86。
注意上表是推算,不是板上实测。真数字要等第一次上板跑
mpc selftest与一个 64³ matmul 基准。不要拿推算当验收结论。
★ 2026-11-09 更新:上板已经跑了(见 §4.2 / §4b)。
mpc selftest单次 ≈4 ms、峰值 RSS 3.5 MB —— 与本表"A9 是 i5 的 8–12× 慢"的 推算量级不矛盾(selftest 本身极小,进程启动开销占主导), 但各算子的规模曲线仍未实测,上表数字继续按"推算"看待。
2. 交叉编译
目标三元组用 armv7-unknown-linux-musleabihf(不是 gnueabihf)。
理由:产物是静态链接的单文件,不绑板上 glibc 版本,PetaLinux / buildroot /
Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装,
不需要任何外部交叉 gcc——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。
rustup target add armv7-unknown-linux-musleabihf
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features
--no-default-features 是必须的,不是可选优化:mpc-cli 默认开
control-plane,会把 mpc-hostd(axum / tokio / reqwest)与 mpc-chain
(系统 OpenSSL)拉进 mpc。板上的二进制是 guest / 边缘节点侧的静态产物,
既不该背这些依赖,也没有 musl 版 libcrypto 可链;musl 目标下开着该 feature
会被 main.rs 的 compile_error! 直接挡下并提示加这个参数。
宿主端 mpc 保持默认 feature,mpc hostd / link / chain 才可用。
这条边界由主门禁第 4 条的 tools/check-guest-artifact.py 三层探针钉死。
链接器由仓库里的 .cargo/config.toml 指定为 rust-lld + link-self-contained,
所以不用再 export 任何 CARGO_TARGET_* 变量。
实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):
target/armv7-unknown-linux-musleabihf/release/mpc
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB
flags 0x5000400 → EABI5 + hard-float
耗时 83 秒
早前这里写的是「macOS 上没有
arm-linux-gnueabihf-gcc,出二进制要去 Linux 上做」—— 那是错的。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。
已知约束(都是已经踩过或必须防的):
| 约束 | 原因 | 守它的方式 |
|---|---|---|
mpc-core 必须 no_std |
要能编进 TA | cargo build -p mpc-core --no-default-features |
不能用 f64::round_ties_even |
std-only,no_std 编不过 | 已自实现银行家舍入 |
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | simd 是可选 feature,默认标量 |
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | mpc-core 所有临时缓冲上限 64 个 u64 |
| Ray C++ 内核进不来 | 无 32 位 ARM 构建,.so 44 MB |
见 docs/RAY_CORE.md §5;边缘侧用 mpc-orch |
3. 两种部署形态
形态 A:普通 world + TEE 管密钥(推荐先做)
┌─────────────────────── Linux (normal world) ───────────────────────┐
│ mpc node ── 分片计算、TCP、审计日志 │
│ │ │
│ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │
└────────────────────────────────────────────────────────────────────┘
- 计算在普通 world:A9 的双核都能用,内存不受 secure world 限制。
- 密钥与策略在安全 world:会话主种子、设备绑定密钥、出域判定签名。
- 攻击面:宿主 root 能读到明文和分片,但读不到密钥,也伪造不了 attestation。
这条路径能立刻验证,且复用 ../op-tee-test 已经跑通的
syvault-core(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。
形态 B:计算进 TA(只在极小规模可行)
把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:
- TA 是单线程、无文件系统、栈很小;
- secure world 内存通常只有几 MB,装不下大矩阵;
- 每次
TEEC_InvokeCommand有固定开销(微秒到毫秒级)。
只建议:把 mpc-core 的比较/排序/小规模聚合这类
"数据量 KB 级、但泄露后果严重"的算子放进 TA。
不要指望在 TA 里跑 256³ 矩阵乘。
4. 上板实测(2026-11-09 已执行)
本节是实证记录。凡标
[实证]的都真在192.168.1.233上跑过; 标[桩验]的是 QEMU / 框架契约,不等于真板。
4.1 板子身份([实证])
| 项 | 实测值 |
|---|---|
| 型号 | ACZ7015 ZYNQ Development Board(设备树 xlnx,zynq-7000) |
| 内核 | Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT |
| 架构 | armv7l,双核 Cortex-A9(cpu/online = 0-1) |
| 启动介质 | SD 卡 mmcblk0;p1 = vfat 98.5M(boot),p2 = ext4 7.0G(root) |
| 启动链 | BOOT.BIN(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ uEnv.txt → system.bit + zImage + system.dtb |
bootcmd |
run sdboot → fatload mmc 0 … 加载 bit/zImage/dtb → bootz |
| 在役服务 | board-agent(:18080/:12222/:1891)、easytier-core(m4gw)、healthwd.sh、monitor.sh、dropbear |
| 工具链 | 无 gcc / make / python3(板子不能本地编译任何东西) |
启动链基线 sha256(2026-11-09,改动前):
bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc BOOT.BIN
86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb system.bit
ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e zImage
5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01 system.dtb
d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9 uEnv.txt
板子 p1 里已存在
boot_backup.tar.gz(14 MB,内含zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt), 说明此前已有人备份过启动链。换启动链前必须再存一份带哈希的基线。
4.2 mpc 二进制上板([实证])
产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU):
target/armv7-unknown-linux-musleabihf/release/mpc
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 1,273,788 B
sha256 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d
板上结果:
| 判据 | 结果 |
|---|---|
mpc selftest |
5/5 全过 |
| 两进程 MPC 会话(alice+bob) | 两侧 value | 35.000000(= 1+2+3+4+5+6+7+8+9+10) |
mpc selfcheck sha256 |
与本机构建产物逐字节一致 |
mpc selfcheck platform |
linux/arm |
mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested" |
L3,needs_mpc=true、needs_tee=true、allow_plaintext_merge=false |
★
mpc selfcheck的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制, 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版, 必须核 sha)。
4.3 OP-TEE 上真板的真实缺口([实证])
结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。
| 缺口 | 实测证据 | 影响 |
|---|---|---|
| 内核无 TEE 支持 | zcat /proc/config.gz → # CONFIG_TEE is not set |
无 /dev/tee* ⇒ CA 调不到 TA |
| 无 OP-TEE 运行时 | 无 /lib/optee_armtz、无 optee 内核模块 |
TA 装不进去 |
| EL3 无 OP-TEE 承载 | BOOT.BIN 里 grep trusty|atf|optee 仅命中无关串;bootcmd 直接 bootz 进内核 |
安全世界镜像无处安放 |
| 板子无构建工具 | 无 gcc/make/python3 | 只能交叉编译后拷贝 |
因此真板 OP-TEE 需要同时具备:
- 带
CONFIG_TEE的zImage(配套system.dtb加firmware/optee节点); - 能加载安全世界镜像的启动链(OP-TEE
plat-zynq7k的zc702flavor 走 U-Boot 直接加载 bl32;另一条atfflavor 需要 EL3 上的 ATF); libteec+tee-supplicant(secure storage 持久化K_root必需)。
风险(必须在动手前讲清):
- 换
zImage/uEnv.txt/BOOT.BIN= 改启动链; - 板子上跑着
board-agent、easytier-core(m4gw 网关)、healthwd.sh等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置; - 板子无本地编译环境,一旦启动链改坏,没有第二台板子可试; ⇒ 必须先做带哈希基线的完整备份,并保留可回滚路径。
本轮没有替换启动链,也没有在板上安装任何 OP-TEE 组件 —— 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。
4b. 上板步骤(mpc 二进制部分,已执行)
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features
# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
scp target/armv7-unknown-linux-musleabihf/release/mpc root@<board>:/usr/local/bin/
# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
mpc selftest
# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
mpc node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35
验收判据(三条,已全部达成):
mpc selftest5/5 全过 —— 说明算子核在 armv7 上数值正确 (尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。- 两进程会话得到 35.000000 —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
mpc selfchecksha256 与本机构建产物一致 —— 上板的就是这份产物。
★ 性能实测(2026-11-09,板端
[实证]):mpc selftest单次约 4.0 ms,峰值常驻内存 3568 KB(约 3.5 MB)。测量方式(板子是 BusyBox,
date不支持%N纳秒,/usr/bin/time也没有;busybox time分辨率只有 0.01 s,单次跑测不出来 ⇒ 放大信号):busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done' → real 0m 0.84s ⇒ 单次 4.2 ms busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done' → real 0m 2.00s ⇒ 单次 4.0 ms两组独立测量互相印证(4.2 / 4.0 ms),取 ≈4 ms。
★★ 踩坑记录:板子 SSH 非交互会话的
PATH只有/usr/bin:/bin, 而mpc装在/usr/local/bin/mpc⇒mpc直接调会 "command not found", 且busybox time只报can't execute 'mpc'、耗时显示 0.00s —— 假数据。 板端一律用绝对路径。这条差点让「性能基线」变成凭空捏造的数。
5. 与 x86 + SNP 的分工
| Zynq-7015 | x86 + SEV-SNP | |
|---|---|---|
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
同一份二进制、同一套协议,靠 TrustPlan 决定这一轮走 MPC 还是
"双方 TEE 互验后明文直算"(见 docs/ARCHITECTURE.md §4.3 的 L2)。
配置方式(规划中):
# mpc-cluster.yaml
sites:
edge-a: { kind: optee, addr: 10.0.0.11:9443 }
edge-b: { kind: optee, addr: 10.0.0.12:9443 }
compute:
kind: sev-snp
addr: 10.0.1.10:9443
trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
6. 还没做的(诚实清单)
- 板上实测性能数字(
mpc selftest≈4 ms / 峰值 RSS 3.5 MB,2026-11-09[实证], 见 §4b;但只覆盖 selftest 规模,各算子的规模曲线仍未逐项实测) mpc-tee的 OP-TEE 实现在真板上跑通(产物已在沙箱构建,见 §4.3 缺口表)- 真板 OP-TEE 的启动链方案:带
CONFIG_TEE的 zImage + 能加载 bl32 的 U-Boot ⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试) - TA 侧的最小算子(比较、聚合)
- NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
- 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加
cargo build --target armv7-...-musleabihf --no-default-features即可(★ 不能省这个参数,见 §2) - 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
mpc二进制上板自检 + 两进程会话(2026-11-09,[实证],见 §4.2)- 板子身份与启动链基线固化(sha256,见 §4.1)
- OP-TEE zynq7k 构建脚本(
build/build_optee_zynq7k.sh,含boardfeature 真板 DNA 读取)