# 在 Zynq-7015 上跑 mpc 目标:**ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算**。 场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。 x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品**—— 两者用同一份 `mpc` 二进制、同一套协议,只是规模档位不同。 --- ## 1. 它能跑什么(性能预算) 数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9: A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×, 再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。 | 负载 | i5 实测 | A9 估算 | 判断 | | ------------------------- | ----------------- | ------------- | ------- | | `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 | | `matmul` 128³ | 2.2 ms | ~22 ms | ✅ | | 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ | | 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 | | PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 | | PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 | | Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ | | Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ | | 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 | **结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。 不适合**大矩阵密文训练**——那类负载直接上 x86。 > 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑 > `mpc selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。** > ★ **2026-11-09 更新**:上板已经跑了(见 §4.2 / §4b)。`mpc selftest` > 单次 **≈4 ms**、峰值 RSS **3.5 MB** —— 与本表"A9 是 i5 的 8–12× 慢"的 > 推算量级**不矛盾**(selftest 本身极小,进程启动开销占主导), > 但**各算子的规模曲线仍未实测**,上表数字继续按"推算"看待。 --- ## 2. 交叉编译 目标三元组用 **`armv7-unknown-linux-musleabihf`**(不是 gnueabihf)。 理由:产物是**静态链接**的单文件,不绑板上 glibc 版本,PetaLinux / buildroot / Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装, **不需要任何外部交叉 gcc**——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。 ```bash rustup target add armv7-unknown-linux-musleabihf cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features ``` **`--no-default-features` 是必须的,不是可选优化**:`mpc-cli` 默认开 `control-plane`,会把 `mpc-hostd`(axum / tokio / reqwest)与 `mpc-chain` (系统 OpenSSL)拉进 `mpc`。板上的二进制是 guest / 边缘节点侧的静态产物, 既不该背这些依赖,也没有 musl 版 libcrypto 可链;musl 目标下开着该 feature 会被 `main.rs` 的 `compile_error!` 直接挡下并提示加这个参数。 宿主端 `mpc` 保持默认 feature,`mpc hostd` / `link` / `chain` 才可用。 这条边界由主门禁第 4 条的 `tools/check-guest-artifact.py` 三层探针钉死。 链接器由仓库里的 `.cargo/config.toml` 指定为 `rust-lld` + `link-self-contained`, 所以不用再 export 任何 `CARGO_TARGET_*` 变量。 实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU): ``` target/armv7-unknown-linux-musleabihf/release/mpc ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB flags 0x5000400 → EABI5 + hard-float 耗时 83 秒 ``` > 早前这里写的是「macOS 上没有 `arm-linux-gnueabihf-gcc`,出二进制要去 Linux 上做」—— > **那是错的**。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。 **已知约束**(都是已经踩过或必须防的): | 约束 | 原因 | 守它的方式 | | -------------------------- | ------------------------- | ----------------------------------------------- | | `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` | | 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 | | 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 | | 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 | | **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` | --- ## 3. 两种部署形态 ### 形态 A:普通 world + TEE 管密钥(推荐先做) ``` ┌─────────────────────── Linux (normal world) ───────────────────────┐ │ mpc node ── 分片计算、TCP、审计日志 │ │ │ │ │ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │ └────────────────────────────────────────────────────────────────────┘ ``` - **计算**在普通 world:A9 的双核都能用,内存不受 secure world 限制。 - **密钥与策略**在安全 world:会话主种子、设备绑定密钥、出域判定签名。 - 攻击面:宿主 root 能读到明文和分片,但**读不到密钥**,也伪造不了 attestation。 这条路径能立刻验证,且复用 `../op-tee-test` 已经跑通的 `syvault-core`(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。 ### 形态 B:计算进 TA(只在极小规模可行) 把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是: - TA 是**单线程**、**无文件系统**、**栈很小**; - secure world 内存通常只有几 MB,装不下大矩阵; - 每次 `TEEC_InvokeCommand` 有固定开销(微秒到毫秒级)。 **只建议**:把 `mpc-core` 的**比较/排序/小规模聚合**这类 "数据量 KB 级、但泄露后果严重"的算子放进 TA。 不要指望在 TA 里跑 256³ 矩阵乘。 --- ## 4. 上板实测(2026-11-09 已执行) > 本节是**实证**记录。凡标 `[实证]` 的都真在 `192.168.1.233` 上跑过; > 标 `[桩验]` 的是 QEMU / 框架契约,**不等于真板**。 ### 4.1 板子身份(`[实证]`) | 项 | 实测值 | | ----------------- | ----------------------------------------------- | | 型号 | `ACZ7015 ZYNQ Development Board`(设备树 `xlnx,zynq-7000`) | | 内核 | `Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT` | | 架构 | armv7l,双核 Cortex-A9(`cpu/online` = `0-1`) | | 启动介质 | SD 卡 `mmcblk0`;`p1` = vfat 98.5M(boot),`p2` = ext4 7.0G(root) | | 启动链 | `BOOT.BIN`(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ `uEnv.txt` → `system.bit` + `zImage` + `system.dtb` | | `bootcmd` | `run sdboot` → `fatload mmc 0 …` 加载 bit/zImage/dtb → `bootz` | | 在役服务 | `board-agent`(:18080/:12222/:1891)、`easytier-core`(m4gw)、`healthwd.sh`、`monitor.sh`、dropbear | | 工具链 | **无** gcc / make / python3(板子不能本地编译任何东西) | 启动链基线 sha256(2026-11-09,改动前): ``` bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc BOOT.BIN 86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb system.bit ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e zImage 5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01 system.dtb d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9 uEnv.txt ``` > 板子 p1 里**已存在** `boot_backup.tar.gz`(14 MB,内含 > `zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt`), > 说明此前已有人备份过启动链。换启动链前**必须再存一份带哈希的基线**。 ### 4.2 mpc 二进制上板(`[实证]`) 产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU): ``` target/armv7-unknown-linux-musleabihf/release/mpc ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 1,273,788 B sha256 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d ``` 板上结果: | 判据 | 结果 | | -------------------------------- | ----------------------------------------------- | | `mpc selftest` | **5/5 全过** | | 两进程 MPC 会话(alice+bob) | 两侧 `value \| 35.000000`(= 1+2+3+4+5+6+7+8+9+10) | | `mpc selfcheck` sha256 | 与本机构建产物**逐字节一致** | | `mpc selfcheck` platform | `linux/arm` | | `mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested"` | L3,`needs_mpc=true`、`needs_tee=true`、`allow_plaintext_merge=false` | > ★ `mpc selfcheck` 的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制, > 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版, > 必须核 sha)。 ### 4.3 OP-TEE 上真板的真实缺口(`[实证]`) **结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。** | 缺口 | 实测证据 | 影响 | | --------------------- | ------------------------------------------------------------------------ | ------------------------------- | | 内核无 TEE 支持 | `zcat /proc/config.gz` → `# CONFIG_TEE is not set` | 无 `/dev/tee*` ⇒ CA 调不到 TA | | 无 OP-TEE 运行时 | 无 `/lib/optee_armtz`、无 optee 内核模块 | TA 装不进去 | | **EL3 无 OP-TEE 承载** | `BOOT.BIN` 里 grep `trusty\|atf\|optee` 仅命中无关串;`bootcmd` 直接 `bootz` 进内核 | 安全世界镜像**无处安放** | | 板子无构建工具 | 无 gcc/make/python3 | 只能交叉编译后拷贝 | 因此真板 OP-TEE 需要**同时**具备: 1. 带 `CONFIG_TEE` 的 `zImage`(配套 `system.dtb` 加 `firmware`/`optee` 节点); 2. 能加载安全世界镜像的启动链(OP-TEE `plat-zynq7k` 的 `zc702` flavor 走 **U-Boot 直接加载 bl32**;另一条 `atf` flavor 需要 EL3 上的 ATF); 3. `libteec` + `tee-supplicant`(secure storage 持久化 `K_root` 必需)。 **风险**(必须在动手前讲清): - 换 `zImage` / `uEnv.txt` / `BOOT.BIN` = **改启动链**; - 板子上跑着 `board-agent`、`easytier-core`(m4gw 网关)、`healthwd.sh` 等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置; - **板子无本地编译环境**,一旦启动链改坏,**没有第二台板子**可试; ⇒ 必须先做**带哈希基线的完整备份**,并保留**可回滚**路径。 > 本轮**没有**替换启动链,也没有在板上安装任何 OP-TEE 组件 —— > 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。 --- ## 4b. 上板步骤(`mpc` 二进制部分,已执行) ```bash # 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器 cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features # 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖 scp target/armv7-unknown-linux-musleabihf/release/mpc root@:/usr/local/bin/ # 3. 板上自检(不依赖网络,纯算子核 + TEE mock) mpc selftest # 4. 板上跑两进程会话(本机 loopback,验证协议栈) mpc node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 & mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3 # 期望两侧都输出:会话结果: 35 ``` **验收判据**(三条,已全部达成): 1. `mpc selftest` **5/5 全过** —— 说明算子核在 armv7 上数值正确 (尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。 2. 两进程会话得到 **35.000000** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。 3. `mpc selfcheck` sha256 与本机构建产物一致 —— 上板的就是这份产物。 > ★ 性能实测(2026-11-09,板端 `[实证]`): > `mpc selftest` **单次约 4.0 ms**,峰值常驻内存 **3568 KB**(约 3.5 MB)。 > > 测量方式(板子是 BusyBox,`date` 不支持 `%N` 纳秒,`/usr/bin/time` 也没有; > `busybox time` 分辨率只有 0.01 s,单次跑测不出来 ⇒ **放大信号**): > > ``` > busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done' > → real 0m 0.84s ⇒ 单次 4.2 ms > busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done' > → real 0m 2.00s ⇒ 单次 4.0 ms > ``` > > 两组独立测量互相印证(4.2 / 4.0 ms),取 **≈4 ms**。 > > ★★ **踩坑记录**:板子 SSH 非交互会话的 `PATH` 只有 `/usr/bin:/bin`, > 而 `mpc` 装在 `/usr/local/bin/mpc` ⇒ **`mpc` 直接调会 "command not found"**, > 且 `busybox time` 只报 `can't execute 'mpc'`、耗时显示 0.00s —— **假数据**。 > 板端一律用**绝对路径**。这条差点让「性能基线」变成凭空捏造的数。 --- ## 5. 与 x86 + SNP 的分工 | | Zynq-7015 | x86 + SEV-SNP | | --- | -------------------- | ---------------------- | | 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 | | 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 | | 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier | | 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 | **同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是 "双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。 配置方式(规划中): ```yaml # mpc-cluster.yaml sites: edge-a: { kind: optee, addr: 10.0.0.11:9443 } edge-b: { kind: optee, addr: 10.0.0.12:9443 } compute: kind: sev-snp addr: 10.0.1.10:9443 trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立 ``` --- ## 6. 还没做的(诚实清单) - [x] 板上实测性能数字(`mpc selftest` ≈4 ms / 峰值 RSS 3.5 MB,2026-11-09 `[实证]`, 见 §4b;**但只覆盖 selftest 规模**,各算子的规模曲线仍未逐项实测) - [ ] `mpc-tee` 的 OP-TEE 实现**在真板上跑通**(产物已在沙箱构建,见 §4.3 缺口表) - [ ] 真板 OP-TEE 的**启动链方案**:带 `CONFIG_TEE` 的 zImage + 能加载 bl32 的 U-Boot ⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试) - [ ] TA 侧的最小算子(比较、聚合) - [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试) - [x] 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2) - [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI) - [x] `mpc` 二进制上板自检 + 两进程会话(2026-11-09,`[实证]`,见 §4.2) - [x] 板子身份与启动链基线固化(sha256,见 §4.1) - [x] OP-TEE zynq7k 构建脚本(`build/build_optee_zynq7k.sh`,含 `board` feature 真板 DNA 读取)