- docs/INDEX.md / ARCHITECTURE_SYSTEM.md / README.md: 「OP-TEE QEMU 实跑未做(缺 SDK)」改为已做,但明确标注是 QEMU 模拟 (dna = 编译期 sha256 种子、HUK = 模拟值),不能当真板设备绑定证据。 - docs/OPTEE_VERIF_PLAN.md:补第 4 条实跑证据表与破坏实验表; 新增坑 ⑦⑧⑨(storage 默认路径 / 落点检查时机 / QEMU 不退出); 状态表判据用例 15 → 19;步骤 3 状态改为完成。 - 更正 §3 里「storage 默认在 /data/tee,所以不用改 tee-supplicant 启动参数」 这句错误认知 —— 实测默认是 /var/lib/tee,必须显式 -f /data/tee。 - ARCHITECTURE_SYSTEM.html 由 tools/render-share-html.py 重新生成,--check 同步通过。 - CLAUDE.md 补集群调度面与 OP-TEE 实跑结论。
297 lines
16 KiB
Markdown
297 lines
16 KiB
Markdown
# 在 Zynq-7015 上跑 mpc
|
||
|
||
目标:**ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算**。
|
||
场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。
|
||
|
||
x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品**——
|
||
两者用同一份 `mpc` 二进制、同一套协议,只是规模档位不同。
|
||
|
||
---
|
||
|
||
## 1. 它能跑什么(性能预算)
|
||
|
||
数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9:
|
||
A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×,
|
||
再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。
|
||
|
||
| 负载 | i5 实测 | A9 估算 | 判断 |
|
||
| ------------------------- | ----------------- | ------------- | ------- |
|
||
| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
|
||
| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
|
||
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
|
||
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
|
||
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
|
||
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
|
||
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
|
||
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
|
||
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
|
||
|
||
**结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。
|
||
不适合**大矩阵密文训练**——那类负载直接上 x86。
|
||
|
||
> 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑
|
||
> `mpc selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。**
|
||
|
||
> ★ **2026-11-09 更新**:上板已经跑了(见 §4.2 / §4b)。`mpc selftest`
|
||
> 单次 **≈4 ms**、峰值 RSS **3.5 MB** —— 与本表"A9 是 i5 的 8–12× 慢"的
|
||
> 推算量级**不矛盾**(selftest 本身极小,进程启动开销占主导),
|
||
> 但**各算子的规模曲线仍未实测**,上表数字继续按"推算"看待。
|
||
|
||
---
|
||
|
||
## 2. 交叉编译
|
||
|
||
目标三元组用 **`armv7-unknown-linux-musleabihf`**(不是 gnueabihf)。
|
||
理由:产物是**静态链接**的单文件,不绑板上 glibc 版本,PetaLinux / buildroot /
|
||
Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装,
|
||
**不需要任何外部交叉 gcc**——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。
|
||
|
||
```bash
|
||
rustup target add armv7-unknown-linux-musleabihf
|
||
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features
|
||
```
|
||
|
||
**`--no-default-features` 是必须的,不是可选优化**:`mpc-cli` 默认开
|
||
`control-plane`,会把 `mpc-hostd`(axum / tokio / reqwest)与 `mpc-chain`
|
||
(系统 OpenSSL)拉进 `mpc`。板上的二进制是 guest / 边缘节点侧的静态产物,
|
||
既不该背这些依赖,也没有 musl 版 libcrypto 可链;musl 目标下开着该 feature
|
||
会被 `main.rs` 的 `compile_error!` 直接挡下并提示加这个参数。
|
||
宿主端 `mpc` 保持默认 feature,`mpc hostd` / `link` / `chain` 才可用。
|
||
这条边界由主门禁第 4 条的 `tools/check-guest-artifact.py` 三层探针钉死。
|
||
|
||
链接器由仓库里的 `.cargo/config.toml` 指定为 `rust-lld` + `link-self-contained`,
|
||
所以不用再 export 任何 `CARGO_TARGET_*` 变量。
|
||
|
||
实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):
|
||
|
||
```
|
||
target/armv7-unknown-linux-musleabihf/release/mpc
|
||
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB
|
||
flags 0x5000400 → EABI5 + hard-float
|
||
耗时 83 秒
|
||
```
|
||
|
||
> 早前这里写的是「macOS 上没有 `arm-linux-gnueabihf-gcc`,出二进制要去 Linux 上做」——
|
||
> **那是错的**。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。
|
||
|
||
**已知约束**(都是已经踩过或必须防的):
|
||
|
||
| 约束 | 原因 | 守它的方式 |
|
||
| -------------------------- | ------------------------- | ----------------------------------------------- |
|
||
| `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` |
|
||
| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
|
||
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
|
||
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 |
|
||
| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` |
|
||
|
||
---
|
||
|
||
## 3. 两种部署形态
|
||
|
||
### 形态 A:普通 world + TEE 管密钥(推荐先做)
|
||
|
||
```
|
||
┌─────────────────────── Linux (normal world) ───────────────────────┐
|
||
│ mpc node ── 分片计算、TCP、审计日志 │
|
||
│ │ │
|
||
│ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │
|
||
└────────────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
- **计算**在普通 world:A9 的双核都能用,内存不受 secure world 限制。
|
||
- **密钥与策略**在安全 world:会话主种子、设备绑定密钥、出域判定签名。
|
||
- 攻击面:宿主 root 能读到明文和分片,但**读不到密钥**,也伪造不了 attestation。
|
||
|
||
这条路径能立刻验证,且复用 `../op-tee-test` 已经跑通的
|
||
`syvault-core`(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。
|
||
|
||
### 形态 B:计算进 TA(只在极小规模可行)
|
||
|
||
把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:
|
||
|
||
- TA 是**单线程**、**无文件系统**、**栈很小**;
|
||
- secure world 内存通常只有几 MB,装不下大矩阵;
|
||
- 每次 `TEEC_InvokeCommand` 有固定开销(微秒到毫秒级)。
|
||
|
||
**只建议**:把 `mpc-core` 的**比较/排序/小规模聚合**这类
|
||
"数据量 KB 级、但泄露后果严重"的算子放进 TA。
|
||
不要指望在 TA 里跑 256³ 矩阵乘。
|
||
|
||
---
|
||
|
||
## 4. 上板实测(2026-11-09 已执行)
|
||
|
||
> 本节是**实证**记录。凡标 `[实证]` 的都真在 `192.168.1.233` 上跑过;
|
||
> 标 `[桩验]` 的是 QEMU / 框架契约,**不等于真板**。
|
||
|
||
### 4.1 板子身份(`[实证]`)
|
||
|
||
| 项 | 实测值 |
|
||
| ----------------- | ----------------------------------------------- |
|
||
| 型号 | `ACZ7015 ZYNQ Development Board`(设备树 `xlnx,zynq-7000`) |
|
||
| 内核 | `Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT` |
|
||
| 架构 | armv7l,双核 Cortex-A9(`cpu/online` = `0-1`) |
|
||
| 启动介质 | SD 卡 `mmcblk0`;`p1` = vfat 98.5M(boot),`p2` = ext4 7.0G(root) |
|
||
| 启动链 | `BOOT.BIN`(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ `uEnv.txt` → `system.bit` + `zImage` + `system.dtb` |
|
||
| `bootcmd` | `run sdboot` → `fatload mmc 0 …` 加载 bit/zImage/dtb → `bootz` |
|
||
| 在役服务 | `board-agent`(:18080/:12222/:1891)、`easytier-core`(m4gw)、`healthwd.sh`、`monitor.sh`、dropbear |
|
||
| 工具链 | **无** gcc / make / python3(板子不能本地编译任何东西) |
|
||
|
||
启动链基线 sha256(2026-11-09,改动前):
|
||
|
||
```
|
||
bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc BOOT.BIN
|
||
86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb system.bit
|
||
ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e zImage
|
||
5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01 system.dtb
|
||
d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9 uEnv.txt
|
||
```
|
||
|
||
> 板子 p1 里**已存在** `boot_backup.tar.gz`(14 MB,内含
|
||
> `zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt`),
|
||
> 说明此前已有人备份过启动链。换启动链前**必须再存一份带哈希的基线**。
|
||
|
||
### 4.2 mpc 二进制上板(`[实证]`)
|
||
|
||
产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU):
|
||
|
||
```
|
||
target/armv7-unknown-linux-musleabihf/release/mpc
|
||
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 1,273,788 B
|
||
sha256 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d
|
||
```
|
||
|
||
板上结果:
|
||
|
||
| 判据 | 结果 |
|
||
| -------------------------------- | ----------------------------------------------- |
|
||
| `mpc selftest` | **5/5 全过** |
|
||
| 两进程 MPC 会话(alice+bob) | 两侧 `value \| 35.000000`(= 1+2+3+4+5+6+7+8+9+10) |
|
||
| `mpc selfcheck` sha256 | 与本机构建产物**逐字节一致** |
|
||
| `mpc selfcheck` platform | `linux/arm` |
|
||
| `mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested"` | L3,`needs_mpc=true`、`needs_tee=true`、`allow_plaintext_merge=false` |
|
||
|
||
> ★ `mpc selfcheck` 的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制,
|
||
> 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版,
|
||
> 必须核 sha)。
|
||
|
||
### 4.3 OP-TEE 上真板的真实缺口(`[实证]`)
|
||
|
||
**结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。**
|
||
|
||
| 缺口 | 实测证据 | 影响 |
|
||
| --------------------- | ------------------------------------------------------------------------ | ------------------------------- |
|
||
| 内核无 TEE 支持 | `zcat /proc/config.gz` → `# CONFIG_TEE is not set` | 无 `/dev/tee*` ⇒ CA 调不到 TA |
|
||
| 无 OP-TEE 运行时 | 无 `/lib/optee_armtz`、无 optee 内核模块 | TA 装不进去 |
|
||
| **EL3 无 OP-TEE 承载** | `BOOT.BIN` 里 grep `trusty\|atf\|optee` 仅命中无关串;`bootcmd` 直接 `bootz` 进内核 | 安全世界镜像**无处安放** |
|
||
| 板子无构建工具 | 无 gcc/make/python3 | 只能交叉编译后拷贝 |
|
||
|
||
因此真板 OP-TEE 需要**同时**具备:
|
||
|
||
1. 带 `CONFIG_TEE` 的 `zImage`(配套 `system.dtb` 加 `firmware`/`optee` 节点);
|
||
2. 能加载安全世界镜像的启动链(OP-TEE `plat-zynq7k` 的 `zc702` flavor 走
|
||
**U-Boot 直接加载 bl32**;另一条 `atf` flavor 需要 EL3 上的 ATF);
|
||
3. `libteec` + `tee-supplicant`(secure storage 持久化 `K_root` 必需)。
|
||
|
||
**风险**(必须在动手前讲清):
|
||
|
||
- 换 `zImage` / `uEnv.txt` / `BOOT.BIN` = **改启动链**;
|
||
- 板子上跑着 `board-agent`、`easytier-core`(m4gw 网关)、`healthwd.sh`
|
||
等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置;
|
||
- **板子无本地编译环境**,一旦启动链改坏,**没有第二台板子**可试;
|
||
⇒ 必须先做**带哈希基线的完整备份**,并保留**可回滚**路径。
|
||
|
||
> 本轮**没有**替换启动链,也没有在板上安装任何 OP-TEE 组件 ——
|
||
> 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。
|
||
|
||
---
|
||
|
||
## 4b. 上板步骤(`mpc` 二进制部分,已执行)
|
||
|
||
```bash
|
||
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
|
||
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features
|
||
|
||
# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
|
||
scp target/armv7-unknown-linux-musleabihf/release/mpc root@<board>:/usr/local/bin/
|
||
|
||
# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
|
||
mpc selftest
|
||
|
||
# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
|
||
mpc node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
|
||
mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
|
||
# 期望两侧都输出:会话结果: 35
|
||
```
|
||
|
||
**验收判据**(三条,已全部达成):
|
||
|
||
1. `mpc selftest` **5/5 全过** —— 说明算子核在 armv7 上数值正确
|
||
(尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
|
||
2. 两进程会话得到 **35.000000** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
|
||
3. `mpc selfcheck` sha256 与本机构建产物一致 —— 上板的就是这份产物。
|
||
|
||
> ★ 性能实测(2026-11-09,板端 `[实证]`):
|
||
> `mpc selftest` **单次约 4.0 ms**,峰值常驻内存 **3568 KB**(约 3.5 MB)。
|
||
>
|
||
> 测量方式(板子是 BusyBox,`date` 不支持 `%N` 纳秒,`/usr/bin/time` 也没有;
|
||
> `busybox time` 分辨率只有 0.01 s,单次跑测不出来 ⇒ **放大信号**):
|
||
>
|
||
> ```
|
||
> busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
|
||
> → real 0m 0.84s ⇒ 单次 4.2 ms
|
||
> busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
|
||
> → real 0m 2.00s ⇒ 单次 4.0 ms
|
||
> ```
|
||
>
|
||
> 两组独立测量互相印证(4.2 / 4.0 ms),取 **≈4 ms**。
|
||
>
|
||
> ★★ **踩坑记录**:板子 SSH 非交互会话的 `PATH` 只有 `/usr/bin:/bin`,
|
||
> 而 `mpc` 装在 `/usr/local/bin/mpc` ⇒ **`mpc` 直接调会 "command not found"**,
|
||
> 且 `busybox time` 只报 `can't execute 'mpc'`、耗时显示 0.00s —— **假数据**。
|
||
> 板端一律用**绝对路径**。这条差点让「性能基线」变成凭空捏造的数。
|
||
|
||
---
|
||
|
||
## 5. 与 x86 + SNP 的分工
|
||
|
||
| | Zynq-7015 | x86 + SEV-SNP |
|
||
| --- | -------------------- | ---------------------- |
|
||
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
|
||
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
|
||
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
|
||
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
|
||
|
||
**同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是
|
||
"双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。
|
||
|
||
配置方式(规划中):
|
||
|
||
```yaml
|
||
# mpc-cluster.yaml
|
||
sites:
|
||
edge-a: { kind: optee, addr: 10.0.0.11:9443 }
|
||
edge-b: { kind: optee, addr: 10.0.0.12:9443 }
|
||
compute:
|
||
kind: sev-snp
|
||
addr: 10.0.1.10:9443
|
||
trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
|
||
```
|
||
|
||
---
|
||
|
||
## 6. 还没做的(诚实清单)
|
||
|
||
- [x] 板上实测性能数字(`mpc selftest` ≈4 ms / 峰值 RSS 3.5 MB,2026-11-09 `[实证]`,
|
||
见 §4b;**但只覆盖 selftest 规模**,各算子的规模曲线仍未逐项实测)
|
||
- [ ] `mpc-tee` 的 OP-TEE 实现**在真板上跑通**(产物已在沙箱构建,见 §4.3 缺口表)
|
||
- [ ] 真板 OP-TEE 的**启动链方案**:带 `CONFIG_TEE` 的 zImage + 能加载 bl32 的 U-Boot
|
||
⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试)
|
||
- [ ] TA 侧的最小算子(比较、聚合)
|
||
- [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
|
||
- [x] 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2)
|
||
- [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
|
||
- [x] `mpc` 二进制上板自检 + 两进程会话(2026-11-09,`[实证]`,见 §4.2)
|
||
- [x] 板子身份与启动链基线固化(sha256,见 §4.1)
|
||
- [x] OP-TEE zynq7k 构建脚本(`build/build_optee_zynq7k.sh`,含 `board` feature 真板 DNA 读取)
|