Files
ssw-mpc/docs/ZYNQ.md
T
admin 01b8bb44aa docs: 更新 OP-TEE 实跑状态,纠正文档里 storage 默认路径的错误认知
- docs/INDEX.md / ARCHITECTURE_SYSTEM.md / README.md:
  「OP-TEE QEMU 实跑未做(缺 SDK)」改为已做,但明确标注是 QEMU 模拟
  (dna = 编译期 sha256 种子、HUK = 模拟值),不能当真板设备绑定证据。
- docs/OPTEE_VERIF_PLAN.md:补第 4 条实跑证据表与破坏实验表;
  新增坑 ⑦⑧⑨(storage 默认路径 / 落点检查时机 / QEMU 不退出);
  状态表判据用例 15 → 19;步骤 3 状态改为完成。
- 更正 §3 里「storage 默认在 /data/tee,所以不用改 tee-supplicant 启动参数」
  这句错误认知 —— 实测默认是 /var/lib/tee,必须显式 -f /data/tee。
- ARCHITECTURE_SYSTEM.html 由 tools/render-share-html.py 重新生成,--check 同步通过。
- CLAUDE.md 补集群调度面与 OP-TEE 实跑结论。
2026-11-09 13:20:35 +08:00

297 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 在 Zynq-7015 上跑 mpc
目标:**ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算**。
场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。
x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品**——
两者用同一份 `mpc` 二进制、同一套协议,只是规模档位不同。
---
## 1. 它能跑什么(性能预算)
数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9:
A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×,
再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。
| 负载 | i5 实测 | A9 估算 | 判断 |
| ------------------------- | ----------------- | ------------- | ------- |
| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
**结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。
不适合**大矩阵密文训练**——那类负载直接上 x86。
> 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑
> `mpc selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。**
> ★ **2026-11-09 更新**:上板已经跑了(见 §4.2 / §4b)。`mpc selftest`
> 单次 **≈4 ms**、峰值 RSS **3.5 MB** —— 与本表"A9 是 i5 的 8–12× 慢"的
> 推算量级**不矛盾**(selftest 本身极小,进程启动开销占主导),
> 但**各算子的规模曲线仍未实测**,上表数字继续按"推算"看待。
---
## 2. 交叉编译
目标三元组用 **`armv7-unknown-linux-musleabihf`**(不是 gnueabihf)。
理由:产物是**静态链接**的单文件,不绑板上 glibc 版本,PetaLinux / buildroot /
Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装,
**不需要任何外部交叉 gcc**——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。
```bash
rustup target add armv7-unknown-linux-musleabihf
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features
```
**`--no-default-features` 是必须的,不是可选优化**:`mpc-cli` 默认开
`control-plane`,会把 `mpc-hostd`(axum / tokio / reqwest)与 `mpc-chain`
(系统 OpenSSL)拉进 `mpc`。板上的二进制是 guest / 边缘节点侧的静态产物,
既不该背这些依赖,也没有 musl 版 libcrypto 可链;musl 目标下开着该 feature
会被 `main.rs` 的 `compile_error!` 直接挡下并提示加这个参数。
宿主端 `mpc` 保持默认 feature,`mpc hostd` / `link` / `chain` 才可用。
这条边界由主门禁第 4 条的 `tools/check-guest-artifact.py` 三层探针钉死。
链接器由仓库里的 `.cargo/config.toml` 指定为 `rust-lld` + `link-self-contained`,
所以不用再 export 任何 `CARGO_TARGET_*` 变量。
实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):
```
target/armv7-unknown-linux-musleabihf/release/mpc
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB
flags 0x5000400 → EABI5 + hard-float
耗时 83 秒
```
> 早前这里写的是「macOS 上没有 `arm-linux-gnueabihf-gcc`,出二进制要去 Linux 上做」——
> **那是错的**。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。
**已知约束**(都是已经踩过或必须防的):
| 约束 | 原因 | 守它的方式 |
| -------------------------- | ------------------------- | ----------------------------------------------- |
| `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` |
| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 |
| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` |
---
## 3. 两种部署形态
### 形态 A:普通 world + TEE 管密钥(推荐先做)
```
┌─────────────────────── Linux (normal world) ───────────────────────┐
│ mpc node ── 分片计算、TCP、审计日志 │
│ │ │
│ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │
└────────────────────────────────────────────────────────────────────┘
```
- **计算**在普通 world:A9 的双核都能用,内存不受 secure world 限制。
- **密钥与策略**在安全 world:会话主种子、设备绑定密钥、出域判定签名。
- 攻击面:宿主 root 能读到明文和分片,但**读不到密钥**,也伪造不了 attestation。
这条路径能立刻验证,且复用 `../op-tee-test` 已经跑通的
`syvault-core`(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。
### 形态 B:计算进 TA(只在极小规模可行)
把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:
- TA 是**单线程**、**无文件系统**、**栈很小**;
- secure world 内存通常只有几 MB,装不下大矩阵;
- 每次 `TEEC_InvokeCommand` 有固定开销(微秒到毫秒级)。
**只建议**:把 `mpc-core` 的**比较/排序/小规模聚合**这类
"数据量 KB 级、但泄露后果严重"的算子放进 TA。
不要指望在 TA 里跑 256³ 矩阵乘。
---
## 4. 上板实测(2026-11-09 已执行)
> 本节是**实证**记录。凡标 `[实证]` 的都真在 `192.168.1.233` 上跑过;
> 标 `[桩验]` 的是 QEMU / 框架契约,**不等于真板**。
### 4.1 板子身份(`[实证]`)
| 项 | 实测值 |
| ----------------- | ----------------------------------------------- |
| 型号 | `ACZ7015 ZYNQ Development Board`(设备树 `xlnx,zynq-7000`) |
| 内核 | `Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT` |
| 架构 | armv7l,双核 Cortex-A9(`cpu/online` = `0-1`) |
| 启动介质 | SD 卡 `mmcblk0`;`p1` = vfat 98.5M(boot),`p2` = ext4 7.0G(root) |
| 启动链 | `BOOT.BIN`(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ `uEnv.txt` → `system.bit` + `zImage` + `system.dtb` |
| `bootcmd` | `run sdboot` → `fatload mmc 0 …` 加载 bit/zImage/dtb → `bootz` |
| 在役服务 | `board-agent`(:18080/:12222/:1891)、`easytier-core`(m4gw)、`healthwd.sh`、`monitor.sh`、dropbear |
| 工具链 | **无** gcc / make / python3(板子不能本地编译任何东西) |
启动链基线 sha256(2026-11-09,改动前):
```
bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc BOOT.BIN
86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb system.bit
ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e zImage
5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01 system.dtb
d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9 uEnv.txt
```
> 板子 p1 里**已存在** `boot_backup.tar.gz`(14 MB,内含
> `zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt`),
> 说明此前已有人备份过启动链。换启动链前**必须再存一份带哈希的基线**。
### 4.2 mpc 二进制上板(`[实证]`)
产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU):
```
target/armv7-unknown-linux-musleabihf/release/mpc
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 1,273,788 B
sha256 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d
```
板上结果:
| 判据 | 结果 |
| -------------------------------- | ----------------------------------------------- |
| `mpc selftest` | **5/5 全过** |
| 两进程 MPC 会话(alice+bob) | 两侧 `value \| 35.000000`(= 1+2+3+4+5+6+7+8+9+10) |
| `mpc selfcheck` sha256 | 与本机构建产物**逐字节一致** |
| `mpc selfcheck` platform | `linux/arm` |
| `mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested"` | L3,`needs_mpc=true`、`needs_tee=true`、`allow_plaintext_merge=false` |
> ★ `mpc selfcheck` 的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制,
> 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版,
> 必须核 sha)。
### 4.3 OP-TEE 上真板的真实缺口(`[实证]`)
**结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。**
| 缺口 | 实测证据 | 影响 |
| --------------------- | ------------------------------------------------------------------------ | ------------------------------- |
| 内核无 TEE 支持 | `zcat /proc/config.gz` → `# CONFIG_TEE is not set` | 无 `/dev/tee*` ⇒ CA 调不到 TA |
| 无 OP-TEE 运行时 | 无 `/lib/optee_armtz`、无 optee 内核模块 | TA 装不进去 |
| **EL3 无 OP-TEE 承载** | `BOOT.BIN` 里 grep `trusty\|atf\|optee` 仅命中无关串;`bootcmd` 直接 `bootz` 进内核 | 安全世界镜像**无处安放** |
| 板子无构建工具 | 无 gcc/make/python3 | 只能交叉编译后拷贝 |
因此真板 OP-TEE 需要**同时**具备:
1. 带 `CONFIG_TEE` 的 `zImage`(配套 `system.dtb` 加 `firmware`/`optee` 节点);
2. 能加载安全世界镜像的启动链(OP-TEE `plat-zynq7k` 的 `zc702` flavor 走
**U-Boot 直接加载 bl32**;另一条 `atf` flavor 需要 EL3 上的 ATF);
3. `libteec` + `tee-supplicant`(secure storage 持久化 `K_root` 必需)。
**风险**(必须在动手前讲清):
- 换 `zImage` / `uEnv.txt` / `BOOT.BIN` = **改启动链**;
- 板子上跑着 `board-agent`、`easytier-core`(m4gw 网关)、`healthwd.sh`
等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置;
- **板子无本地编译环境**,一旦启动链改坏,**没有第二台板子**可试;
⇒ 必须先做**带哈希基线的完整备份**,并保留**可回滚**路径。
> 本轮**没有**替换启动链,也没有在板上安装任何 OP-TEE 组件 ——
> 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。
---
## 4b. 上板步骤(`mpc` 二进制部分,已执行)
```bash
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
cargo build --release -p mpc-cli --target armv7-unknown-linux-musleabihf --no-default-features
# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
scp target/armv7-unknown-linux-musleabihf/release/mpc root@<board>:/usr/local/bin/
# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
mpc selftest
# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
mpc node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35
```
**验收判据**(三条,已全部达成):
1. `mpc selftest` **5/5 全过** —— 说明算子核在 armv7 上数值正确
(尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
2. 两进程会话得到 **35.000000** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
3. `mpc selfcheck` sha256 与本机构建产物一致 —— 上板的就是这份产物。
> ★ 性能实测(2026-11-09,板端 `[实证]`):
> `mpc selftest` **单次约 4.0 ms**,峰值常驻内存 **3568 KB**(约 3.5 MB)。
>
> 测量方式(板子是 BusyBox,`date` 不支持 `%N` 纳秒,`/usr/bin/time` 也没有;
> `busybox time` 分辨率只有 0.01 s,单次跑测不出来 ⇒ **放大信号**):
>
> ```
> busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
> → real 0m 0.84s ⇒ 单次 4.2 ms
> busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
> → real 0m 2.00s ⇒ 单次 4.0 ms
> ```
>
> 两组独立测量互相印证(4.2 / 4.0 ms),取 **≈4 ms**。
>
> ★★ **踩坑记录**:板子 SSH 非交互会话的 `PATH` 只有 `/usr/bin:/bin`,
> 而 `mpc` 装在 `/usr/local/bin/mpc` ⇒ **`mpc` 直接调会 "command not found"**,
> 且 `busybox time` 只报 `can't execute 'mpc'`、耗时显示 0.00s —— **假数据**。
> 板端一律用**绝对路径**。这条差点让「性能基线」变成凭空捏造的数。
---
## 5. 与 x86 + SNP 的分工
| | Zynq-7015 | x86 + SEV-SNP |
| --- | -------------------- | ---------------------- |
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
**同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是
"双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。
配置方式(规划中):
```yaml
# mpc-cluster.yaml
sites:
edge-a: { kind: optee, addr: 10.0.0.11:9443 }
edge-b: { kind: optee, addr: 10.0.0.12:9443 }
compute:
kind: sev-snp
addr: 10.0.1.10:9443
trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
```
---
## 6. 还没做的(诚实清单)
- [x] 板上实测性能数字(`mpc selftest` ≈4 ms / 峰值 RSS 3.5 MB,2026-11-09 `[实证]`,
见 §4b;**但只覆盖 selftest 规模**,各算子的规模曲线仍未逐项实测)
- [ ] `mpc-tee` 的 OP-TEE 实现**在真板上跑通**(产物已在沙箱构建,见 §4.3 缺口表)
- [ ] 真板 OP-TEE 的**启动链方案**:带 `CONFIG_TEE` 的 zImage + 能加载 bl32 的 U-Boot
⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试)
- [ ] TA 侧的最小算子(比较、聚合)
- [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
- [x] 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2)
- [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
- [x] `mpc` 二进制上板自检 + 两进程会话(2026-11-09,`[实证]`,见 §4.2)
- [x] 板子身份与启动链基线固化(sha256,见 §4.1)
- [x] OP-TEE zynq7k 构建脚本(`build/build_optee_zynq7k.sh`,含 `board` feature 真板 DNA 读取)