Files
ssw-mpc/docs/ZYNQ.md
T
rong 4bb573d98c feat: Ray C++ 内核接进 nax Rust + armv7 真交叉编译
Ray 这条线不绕 bazel:
- wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号,
  3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize)
- ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径
- 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet,
  拿到 raylet 分配的 node_id(d190801c…),probe 通过

踩坑(都已固化进 ray/build.sh):
- raylet 只编了 Python worker pool → 注册时语言声明 PYTHON
- Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0
- fmt v9/v11 撞车 → FMT_HEADER_ONLY
- Debian absl 固定自家 optional → 影子头直通 std::optional
- _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython
- GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI

armv7 交叉编译修正(原结论有误):
- 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained
- 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制
- .cargo/config.toml 固化,无需 export 任何变量

其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
2026-10-30 11:31:02 +08:00

172 lines
7.6 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 在 Zynq-7015 上跑 nax
目标:**ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算**。
场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。
x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品**——
两者用同一份 `nax` 二进制、同一套协议,只是规模档位不同。
---
## 1. 它能跑什么(性能预算)
数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9:
A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×,
再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。
| 负载 | i5 实测 | A9 估算 | 判断 |
|---|---|---|---|
| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
**结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。
不适合**大矩阵密文训练**——那类负载直接上 x86。
> 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑
> `nax selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。**
---
## 2. 交叉编译
目标三元组用 **`armv7-unknown-linux-musleabihf`**(不是 gnueabihf)。
理由:产物是**静态链接**的单文件,不绑板上 glibc 版本,PetaLinux / buildroot /
Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装,
**不需要任何外部交叉 gcc**——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。
```bash
rustup target add armv7-unknown-linux-musleabihf
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf
```
链接器由仓库里的 `.cargo/config.toml` 指定为 `rust-lld` + `link-self-contained`,
所以不用再 export 任何 `CARGO_TARGET_*` 变量。
实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):
```
target/armv7-unknown-linux-musleabihf/release/nax
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB
flags 0x5000400 → EABI5 + hard-float
耗时 83 秒
```
> 早前这里写的是「macOS 上没有 `arm-linux-gnueabihf-gcc`,出二进制要去 Linux 上做」——
> **那是错的**。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。
**已知约束**(都是已经踩过或必须防的):
| 约束 | 原因 | 守它的方式 |
|---|---|---|
| `nax-core` 必须 `no_std` | 要能编进 TA | `cargo build -p nax-core --no-default-features` |
| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `nax-core` 所有临时缓冲上限 64 个 u64 |
| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `nax-orch` |
---
## 3. 两种部署形态
### 形态 A:普通 world + TEE 管密钥(推荐先做)
```
┌─────────────────────── Linux (normal world) ───────────────────────┐
│ nax node ── 分片计算、TCP、审计日志 │
│ │ │
│ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │
└────────────────────────────────────────────────────────────────────┘
```
- **计算**在普通 world:A9 的双核都能用,内存不受 secure world 限制。
- **密钥与策略**在安全 world:会话主种子、设备绑定密钥、出域判定签名。
- 攻击面:宿主 root 能读到明文和分片,但**读不到密钥**,也伪造不了 attestation。
这条路径能立刻验证,且复用 `../op-tee-test` 已经跑通的
`syvault-core`(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。
### 形态 B:计算进 TA(只在极小规模可行)
把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:
- TA 是**单线程**、**无文件系统**、**栈很小**;
- secure world 内存通常只有几 MB,装不下大矩阵;
- 每次 `TEEC_InvokeCommand` 有固定开销(微秒到毫秒级)。
**只建议**:把 `nax-core` 的**比较/排序/小规模聚合**这类
"数据量 KB 级、但泄露后果严重"的算子放进 TA。
不要指望在 TA 里跑 256³ 矩阵乘。
---
## 4. 上板步骤(待执行)
```bash
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf
# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
scp target/armv7-unknown-linux-musleabihf/release/nax root@<board>:/usr/local/bin/
# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
nax selftest
# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
nax node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
nax node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35
```
**验收判据**(三条,缺一不可):
1. `nax selftest` 四项全过 —— 说明算子核在 armv7 上数值正确
(尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
2. 两进程会话得到 **35** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
3. `nax selftest` 的耗时 —— 这是**唯一的性能实测基线**,记下来,
后续所有规模判断都从它推算,而不是从 i5 的数字猜。
---
## 5. 与 x86 + SNP 的分工
| | Zynq-7015 | x86 + SEV-SNP |
|---|---|---|
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
**同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是
"双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。
配置方式(规划中):
```yaml
# nax-cluster.yaml
sites:
edge-a: { kind: optee, addr: 10.0.0.11:9443 }
edge-b: { kind: optee, addr: 10.0.0.12:9443 }
compute:
kind: sev-snp
addr: 10.0.1.10:9443
trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
```
---
## 6. 还没做的(诚实清单)
- [ ] 板上实测性能数字(上表全是推算)
- [ ] `nax-tee` 的 OP-TEE 实现(复用 `op-tee-test/src/vault-core`)
- [ ] TA 侧的最小算子(比较、聚合)
- [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
- [x] 交叉编译产物可出(musl 静态,687 KB,见 §2);CI 里加 `cargo build --target armv7-...-musleabihf` 即可
- [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI)