Ray 这条线不绕 bazel: - wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号, 3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize) - ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径 - 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet, 拿到 raylet 分配的 node_id(d190801c…),probe 通过 踩坑(都已固化进 ray/build.sh): - raylet 只编了 Python worker pool → 注册时语言声明 PYTHON - Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0 - fmt v9/v11 撞车 → FMT_HEADER_ONLY - Debian absl 固定自家 optional → 影子头直通 std::optional - _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython - GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI armv7 交叉编译修正(原结论有误): - 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained - 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制 - .cargo/config.toml 固化,无需 export 任何变量 其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
172 lines
7.6 KiB
Markdown
172 lines
7.6 KiB
Markdown
# 在 Zynq-7015 上跑 nax
|
||
|
||
目标:**ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算**。
|
||
场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。
|
||
|
||
x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品**——
|
||
两者用同一份 `nax` 二进制、同一套协议,只是规模档位不同。
|
||
|
||
---
|
||
|
||
## 1. 它能跑什么(性能预算)
|
||
|
||
数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9:
|
||
A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×,
|
||
再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。
|
||
|
||
| 负载 | i5 实测 | A9 估算 | 判断 |
|
||
|---|---|---|---|
|
||
| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
|
||
| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
|
||
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
|
||
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
|
||
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
|
||
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
|
||
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
|
||
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
|
||
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
|
||
|
||
**结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。
|
||
不适合**大矩阵密文训练**——那类负载直接上 x86。
|
||
|
||
> 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑
|
||
> `nax selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。**
|
||
|
||
---
|
||
|
||
## 2. 交叉编译
|
||
|
||
目标三元组用 **`armv7-unknown-linux-musleabihf`**(不是 gnueabihf)。
|
||
理由:产物是**静态链接**的单文件,不绑板上 glibc 版本,PetaLinux / buildroot /
|
||
Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装,
|
||
**不需要任何外部交叉 gcc**——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。
|
||
|
||
```bash
|
||
rustup target add armv7-unknown-linux-musleabihf
|
||
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf
|
||
```
|
||
|
||
链接器由仓库里的 `.cargo/config.toml` 指定为 `rust-lld` + `link-self-contained`,
|
||
所以不用再 export 任何 `CARGO_TARGET_*` 变量。
|
||
|
||
实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):
|
||
|
||
```
|
||
target/armv7-unknown-linux-musleabihf/release/nax
|
||
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB
|
||
flags 0x5000400 → EABI5 + hard-float
|
||
耗时 83 秒
|
||
```
|
||
|
||
> 早前这里写的是「macOS 上没有 `arm-linux-gnueabihf-gcc`,出二进制要去 Linux 上做」——
|
||
> **那是错的**。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。
|
||
|
||
**已知约束**(都是已经踩过或必须防的):
|
||
|
||
| 约束 | 原因 | 守它的方式 |
|
||
|---|---|---|
|
||
| `nax-core` 必须 `no_std` | 要能编进 TA | `cargo build -p nax-core --no-default-features` |
|
||
| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
|
||
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
|
||
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `nax-core` 所有临时缓冲上限 64 个 u64 |
|
||
| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `nax-orch` |
|
||
|
||
---
|
||
|
||
## 3. 两种部署形态
|
||
|
||
### 形态 A:普通 world + TEE 管密钥(推荐先做)
|
||
|
||
```
|
||
┌─────────────────────── Linux (normal world) ───────────────────────┐
|
||
│ nax node ── 分片计算、TCP、审计日志 │
|
||
│ │ │
|
||
│ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │
|
||
└────────────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
- **计算**在普通 world:A9 的双核都能用,内存不受 secure world 限制。
|
||
- **密钥与策略**在安全 world:会话主种子、设备绑定密钥、出域判定签名。
|
||
- 攻击面:宿主 root 能读到明文和分片,但**读不到密钥**,也伪造不了 attestation。
|
||
|
||
这条路径能立刻验证,且复用 `../op-tee-test` 已经跑通的
|
||
`syvault-core`(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。
|
||
|
||
### 形态 B:计算进 TA(只在极小规模可行)
|
||
|
||
把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:
|
||
|
||
- TA 是**单线程**、**无文件系统**、**栈很小**;
|
||
- secure world 内存通常只有几 MB,装不下大矩阵;
|
||
- 每次 `TEEC_InvokeCommand` 有固定开销(微秒到毫秒级)。
|
||
|
||
**只建议**:把 `nax-core` 的**比较/排序/小规模聚合**这类
|
||
"数据量 KB 级、但泄露后果严重"的算子放进 TA。
|
||
不要指望在 TA 里跑 256³ 矩阵乘。
|
||
|
||
---
|
||
|
||
## 4. 上板步骤(待执行)
|
||
|
||
```bash
|
||
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
|
||
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf
|
||
|
||
# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
|
||
scp target/armv7-unknown-linux-musleabihf/release/nax root@<board>:/usr/local/bin/
|
||
|
||
# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
|
||
nax selftest
|
||
|
||
# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
|
||
nax node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
|
||
nax node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
|
||
# 期望两侧都输出:会话结果: 35
|
||
```
|
||
|
||
**验收判据**(三条,缺一不可):
|
||
|
||
1. `nax selftest` 四项全过 —— 说明算子核在 armv7 上数值正确
|
||
(尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
|
||
2. 两进程会话得到 **35** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
|
||
3. `nax selftest` 的耗时 —— 这是**唯一的性能实测基线**,记下来,
|
||
后续所有规模判断都从它推算,而不是从 i5 的数字猜。
|
||
|
||
---
|
||
|
||
## 5. 与 x86 + SNP 的分工
|
||
|
||
| | Zynq-7015 | x86 + SEV-SNP |
|
||
|---|---|---|
|
||
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
|
||
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
|
||
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
|
||
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
|
||
|
||
**同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是
|
||
"双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。
|
||
|
||
配置方式(规划中):
|
||
|
||
```yaml
|
||
# nax-cluster.yaml
|
||
sites:
|
||
edge-a: { kind: optee, addr: 10.0.0.11:9443 }
|
||
edge-b: { kind: optee, addr: 10.0.0.12:9443 }
|
||
compute:
|
||
kind: sev-snp
|
||
addr: 10.0.1.10:9443
|
||
trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
|
||
```
|
||
|
||
---
|
||
|
||
## 6. 还没做的(诚实清单)
|
||
|
||
- [ ] 板上实测性能数字(上表全是推算)
|
||
- [ ] `nax-tee` 的 OP-TEE 实现(复用 `op-tee-test/src/vault-core`)
|
||
- [ ] TA 侧的最小算子(比较、聚合)
|
||
- [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
|
||
- [x] 交叉编译产物可出(musl 静态,687 KB,见 §2);CI 里加 `cargo build --target armv7-...-musleabihf` 即可
|
||
- [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
|