Files
ssw-mpc/docs/ZYNQ.md
T
rong 4bb573d98c feat: Ray C++ 内核接进 nax Rust + armv7 真交叉编译
Ray 这条线不绕 bazel:
- wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号,
  3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize)
- ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径
- 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet,
  拿到 raylet 分配的 node_id(d190801c…),probe 通过

踩坑(都已固化进 ray/build.sh):
- raylet 只编了 Python worker pool → 注册时语言声明 PYTHON
- Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0
- fmt v9/v11 撞车 → FMT_HEADER_ONLY
- Debian absl 固定自家 optional → 影子头直通 std::optional
- _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython
- GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI

armv7 交叉编译修正(原结论有误):
- 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained
- 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制
- .cargo/config.toml 固化,无需 export 任何变量

其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
2026-10-30 11:31:02 +08:00

7.6 KiB
Raw Blame History

在 Zynq-7015 上跑 nax

目标:ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算。 场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。

x86 + SEV-SNP 是算力上去以后的横向扩展,不是 Zynq 的替代品—— 两者用同一份 nax 二进制、同一套协议,只是规模档位不同。


1. 它能跑什么(性能预算)

数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9: A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×, 再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 8–12×。

负载 i5 实测 A9 估算 判断
matmul 64³ u64 0.26 ms ~2.5 ms ✅ 随便跑
matmul 128³ 2.2 ms ~22 ms ✅
逐元素乘 100 万元素 ~3.6 ms ~35 ms ✅
纵向 LR 400×7 × 40 轮 ~15 ms ~150 ms ✅ 秒级
PSI 1 万条(2×X25519) — ~8–15 s ✅ 可接受
PSI 10 万条 — ~2 min ⚠️ 能跑但慢
Paillier 1024 位 × 1000 元素 ~0.1 s(Rust 估) ~1–2 s ✅
Paillier 1024 位 × 1 万 ~1 s ~15 s ⚠️
密文 MLP(256³ × 150 轮) 18 ms×150 = 2.7 s ~40 s/轮 → 不可行 ❌ 上 x86

结论:Zynq 适合 PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行。 不适合大矩阵密文训练——那类负载直接上 x86。

注意上表是推算,不是板上实测。真数字要等第一次上板跑 nax selftest 与一个 64³ matmul 基准。不要拿推算当验收结论。


2. 交叉编译

目标三元组用 armv7-unknown-linux-musleabihf(不是 gnueabihf)。 理由:产物是静态链接的单文件,不绑板上 glibc 版本,PetaLinux / buildroot / Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装, 不需要任何外部交叉 gcc——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。

rustup target add armv7-unknown-linux-musleabihf
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf

链接器由仓库里的 .cargo/config.toml 指定为 rust-lld + link-self-contained, 所以不用再 export 任何 CARGO_TARGET_* 变量。

实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):

target/armv7-unknown-linux-musleabihf/release/nax
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped   687 KB
flags 0x5000400  →  EABI5 + hard-float
耗时 83 秒

早前这里写的是「macOS 上没有 arm-linux-gnueabihf-gcc,出二进制要去 Linux 上做」—— 那是错的。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。

已知约束(都是已经踩过或必须防的):

约束 原因 守它的方式
nax-core 必须 no_std 要能编进 TA cargo build -p nax-core --no-default-features
不能用 f64::round_ties_even std-only,no_std 编不过 已自实现银行家舍入
不能假设 AVX2/NEON A9 有 NEON 但 64 位整数乘用不上 simd 是可选 feature,默认标量
栈只有 8–32 KB(TA 内) OP-TEE TA 的栈很小 nax-core 所有临时缓冲上限 64 个 u64
Ray C++ 内核进不来 无 32 位 ARM 构建,.so 44 MB 见 docs/RAY_CORE.md §5;边缘侧用 nax-orch

3. 两种部署形态

形态 A:普通 world + TEE 管密钥(推荐先做)

┌─────────────────────── Linux (normal world) ───────────────────────┐
│  nax node  ── 分片计算、TCP、审计日志                              │
│      │                                                              │
│      └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign      │
└────────────────────────────────────────────────────────────────────┘
  • 计算在普通 world:A9 的双核都能用,内存不受 secure world 限制。
  • 密钥与策略在安全 world:会话主种子、设备绑定密钥、出域判定签名。
  • 攻击面:宿主 root 能读到明文和分片,但读不到密钥,也伪造不了 attestation。

这条路径能立刻验证,且复用 ../op-tee-test 已经跑通的 syvault-core(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。

形态 B:计算进 TA(只在极小规模可行)

把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:

  • TA 是单线程、无文件系统、栈很小;
  • secure world 内存通常只有几 MB,装不下大矩阵;
  • 每次 TEEC_InvokeCommand 有固定开销(微秒到毫秒级)。

只建议:把 nax-core 的比较/排序/小规模聚合这类 "数据量 KB 级、但泄露后果严重"的算子放进 TA。 不要指望在 TA 里跑 256³ 矩阵乘。


4. 上板步骤(待执行)

# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf

# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
scp target/armv7-unknown-linux-musleabihf/release/nax root@<board>:/usr/local/bin/

# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
nax selftest

# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
nax node --site bob   --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
nax node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35

验收判据(三条,缺一不可):

  1. nax selftest 四项全过 —— 说明算子核在 armv7 上数值正确 (尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
  2. 两进程会话得到 35 —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
  3. nax selftest 的耗时 —— 这是唯一的性能实测基线,记下来, 后续所有规模判断都从它推算,而不是从 i5 的数字猜。

5. 与 x86 + SNP 的分工

Zynq-7015 x86 + SEV-SNP
定位 边缘节点 / 数据源侧 / 密钥守门 计算节点
优势 TEE 天然在板上、低功耗、便宜、可离线 算力、内存带宽、大矩阵
适合 PSI、安全统计、小 LR、策略执行 密文训练、大 SQL、批量 Paillier
不适合 大矩阵、10 万级 PSI 现场部署、低功耗场景

同一份二进制、同一套协议,靠 TrustPlan 决定这一轮走 MPC 还是 "双方 TEE 互验后明文直算"(见 docs/ARCHITECTURE.md §4.3 的 L2)。

配置方式(规划中):

# nax-cluster.yaml
sites:
  edge-a: { kind: optee,  addr: 10.0.0.11:9443 }
  edge-b: { kind: optee,  addr: 10.0.0.12:9443 }
compute:
  kind: sev-snp
  addr: 10.0.1.10:9443
trust_plan: TeeAssisted      # 边侧有 TEE,计算节点独立

6. 还没做的(诚实清单)

  • 板上实测性能数字(上表全是推算)
  • nax-tee 的 OP-TEE 实现(复用 op-tee-test/src/vault-core)
  • TA 侧的最小算子(比较、聚合)
  • NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
  • 交叉编译产物可出(musl 静态,687 KB,见 §2);CI 里加 cargo build --target armv7-...-musleabihf 即可
  • 交叉编译产物的 CI 校验(本地已验证,还没进 CI)