Ray 这条线不绕 bazel: - wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号, 3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize) - ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径 - 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet, 拿到 raylet 分配的 node_id(d190801c…),probe 通过 踩坑(都已固化进 ray/build.sh): - raylet 只编了 Python worker pool → 注册时语言声明 PYTHON - Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0 - fmt v9/v11 撞车 → FMT_HEADER_ONLY - Debian absl 固定自家 optional → 影子头直通 std::optional - _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython - GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI armv7 交叉编译修正(原结论有误): - 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained - 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制 - .cargo/config.toml 固化,无需 export 任何变量 其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
7.6 KiB
在 Zynq-7015 上跑 nax
目标:ACZ7015(双核 Cortex-A9 @ 667 MHz)能跑基本隐私计算。 场景定位是"安全关键、计算量小、时间不敏感",不是"追性能"。
x86 + SEV-SNP 是算力上去以后的横向扩展,不是 Zynq 的替代品——
两者用同一份 nax 二进制、同一套协议,只是规模档位不同。
1. 它能跑什么(性能预算)
数字来自本机实测(i5-5250U @ 2.7 GHz Turbo)按 IPC 折算到 A9: A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×, 再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 8–12×。
| 负载 | i5 实测 | A9 估算 | 判断 |
|---|---|---|---|
matmul 64³ u64 |
0.26 ms | ~2.5 ms | ✅ 随便跑 |
matmul 128³ |
2.2 ms | ~22 ms | ✅ |
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
结论:Zynq 适合 PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行。 不适合大矩阵密文训练——那类负载直接上 x86。
注意上表是推算,不是板上实测。真数字要等第一次上板跑
nax selftest与一个 64³ matmul 基准。不要拿推算当验收结论。
2. 交叉编译
目标三元组用 armv7-unknown-linux-musleabihf(不是 gnueabihf)。
理由:产物是静态链接的单文件,不绑板上 glibc 版本,PetaLinux / buildroot /
Debian armhf 拷过去都能跑;而且 musl 目标的 crt 和 libc 随 rust-std 一起装,
不需要任何外部交叉 gcc——macOS / Windows / Linux 宿主都能直接出 armv7 二进制。
rustup target add armv7-unknown-linux-musleabihf
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf
链接器由仓库里的 .cargo/config.toml 指定为 rust-lld + link-self-contained,
所以不用再 export 任何 CARGO_TARGET_* 变量。
实测(2026-10-30,Intel Mac 上交叉编译,非 armv7 本机、非 QEMU):
target/armv7-unknown-linux-musleabihf/release/nax
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 687 KB
flags 0x5000400 → EABI5 + hard-float
耗时 83 秒
早前这里写的是「macOS 上没有
arm-linux-gnueabihf-gcc,出二进制要去 Linux 上做」—— 那是错的。glibc 目标才需要外部交叉 gcc;换 musl 后 rustc 自带全套,本机即可。
已知约束(都是已经踩过或必须防的):
| 约束 | 原因 | 守它的方式 |
|---|---|---|
nax-core 必须 no_std |
要能编进 TA | cargo build -p nax-core --no-default-features |
不能用 f64::round_ties_even |
std-only,no_std 编不过 | 已自实现银行家舍入 |
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | simd 是可选 feature,默认标量 |
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | nax-core 所有临时缓冲上限 64 个 u64 |
| Ray C++ 内核进不来 | 无 32 位 ARM 构建,.so 44 MB |
见 docs/RAY_CORE.md §5;边缘侧用 nax-orch |
3. 两种部署形态
形态 A:普通 world + TEE 管密钥(推荐先做)
┌─────────────────────── Linux (normal world) ───────────────────────┐
│ nax node ── 分片计算、TCP、审计日志 │
│ │ │
│ └── /dev/tee0 ──▶ OP-TEE ──▶ TA:seal/unseal/attest/sign │
└────────────────────────────────────────────────────────────────────┘
- 计算在普通 world:A9 的双核都能用,内存不受 secure world 限制。
- 密钥与策略在安全 world:会话主种子、设备绑定密钥、出域判定签名。
- 攻击面:宿主 root 能读到明文和分片,但读不到密钥,也伪造不了 attestation。
这条路径能立刻验证,且复用 ../op-tee-test 已经跑通的
syvault-core(HKDF 派生 + AES-GCM 密封 + 设备 DNA 绑定)。
形态 B:计算进 TA(只在极小规模可行)
把分片计算搬进 TA 的收益是"宿主彻底看不到分片",代价是:
- TA 是单线程、无文件系统、栈很小;
- secure world 内存通常只有几 MB,装不下大矩阵;
- 每次
TEEC_InvokeCommand有固定开销(微秒到毫秒级)。
只建议:把 nax-core 的比较/排序/小规模聚合这类
"数据量 KB 级、但泄露后果严重"的算子放进 TA。
不要指望在 TA 里跑 256³ 矩阵乘。
4. 上板步骤(待执行)
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
cargo build --release -p nax-cli --target armv7-unknown-linux-musleabihf
# 2. 拷到板子(假设 ssh 可达);静态二进制,无依赖
scp target/armv7-unknown-linux-musleabihf/release/nax root@<board>:/usr/local/bin/
# 3. 板上自检(不依赖网络,纯算子核 + TEE mock)
nax selftest
# 4. 板上跑两进程会话(本机 loopback,验证协议栈)
nax node --site bob --sites alice,bob --listen 127.0.0.1:9444 --data 4,5,6 &
nax node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35
验收判据(三条,缺一不可):
nax selftest四项全过 —— 说明算子核在 armv7 上数值正确 (尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。- 两进程会话得到 35 —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
nax selftest的耗时 —— 这是唯一的性能实测基线,记下来, 后续所有规模判断都从它推算,而不是从 i5 的数字猜。
5. 与 x86 + SNP 的分工
| Zynq-7015 | x86 + SEV-SNP | |
|---|---|---|
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
同一份二进制、同一套协议,靠 TrustPlan 决定这一轮走 MPC 还是
"双方 TEE 互验后明文直算"(见 docs/ARCHITECTURE.md §4.3 的 L2)。
配置方式(规划中):
# nax-cluster.yaml
sites:
edge-a: { kind: optee, addr: 10.0.0.11:9443 }
edge-b: { kind: optee, addr: 10.0.0.12:9443 }
compute:
kind: sev-snp
addr: 10.0.1.10:9443
trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
6. 还没做的(诚实清单)
- 板上实测性能数字(上表全是推算)
nax-tee的 OP-TEE 实现(复用op-tee-test/src/vault-core)- TA 侧的最小算子(比较、聚合)
- NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
- 交叉编译产物可出(musl 静态,687 KB,见 §2);CI 里加
cargo build --target armv7-...-musleabihf即可 - 交叉编译产物的 CI 校验(本地已验证,还没进 CI)