Ray 这条线不绕 bazel: - wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号, 3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize) - ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径 - 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet, 拿到 raylet 分配的 node_id(d190801c…),probe 通过 踩坑(都已固化进 ray/build.sh): - raylet 只编了 Python worker pool → 注册时语言声明 PYTHON - Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0 - fmt v9/v11 撞车 → FMT_HEADER_ONLY - Debian absl 固定自家 optional → 影子头直通 std::optional - _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython - GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI armv7 交叉编译修正(原结论有误): - 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained - 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制 - .cargo/config.toml 固化,无需 export 任何变量 其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
5.7 KiB
把 Ray 的 C++ 内核接进 nax(实测记录)
结论先说:跑通了。nax 的 Rust 二进制可以链接 Ray 的 C++ core(core_worker),
作为 driver 接入真实的 Ray 集群(GCS + raylet),拿到 raylet 分配的 node id。
但代价和边界写在前面,别当成白捡的:
| 项 | 实测 |
|---|---|
| 需要的 C++ 源码改动 | 一个 ~250 行 shim(ray/nax_ray_shim.cc),零改动 Ray 本体 |
| 是否需要 bazel | 否。复用 pip wheel 里的预编译 _raylet.so |
| 编译耗时 | 90 秒(含生成 68 个 protobuf 头 + 2 个 flatbuffers) |
| 运行时硬依赖 | 44 MB _raylet.so + 40 MB gcs_server + 35 MB raylet + libpython |
| 能不能进 armv7 | 不能。_raylet.so 只有 x86_64/aarch64 版,且 32 位无对应构建 |
| 拿到的能力 | 集群成员 / 节点资源标签 / driver 身份;不接管计算 |
结论:Ray 只当「集群目录 + 放置」用,计算仍然走 nax 自己的帧。
这也是和最初规划一致的分工——Ray 不进计算路径。
1. 为什么不是 bazel
Ray 官方要求用 bazel 编 C++(//:ray_cpp)。实测代价见 build/measure_ray_core*.py:
38 个 http_archive、384 MB 源码、仅依赖解析就 400–470 秒,且没有 armv7 平台定义。
真正的发现是:pip wheel 里的 ray/_raylet.so 就是编好的 C++ core,而且
readelf -d显示 NEEDED 只有libpthread/librt/libm/libstdc++/libgcc_s/libc(无 libpython 的 DT_NEEDED);nm -D导出 34 113 个符号,其中 3 638 个ray::符号是 default 可见性, 包含ray::core::CoreWorkerProcess::Initialize/GetCoreWorker/RunTaskExecutionLoop/Shutdown。
也就是说:核心 API 是可直接链接的,不需要重新编 Ray。
2. 怎么跑通的
nax (Rust) ──C ABI──▶ libnax_ray.so (shim) ──▶ _raylet.so ──gRPC/UnixSocket──▶ raylet / GCS
ray/build.sh 干的事:
- 下 wheel,抽出
_raylet.so(若本机装了 ray 就直接用 site-packages 里的); - 下 ray 源码里的
src/ray/**(只要.h和.proto,12 MB); protoc生成 68 个.pb.h,flatc生成 2 个*_generated.h;- 编 shim,链接
_raylet.so。
Rust 侧 crates/nax-ray 通过 build.rs 找 libnax_ray.so(NAX_RAY_LIB_DIR
或 target/ray),加 rpath,再显式链 libpython。
跑:
ray start --head --num-cpus 4 --include-dashboard=false
NAX_RAY_LIB_DIR=target/ray cargo run -p nax-ray --features probe --bin rayprobe -- 127.0.0.1:6379 127.0.0.1
实测输出(沙盒 Debian 12 / ray 2.59.0):
raylet_socket = /tmp/ray/session_2026-10-30_03-20-42_124221_2205/sockets/raylet
plasma_socket = /tmp/ray/session_.../sockets/plasma_store
job_id = 03000000
worker_id = 03000000ffff...
raylet_assigned_node_id = d190801cbef6346f068507bbedd6ef58d058864123748caa24a47ad4
probe 通过
结论: nax 已作为 driver 接入 Ray 集群
raylet_assigned_node_id 是 raylet 在握手时分配的,不是本地算出来的——
它出现就说明注册真的成功了。
3. 六个坑(每个都会让你卡半天)
| # | 现象 | 原因 | 解法 |
|---|---|---|---|
| 1 | Required Language isn't supported: CPP(raylet 直接 abort) |
pip wheel 的 raylet 只编了 Python 的 worker pool | 注册时把 options.language 声明成 PYTHON(driver 不执行任务,任务体由 nax 自己跑) |
| 2 | 链接期 undefined symbol ... B5cxx11 ... |
Ray 的 C++ 用旧 ABI 编译(std::string 不带 cxx11) |
全部加 -D_GLIBCXX_USE_CXX11_ABI=0 |
| 3 | undefined symbol: ...fmt2v9... |
Ray 自带 fmt(v11),系统是 v9 | -DFMT_HEADER_ONLY=1 |
| 4 | absl::nullopt 转不成 std::optional |
Debian 的 absl 为 ABI 稳定固定成自家实现 | 影子头 absl/types/optional.h 直通 std |
| 5 | 加载期 undefined symbol: _Py_NoneStruct(共 253 个) |
_raylet.so 本质是 CPython 扩展 |
必须链 libpython(--no-as-needed),否则只能 LD_PRELOAD |
| 6 | opentelemetry / opencensus / flatbuffers / msgpack 头找不到 | Ray 的这些依赖由 bazel 拉,不在源码树里 | 影子头压掉 otel;其余用系统包或上游头 |
还有一处:GcsNodeInfo 的解析没有用 protobuf,而是手写 wire format 解析
(wire::ParseGcsNodeInfo)。原因和第 2 条一样——在旧 ABI 的 TU 里没法再调
cxx11 ABI 的 libprotobuf。
4. 为什么不进 nax 默认构建
crates/nax-ray 在 workspace 里,但:
- 默认不链接:
build.rs找不到.so只 warn 不报错,cargo build照常过; - 可执行文件
rayprobe挂在probefeature 后面; - 交付的
nax单二进制不依赖 Ray(nax-orch那套编排是纯 std 的)。
要接 nax-cli,加一个 ray feature 指向 nax-ray 即可,但那是「Ray 在,就用 Ray
的资源标签做放置;Ray 不在,退回 nax-orch」的分支,不是硬依赖。
5. armv7 / Zynq 的结论
这条路 Zynq 上不通,三层原因,任一层都足够:
- PyPI 没有 32 位 ARM 的 ray wheel,
_raylet.so不存在; - 就算自己编,Ray 的 bazel 只有
linux_x86_64/linux_arm64两个平台定义, armv7 要自己写完整 toolchain(38 个第三方便全部要跟着过一遍); - 44 MB 的
.so+ 40 MB gcs_server 塞进 512 MB DDR 的边缘盒子,本身就是反目标。
所以最终分工:
- Zynq / 边缘:nax 自己的编排(
nax-orch,661 行纯 std,已跑通 3/4 方)+ 交叉编译单二进制; - x86 集群:可选接 Ray 做成员与放置。
这也回答了最初的问题:Ray 的 C++ 内核可以给 Rust 集成,但它的价值在 「大集群的成员管理」,不在「边缘设备的隐私计算」。