Files
ssw-mpc/docs/RAY_CORE.md
T
admin 54781b3f83
ci / gate (push) Waiting to run
refactor: 项目改名 ssw-mpc,crate 统一到 mpc-* 前缀
- 项目与文档标题:nax-rs → ssw-mpc(尚数网-多方安全计算),二进制 nax → mpc
- 18 个 crate 及目录 nax-* → mpc-*,Rust 引用 nax_* → mpc_*
- 环境变量、C 符号、构建/部署脚本:NAX_* → MPC_*、libnax_ray.so → libmpc_ray.so
- 保留协议域分隔常量与 refs/nax 参考实现路径,维持 golden 向量与历史数据兼容
- 新增 [profile.dev] incremental=false
2026-11-05 15:06:12 +08:00

6.5 KiB
Raw Blame History

把 Ray 的 C++ 内核接进 mpc(实测记录)

结论先说:跑通了。mpc 的 Rust 二进制可以链接 Ray 的 C++ core(core_worker), 作为 driver 接入真实的 Ray 集群(GCS + raylet),拿到 raylet 分配的 node id。

但代价和边界写在前面,别当成白捡的:

项 实测
需要的 C++ 源码改动 一个 ~250 行 shim(ray/mpc_ray_shim.cc),零改动 Ray 本体
是否需要 bazel 否。复用 pip wheel 里的预编译 _raylet.so
编译耗时 90 秒(含生成 68 个 protobuf 头 + 2 个 flatbuffers)
运行时硬依赖 44 MB _raylet.so + 40 MB gcs_server + 35 MB raylet + libpython
能不能进 armv7 能(社区 1.0.1/1.2.0 有 armv7l wheel,已实测跑通完整节点,见 RAY_ARMV7.md);2.59 官方无 armv7 版
拿到的能力 集群成员 / 节点资源标签 / driver 身份;不接管计算

结论:Ray 只当「集群目录 + 放置」用,计算仍然走 mpc 自己的帧。 这也是和最初规划一致的分工——Ray 不进计算路径。


1. 为什么不是 bazel

Ray 官方要求用 bazel 编 C++(//:ray_cpp)。实测代价见 build/measure_ray_core*.py: 38 个 http_archive、384 MB 源码、仅依赖解析就 400–470 秒,且没有 armv7 平台定义。

真正的发现是:pip wheel 里的 ray/_raylet.so 就是编好的 C++ core,而且

  • readelf -d 显示 NEEDED 只有 libpthread/librt/libm/libstdc++/libgcc_s/libc(无 libpython 的 DT_NEEDED);
  • nm -D 导出 34 113 个符号,其中 3 638 个 ray:: 符号是 default 可见性, 包含 ray::core::CoreWorkerProcess::Initialize/GetCoreWorker/RunTaskExecutionLoop/Shutdown。

也就是说:核心 API 是可直接链接的,不需要重新编 Ray。

2. 怎么跑通的

mpc (Rust)  ──C ABI──▶  libmpc_ray.so (shim)  ──▶  _raylet.so  ──gRPC/UnixSocket──▶  raylet / GCS

ray/build.sh 干的事:

  1. 下 wheel,抽出 _raylet.so(若本机装了 ray 就直接用 site-packages 里的);
  2. 下 ray 源码里的 src/ray/**(只要 .h 和 .proto,12 MB);
  3. protoc 生成 68 个 .pb.h,flatc 生成 2 个 *_generated.h;
  4. 编 shim,链接 _raylet.so。

Rust 侧 crates/mpc-ray 通过 build.rs 找 libmpc_ray.so(MPC_RAY_LIB_DIR 或 target/ray),加 rpath,再显式链 libpython。

跑:

ray start --head --num-cpus 4 --include-dashboard=false
MPC_RAY_LIB_DIR=target/ray cargo run -p mpc-ray --features probe --bin rayprobe -- 127.0.0.1:6379 127.0.0.1

实测输出(沙盒 Debian 12 / ray 2.59.0):

  raylet_socket = /tmp/ray/session_2026-10-30_03-20-42_124221_2205/sockets/raylet
  plasma_socket = /tmp/ray/session_.../sockets/plasma_store
  job_id = 03000000
  worker_id = 03000000ffff...
  raylet_assigned_node_id = d190801cbef6346f068507bbedd6ef58d058864123748caa24a47ad4
probe 通过
结论: mpc 已作为 driver 接入 Ray 集群

raylet_assigned_node_id 是 raylet 在握手时分配的,不是本地算出来的—— 它出现就说明注册真的成功了。

3. 六个坑(每个都会让你卡半天)

# 现象 原因 解法
1 Required Language isn't supported: CPP(raylet 直接 abort) pip wheel 的 raylet 只编了 Python 的 worker pool 注册时把 options.language 声明成 PYTHON(driver 不执行任务,任务体由 mpc 自己跑)
2 链接期 undefined symbol ... B5cxx11 ... Ray 的 C++ 用旧 ABI 编译(std::string 不带 cxx11) 全部加 -D_GLIBCXX_USE_CXX11_ABI=0
3 undefined symbol: ...fmt2v9... Ray 自带 fmt(v11),系统是 v9 -DFMT_HEADER_ONLY=1
4 absl::nullopt 转不成 std::optional Debian 的 absl 为 ABI 稳定固定成自家实现 影子头 absl/types/optional.h 直通 std
5 加载期 undefined symbol: _Py_NoneStruct(共 253 个) _raylet.so 本质是 CPython 扩展 必须链 libpython(--no-as-needed),否则只能 LD_PRELOAD
6 opentelemetry / opencensus / flatbuffers / msgpack 头找不到 Ray 的这些依赖由 bazel 拉,不在源码树里 影子头压掉 otel;其余用系统包或上游头

还有一处:GcsNodeInfo 的解析没有用 protobuf,而是手写 wire format 解析 (wire::ParseGcsNodeInfo)。原因和第 2 条一样——在旧 ABI 的 TU 里没法再调 cxx11 ABI 的 libprotobuf。

4. 为什么不进 mpc 默认构建

crates/mpc-ray 在 workspace 里,但:

  • 默认不链接:build.rs 找不到 .so 只 warn 不报错,cargo build 照常过;
  • 可执行文件 rayprobe 挂在 probe feature 后面;
  • 交付的 mpc 单二进制不依赖 Ray(mpc-orch 那套编排是纯 std 的)。

要接 mpc-cli,加一个 ray feature 指向 mpc-ray 即可,但那是「Ray 在,就用 Ray 的资源标签做放置;Ray 不在,退回 mpc-orch」的分支,不是硬依赖。

5. armv7 / Zynq 的结论

先纠正一个曾经的错误结论:Ray 在 armv7 上是能跑的。PyPI 没有,但社区编过 1.0.1 / 1.2.0 的 armv7l wheel,唯一需要的源码改动是 --linkopt=-latomic (32 位 ARM 的 8 字节原子操作要显式链 libatomic)。2026-10-30 实测:用 qemu-arm 起 redis + gcs_server + plasma + raylet,节点注册进 GCS 拿到 IsAlive = 1。 完整记录见 RAY_ARMV7.md。

但「能跑」不等于「该用」,代价是三条:

  1. 版本停在 2020 年底(1.0.1 / 1.2.0),GCS 协议与 2.x 不同,接不进现代 Ray 集群;
  2. wheel 是 cp36,_raylet.so 是 CPython 扩展,板上要 python3.6 或链 libpython 兜符号;
  3. C++ 侧 44.6 MB 二进制 + plasma 内存。ACZ7015 的 1 GB DDR3 放得下,512 MB 的板子悬。

自己编 2.59 的 armv7 版不建议:要给 bazel 写完整 armv7 crosstool,38 个第三方依赖 全部跟着过一遍,还要面对未知数量的 32 位问题——而我们只用它「放置」这一项能力。

所以最终分工:

  • Zynq / 边缘:mpc 自己的编排(mpc-orch,661 行纯 std,已跑通 3/4 方)+ 交叉编译单二进制;
  • x86 集群:可选接 Ray 做成员与放置;
  • 确需边缘 Ray 生态时:走 RAY_ARMV7.md 的 1.0.1 路线。

这也回答了最初的问题:Ray 的 C++ 内核可以给 Rust 集成,在 armv7 上也可以跑, 但它的价值在「大集群的成员管理」,不在「边缘设备的隐私计算」。