- 项目与文档标题:nax-rs → ssw-mpc(尚数网-多方安全计算),二进制 nax → mpc - 18 个 crate 及目录 nax-* → mpc-*,Rust 引用 nax_* → mpc_* - 环境变量、C 符号、构建/部署脚本:NAX_* → MPC_*、libnax_ray.so → libmpc_ray.so - 保留协议域分隔常量与 refs/nax 参考实现路径,维持 golden 向量与历史数据兼容 - 新增 [profile.dev] incremental=false
8.7 KiB
Ray 1.0.1 × mpc:跨架构集群 + 跨架构 MPC
这是 docs/RAY_CORE.md 的 1.0.1 姊妹篇。那篇讲的是怎么把 Ray 2.59 的 C++ core
接进 Rust;这篇讲的是为什么最终用 1.0.1,以及接进去之后 mpc 的 MPC 真的跑起来了。
结论先放这里:
x86_64 侧 Ray node 73bfdc0a… mpc site=b MPC 结果 35 ✅
armv7 侧 Ray node 235afb22… mpc site=a MPC 结果 35 ✅
(同一进程既是 Ray driver,又是 MPC 参与方;Ray 只提供成员目录,不进计算路径)
1. 为什么是 1.0.1
| 2.59 | 1.0.1 | |
|---|---|---|
| x86_64 wheel | 有 | 有 |
| aarch64 wheel | 有(2.2.0 起) | 无 |
| armv7 wheel | 无 | 社区编过(1.0.1 cp36 / 1.2.0 cp38) |
| GCS 后端 | gRPC | Redis |
| 与另一版本互通 | ✗ | ✗ |
Zynq-7015 是 Cortex-A9(ARMv7-A,32 位),只有 1.0.1/1.2.0 有可用二进制。
而 1.0.1 与 2.59 双向不通(实测:1.0.1 raylet 连 2.59 的 6379 报
Protocol error, got "\x00",因为 2.0 起 6379 从 RESP 换成了 gRPC/HTTP2)。
所以要么整集群 2.x(armv7 进不来),要么整集群 1.0.1。选了后者。
2. 和 2.59 版的六个接口差异
ray/mpc_ray_shim_101.cc 是 1.0.1 版,对比 2.59 版(ray/mpc_ray_shim.cc):
| 项 | 2.59 | 1.0.1 |
|---|---|---|
CoreWorkerProcess 头文件 |
core_worker/core_worker_process.h |
就在 core_worker/core_worker.h 里 |
TaskExecutionCallback |
22 个参数 | 8 个参数 |
GcsClientOptions |
(ip, port, ClusterID, allow_nil, fetch) |
(ip, port, password, is_test) 位置参数 |
| 取 raylet socket | GlobalStateAccessor::GetNodeToConnectForDriver() |
没有,必须调用方给(Python 侧也是在 _raylet.pyx 里算好传进来的) |
| 取 job id | GetNextJobID() |
没有,JobID::FromInt(n) 自己给 |
| 命名空间 | ray::core::CoreWorker |
ray::CoreWorker(没有 core 这一层) |
GcsNodeInfo 字段 |
1..5 含 node_manager_port | 1..4 + state=7,无 port |
两个直接踩到的坑:
options.num_workers = 1必须显式设。1.0.1 的CoreWorker构造函数里有RAY_CHECK(options_.num_workers > 0),默认 0 会直接 abort。gcs_options要指向 Redis,不是 gcs_server 的 gRPC 端口。1.0.1 的 CoreWorker 内部建的是ServiceBasedGcsClient,但它同时要连 Redis 拿表。 指向 6402 会得到redis_client.cc:114 Check failed: Protocol error, got "\x00"。 正确值是 Redis 主节点(本仓库的混合集群是 6400)。
3. 两个 ABI 事实(最容易翻车的地方)
同一个 ray 1.0.1,两个架构的 wheel 用了不同的 std::string ABI:
x86_64 ray-1.0.1-...-manylinux1_x86_64.whl → nm -D | grep -c cxx11 = 0 (旧 ABI)
armv7 ray-1.0.1-...-linux_armv7l.whl → nm -D | grep -c cxx11 = 423 (新 ABI)
所以 shim 必须分别编译:
# x86_64
g++ ... -D_GLIBCXX_USE_CXX11_ABI=0 ray/build101.sh
# armv7
arm-linux-gnueabihf-g++ ... ray/build101_armv7.sh # 不加那个宏
搞错的表现不是链接错误,而是运行期 basic_string::_M_create 异常——
CoreWorkerOptions.gcs_options.server_ip_ 传过去后长度字段错位,std::string
认为长度是个天文数字。这个错误信息完全不提 ABI,很容易往内存越界上查。
4. Python 符号:8 个 stub + 一份 libpython
_raylet.so 本质是 CPython 扩展。x86 版引用 203 个 Py* 未定义符号,
armv7 版 201 个。解法是链上 libpython(--no-as-needed,否则被 as-needed 丢掉),
剩下的差集由 shim 自己定义占位:
| 符号 | 为什么缺 |
|---|---|
_Py_CheckRecursionLimit |
3.12 移除的内部变量 |
_Py_tracemalloc_config |
同上 |
_PyTraceMalloc_NewReference |
同上 |
PyCode_New |
3.12 换成 PyCode_NewWithPosOnlyArgs |
PyUnicode_AsUnicode / PyUnicode_FromUnicode |
3.3 起弃用,3.12 删除 |
_PyUnicode_Ready |
同上 |
_PyGen_Send |
3.11 起不再导出 |
armv7 侧只要前两个(_PyGen_Send 和 _Py_CheckRecursionLimit),
因为 armhf 的 libpython3.11 把其余的都提供了。
安全性:这些符号只在「真的执行 Python 代码」时才被调用,而 mpc 只把 Ray 当成员目录,从不调用 Ray 的 Python 路径,所以零值占位不会被执行。
5. 编译
依赖(Debian 12,apt 源换 USTC 后可用):
apt install g++ protobuf-compiler libprotobuf-dev libgrpc++-dev \
protobuf-compiler-grpc libabsl-dev libboost-dev libssl-dev \
libflatbuffers-dev flatbuffers-compiler
# armv7 交叉
apt install g++-arm-linux-gnueabihf libatomic1:armhf libpython3.11:armhf
# 1) x86_64 shim(链 manylinux1_x86_64 wheel 里的 _raylet.so)
RAYSO=/path/r17x/ray-1.0.1.data/purelib/ray/_raylet.so bash ray/build101.sh
# 2) armv7 shim(链 armv7l wheel 里的 _raylet.so)
bash ray/build101_armv7.sh
# 3) mpc 带 Ray(可选 feature,默认构建仍是纯静态单二进制)
cargo build --release -p mpc-cli --features ray # x86
CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER=arm-linux-gnueabihf-gcc \
MPC_RAY_LIB_NAME=mpc_ray_armv7 \
MPC_RAY_LIBPYTHON=/usr/lib/arm-linux-gnueabihf/libpython3.11.so.1.0 \
cargo build --release -p mpc-cli --features ray \
--target armv7-unknown-linux-gnueabihf
build101.sh 会自动打两个补丁(都打在解出来的头文件上,不动 ray 源码):
rpc/client_call.h:std::vector<grpc::CompletionQueue>→std::deque。 grpc 1.51 删掉了 CompletionQueue 的移动构造,reserve+emplace_back编不过。- 影子头
arrow/buffer.h:1.0.1 只有PlasmaBuffer用shared_ptr<arrow::Buffer>, mpc 不实例化它,给个最小声明即可(省掉整个 Arrow 依赖)。 - 宏
-Dgrpc_impl=grpc:1.0.1 用的是旧 grpc 命名空间,1.51 已并入grpc。
6. 运行:mpc 自己接入 Ray
不需要额外进程。mpc node 看到 MPC_RAY_RAYLET 就会先注册成 Ray driver:
export MPC_RAY_GCS=127.0.0.1:6400 # Redis 主节点,不是 gcs_server
export MPC_RAY_RAYLET=/tmp/raylet_a.sock
export MPC_RAY_PLASMA=/tmp/plasma_a.sock
export MPC_RAY_NM_PORT=6413
mpc node --site a --sites a,b --connect 127.0.0.1:9103 --data 1,2,3
输出(armv7 侧,qemu 承载):
接入 Ray 集群: gcs=127.0.0.1:6400 raylet=/tmp/raylet_a.sock nm_port=6413
Ray 节点已确认: node_id=235afb22db57c7249f4862ce9de95f92cffdd16c(由 raylet 分配)
Ray worker_id=01000000ffffffffffffffffffffffffffffffff
连接对端...
mpc node · site=a · 2 方 · 3 个元素 · fxp=18
分片交换完成(2 方)
密文乘法完成(1 次)
还原完成: [9175040]
会话结果: 35
那个 node_id 是 raylet 在握手时分配的(CoreWorker::GetRpcAddress().raylet_id()),
两端拿到的是不同的值——这正是「两个进程真的挂在两个不同节点上」的证据。
(1·4+1)+(2·5+1)+(3·6+1) = 35,与 mpc-node::run_session 的语义
z = (x₁·x₂·…·xₙ + 1).sum() 一致。
7. 已知限制
| 限制 | 说明 |
|---|---|
| 拿不到节点列表 | 1.0.1 的 _raylet.so 只导出了 GlobalStateAccessor 的 3 个方法(GetActorInfo / GetActorCheckpointId / GetObjectInfo),没有 GetAllNodeInfo。要列节点用 ray/armv7/decode_gcs.py 直读 Redis 分片,或改走 gRPC 直连 gcs_server。 |
| 成员变更只能看日志 | driver 内部订阅了节点表(日志里 Received notification for node id = …, IsAlive = 1),但没暴露回调给 C ABI。要结构化输出得改 shim 另开一条通道。 |
| 二进制不再自包含 | 开 --features ray 后动态依赖 libmpc_ray.so + libpython。默认构建不受影响,仍是 700KB 级静态单二进制。 |
| 两端 worker_id 相同 | 两个进程都声明 job_id=1,driver worker id 由 job 派生,所以都是 01000000ffff…。要区分就设 MPC_RAY_JOB。 |
8. 复现
# 起 x86_64 原生 + armv7(qemu) 混合 1.0.1 集群(redis/gcs/plasma/raylet ×2)
bash ray/armv7/mixed_cluster.sh
# 闭环:两端各自注册成 Ray driver,然后跑跨架构 MPC
bash ray/armv7/mpc_ray.sh
mixed_cluster.sh 会清理上一轮的全套进程(redis 和 gcs_server 会占着 6400/6402,
只杀 raylet 会导致「新进程起不来但端口探测仍通过」的假成功)。
9. 与 2.59 的关系
ray/build.sh + ray/mpc_ray_shim.cc 那一套仍然可用,用来在纯 x86 集群上验证
「mpc 能接 Ray 的 C++ core」。但边缘目标只能用 1.0.1,而两版本不能混布,
所以生产形态是:整集群 1.0.1。2.59 那条线留作对照与未来 2.x 支持 32 位 ARM 时的参考。