用户要求先用 1.0.1 对齐两端再把 nax MPC 跑通。闭环达成:
x86_64 Ray node 73bfdc0a… nax site=b MPC 35
armv7 Ray node 235afb22… nax site=a MPC 35
同一进程既是 Ray driver 又是 MPC 参与方;node_id 由 raylet 握手分配,
两端不同即「真的挂在两个节点上」的证据。35 = (1·4+1)+(2·5+1)+(3·6+1)。
1.0.1 shim(ray/nax_ray_shim_101.cc)与 2.59 的六个接口差异:
CoreWorkerProcess 无独立头、TaskExecutionCallback 只有 8 参数、
GcsClientOptions 位置参数、无 GetNodeToConnectForDriver/GetNextJobID、
无 ray::core 命名空间、GcsNodeInfo 无 node_manager_port。
两个必踩的坑:
- options.num_workers 必须显式设 1(1.0.1 有 RAY_CHECK(>0),默认 0 abort)
- gcs_options 要指向 Redis(6400)而非 gcs_server(6402),指错报
Protocol error got "\x00",看着像协议问题其实是端口给错
同一版本两个架构的 string ABI 不同(关键):
x86_64 _raylet.so 是旧 ABI(0 个 cxx11),armv7 是新 ABI(423 个)。
搞错的表现是运行期 basic_string::_M_create 异常,错误信息不提 ABI。
编译补丁自动打在解出来的头上:client_call.h 的 vector<CompletionQueue> 换 deque
(grpc 1.51 删了移动构造)、影子 arrow/buffer.h、-Dgrpc_impl=grpc。
Python 符号 x86 缺 8 个 / armv7 缺 2 个,shim 零值占位(不执行 Python 代码)。
nax-cli 加可选 feature ray:设 NAX_RAY_RAYLET 即注册 driver,默认构建仍是
纯静态单二进制。rpath 放在 nax-cli 的 build.rs(link-arg-bins),放 nax-ray
里传不到依赖方的 bin。
新增 docs/RAY_CORE_101.md、ray/{nax_ray_shim_101.cc,build101.sh,
build101_armv7.sh,test101.py,test101_arm.c,verify101.sh}、ray/armv7/mpc_ray.sh;
nax-ray 重写为 1.0.1 签名;README 状态表更新。
45 lines
1.9 KiB
Rust
45 lines
1.9 KiB
Rust
//! 只在带 `ray` feature 编译时,把 libnax_ray.so 所在目录写进可执行文件的 RUNPATH。
|
|
//!
|
|
//! 为什么不能放在 nax-ray 的 build.rs 里:`cargo:rustc-link-arg-bins` 只作用于
|
|
//! **本包**的 bin 目标。nax-ray 自己是个 lib,它的 build script 加的东西传不到
|
|
//! 依赖它的 nax-cli 上——症状是链接期能找到 .so、运行期报
|
|
//! `libnax_ray.so: cannot open shared object file`,还得手动 LD_LIBRARY_PATH。
|
|
|
|
fn main() {
|
|
println!("cargo:rerun-if-env-changed=NAX_RAY_LIB_DIR");
|
|
println!("cargo:rerun-if-env-changed=NAX_RAY_LIB_NAME");
|
|
println!("cargo:rerun-if-env-changed=NAX_RAY_LIBPYTHON");
|
|
|
|
// 没开 ray feature 就别管——默认构建是纯静态单二进制,不碰任何 .so。
|
|
if std::env::var("CARGO_FEATURE_RAY").is_err() {
|
|
return;
|
|
}
|
|
|
|
let lib = std::env::var("NAX_RAY_LIB_NAME").unwrap_or_else(|_| "nax_ray".to_string());
|
|
let mut dirs: Vec<String> = Vec::new();
|
|
if let Ok(d) = std::env::var("NAX_RAY_LIB_DIR") {
|
|
dirs.push(d);
|
|
}
|
|
// 与 nax-ray/build.rs 保持同一套搜索顺序
|
|
if let Ok(m) = std::env::var("CARGO_MANIFEST_DIR") {
|
|
if let Some(root) = std::path::Path::new(&m).parent().and_then(|p| p.parent()) {
|
|
dirs.push(root.join("target/ray").display().to_string());
|
|
}
|
|
}
|
|
dirs.push("/usr/local/lib".into());
|
|
|
|
for d in &dirs {
|
|
if std::path::Path::new(d).join(format!("lib{lib}.so")).exists() {
|
|
println!("cargo:rustc-link-arg-bins=-Wl,-rpath,{d}");
|
|
break;
|
|
}
|
|
}
|
|
|
|
// _raylet.so 自己带 RUNPATH 指向 libpython,但交叉编译的场景不一定,多带一个不亏。
|
|
if let Ok(p) = std::env::var("NAX_RAY_LIBPYTHON") {
|
|
if let Some(dir) = std::path::Path::new(&p).parent() {
|
|
println!("cargo:rustc-link-arg-bins=-Wl,-rpath,{}", dir.display());
|
|
}
|
|
}
|
|
}
|