用户要求先用 1.0.1 对齐两端再把 nax MPC 跑通。闭环达成:
x86_64 Ray node 73bfdc0a… nax site=b MPC 35
armv7 Ray node 235afb22… nax site=a MPC 35
同一进程既是 Ray driver 又是 MPC 参与方;node_id 由 raylet 握手分配,
两端不同即「真的挂在两个节点上」的证据。35 = (1·4+1)+(2·5+1)+(3·6+1)。
1.0.1 shim(ray/nax_ray_shim_101.cc)与 2.59 的六个接口差异:
CoreWorkerProcess 无独立头、TaskExecutionCallback 只有 8 参数、
GcsClientOptions 位置参数、无 GetNodeToConnectForDriver/GetNextJobID、
无 ray::core 命名空间、GcsNodeInfo 无 node_manager_port。
两个必踩的坑:
- options.num_workers 必须显式设 1(1.0.1 有 RAY_CHECK(>0),默认 0 abort)
- gcs_options 要指向 Redis(6400)而非 gcs_server(6402),指错报
Protocol error got "\x00",看着像协议问题其实是端口给错
同一版本两个架构的 string ABI 不同(关键):
x86_64 _raylet.so 是旧 ABI(0 个 cxx11),armv7 是新 ABI(423 个)。
搞错的表现是运行期 basic_string::_M_create 异常,错误信息不提 ABI。
编译补丁自动打在解出来的头上:client_call.h 的 vector<CompletionQueue> 换 deque
(grpc 1.51 删了移动构造)、影子 arrow/buffer.h、-Dgrpc_impl=grpc。
Python 符号 x86 缺 8 个 / armv7 缺 2 个,shim 零值占位(不执行 Python 代码)。
nax-cli 加可选 feature ray:设 NAX_RAY_RAYLET 即注册 driver,默认构建仍是
纯静态单二进制。rpath 放在 nax-cli 的 build.rs(link-arg-bins),放 nax-ray
里传不到依赖方的 bin。
新增 docs/RAY_CORE_101.md、ray/{nax_ray_shim_101.cc,build101.sh,
build101_armv7.sh,test101.py,test101_arm.c,verify101.sh}、ray/armv7/mpc_ray.sh;
nax-ray 重写为 1.0.1 签名;README 状态表更新。
64 lines
1.8 KiB
C
64 lines
1.8 KiB
C
// 纯 C 测试程序:在 armv7 上验证 nax driver 能注册进 1.0.1 集群。
|
|
// 用 C 写是为了不引入 libstdc++ 的 main 依赖,链接时更容易看清问题。
|
|
#include <stdio.h>
|
|
#include <stdlib.h>
|
|
#include <string.h>
|
|
#include <unistd.h>
|
|
|
|
// 与 shim 里的 NaxRayConfig 一一对应(字段顺序即 ABI)
|
|
struct NaxRayConfig {
|
|
const char *gcs_addr;
|
|
const char *node_ip;
|
|
const char *raylet_socket;
|
|
const char *plasma_socket;
|
|
int node_manager_port;
|
|
int job_id_int;
|
|
int language;
|
|
const char *driver_name;
|
|
};
|
|
|
|
extern int nax_ray_init(const struct NaxRayConfig *cfg, char *out, int out_len);
|
|
extern const char *nax_ray_last_error(void);
|
|
extern int nax_ray_probe(char *out, int out_len);
|
|
extern void nax_ray_shutdown(void);
|
|
|
|
int main(int argc, char **argv) {
|
|
struct NaxRayConfig cfg;
|
|
cfg.gcs_addr = argc > 1 ? argv[1] : "127.0.0.1:6400";
|
|
cfg.node_ip = "127.0.0.1";
|
|
cfg.raylet_socket = argc > 2 ? argv[2] : "/tmp/raylet_a.sock";
|
|
cfg.plasma_socket = argc > 3 ? argv[3] : "/tmp/plasma_a.sock";
|
|
cfg.node_manager_port = argc > 4 ? atoi(argv[4]) : 6413;
|
|
cfg.job_id_int = 2;
|
|
cfg.language = 2; // CPP
|
|
cfg.driver_name = "nax_driver_armv7";
|
|
|
|
char buf[16384];
|
|
printf("--- init gcs=%s raylet=%s port=%d\n", cfg.gcs_addr, cfg.raylet_socket,
|
|
cfg.node_manager_port);
|
|
fflush(stdout);
|
|
|
|
int rc = nax_ray_init(&cfg, buf, sizeof buf);
|
|
printf("init rc = %d\n", rc);
|
|
if (rc != 0) {
|
|
printf("err: %s\n", nax_ray_last_error());
|
|
return 1;
|
|
}
|
|
printf("%s", buf);
|
|
fflush(stdout);
|
|
|
|
rc = nax_ray_probe(buf, sizeof buf);
|
|
printf("probe rc = %d\n%s", rc, rc == 0 ? buf : nax_ray_last_error());
|
|
fflush(stdout);
|
|
|
|
int hold = argc > 5 ? atoi(argv[5]) : 0;
|
|
if (hold) {
|
|
printf("holding %ds\n", hold);
|
|
fflush(stdout);
|
|
sleep(hold);
|
|
nax_ray_shutdown();
|
|
printf("shutdown done\n");
|
|
}
|
|
return 0;
|
|
}
|