Files
ssw-mpc/ray/verify101.sh
T
rong 45bc626256 feat(ray): 对齐 Ray 1.0.1,nax 作为 driver 跑通跨架构 MPC
用户要求先用 1.0.1 对齐两端再把 nax MPC 跑通。闭环达成:

  x86_64  Ray node 73bfdc0a…  nax site=b  MPC 35
  armv7   Ray node 235afb22…  nax site=a  MPC 35

同一进程既是 Ray driver 又是 MPC 参与方;node_id 由 raylet 握手分配,
两端不同即「真的挂在两个节点上」的证据。35 = (1·4+1)+(2·5+1)+(3·6+1)。

1.0.1 shim(ray/nax_ray_shim_101.cc)与 2.59 的六个接口差异:
CoreWorkerProcess 无独立头、TaskExecutionCallback 只有 8 参数、
GcsClientOptions 位置参数、无 GetNodeToConnectForDriver/GetNextJobID、
无 ray::core 命名空间、GcsNodeInfo 无 node_manager_port。

两个必踩的坑:
- options.num_workers 必须显式设 1(1.0.1 有 RAY_CHECK(>0),默认 0 abort)
- gcs_options 要指向 Redis(6400)而非 gcs_server(6402),指错报
  Protocol error got "\x00",看着像协议问题其实是端口给错

同一版本两个架构的 string ABI 不同(关键):
x86_64 _raylet.so 是旧 ABI(0 个 cxx11),armv7 是新 ABI(423 个)。
搞错的表现是运行期 basic_string::_M_create 异常,错误信息不提 ABI。

编译补丁自动打在解出来的头上:client_call.h 的 vector<CompletionQueue> 换 deque
(grpc 1.51 删了移动构造)、影子 arrow/buffer.h、-Dgrpc_impl=grpc。
Python 符号 x86 缺 8 个 / armv7 缺 2 个,shim 零值占位(不执行 Python 代码)。

nax-cli 加可选 feature ray:设 NAX_RAY_RAYLET 即注册 driver,默认构建仍是
纯静态单二进制。rpath 放在 nax-cli 的 build.rs(link-arg-bins),放 nax-ray
里传不到依赖方的 bin。

新增 docs/RAY_CORE_101.md、ray/{nax_ray_shim_101.cc,build101.sh,
build101_armv7.sh,test101.py,test101_arm.c,verify101.sh}、ray/armv7/mpc_ray.sh;
nax-ray 重写为 1.0.1 签名;README 状态表更新。
2026-10-30 13:44:00 +08:00

17 lines
771 B
Bash

#!/bin/bash
# 验证 nax driver 是否真的在 GCS 里注册(1.0.1 的 WorkerTable 由 RegisterToGcs 写入)
set -u
python3 /tmp/naxray/test101.py /tmp/libnax_ray.so 127.0.0.1:6400 /tmp/raylet_x.sock /tmp/plasma_x.sock 6403 2 40 > /tmp/driver101.log 2>&1 &
DPID=$!
sleep 10
echo "=== driver 进程"; ps -o pid,stat,cmd -p $DPID 2>/dev/null | tail -2
echo "=== driver 输出"; grep -vE 'WARN|UserWarning' /tmp/driver101.log | tail -14
echo "=== redis 6401 全部 key"; redis-cli -p 6401 --scan 2>/dev/null | head -20
echo "=== 找 nax_driver"
for k in $(redis-cli -p 6401 --scan 2>/dev/null | grep -i 'WORKER' | head -10); do
echo "--- $k"
redis-cli -p 6401 hgetall "$k" 2>/dev/null | tr '\n' ' ' | head -c 400; echo
done
wait $DPID 2>/dev/null
echo "=== 结束"