From d60fcf40caf2bfdb7f3523402a2b6fd6e1e62d20 Mon Sep 17 00:00:00 2001 From: rong Date: Fri, 30 Oct 2026 12:07:19 +0800 Subject: [PATCH] =?UTF-8?q?fix(docs):=20Ray=20=E5=9C=A8=20armv7=20?= =?UTF-8?q?=E4=B8=8A=E7=A1=AE=E5=AE=9E=E8=83=BD=E8=B7=91=E2=80=94=E2=80=94?= =?UTF-8?q?=E6=9B=B4=E6=AD=A3=E9=94=99=E8=AF=AF=E7=BB=93=E8=AE=BA=E5=B9=B6?= =?UTF-8?q?=E9=99=84=E5=AE=9E=E6=B5=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 用户指出社区编过 ray 1.0.1 armv7l wheel。核实为真,之前的"不可能"是错的。 PyPI 侧仍是事实:135 个版本 5087 个 wheel,armv7l/armhf/armv6 共 0 个, piwheels 全 skip(binary only),无 sdist。但社区有人编: - PidgeyBE 1.0.1 (cp36)、PeterPirog 1.2.0 (cp38),issue #12128 - 唯一需要的改动是 setup.py 加 --linkopt=-latomic(8 字节原子要 libatomic) 实物核对(ray-1.0.1-cp36-cp36m-linux_armv7l.whl,19MB→64MB): _raylet.so 16.4MB / raylet 13.1MB / gcs_server 10.9MB, 全部 ELF32 ARM EABI5 hard-float;_raylet.so 导出 2040 个 ray:: 符号, CoreWorkerProcess::Initialize/GetCoreWorker/RunTaskExecutionLoop 齐全, 无 B5cxx11(同样是旧 ABI),所以 shim 那套做法在 armv7 也成立。 实测跑通完整节点(x86_64 沙箱 + qemu-arm-static 真 ELF32 执行): redis(带 ray 模块) → gcs_server:6392 → plasma → raylet:6393, NodeManager ID ebb89cb9…,GCS 回 IsAlive = 1。 顺带记三个非 32 位坑:redis 要手工播种 5 个键;容器 /dev/shm 64MB 要改 plasma 目录;raylet 硬性要求一个 worker_command。 代价也说清:1.0.1 是 2020-12 代码,GCS 协议与 2.x 不同,接不进现代集群; cp36 要 python3.6;44.6MB 二进制。默认仍走 nax-orch。 新增 docs/RAY_ARMV7.md + ray/armv7/{run_node,run_gcs_only}.sh; RAY_CORE.md §5 与状态表改正。 --- docs/RAY_ARMV7.md | 137 ++++++++++++++++++++++++++++++++++++++ docs/RAY_CORE.md | 27 +++++--- ray/armv7/run_gcs_only.sh | 50 ++++++++++++++ ray/armv7/run_node.sh | 70 +++++++++++++++++++ 4 files changed, 275 insertions(+), 9 deletions(-) create mode 100644 docs/RAY_ARMV7.md create mode 100644 ray/armv7/run_gcs_only.sh create mode 100644 ray/armv7/run_node.sh diff --git a/docs/RAY_ARMV7.md b/docs/RAY_ARMV7.md new file mode 100644 index 0000000..06610a0 --- /dev/null +++ b/docs/RAY_ARMV7.md @@ -0,0 +1,137 @@ +# Ray 1.0.1 在 armv7 上实测记录 + +**结论先说:Ray 在 armv7 上是能跑的,而且我们跑通了完整节点。** +之前 `docs/RAY_CORE.md` §5 写的「Zynq 上不通」是错的,已改。 + +## 1. 包从哪来 + +PyPI 上确实没有,但**社区编过**: + +| 来源 | 版本 | Python | 链接 | +|---|---|---|---| +| PidgeyBE | 1.0.1 | cp36 | `github.com/ray-project/ray/files/5703429/ray_armv7l_32bit.zip` | +| PeterPirog | 1.2.0 | cp38 | `github.com/PeterPirog/Raspberry_armv7_builds/tree/main/ray` | + +上游 issue:[ray-project/ray#12128](https://github.com/ray-project/ray/issues/12128)。 +1.2.0 之后没人再编,官方 2.0.0.dev 在 armv7 上就失败了。 + +**唯一需要的源码改动是链接参数**(PeterPirog 在讨论区的原话): + +``` +# python/setup.py,给 bazel build 加一个 linkopt +["build", "--linkopt=-latomic", "--"] + bazel_targets +``` + +原因是 32 位 ARM 上 `std::atomic` 会落成 `__atomic_load_8` / +`__atomic_fetch_add_8`,libgcc 里没有内联版本,必须显式链 `libatomic`。 +**这不是移植工程,是加一个编译/链接宏。** + +## 2. 实物核对(2026-10-30 实测) + +`ray-1.0.1-cp36-cp36m-linux_armv7l.whl`:19 MB 压缩、64 MB 解压。 + +| 组件 | 大小 | 架构 | +|---|---|---| +| `_raylet.so` | 16.4 MB | ELF32 ARM,flags `0x5000400`(EABI5 + hard-float) | +| `raylet` | 13.1 MB | 同上 | +| `gcs_server` | 10.9 MB | 同上 | +| `libray_redis_module.so` | 3.6 MB | 同上 | +| `redis-server` | 3.4 MB | 同上 | +| `plasma_store_server` | 0.8 MB | 同上 | + +C++ 侧合计约 **44.6 MB**(对照 x86_64 的 2.59:`_raylet.so` 44 MB + raylet 35 MB + gcs 40 MB)。 + +`_raylet.so` 的动态符号:10562 条,其中 `ray::` 命名空间 **2040** 个,且 +`CoreWorkerProcess` 全套导出: + +``` +T _ZN3ray17CoreWorkerProcess10InitializeERKNS_17CoreWorkerOptionsE@@VERSION_1.0 +T _ZN3ray17CoreWorkerProcess13GetCoreWorkerEv@@VERSION_1.0 +T _ZN3ray17CoreWorkerProcess20RunTaskExecutionLoopEv@@VERSION_1.0 +T _ZN3ray17CoreWorkerProcess8ShutdownEv@@VERSION_1.0 +``` + +符号名里**没有 `B5cxx11`** —— 和 2.59 一样是旧 ABI(`_GLIBCXX_USE_CXX11_ABI=0`)。 +也就是说 `ray/nax_ray_shim.cc` 那套「绕开 bazel、直接链 `_raylet.so`」的做法 +在 armv7 上同样成立,只是 API 要从 2.59 回退到 1.0.1。 + +## 3. 完整节点跑通 + +环境:x86_64 沙箱 + `qemu-arm-static -L /usr/lib/arm-linux-gnueabihf` +(qemu **只做用户态指令翻译**,不是模拟编译,跑的是真 ELF32 ARM 二进制)。 + +手工做掉 `ray start --head` 的 bootstrap(因为板上没有 python3.6), +`ray/armv7/run_node.sh` 完整复现: + +1. 主 redis `:6390` + 分片 redis `:6391`,都 `--loadmodule libray_redis_module.so` +2. 播种 5 个键(等同 `services.py::start_redis`): + `NumRedisShards=1`、`RedirectOutput=0`、`JobCounter=0`、`ray_version`、`RedisShards` +3. `gcs_server :6392` +4. `plasma_store_server`(注意容器 `/dev/shm` 只有 64 MB,要 `-d /tmp/plasmadir -m 50M`) +5. `raylet --node_manager_port=6393` + +实测输出: + +``` +Module 'ray' loaded from .../libray_redis_module.so +GcsServer server started, listening on port 6392 +Gcs server address = 127.0.0.1:6392 +ObjectManager server started, listening on port 34591 +node_manager.cc:178] Initializing NodeManager with ID ebb89cb915e55e838bcadeb10b7bcb16b9cfb643 +NodeManager server started, listening on port 6393 +service_based_accessor.cc:775] Received notification for node id = ebb89cb9…, IsAlive = 1 +raylet 存活 ✅ +``` + +`IsAlive = 1` 是 GCS 收到 raylet 注册后的确认。整条链 +**redis(带 ray 模块)→ gcs_server → plasma → raylet** 在 armv7 上都成立。 + +### 两个不是 32 位问题的坑 + +| 现象 | 真因 | 处理 | +|---|---|---| +| `Check failed: No entry found for NumRedisShards` | redis 没被 bootstrap 播种 | 手工写 5 个键 | +| `System memory request exceeds memory available in /dev/shm` | 容器 `/dev/shm` 只有 64 MB | `-d /tmp/plasmadir -m 50M` | +| `At least one of Python/Java/CPP worker command should be provided` | raylet 硬性校验 | `--num_initial_workers=0` 时给 `--cpp_worker_command=/bin/true` | + +## 4. 但这条路对 nax 的代价(必须说清) + +能跑 ≠ 该用。三个真实代价: + +1. **版本断层**。1.0.1 是 2020-12 的代码,GCS 协议和 2.59 不同,**接不进现代 Ray 集群**。 + 要么整集群降级到 1.x,要么边缘独立成一个小集群。 +2. **要 python3.6**。wheel 是 cp36,`_raylet.so` 是 CPython 扩展(和 2.59 同样有几百个 + `Py*` 未定义符号)。板上跑得装 python3.6,或者像 `crates/nax-ray/build.rs` 那样链 + libpython 兜住符号——但 Debian 12 / PetaLinux 都不带 3.6。 +3. **44.6 MB 二进制 + plasma 内存**。ACZ7015 是 1 GB DDR3,放得下;512 MB 的板子就悬。 + +## 5. 三个选项的取舍 + +| 方案 | 工作量 | 能得到 | 风险 | +|---|---|---|---| +| **A. 用 1.0.1 armv7 + 移植 shim** | 中(改 ~250 行 shim 到 1.0 API,交叉编译 shim) | 边缘板上真的跑 Ray,能加入 1.x 集群 | 2020 年代码;要 python3.6 | +| **B. 自己编 2.59 armv7** | 大(bazel crosstool + 38 依赖全过一遍 + 未知 32 位问题) | 与现代 Ray 协议一致 | 未知量大,可能卡死在某个依赖 | +| **C. 保持 nax-orch** | 零(已完成,661 行) | 放置 + 成员,任意架构 | 没有 Ray 生态 | + +**当前选择:C 作为默认,A 作为「确实需要 Ray 生态」时的备选。** +B 不建议——为一个我们只用「放置」的能力去背 38 个依赖的 32 位交叉编译。 + +## 6. 复现 + +```bash +# 拿包(GitHub 直连,注意 zip 可能被代理截断,用 -C - 续传) +curl -sSL --http1.1 -C - -o ray_armv7.zip \ + https://github.com/ray-project/ray/files/5703429/ray_armv7l_32bit.zip + +# 环境:Debian 12 x86_64 容器 +apt-get install -y qemu-user-static redis-tools +dpkg --add-architecture armhf +echo 'deb [arch=armhf] http://mirrors.ustc.edu.cn/debian bookworm main' >> /etc/apt/sources.list +apt-get update && apt-get install -y libc6:armhf libstdc++6:armhf libgcc-s1:armhf + +# 解包 + 起节点 +python3 -c "import zipfile;zipfile.ZipFile('ray_armv7.zip').extractall('.')" +python3 -c "import zipfile,glob;zipfile.ZipFile(glob.glob('*.whl')[0]).extractall('/tmp/r17')" +bash ray/armv7/run_node.sh # 完整节点 +bash ray/armv7/run_gcs_only.sh # 只起控制面 +``` diff --git a/docs/RAY_CORE.md b/docs/RAY_CORE.md index 515ef95..d0a0cbb 100644 --- a/docs/RAY_CORE.md +++ b/docs/RAY_CORE.md @@ -11,7 +11,7 @@ | 是否需要 bazel | **否**。复用 pip wheel 里的预编译 `_raylet.so` | | 编译耗时 | 90 秒(含生成 68 个 protobuf 头 + 2 个 flatbuffers) | | 运行时硬依赖 | 44 MB `_raylet.so` + 40 MB `gcs_server` + 35 MB `raylet` + libpython | -| 能不能进 armv7 | **不能**。`_raylet.so` 只有 x86_64/aarch64 版,且 32 位无对应构建 | +| 能不能进 armv7 | **能**(社区 1.0.1/1.2.0 有 armv7l wheel,已实测跑通完整节点,见 [RAY_ARMV7.md](RAY_ARMV7.md));2.59 官方无 armv7 版 | | 拿到的能力 | 集群成员 / 节点资源标签 / driver 身份;**不接管计算** | 结论:Ray 只当「集群目录 + 放置」用,计算仍然走 nax 自己的帧。 @@ -98,17 +98,26 @@ cxx11 ABI 的 libprotobuf。 ## 5. armv7 / Zynq 的结论 -**这条路 Zynq 上不通**,三层原因,任一层都足够: +**先纠正一个曾经的错误结论**:Ray 在 armv7 上是能跑的。PyPI 没有,但社区编过 +1.0.1 / 1.2.0 的 armv7l wheel,唯一需要的源码改动是 `--linkopt=-latomic` +(32 位 ARM 的 8 字节原子操作要显式链 libatomic)。2026-10-30 实测:用 qemu-arm +起 redis + gcs_server + plasma + raylet,节点注册进 GCS 拿到 `IsAlive = 1`。 +完整记录见 [RAY_ARMV7.md](RAY_ARMV7.md)。 -1. PyPI 没有 32 位 ARM 的 ray wheel,`_raylet.so` 不存在; -2. 就算自己编,Ray 的 bazel 只有 `linux_x86_64` / `linux_arm64` 两个平台定义, - armv7 要自己写完整 toolchain(38 个第三方便全部要跟着过一遍); -3. 44 MB 的 `.so` + 40 MB gcs_server 塞进 512 MB DDR 的边缘盒子,本身就是反目标。 +但「能跑」不等于「该用」,代价是三条: + +1. 版本停在 2020 年底(1.0.1 / 1.2.0),GCS 协议与 2.x 不同,**接不进现代 Ray 集群**; +2. wheel 是 cp36,`_raylet.so` 是 CPython 扩展,板上要 python3.6 或链 libpython 兜符号; +3. C++ 侧 44.6 MB 二进制 + plasma 内存。ACZ7015 的 1 GB DDR3 放得下,512 MB 的板子悬。 + +自己编 2.59 的 armv7 版不建议:要给 bazel 写完整 armv7 crosstool,38 个第三方依赖 +全部跟着过一遍,还要面对未知数量的 32 位问题——而我们只用它「放置」这一项能力。 所以最终分工: - **Zynq / 边缘**:nax 自己的编排(`nax-orch`,661 行纯 std,已跑通 3/4 方)+ 交叉编译单二进制; -- **x86 集群**:可选接 Ray 做成员与放置。 +- **x86 集群**:可选接 Ray 做成员与放置; +- **确需边缘 Ray 生态时**:走 [RAY_ARMV7.md](RAY_ARMV7.md) 的 1.0.1 路线。 -这也回答了最初的问题:Ray 的 C++ 内核**可以**给 Rust 集成,但它的价值在 -「大集群的成员管理」,不在「边缘设备的隐私计算」。 +这也回答了最初的问题:Ray 的 C++ 内核**可以**给 Rust 集成,在 armv7 上也**可以**跑, +但它的价值在「大集群的成员管理」,不在「边缘设备的隐私计算」。 diff --git a/ray/armv7/run_gcs_only.sh b/ray/armv7/run_gcs_only.sh new file mode 100644 index 0000000..3581d7d --- /dev/null +++ b/ray/armv7/run_gcs_only.sh @@ -0,0 +1,50 @@ +#!/bin/bash +# 用 qemu-arm 在 x86_64 沙箱里跑 ray 1.0.1 的 armv7 控制面(手工做 ray start --head 的 bootstrap) +Q="qemu-arm-static -L /usr/lib/arm-linux-gnueabihf" +R=/tmp/r17/ray-1.0.1.data/purelib/ray +D=$R/core/src/ray +MOD=$D/gcs/redis_module/libray_redis_module.so +chmod +x $D/thirdparty/redis/src/redis-server $D/gcs/gcs_server $D/raylet/raylet $MOD 2>/dev/null + +echo "=== redis 模块"; ls -l $MOD | awk '{print $5, $9}' + +echo "=== 起主 redis (armv7, 6390)" +$Q $D/thirdparty/redis/src/redis-server --port 6390 --save '' --appendonly no \ + --protected-mode no --loadmodule $MOD > /tmp/redis7.log 2>&1 & +RP=$! +for i in $(seq 1 30); do timeout 2 bash -c "echo > /dev/tcp/127.0.0.1/6390" 2>/dev/null && break; sleep 0.4; done +grep -iE 'module|error|bits=32' /tmp/redis7.log | head -4 + +echo "=== 起分片 redis (armv7, 6391)" +$Q $D/thirdparty/redis/src/redis-server --port 6391 --save '' --appendonly no \ + --protected-mode no --loadmodule $MOD > /tmp/redis7b.log 2>&1 & +SP=$! +for i in $(seq 1 30); do timeout 2 bash -c "echo > /dev/tcp/127.0.0.1/6391" 2>/dev/null && break; sleep 0.4; done + +echo "=== 播种(等同 services.py: start_redis)" +redis-cli -p 6390 set NumRedisShards 1 +redis-cli -p 6390 set RedirectOutput 0 +redis-cli -p 6390 set JobCounter 0 +redis-cli -p 6390 set ray_version 1.0.1 +redis-cli -p 6390 set ray_commit pidgeybe +redis-cli -p 6390 rpush RedisShards 127.0.0.1:6391 +echo "keys: $(redis-cli -p 6390 keys '*' | tr '\n' ' ')" + +echo "=== 起 gcs_server (armv7, 6392)" +$Q $D/gcs/gcs_server --redis_address 127.0.0.1 --redis_port 6390 \ + --node_ip_address 127.0.0.1 --gcs_server_port 6392 > /tmp/gcs7.log 2>&1 & +GP=$! +sleep 18 + +echo "=== 监听端口" +(ss -lntp 2>/dev/null || netstat -lntp 2>/dev/null) | grep -E '6390|6391|6392' | head +echo "=== gcs_server 日志(前 18 行)" +head -18 /tmp/gcs7.log +echo "=== 存活检查" +kill -0 $GP 2>/dev/null && echo " gcs_server 存活 ✅" || echo " gcs_server 已退出 ❌" + +echo "=== GCS 里能查到节点表吗" +redis-cli -p 6390 keys '*' | head -20 + +kill $GP $RP $SP 2>/dev/null; wait 2>/dev/null +echo "=== done" diff --git a/ray/armv7/run_node.sh b/ray/armv7/run_node.sh new file mode 100644 index 0000000..ca0513c --- /dev/null +++ b/ray/armv7/run_node.sh @@ -0,0 +1,70 @@ +#!/bin/bash +# armv7 Ray 1.0.1 完整节点:redis(主+分片) + gcs_server + plasma + raylet +Q="qemu-arm-static -L /usr/lib/arm-linux-gnueabihf" +R=/tmp/r17/ray-1.0.1.data/purelib/ray +D=$R/core/src/ray +MOD=$D/gcs/redis_module/libray_redis_module.so +REDIS=$D/thirdparty/redis/src/redis-server +PLASMA=$R/core/src/plasma/plasma_store_server +RAYLET=$D/raylet/raylet +chmod +x $REDIS $PLASMA $RAYLET $MOD $D/gcs/gcs_server 2>/dev/null +pkill -f qemu-arm-static 2>/dev/null; sleep 1 +rm -rf /tmp/r7sess /tmp/r7temp /tmp/plasmadir /tmp/plasma7.sock /tmp/raylet7.sock +mkdir -p /tmp/r7sess /tmp/r7temp /tmp/plasmadir + +echo "=== 1) redis 主/分片" +$Q $REDIS --port 6390 --save '' --appendonly no --protected-mode no --loadmodule $MOD > /tmp/r7.log 2>&1 & +$Q $REDIS --port 6391 --save '' --appendonly no --protected-mode no --loadmodule $MOD > /tmp/r7b.log 2>&1 & +for i in $(seq 1 30); do timeout 2 bash -c "echo > /dev/tcp/127.0.0.1/6390" 2>/dev/null && break; sleep 0.4; done +for i in $(seq 1 30); do timeout 2 bash -c "echo > /dev/tcp/127.0.0.1/6391" 2>/dev/null && break; sleep 0.4; done +redis-cli -p 6390 set NumRedisShards 1 > /dev/null +redis-cli -p 6390 set RedirectOutput 0 > /dev/null +redis-cli -p 6390 set JobCounter 0 > /dev/null +redis-cli -p 6390 set ray_version 1.0.1 > /dev/null +redis-cli -p 6390 set ray_commit pidgeybe > /dev/null +redis-cli -p 6390 rpush RedisShards 127.0.0.1:6391 > /dev/null +echo " redis ok" + +echo "=== 2) gcs_server :6392" +$Q $D/gcs/gcs_server --redis_address 127.0.0.1 --redis_port 6390 \ + --node_ip_address 127.0.0.1 --gcs_server_port 6392 > /tmp/r7gcs.log 2>&1 & +for i in $(seq 1 40); do timeout 2 bash -c "echo > /dev/tcp/127.0.0.1/6392" 2>/dev/null && break; sleep 0.5; done +grep -E 'listening on port|Gcs server address' /tmp/r7gcs.log | head -2 + +echo "=== 3) plasma_store_server" +$Q $PLASMA -s /tmp/plasma7.sock -m 50000000 -d /tmp/plasmadir > /tmp/r7plasma.log 2>&1 & +for i in $(seq 1 30); do [ -S /tmp/plasma7.sock ] && break; sleep 0.5; done +[ -S /tmp/plasma7.sock ] && echo " plasma socket ok" || { echo " plasma 失败"; head -5 /tmp/r7plasma.log; } + +echo "=== 4) raylet" +$Q $RAYLET \ + --raylet_socket_name=/tmp/raylet7.sock \ + --store_socket_name=/tmp/plasma7.sock \ + --object_manager_port=0 \ + --min_worker_port=0 --max_worker_port=0 \ + --node_manager_port=6393 \ + --node_ip_address=127.0.0.1 \ + --redis_address=127.0.0.1 --redis_port=6390 \ + --num_initial_workers=0 --maximum_startup_concurrency=1 \ + --static_resource_list=127.0.0.1,1,1000000000,50000000 \ + --config_list= \ + --python_worker_command= --java_worker_command= --cpp_worker_command=/bin/true \ + --redis_password= \ + --temp_dir=/tmp/r7temp --session_dir=/tmp/r7sess \ + --metrics-agent-port=6394 --metrics_export_port=6395 > /tmp/r7raylet.log 2>&1 & +LP=$! +sleep 20 + +echo "=== 5) 结果" +(ss -lntp 2>/dev/null || netstat -lntp 2>/dev/null) | grep -E '6390|6391|6392|6393' | head +echo "--- raylet 日志(前 16 行)" +head -16 /tmp/r7raylet.log +echo "--- 存活" +kill -0 $LP 2>/dev/null && echo " raylet 存活 ✅" || echo " raylet 已退出 ❌" +echo "--- GCS 节点表(redis 里的 gcs 表)" +redis-cli -p 6390 keys '*' | grep -iE 'node|ClientTable|NODE' | head -8 +echo "--- 节点条目内容" +redis-cli -p 6390 keys '*' | grep -i node | head -1 | while read k; do echo "key=$k"; redis-cli -p 6390 get "$k" | head -c 200; echo; done + +pkill -f 'qemu-arm-static' 2>/dev/null +echo "=== done"