Files
ssw-mpc/deploy/ray/README.md
T
rong 2e82c3e630 feat: P1.2 n 方网状 + P5 Ray 编排 —— 3/4 方真实 TCP 跑通
P1.2(n>2 分片)
- nax-vault::Transport 从单连接升为按 party 索引的 send_to/recv_from,
  send/recv 保留为两方便捷路径(PSI 与旧测试不动)
- Vault::open 改为广播:向 n-1 方各发一次自己的分片再统一收,
  通信量 O(n^2);inbox 按来源 party 分桶(混在一起会把两方分片加错对象)
- send_share / 新增 recv_share_from 按 party 定向,recv_share 在 n>2 时
  显式报错而非猜一个对端
- nax-node 新增 TcpMesh:n 方全网状(每对一条直连),建连规则「小编号主动
  connect 大编号」,accept 方靠 4 字节 party 下标握手认人
- run_session 改链式乘 z = x0·x1·…·x(n-1),每轮 1 次 Beaver 乘 + 1 次截断
- CLI 放开两方限制,新增 --peers name=addr,...(与 --listen 搭配)

为什么必须全网状而不是星型:Shares 帧里是真实输入分片,星型让 head 转发
等于把一方输入读给中转节点看。n 是跨机构参与方个数,n(n-1)/2 条直连不是瓶颈。

P5(Ray 编排)
- deploy/ray/nax_cluster.py:两阶段提交(actor 先报本机 IP,driver 拼出
  peers 表再起进程),actor 按 {site}_node 资源标签落机器
- 三种后端:--dry-run 打印计划 / --local 本机并行(不需 Ray)/ 默认连集群
- launch.sh 改为透传;README 补两阶段时序、排序为什么是协议要求

验证:三方 2·3·5+1=31、四方浮点(1.5·2·0.5·4 与 2.25·4·(-1)·0.125)
三方/四方输出一致;整数域四方 3·5·7·2+1=211 精确。
cargo test --workspace 134 全绿(vault 10 / node 5),no_std 与 armv7 交叉
编译守线通过。Ray 集群模式未在真实多机验证,已在 README 标注。
2026-10-30 08:54:14 +08:00

87 lines
3.6 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Ray 部署编排(不进计算路径)
Ray 在这里只做一件事:**把 `nax node` 拉起,并保证每一方落在它自己的机器上**。
计算不走 Ray —— 不走 object store、不走 cloudpickle、不走 actor 调用。
节点之间用 nax 自己的帧通信(全网状 TCP 直连,每对参与方一条)。
## 为什么这样切
Ray 唯一不可替代的能力是**自定义资源调度**:
```bash
# alice 的机器
ray start --address=<head>:6379 --num-cpus=1 --resources='{"alice_node": 1}'
# bob 的机器
ray start --address=<head>:6379 --num-cpus=1 --resources='{"bob_node": 1}'
```
`{"alice_node": 1}` 这种资源标签让 Ray 能保证"跑 alice 的进程只在 alice 的机器上",
这一点自己写调度要花不少功夫。driver 提交 actor 时声明同名的
`resources={"alice_node": 1.0}`,"数据不出域"就从配置文件里的口头约定
变成调度层的硬约束。
但如果让 Ray 承载**计算**,就会引入四个二进制化的硬伤(见
`docs/ARCHITECTURE.md#2-为什么不是每方一个-ray-actor`):函数要 cloudpickle
序列化、对象所有权在 object store、GCS/raylet 一整套进程、异常跨语言传播。
所以:**Ray 管进程,不管数据**。
## 两阶段提交
先占位拿 IP,再带 peers 起进程。一轮做不完的原因是:先启动的方
不知道自己该连谁 —— 地址表要等所有方都报完才知道。
```text
阶段 1 NodeSlot.options(resources={"alice_node": 1}).remote("alice")
actor.where() -> "10.0.1.7" 各机器真实 IP
阶段 2 peers = "alice=10.0.1.7:9440,bob=10.0.1.8:9441,carol=10.0.1.9:9442"
actor.run(["nax","node","--site","alice","--peers",peers, ...])
```
## 用法
```bash
# 1. 在各机构机器上起 Ray 节点(带自定义资源标签)
bash deploy/ray/start-node.sh alice <head-host>:6379
bash deploy/ray/start-node.sh bob <head-host>:6379
bash deploy/ray/start-node.sh carol <head-host>:6379
# 2. 在 head 上提交
python3 deploy/ray/nax_cluster.py \
--sites alice,bob,carol \
--data alice=2,bob=3,carol=5 \
--nax /opt/nax/bin/nax \
--address ray://<head>:10001
# 或 bash deploy/ray/launch.sh <同样的参数>
```
## 三种执行后端
| 模式 | 用途 | 需要 Ray 吗 |
|---|---|---|
| `--dry-run` | 只打印每方的完整命令行,审阅参数 | 不需要 |
| `--local` | 本机 127.0.0.1 起 n 个进程(不同端口) | 不需要 |
| 默认 | 连 Ray 集群,actor 按资源标签落机器 | 需要 |
`--local` 不是玩具:编排里唯一容易写错的是**端口分配、peers 字符串、
命令拼装**,这些和 Ray 无关。能在本机验证的先在本机验证,
免得把"参数拼错"和"Ray 集群没配好"混在一起排查。
已在三方条件下本机验证(alice=2, bob=3, carol=5 → `2·3·5+1 = 31`,
三方输出一致);Ray 集群模式的执行层尚未在真实多机上验证。
## 排序是协议要求
`nax_cluster.py` 按**字典序**给参与方编号、分配端口、拼 peers 字符串。
这不是为了好看:`Vault` 内部按字典序编号,第 p 片分片投递给"排序后第 p 个"。
换了顺序,各方的 party 编号理解就不一致,分片投错对象 —— 结果静默算错,
不崩、不报警,就是数不对。
## 还缺什么
- 会话主种子仍是 `--seed` 命令行传入(默认全 0,仅测试)。生产应由 TEE
派生并用 `nax-tee` 的 seal 落盘,等 `nax-node` 接上 TEE HAL。
- 数据仍是 `--data` 命令行传入。上万行要走 `--data-file` 读 CSV,
这是下一步(数据接入)。