P1.2(n>2 分片)
- nax-vault::Transport 从单连接升为按 party 索引的 send_to/recv_from,
send/recv 保留为两方便捷路径(PSI 与旧测试不动)
- Vault::open 改为广播:向 n-1 方各发一次自己的分片再统一收,
通信量 O(n^2);inbox 按来源 party 分桶(混在一起会把两方分片加错对象)
- send_share / 新增 recv_share_from 按 party 定向,recv_share 在 n>2 时
显式报错而非猜一个对端
- nax-node 新增 TcpMesh:n 方全网状(每对一条直连),建连规则「小编号主动
connect 大编号」,accept 方靠 4 字节 party 下标握手认人
- run_session 改链式乘 z = x0·x1·…·x(n-1),每轮 1 次 Beaver 乘 + 1 次截断
- CLI 放开两方限制,新增 --peers name=addr,...(与 --listen 搭配)
为什么必须全网状而不是星型:Shares 帧里是真实输入分片,星型让 head 转发
等于把一方输入读给中转节点看。n 是跨机构参与方个数,n(n-1)/2 条直连不是瓶颈。
P5(Ray 编排)
- deploy/ray/nax_cluster.py:两阶段提交(actor 先报本机 IP,driver 拼出
peers 表再起进程),actor 按 {site}_node 资源标签落机器
- 三种后端:--dry-run 打印计划 / --local 本机并行(不需 Ray)/ 默认连集群
- launch.sh 改为透传;README 补两阶段时序、排序为什么是协议要求
验证:三方 2·3·5+1=31、四方浮点(1.5·2·0.5·4 与 2.25·4·(-1)·0.125)
三方/四方输出一致;整数域四方 3·5·7·2+1=211 精确。
cargo test --workspace 134 全绿(vault 10 / node 5),no_std 与 armv7 交叉
编译守线通过。Ray 集群模式未在真实多机验证,已在 README 标注。
87 lines
3.6 KiB
Markdown
87 lines
3.6 KiB
Markdown
# Ray 部署编排(不进计算路径)
|
||
|
||
Ray 在这里只做一件事:**把 `nax node` 拉起,并保证每一方落在它自己的机器上**。
|
||
|
||
计算不走 Ray —— 不走 object store、不走 cloudpickle、不走 actor 调用。
|
||
节点之间用 nax 自己的帧通信(全网状 TCP 直连,每对参与方一条)。
|
||
|
||
## 为什么这样切
|
||
|
||
Ray 唯一不可替代的能力是**自定义资源调度**:
|
||
|
||
```bash
|
||
# alice 的机器
|
||
ray start --address=<head>:6379 --num-cpus=1 --resources='{"alice_node": 1}'
|
||
# bob 的机器
|
||
ray start --address=<head>:6379 --num-cpus=1 --resources='{"bob_node": 1}'
|
||
```
|
||
|
||
`{"alice_node": 1}` 这种资源标签让 Ray 能保证"跑 alice 的进程只在 alice 的机器上",
|
||
这一点自己写调度要花不少功夫。driver 提交 actor 时声明同名的
|
||
`resources={"alice_node": 1.0}`,"数据不出域"就从配置文件里的口头约定
|
||
变成调度层的硬约束。
|
||
|
||
但如果让 Ray 承载**计算**,就会引入四个二进制化的硬伤(见
|
||
`docs/ARCHITECTURE.md#2-为什么不是每方一个-ray-actor`):函数要 cloudpickle
|
||
序列化、对象所有权在 object store、GCS/raylet 一整套进程、异常跨语言传播。
|
||
|
||
所以:**Ray 管进程,不管数据**。
|
||
|
||
## 两阶段提交
|
||
|
||
先占位拿 IP,再带 peers 起进程。一轮做不完的原因是:先启动的方
|
||
不知道自己该连谁 —— 地址表要等所有方都报完才知道。
|
||
|
||
```text
|
||
阶段 1 NodeSlot.options(resources={"alice_node": 1}).remote("alice")
|
||
actor.where() -> "10.0.1.7" 各机器真实 IP
|
||
阶段 2 peers = "alice=10.0.1.7:9440,bob=10.0.1.8:9441,carol=10.0.1.9:9442"
|
||
actor.run(["nax","node","--site","alice","--peers",peers, ...])
|
||
```
|
||
|
||
## 用法
|
||
|
||
```bash
|
||
# 1. 在各机构机器上起 Ray 节点(带自定义资源标签)
|
||
bash deploy/ray/start-node.sh alice <head-host>:6379
|
||
bash deploy/ray/start-node.sh bob <head-host>:6379
|
||
bash deploy/ray/start-node.sh carol <head-host>:6379
|
||
|
||
# 2. 在 head 上提交
|
||
python3 deploy/ray/nax_cluster.py \
|
||
--sites alice,bob,carol \
|
||
--data alice=2,bob=3,carol=5 \
|
||
--nax /opt/nax/bin/nax \
|
||
--address ray://<head>:10001
|
||
# 或 bash deploy/ray/launch.sh <同样的参数>
|
||
```
|
||
|
||
## 三种执行后端
|
||
|
||
| 模式 | 用途 | 需要 Ray 吗 |
|
||
|---|---|---|
|
||
| `--dry-run` | 只打印每方的完整命令行,审阅参数 | 不需要 |
|
||
| `--local` | 本机 127.0.0.1 起 n 个进程(不同端口) | 不需要 |
|
||
| 默认 | 连 Ray 集群,actor 按资源标签落机器 | 需要 |
|
||
|
||
`--local` 不是玩具:编排里唯一容易写错的是**端口分配、peers 字符串、
|
||
命令拼装**,这些和 Ray 无关。能在本机验证的先在本机验证,
|
||
免得把"参数拼错"和"Ray 集群没配好"混在一起排查。
|
||
|
||
已在三方条件下本机验证(alice=2, bob=3, carol=5 → `2·3·5+1 = 31`,
|
||
三方输出一致);Ray 集群模式的执行层尚未在真实多机上验证。
|
||
|
||
## 排序是协议要求
|
||
|
||
`nax_cluster.py` 按**字典序**给参与方编号、分配端口、拼 peers 字符串。
|
||
这不是为了好看:`Vault` 内部按字典序编号,第 p 片分片投递给"排序后第 p 个"。
|
||
换了顺序,各方的 party 编号理解就不一致,分片投错对象 —— 结果静默算错,
|
||
不崩、不报警,就是数不对。
|
||
|
||
## 还缺什么
|
||
|
||
- 会话主种子仍是 `--seed` 命令行传入(默认全 0,仅测试)。生产应由 TEE
|
||
派生并用 `nax-tee` 的 seal 落盘,等 `nax-node` 接上 TEE HAL。
|
||
- 数据仍是 `--data` 命令行传入。上万行要走 `--data-file` 读 CSV,
|
||
这是下一步(数据接入)。
|