Commit Graph
17 Commits
Author SHA1 Message Date
rong df021dba0d feat(cli): nax sql-join 真两进程 JOIN×PSI×密态 SQL
影响:能敲一个命令在真 TCP 两进程里跑 PSI → 对齐 → 密态聚合 → reveal;
`--schema` 约定全局列序解决竖向切分里两方各持不同列的拼接问题。

- `nax sql-join` 子命令(需 --features secure):真 TCP 两进程,
  PSI → align_by_key → exchange_split_columns → 密态聚合。
- `--schema col1,col2,...`:全局列序,列交换后按 schema 槽位落位。
  **不是 mine + theirs 简单拼接** —— 后者两方拼出的顺序不同,谓词下标静默错位。
- 两个种子:psi_seed 每方不同(同种子 = ECDH 私钥相同,隐私破坏);
  vault_seed 两方一致(Beaver 物料派生)。CLI 从 (seed, site) 自动派生 psi_seed。
- `impl Transport for &mut T`:同一条 TCP 先 PSI 再 Vault 不用拆通道。
- 新增 4 测(真 TcpListener + TcpTransport)含变异检验:
  schema 落位换成拼接 → 3 条红。
- 更新 README、GAP_PLAN(产品口径缺口 ①②③ 已闭环)。
2026-10-30 18:32:43 +08:00
rong c97da57c5f feat(sql): JOIN × PSI 竖直接入密态 SQL
影响:两方各持半张表的纵向切分,现在能 PSI 求交后在密态下跑 join 后的
COUNT/SUM/GROUP BY,结果与明文引擎的等价 JOIN 逐值一致;`nax-sql` 库依赖闭包不变。

- `secure::exchange_split_columns`:各方向对端送出本方每列一片,再收齐对端每列一片;
  先全发再全收(发一个收一个在缓冲撑满时会双向死锁),入口校验各列行数一致。
- `secure::secure_aggregate_all`:无 WHERE 聚合,掩码取 `vault.bit_one`,不新增公开常量。
- 新增 `tests/join_psi.rs`(6 测):PSI → 按键字节序排序对齐 → 密态聚合,对拍明文
  `Engine` 的 `bank JOIN shop ON bank.id = shop.uid`;覆盖 COUNT/SUM、跨方复合 WHERE、
  GROUP BY、对齐不变式、重复键拒绝、空交集拒绝。
- PSI 与行对齐留在调用方:`nax-node`/`nax-psi` 只作 dev-dependency,测试目标挂
  `required-features = ["secure"]`,默认构建不拉密码学依赖(workspace 218 测,
  `-p nax-sql --features secure` 27 测)。
- 明确不做一对多 join:PSI 去重只给一个下标,纵向对齐表达不了笛卡尔展开,本方键重复即报错。
2026-10-30 17:32:24 +08:00
rong 1e84d681c2 feat(sql): 密态 IN / NOT IN(脱糖 OR 等式)
Pred 加 In{col, values, negated}:逐个 bit_eq 后 bit_or,negated 再 bit_not。
对拍明文引擎的 x IN (100,250,500) 与 NOT IN。

nax-sql --features secure 21 测,workspace 218 全绿、零警告。
2026-10-30 16:51:32 +08:00
rong c84f6ec19d test(vault): BitLT 随机化对拍(64 组,含 ±0/相等/跨零/同号大值)
固定数组容易漏边界。新增随机化测试覆盖 bit_lt/bit_eq/bit_gt 的 64 组
随机值 + 强制相等、±0、跨零、同号近界,全部对拍明文通过。
nax-vault 15 测,workspace 218 全绿、零警告。
2026-10-30 16:49:28 +08:00
rong 633d9b548b feat(sql): 复合谓词密态求值(AND/OR/NOT 组合比较)
secure 新增 Pred(Cmp/And/Or/Not) + secure_predicate_mask 递归求掩码,
secure_where_aggregate_pred 在掩码下聚合。对齐明文引擎的任意布尔表达式:
x<400 AND g=0、x<400 OR g=1、NOT x<400 三例均对拍通过。

nax-sql --features secure 20 测,workspace 217 全绿、零警告。
2026-10-30 16:47:16 +08:00
rong ee7aae6f04 test(vault): 2 方布尔代数真值表(AND/OR/XOR/NOT)
补一组位运算的端到端验证:原始 0/1 分片下 AND/OR/XOR/NOT 逐位正确。
这是后续把复合谓词(a>1 AND b<2、NOT、IN 脱糖)接到密态 SQL 的基础。

nax-vault 14 测,workspace 217 测全绿、零警告。
2026-10-30 16:42:13 +08:00
rong 34855a3b2d feat(cli): nax sql —— in-process 2 方密态 GROUP BY 演示(feature=secure)
nax-cli 加 feature secure(拉 nax-sql/secure + nax-vault),新增 `nax sql`:
单进程用两条 Pipe 起 2 方,真跑 GROUP BY + COUNT/SUM/AVG,打印结果表。
实测 region0=3/650/216.67、region1=2/1100/550,与明文一致。
默认构建不含该命令,仍零警告。

workspace 216 测全绿;nax-sql --features secure 19、nax-fl --features secure 13。
2026-10-30 16:40:13 +08:00
rong 33c25533cf feat(sql): 密态 GROUP BY(bit_eq 逐公开码掩码)+ constant 公开常量分片
- nax-vault::constant:公开常数 fxp 分片(party0 持编码值,其余 0),对应参考
  vault.constant;密态 SQL 的阈值/组码改走它,调用方无需 split。
- nax-sql secure 重构:抽出 aggregate_with_mask;secure_where_aggregate 改吃
  plaintext threshold;新增 secure_group_by(逐 bit_eq(gcol,c) 与 WHERE 掩码 AND)。
- 新增 GROUP BY 对拍明文 Engine 测试。

nax-sql --features secure 18 测,workspace 216 测全绿、零警告。
2026-10-30 16:36:31 +08:00
rong a87445d656 feat(sql/ml): 掩码 WHERE+聚合 与 分箱 Mᵀ@y 接到密态算子,2 方端到端跑通
- nax-sql 加可选 feature secure:secure_where_aggregate 实现
  SELECT COUNT/SUM/AVG/MIN/MAX ... WHERE col <op> T。
  掩码 bit_lt/gt/eq → bit_mask;COUNT/SUM 本地线性;AVG scale_public+truncate;
  MIN/MAX 用 (1-mask)·(±SENTINEL) 本地补位后两两 bit_lt+select_raw 归约(不靠 sentinel 分片)。
  2 测对拍明文 Engine(含空命中 NaN)。
- nax-ml 新增 binning_secure:bad = Mᵀ·y(matmul_trunc) + total(本地列和),1 测对拍明文。
  M/y 按 fxp 编码,Mᵀ@y 落 2fxp,matmul_trunc 截回 fxp。

workspace 216 测全绿;nax-sql --features secure 17、nax-fl --features secure 13、nax-ml 15,零警告。
2026-10-30 16:34:09 +08:00
rong 567b3d63e5 feat(vault): 补安全比较(edaBit + BitLT + msb + 0/1 位代数),2 方端到端跑通
nax-vault 新增 compare 模块,逐位对齐参考实现 device/vault.py:
- edabit/msb_raw/bit_lt_public(内部) + 对外 bit_lt/gt/eq/not/and/or/xor/mask/select_raw
- 后缀积扫描的乘法走 Beaver;msb 的 t·borrow 也走 Beaver。

关键坑:公开常量只在 0 号加一次。nax-core::compare 的 xor_bits_into/not_bits_into
把常量加到每一方,2 方重建会翻倍(违反「公开值只能出现一次」铁律);改用自带
lin_bits(out_p = coef·b_p + (c if p==0 else 0))。

3 新测:比较算子对照明文、msb 符号、SUM(x) WHERE x<T 掩码+聚合端到端。
nax-vault 13 测,workspace 215 测全绿、零警告。
2026-10-30 16:15:39 +08:00
rong 862774dbf4 feat(fl): 安全 FedAvg 接入真实 Vault(secure feature),2 方端到端跑通
nax-fl 加可选 feature `secure`,把加权均值 ΣnᵢΔᵢ/Σnᵢ 接到 nax-vault 的密态算子:
- secure::weighted_mean_shares:mul_trunc(Beaver+截断)+add_local+reveal(公开总样本数)
  +scale_public(1/Σn)+truncate,全程无需安全比较。
- 2 方 in-process(Pipe::pair 双线程) 端到端,对照明文 weighted_mean 验证;
  cargo test -p nax-fl --features secure 13 测全绿。
- 精度:scale_public 编码 1/Σn 的舍入误差被 |ΣnΔ| 放大,容差按 (|ΣnΔ|+1)·2^-fxp。

默认构建仍不引入 nax-vault;workspace 212 测全绿、零警告。
下一步(未做):给 nax-vault 补 bit_lt/bit_eq/bit_mask,再密态化 nax-sql / binning。
2026-10-30 15:59:27 +08:00
rong f43fe16c86 feat(gap): 补齐 nax-python 参考实现的 9 块算法层,212 测全绿
按 docs/GAP_PLAN.md 的优先级逐条落地,新建 6 个 crate、nax-ml 加 2 模块:

- nax-zkp:Schnorr 身份证明 + Pedersen 承诺/表示证明,逐位 golden
- nax-fl:安全聚合责任链 + DP(RDP 记账) + 横向 FedAvg(fedavg/linear/metrics)
- nax-ml:明文 MLP(mlp) + 异构分箱 WOE/IV + 互补抑制(binning)
- nax-data:列主序 Frame + 明文统计 + mock(确定性主键/schema/DP) + CSV
- nax-sql:手写解析器 + 掩码式 WHERE + 聚合/GROUP BY/k-匿名/JOIN/HAVING
- nax-policy:出域守卫(exec/transfer/fetch) + 审计日志
- nax-runtime:dry_run / real_run(线程局部 + RAII 嵌套恢复)
- nax-cli:新增 `nax fl` 横向 FedAvg 本地演示子命令

约束:零新外部依赖(复用 nax-core::prg/hash、nax-he::bigint);确定性算子均以
纯 Python 同构参考导出 golden 逐位对照;密文/分布式外壳复用既有 Vault/Site/PSI。
cargo test --workspace 212 通过 0 失败,nax-core --no-default-features 守线通过。
2026-10-30 15:53:56 +08:00
rong 45bc626256 feat(ray): 对齐 Ray 1.0.1,nax 作为 driver 跑通跨架构 MPC
用户要求先用 1.0.1 对齐两端再把 nax MPC 跑通。闭环达成:

  x86_64  Ray node 73bfdc0a…  nax site=b  MPC 35
  armv7   Ray node 235afb22…  nax site=a  MPC 35

同一进程既是 Ray driver 又是 MPC 参与方;node_id 由 raylet 握手分配,
两端不同即「真的挂在两个节点上」的证据。35 = (1·4+1)+(2·5+1)+(3·6+1)。

1.0.1 shim(ray/nax_ray_shim_101.cc)与 2.59 的六个接口差异:
CoreWorkerProcess 无独立头、TaskExecutionCallback 只有 8 参数、
GcsClientOptions 位置参数、无 GetNodeToConnectForDriver/GetNextJobID、
无 ray::core 命名空间、GcsNodeInfo 无 node_manager_port。

两个必踩的坑:
- options.num_workers 必须显式设 1(1.0.1 有 RAY_CHECK(>0),默认 0 abort)
- gcs_options 要指向 Redis(6400)而非 gcs_server(6402),指错报
  Protocol error got "\x00",看着像协议问题其实是端口给错

同一版本两个架构的 string ABI 不同(关键):
x86_64 _raylet.so 是旧 ABI(0 个 cxx11),armv7 是新 ABI(423 个)。
搞错的表现是运行期 basic_string::_M_create 异常,错误信息不提 ABI。

编译补丁自动打在解出来的头上:client_call.h 的 vector<CompletionQueue> 换 deque
(grpc 1.51 删了移动构造)、影子 arrow/buffer.h、-Dgrpc_impl=grpc。
Python 符号 x86 缺 8 个 / armv7 缺 2 个,shim 零值占位(不执行 Python 代码)。

nax-cli 加可选 feature ray:设 NAX_RAY_RAYLET 即注册 driver,默认构建仍是
纯静态单二进制。rpath 放在 nax-cli 的 build.rs(link-arg-bins),放 nax-ray
里传不到依赖方的 bin。

新增 docs/RAY_CORE_101.md、ray/{nax_ray_shim_101.cc,build101.sh,
build101_armv7.sh,test101.py,test101_arm.c,verify101.sh}、ray/armv7/mpc_ray.sh;
nax-ray 重写为 1.0.1 签名;README 状态表更新。
2026-10-30 13:44:00 +08:00
rong 00e4fc322b test(ray): 1.0.1 与 2.59 双向不兼容;改做 x86+armv7 混合 1.0.1 集群并跑通
兼容性(双向都测了):
- 1.0.1 raylet → 2.59 head:6379 报 Protocol error, got "\x00"
  (2.59 的 6379 是 gRPC/HTTP2,1.0.1 说 RESP;Ray 2.0 移除了 Redis GCS 后端)
- 2.59 ray start --address=<1.0.1 gcs:6402> 报 RpcError
- 结论:没有中间路线,只能整集群同版本

混合架构集群(x86_64 原生 + armv7 qemu,同为 1.0.1):
- x86 raylet  ID f85f933f…(cpu=4 / nm:6403)
- armv7 raylet ID 9f3e5ae1…(cpu=2 / nm:6413)
- 两侧节点通知是同一对 ID,均 IsAlive=1;armv7 收到 x86 心跳
- GCS 分片表 4 条:2×NODE_RESOURCE + 2×CLIENT,
  CLIENT socket 分别 raylet_a.sock(armv7) / raylet_x.sock(x86)

新增 ray/armv7/{mixed_cluster.sh,compat_probe.sh,decode_gcs.py};
docs/RAY_ARMV7.md 增 §6 兼容性、§7 混合集群、§8 复现命令。
2026-10-30 12:14:26 +08:00
rong d60fcf40ca fix(docs): Ray 在 armv7 上确实能跑——更正错误结论并附实测
用户指出社区编过 ray 1.0.1 armv7l wheel。核实为真,之前的"不可能"是错的。

PyPI 侧仍是事实:135 个版本 5087 个 wheel,armv7l/armhf/armv6 共 0 个,
piwheels 全 skip(binary only),无 sdist。但社区有人编:
- PidgeyBE 1.0.1 (cp36)、PeterPirog 1.2.0 (cp38),issue #12128
- 唯一需要的改动是 setup.py 加 --linkopt=-latomic(8 字节原子要 libatomic)

实物核对(ray-1.0.1-cp36-cp36m-linux_armv7l.whl,19MB→64MB):
_raylet.so 16.4MB / raylet 13.1MB / gcs_server 10.9MB,
全部 ELF32 ARM EABI5 hard-float;_raylet.so 导出 2040 个 ray:: 符号,
CoreWorkerProcess::Initialize/GetCoreWorker/RunTaskExecutionLoop 齐全,
无 B5cxx11(同样是旧 ABI),所以 shim 那套做法在 armv7 也成立。

实测跑通完整节点(x86_64 沙箱 + qemu-arm-static 真 ELF32 执行):
redis(带 ray 模块) → gcs_server:6392 → plasma → raylet:6393,
NodeManager ID ebb89cb9…,GCS 回 IsAlive = 1。

顺带记三个非 32 位坑:redis 要手工播种 5 个键;容器 /dev/shm 64MB 要改
plasma 目录;raylet 硬性要求一个 worker_command。

代价也说清:1.0.1 是 2020-12 代码,GCS 协议与 2.x 不同,接不进现代集群;
cp36 要 python3.6;44.6MB 二进制。默认仍走 nax-orch。

新增 docs/RAY_ARMV7.md + ray/armv7/{run_node,run_gcs_only}.sh;
RAY_CORE.md §5 与状态表改正。
2026-10-30 12:07:19 +08:00
rong 4bb573d98c feat: Ray C++ 内核接进 nax Rust + armv7 真交叉编译
Ray 这条线不绕 bazel:
- wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号,
  3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize)
- ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径
- 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet,
  拿到 raylet 分配的 node_id(d190801c…),probe 通过

踩坑(都已固化进 ray/build.sh):
- raylet 只编了 Python worker pool → 注册时语言声明 PYTHON
- Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0
- fmt v9/v11 撞车 → FMT_HEADER_ONLY
- Debian absl 固定自家 optional → 影子头直通 std::optional
- _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython
- GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI

armv7 交叉编译修正(原结论有误):
- 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained
- 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制
- .cargo/config.toml 固化,无需 export 任何变量

其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
2026-10-30 11:31:02 +08:00
ssw c5b2cf69a5 feat: nax-rs P0/P1/P1.5 —— Rust 重写隐私计算框架
算子核(nax-core):零依赖 no_std
- Z_2^64 定点算术 + AVX2 矩阵乘,与 Python 参考实现 215 条逐位一致
- 加性分享 / Beaver 三元组 / 截断对 / edaBit,ChaCha20 PRG,SHA-256
- 自实现银行家舍入(f64::round_ties_even 是 std-only,no_std 编不过)

协议栈
- nax-proto:手写帧协议(12 字节头 + u64 payload),无 protobuf 依赖
- nax-vault:Beaver 乘 / 定点截断 / open / reveal
- nax-node:TCP 传输 + 密文会话 + PSI 会话
- nax-psi:X25519 ECDH-PSI(唯一外部依赖 dalek,因恒定时间约束)
- nax-tee:HAL trait(seal/unseal/attest/sign)+ Mock + TrustPlan 四级降级

验收
- 83 用例全绿;armv7 全 workspace 编译通过
- 两进程密文计算:(1·4+1)+(2·5+1)+(3·6+1) = 35
- 两进程 PSI:[1..5] ∩ [3..7] = {3,4,5}
- 单二进制 450 KB,零运行时依赖

文档
- docs/ARCHITECTURE.md:分层、Ray 定位、TEE 分工与降级梯度
- docs/ZYNQ.md:A9 性能预算(比 i5 慢 8-12x,非 50x)与部署形态
2026-10-29 11:10:54 +08:00