rong
|
df021dba0d
|
feat(cli): nax sql-join 真两进程 JOIN×PSI×密态 SQL
影响:能敲一个命令在真 TCP 两进程里跑 PSI → 对齐 → 密态聚合 → reveal;
`--schema` 约定全局列序解决竖向切分里两方各持不同列的拼接问题。
- `nax sql-join` 子命令(需 --features secure):真 TCP 两进程,
PSI → align_by_key → exchange_split_columns → 密态聚合。
- `--schema col1,col2,...`:全局列序,列交换后按 schema 槽位落位。
**不是 mine + theirs 简单拼接** —— 后者两方拼出的顺序不同,谓词下标静默错位。
- 两个种子:psi_seed 每方不同(同种子 = ECDH 私钥相同,隐私破坏);
vault_seed 两方一致(Beaver 物料派生)。CLI 从 (seed, site) 自动派生 psi_seed。
- `impl Transport for &mut T`:同一条 TCP 先 PSI 再 Vault 不用拆通道。
- 新增 4 测(真 TcpListener + TcpTransport)含变异检验:
schema 落位换成拼接 → 3 条红。
- 更新 README、GAP_PLAN(产品口径缺口 ①②③ 已闭环)。
|
2026-10-30 18:32:43 +08:00 |
|
rong
|
34855a3b2d
|
feat(cli): nax sql —— in-process 2 方密态 GROUP BY 演示(feature=secure)
nax-cli 加 feature secure(拉 nax-sql/secure + nax-vault),新增 `nax sql`:
单进程用两条 Pipe 起 2 方,真跑 GROUP BY + COUNT/SUM/AVG,打印结果表。
实测 region0=3/650/216.67、region1=2/1100/550,与明文一致。
默认构建不含该命令,仍零警告。
workspace 216 测全绿;nax-sql --features secure 19、nax-fl --features secure 13。
|
2026-10-30 16:40:13 +08:00 |
|
rong
|
f43fe16c86
|
feat(gap): 补齐 nax-python 参考实现的 9 块算法层,212 测全绿
按 docs/GAP_PLAN.md 的优先级逐条落地,新建 6 个 crate、nax-ml 加 2 模块:
- nax-zkp:Schnorr 身份证明 + Pedersen 承诺/表示证明,逐位 golden
- nax-fl:安全聚合责任链 + DP(RDP 记账) + 横向 FedAvg(fedavg/linear/metrics)
- nax-ml:明文 MLP(mlp) + 异构分箱 WOE/IV + 互补抑制(binning)
- nax-data:列主序 Frame + 明文统计 + mock(确定性主键/schema/DP) + CSV
- nax-sql:手写解析器 + 掩码式 WHERE + 聚合/GROUP BY/k-匿名/JOIN/HAVING
- nax-policy:出域守卫(exec/transfer/fetch) + 审计日志
- nax-runtime:dry_run / real_run(线程局部 + RAII 嵌套恢复)
- nax-cli:新增 `nax fl` 横向 FedAvg 本地演示子命令
约束:零新外部依赖(复用 nax-core::prg/hash、nax-he::bigint);确定性算子均以
纯 Python 同构参考导出 golden 逐位对照;密文/分布式外壳复用既有 Vault/Site/PSI。
cargo test --workspace 212 通过 0 失败,nax-core --no-default-features 守线通过。
|
2026-10-30 15:53:56 +08:00 |
|
rong
|
45bc626256
|
feat(ray): 对齐 Ray 1.0.1,nax 作为 driver 跑通跨架构 MPC
用户要求先用 1.0.1 对齐两端再把 nax MPC 跑通。闭环达成:
x86_64 Ray node 73bfdc0a… nax site=b MPC 35
armv7 Ray node 235afb22… nax site=a MPC 35
同一进程既是 Ray driver 又是 MPC 参与方;node_id 由 raylet 握手分配,
两端不同即「真的挂在两个节点上」的证据。35 = (1·4+1)+(2·5+1)+(3·6+1)。
1.0.1 shim(ray/nax_ray_shim_101.cc)与 2.59 的六个接口差异:
CoreWorkerProcess 无独立头、TaskExecutionCallback 只有 8 参数、
GcsClientOptions 位置参数、无 GetNodeToConnectForDriver/GetNextJobID、
无 ray::core 命名空间、GcsNodeInfo 无 node_manager_port。
两个必踩的坑:
- options.num_workers 必须显式设 1(1.0.1 有 RAY_CHECK(>0),默认 0 abort)
- gcs_options 要指向 Redis(6400)而非 gcs_server(6402),指错报
Protocol error got "\x00",看着像协议问题其实是端口给错
同一版本两个架构的 string ABI 不同(关键):
x86_64 _raylet.so 是旧 ABI(0 个 cxx11),armv7 是新 ABI(423 个)。
搞错的表现是运行期 basic_string::_M_create 异常,错误信息不提 ABI。
编译补丁自动打在解出来的头上:client_call.h 的 vector<CompletionQueue> 换 deque
(grpc 1.51 删了移动构造)、影子 arrow/buffer.h、-Dgrpc_impl=grpc。
Python 符号 x86 缺 8 个 / armv7 缺 2 个,shim 零值占位(不执行 Python 代码)。
nax-cli 加可选 feature ray:设 NAX_RAY_RAYLET 即注册 driver,默认构建仍是
纯静态单二进制。rpath 放在 nax-cli 的 build.rs(link-arg-bins),放 nax-ray
里传不到依赖方的 bin。
新增 docs/RAY_CORE_101.md、ray/{nax_ray_shim_101.cc,build101.sh,
build101_armv7.sh,test101.py,test101_arm.c,verify101.sh}、ray/armv7/mpc_ray.sh;
nax-ray 重写为 1.0.1 签名;README 状态表更新。
|
2026-10-30 13:44:00 +08:00 |
|
rong
|
4bb573d98c
|
feat: Ray C++ 内核接进 nax Rust + armv7 真交叉编译
Ray 这条线不绕 bazel:
- wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号,
3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize)
- ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径
- 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet,
拿到 raylet 分配的 node_id(d190801c…),probe 通过
踩坑(都已固化进 ray/build.sh):
- raylet 只编了 Python worker pool → 注册时语言声明 PYTHON
- Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0
- fmt v9/v11 撞车 → FMT_HEADER_ONLY
- Debian absl 固定自家 optional → 影子头直通 std::optional
- _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython
- GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI
armv7 交叉编译修正(原结论有误):
- 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained
- 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制
- .cargo/config.toml 固化,无需 export 任何变量
其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
|
2026-10-30 11:31:02 +08:00 |
|
rong
|
2e82c3e630
|
feat: P1.2 n 方网状 + P5 Ray 编排 —— 3/4 方真实 TCP 跑通
P1.2(n>2 分片)
- nax-vault::Transport 从单连接升为按 party 索引的 send_to/recv_from,
send/recv 保留为两方便捷路径(PSI 与旧测试不动)
- Vault::open 改为广播:向 n-1 方各发一次自己的分片再统一收,
通信量 O(n^2);inbox 按来源 party 分桶(混在一起会把两方分片加错对象)
- send_share / 新增 recv_share_from 按 party 定向,recv_share 在 n>2 时
显式报错而非猜一个对端
- nax-node 新增 TcpMesh:n 方全网状(每对一条直连),建连规则「小编号主动
connect 大编号」,accept 方靠 4 字节 party 下标握手认人
- run_session 改链式乘 z = x0·x1·…·x(n-1),每轮 1 次 Beaver 乘 + 1 次截断
- CLI 放开两方限制,新增 --peers name=addr,...(与 --listen 搭配)
为什么必须全网状而不是星型:Shares 帧里是真实输入分片,星型让 head 转发
等于把一方输入读给中转节点看。n 是跨机构参与方个数,n(n-1)/2 条直连不是瓶颈。
P5(Ray 编排)
- deploy/ray/nax_cluster.py:两阶段提交(actor 先报本机 IP,driver 拼出
peers 表再起进程),actor 按 {site}_node 资源标签落机器
- 三种后端:--dry-run 打印计划 / --local 本机并行(不需 Ray)/ 默认连集群
- launch.sh 改为透传;README 补两阶段时序、排序为什么是协议要求
验证:三方 2·3·5+1=31、四方浮点(1.5·2·0.5·4 与 2.25·4·(-1)·0.125)
三方/四方输出一致;整数域四方 3·5·7·2+1=211 精确。
cargo test --workspace 134 全绿(vault 10 / node 5),no_std 与 armv7 交叉
编译守线通过。Ray 集群模式未在真实多机验证,已在 README 标注。
|
2026-10-30 08:54:14 +08:00 |
|
ssw
|
7b373fb0d8
|
feat: P2 纵向联邦逻辑回归(全程密文训练)
nax-core
- matmul_triple_into + Dealer::matmul_triple:矩阵 Beaver 三元组
- extern crate alloc(matmul_triple 需要动态临时缓冲)
nax-vault
- matmul_trunc:矩阵 Beaver 乘 + 定点截断
- scale_public / add_local / sub_local:本地辅助运算
nax-ml(新 crate)
- VerticalLR:SGD 密文训练(特征/标签/梯度/权重全密文)
- sigmoid_poly:奇多项式逼近,系数与参考实现 SIGMOID_FITS 逐位一致
- plaintext_lr:明文对照实现
- 4 单测含端到端密文 vs 明文相关系数 > 0.95
nax-node / nax-cli
- run_lr_session + `nax lr` 子命令,二进制 499 KB
验收
- 87 用例全绿,no_std + armv7 通过
- 两进程密文 LR:标准化数据两侧输出一致 w=[0.000008, 0, 0.659542]
|
2026-10-29 11:41:13 +08:00 |
|
ssw
|
c5b2cf69a5
|
feat: nax-rs P0/P1/P1.5 —— Rust 重写隐私计算框架
算子核(nax-core):零依赖 no_std
- Z_2^64 定点算术 + AVX2 矩阵乘,与 Python 参考实现 215 条逐位一致
- 加性分享 / Beaver 三元组 / 截断对 / edaBit,ChaCha20 PRG,SHA-256
- 自实现银行家舍入(f64::round_ties_even 是 std-only,no_std 编不过)
协议栈
- nax-proto:手写帧协议(12 字节头 + u64 payload),无 protobuf 依赖
- nax-vault:Beaver 乘 / 定点截断 / open / reveal
- nax-node:TCP 传输 + 密文会话 + PSI 会话
- nax-psi:X25519 ECDH-PSI(唯一外部依赖 dalek,因恒定时间约束)
- nax-tee:HAL trait(seal/unseal/attest/sign)+ Mock + TrustPlan 四级降级
验收
- 83 用例全绿;armv7 全 workspace 编译通过
- 两进程密文计算:(1·4+1)+(2·5+1)+(3·6+1) = 35
- 两进程 PSI:[1..5] ∩ [3..7] = {3,4,5}
- 单二进制 450 KB,零运行时依赖
文档
- docs/ARCHITECTURE.md:分层、Ray 定位、TEE 分工与降级梯度
- docs/ZYNQ.md:A9 性能预算(比 i5 慢 8-12x,非 50x)与部署形态
|
2026-10-29 11:10:54 +08:00 |
|