rong
|
903f14efb2
|
feat(sql): GROUP BY 走整数码前缀和,8 组 162 → 92 轮
影响:`secure_group_by` 新增 `GroupMode::IntegerCode` 路径,每组相等判断
(`bit_eq` = 两次 `bit_lt`,18 轮/组、串行累加)换成 `N+1` 个单调前缀
「码 ≤ g」,`COUNT` 取前缀位之和、`SUM` 取 `mul_raw(前缀位, 列)`,所有 `open`
落在同一阶段合成一次,**组内值在明文侧差分**,没有第二段图。默认仍是
`GroupMode::Exact`,语义不变。
实测(`nax sql-plan --rows 8 --aggs count,sum`):2 组 42→32、4 组 82→52、
8 组 162→92;每组建图成本约 20 → 11 轮。带 WHERE 的增量是「一次比较 + 一次
搬家乘」10~11 轮。
新增:
- `secure_graph::build_prefix_stage` —— 谓词 → 码搬家 → N+1 个前缀 → 累积和
- `secure_group_by_coded` / `secure_group_by_pred_coded`,`query_rounds` 收
`GroupMode`,`nax sql-plan --group-mode coded`、`nax sql --group-mode coded`
- `crates/nax-sql/tests/coded.rs` 12 条:与 Exact 对拍(`COUNT`/`SUM` 逐位、
`AVG` 相对 1e-4)、复合谓词、越界/非整数码契约、空组、k-匿名、单组、轮数钉值
三条契约(写进 `docs/IR.md` §3.3,不隐藏代价):分组码必须是整数(非整数落
到上方最近一组);不支持 MIN/MAX(前缀和还原不出极值,直接报错不降级);
越界码丢弃(与逐组比较一致,两端边界 `−0.5` / `N−0.5` 就是为它留的)。
WHERE 未命中行不逐组乘 `base`(`2N` 轮),而是把码搬到 `−1000·2^fxp` 让它在
差分中自动抵消。**第一版把 `−1000` 当 raw 用**:分组码列是 fxp 编码,
`0.5` 编出来是 `131072`,于是 `−1000` 比每个边界都小,全部行被算进每个前缀
(行数变全表、SUM 变全表之和且不报错)。改为按 `2^fxp` 缩放,`fxp > 40` 拒绝。
变异验证 4 条全部按预期变红后还原:停放值不缩放(2 红)、边界少 `−0.5`
(只有非整数码契约那条红,整数码下 `<g` 与 `<g+0.5` 等价)、累积和忘记差分
(7 红)。
全量 462 用例通过 / 0 失败,`-Dwarnings` 零告警,`nax-core` no_std 守线过。
|
2026-11-01 19:49:16 +08:00 |
|
rong
|
56e974c580
|
feat(ir): 协议调用序列改由编译器生成(nax-ir + nax-ml/nax-sql 迁移)
影响:交互轮数第一次能「问出来」而不是靠人数代码 —— `nax plan` 报纵向 LR 一次
迭代 17 轮,`nax sql-plan` 报掩码聚合 115 轮,都不需要数据、不联网。同时
「漏一次 truncate 差 2^fxp 倍且不报错」这类问题从靠 review 变成建图期报错。
- 新增 `nax-ir`(零新增外部依赖):`Vis` 挂在值上而非环境上;公开值进密态
表达式强制插 `Lift` 节点(只有 0 号带明文),任何一方都不会把公开值加两次
- 定点尺度 `Node.scale` 也挂在值上:乘 fxp 编码的公开系数后必须 `trunc` 回基准。
`Op::Scale`(乘积 k+1,要截断)与 `Op::ScaleInt`(裸 u64 乘,0 轮)分开
- 轮次规划按 `base = max(end(前驱))` 分阶段、同阶段 `open` 合成一次往返;
轮数 = Σcost(交互算子) − Σ(每阶段 open 个数 − 1),与执行器逐条对齐
(不能用 `max(end)`,同阶段里 scale 与 open 是串行的)
- `nax-vault::open_batch` 是地基:Beaver 的 d/e 互相独立,先全发再全收,
`mul`/`matmul_trunc` 从 2 个往返降到 1
- `nax-ml`:`VerticalLR::build_epoch` 建图一次跑 `epochs` 遍(循环体外提),
求幂刻意沿用与手写版相同的递归树,保证逐位一致
- `nax-sql::secure`:掩码 WHERE + 聚合改成两段图 —— `AVG` 的除数要执行后才知道,
所以第一段拿「掩码后列 + 命中数」,第二段拿其余聚合
一并带上上一轮的 n 方改动(此前未提交):`TrustPlan` 从纸面枚举变成计算函数
(L2 明文合并要求**每一方** attest 通过)、纵向 LR 改按列块清单 `ColBlock`
(与 `sites` 位置对齐,不是集合相等)、PSI 抗恶意三道硬化(低阶点黑名单 /
重复点检测 / 会话绑定 domain)。
验证:全量 450 用例通过(+50),`-Dwarnings` 零告警,`nax-core` no_std 守线过。
迁移对拍与手写版:帧序列逐帧相同、SQL 的 COUNT/SUM/MIN/MAX 逐位相同、AVG ≤1e-4、
轮数不增。变异验证 7 条全部按预期失败 —— 其中把 `CMP_ROUNDS` 9 改成 8 时,
计划轮数与实测突发数两条互相独立的测试同时变红。
未做:不做协议选择(`mul` 永远 Beaver)、不做恶意安全、跨算子类别不共享尾部轮,
因此报出的轮数是**上界**;`nax-psi::strict` 只是硬化,不是 OPRF-PSI。
|
2026-11-01 19:01:16 +08:00 |
|
rong
|
37aa81e394
|
feat(psi): n 方隐私求交(环协议)+ 分块流水修复大集合死锁
影响:PSI 此前硬卡在两方,导致纵向 LR / SQL JOIN 无法扩展。现在 3 方及以上
可以直接跑,n=2 退化为原两轮交换、开销逐项不变(没有第二条代码路径)。
- nax-psi 新增 match_across:n 方求交(逐个 match_points 取 AND)。不能拿两两
求交拼 —— A={1,2} B={2,3} C={3,1} 两两都非空但三方交集为空,有专门的测试钉住
- run_psi_session 改成环协议:集合沿环走 n-1 跳、每跳叠一把密钥,最后汇总广播;
新增 PsiConfig.my_idx(必须与 transport 的 party 编号一致)
- pipeline_points:分块 + 交替收发。整份 3.2 MB 单帧会写满 socket 缓冲(macOS
默认 ~128 KB)造成多方互相阻塞 —— 实测 10 万条两方 256 s 后 Broken pipe;
分块后在途数据恒定 32 KB,10 万条两方 34 s、三方 90 s
- nax-cli 的 psi 支持 --peers 建网状连接(与 node 一致);种子一律从
(主种子, site) 派生,否则各方共用默认 --seed 会撞 ECDH 私钥(交集仍对,隐私全失)
验证:三方真 TCP 跑出正确交集;变异验证两条 —— 把 AND 退化成"只比第一个对端"、
把环上"谁持有哪份集合"写错,对应测试都立刻失败。
未做:恶意方防护(需 OPRF-based PSI);纵向 LR / SQL JOIN 仍是两方(它们是
两方协议,不是被 PSI 卡住)。
|
2026-11-01 14:29:53 +08:00 |
|
rong
|
d79048e690
|
test(n-party): n>2 从"代码看着对"变成"有测试守着",列交换扩到 n 方
影响:nax 的 n 方能力此前只有 open 和整数乘有测试,截断/矩阵乘/比较一律
只跑过两方 —— 而这三处恰好都碰公开值,两方写错只是数值翻倍,三方错成三倍,
代码一模一样、不报错。另外竖向列交换原语硬卡在两方。
- nax-vault 补 4 条三方测试:truncate(cs 只落 0 号)、mul_trunc、matmul_trunc、bit_lt;
截断那条做过变异验证(把 `if my_idx == 0` 改成 `if true`,测试立刻失败)
- nax-sql 新增 exchange_split_columns_multi:n 方竖向列交换,两方版改为复用(去重收发逻辑)
- docs/N_PARTY.md:能力矩阵,每条"支持 n 方"都指到测试,每条"不支持"写明是协议限制还是没做
- nax-node 的 run_session 文档补一句 `+1` 在求和之内(结果 = Σ∏ + 元素个数),
避免把正确结果当成"公开值加多了"去改代码
未做(协议限制,非本轮):n 方 PSI。两两求交 ≠ n 方求交,需环协议(O(n) 轮)
并新增中间集合帧;落地前依赖行对齐的纵向 LR / SQL JOIN 只能两方,已在启动时拒绝。
|
2026-11-01 12:49:27 +08:00 |
|
rong
|
b3baeb8690
|
feat(sql): 密态 WHERE 支持列 vs 列
影响:`WHERE balance > spend` 这类跨列谓词现在能密态求值;
右值是密文分片不过 `vault.constant`(不泄露阈值),开销与列 vs 常量相同。
- `Pred::CmpCol { col, op, rhs_col }`:列与列比较,`mask_for` 两侧本就吃分片。
- `secure_group_by_pred`:吃任意 Pred(含 CmpCol)的 GROUP BY 入口,
下标约定与 `secure_where_aggregate_pred` 一致;旧 `secure_group_by` 不动。
- 列与自身比较拒收(`x > x` 恒假,多半是写错了)。
- 新增 3 测含变异检验:右值偷换成公开常量 0 → 2 条红。
|
2026-10-30 18:32:17 +08:00 |
|
rong
|
c97da57c5f
|
feat(sql): JOIN × PSI 竖直接入密态 SQL
影响:两方各持半张表的纵向切分,现在能 PSI 求交后在密态下跑 join 后的
COUNT/SUM/GROUP BY,结果与明文引擎的等价 JOIN 逐值一致;`nax-sql` 库依赖闭包不变。
- `secure::exchange_split_columns`:各方向对端送出本方每列一片,再收齐对端每列一片;
先全发再全收(发一个收一个在缓冲撑满时会双向死锁),入口校验各列行数一致。
- `secure::secure_aggregate_all`:无 WHERE 聚合,掩码取 `vault.bit_one`,不新增公开常量。
- 新增 `tests/join_psi.rs`(6 测):PSI → 按键字节序排序对齐 → 密态聚合,对拍明文
`Engine` 的 `bank JOIN shop ON bank.id = shop.uid`;覆盖 COUNT/SUM、跨方复合 WHERE、
GROUP BY、对齐不变式、重复键拒绝、空交集拒绝。
- PSI 与行对齐留在调用方:`nax-node`/`nax-psi` 只作 dev-dependency,测试目标挂
`required-features = ["secure"]`,默认构建不拉密码学依赖(workspace 218 测,
`-p nax-sql --features secure` 27 测)。
- 明确不做一对多 join:PSI 去重只给一个下标,纵向对齐表达不了笛卡尔展开,本方键重复即报错。
|
2026-10-30 17:32:24 +08:00 |
|
rong
|
1e84d681c2
|
feat(sql): 密态 IN / NOT IN(脱糖 OR 等式)
Pred 加 In{col, values, negated}:逐个 bit_eq 后 bit_or,negated 再 bit_not。
对拍明文引擎的 x IN (100,250,500) 与 NOT IN。
nax-sql --features secure 21 测,workspace 218 全绿、零警告。
|
2026-10-30 16:51:32 +08:00 |
|
rong
|
633d9b548b
|
feat(sql): 复合谓词密态求值(AND/OR/NOT 组合比较)
secure 新增 Pred(Cmp/And/Or/Not) + secure_predicate_mask 递归求掩码,
secure_where_aggregate_pred 在掩码下聚合。对齐明文引擎的任意布尔表达式:
x<400 AND g=0、x<400 OR g=1、NOT x<400 三例均对拍通过。
nax-sql --features secure 20 测,workspace 217 全绿、零警告。
|
2026-10-30 16:47:16 +08:00 |
|
rong
|
86c871fac3
|
feat(sql): 密态 GROUP BY 的 k-匿名抑制(小组整行置 NaN)
secure_group_by 加 min_group_size 参数:命中数低于阈值的分组整行置 NaN,
与明文引擎的 k-匿名语义一致(防止「某个组只有一行 ⇒ 聚合值即原始值」)。
aggregate_with_mask 改回传 (count, values) 供抑制判断。
新增 k-匿名测试。nax-sql --features secure 19 测,workspace 216 全绿。
|
2026-10-30 16:38:03 +08:00 |
|
rong
|
33c25533cf
|
feat(sql): 密态 GROUP BY(bit_eq 逐公开码掩码)+ constant 公开常量分片
- nax-vault::constant:公开常数 fxp 分片(party0 持编码值,其余 0),对应参考
vault.constant;密态 SQL 的阈值/组码改走它,调用方无需 split。
- nax-sql secure 重构:抽出 aggregate_with_mask;secure_where_aggregate 改吃
plaintext threshold;新增 secure_group_by(逐 bit_eq(gcol,c) 与 WHERE 掩码 AND)。
- 新增 GROUP BY 对拍明文 Engine 测试。
nax-sql --features secure 18 测,workspace 216 测全绿、零警告。
|
2026-10-30 16:36:31 +08:00 |
|
rong
|
a87445d656
|
feat(sql/ml): 掩码 WHERE+聚合 与 分箱 Mᵀ@y 接到密态算子,2 方端到端跑通
- nax-sql 加可选 feature secure:secure_where_aggregate 实现
SELECT COUNT/SUM/AVG/MIN/MAX ... WHERE col <op> T。
掩码 bit_lt/gt/eq → bit_mask;COUNT/SUM 本地线性;AVG scale_public+truncate;
MIN/MAX 用 (1-mask)·(±SENTINEL) 本地补位后两两 bit_lt+select_raw 归约(不靠 sentinel 分片)。
2 测对拍明文 Engine(含空命中 NaN)。
- nax-ml 新增 binning_secure:bad = Mᵀ·y(matmul_trunc) + total(本地列和),1 测对拍明文。
M/y 按 fxp 编码,Mᵀ@y 落 2fxp,matmul_trunc 截回 fxp。
workspace 216 测全绿;nax-sql --features secure 17、nax-fl --features secure 13、nax-ml 15,零警告。
|
2026-10-30 16:34:09 +08:00 |
|
rong
|
f43fe16c86
|
feat(gap): 补齐 nax-python 参考实现的 9 块算法层,212 测全绿
按 docs/GAP_PLAN.md 的优先级逐条落地,新建 6 个 crate、nax-ml 加 2 模块:
- nax-zkp:Schnorr 身份证明 + Pedersen 承诺/表示证明,逐位 golden
- nax-fl:安全聚合责任链 + DP(RDP 记账) + 横向 FedAvg(fedavg/linear/metrics)
- nax-ml:明文 MLP(mlp) + 异构分箱 WOE/IV + 互补抑制(binning)
- nax-data:列主序 Frame + 明文统计 + mock(确定性主键/schema/DP) + CSV
- nax-sql:手写解析器 + 掩码式 WHERE + 聚合/GROUP BY/k-匿名/JOIN/HAVING
- nax-policy:出域守卫(exec/transfer/fetch) + 审计日志
- nax-runtime:dry_run / real_run(线程局部 + RAII 嵌套恢复)
- nax-cli:新增 `nax fl` 横向 FedAvg 本地演示子命令
约束:零新外部依赖(复用 nax-core::prg/hash、nax-he::bigint);确定性算子均以
纯 Python 同构参考导出 golden 逐位对照;密文/分布式外壳复用既有 Vault/Site/PSI。
cargo test --workspace 212 通过 0 失败,nax-core --no-default-features 守线通过。
|
2026-10-30 15:53:56 +08:00 |
|