diff --git a/docs/IR.md b/docs/IR.md index cbd3b65..7654108 100644 --- a/docs/IR.md +++ b/docs/IR.md @@ -171,13 +171,20 @@ $ nax plan --rows 8 --features 4 --lr 0.1 `6 | mul, mul` 这一行是 2 轮而不是 4:两个乘合成一个乘批(1 轮),两个截断 合成一个截断批(1 轮)。**批量之前这里是 4 轮,迭代总计 17 轮。** -`sigmoid` 的次数决定多项式那几段 `mul` 的个数,也就决定了轮数: +`sigmoid` 的次数决定多项式求值的**深度**,也就决定了轮数: | `--sigmoid-degree` | 3 | 5 | 7(默认) | 9 | |---|---|---|---|---| +| 多项式深度 `⌈log₂ d⌉` | 2 | 3 | 3 | 4 | +| sigmoid 块往返(含 `t = z/R` 那次缩放) | 6 | 8 | 8 | 10 | | 每轮迭代往返 | 11 | 13 | **13** | 15 | -degree 5 与 7 同为 13:多出来的那一项乘落在已经有乘的阶段里,被批量吃掉了。 +两条能直接拿来选参数的结论: + +* **degree 5 与 7 轮数完全一样**:多出来的那一项乘落在已经有乘的阶段里,被批量 + 吃掉,深度都是 3 层。选 5 还是 7 只看拟合精度,与代价无关。 +* 多项式块是 `2·⌈log₂ d⌉ + 1`:每层乘 2 轮(乘批 1 + 舍入 open 1), + 收尾那次线性组合的截断 1 轮。 `--l2 0.1` 恰好 **+1 轮**(13 → 14,多一条「乘公开系数 + 截断」),测试 `l2_costs_exactly_one_more_round` 钉住。`--lr` 不改变轮数:步长是 `lr/n`, @@ -195,6 +202,28 @@ degree 5 与 7 同为 13:多出来的那一项乘落在已经有乘的阶段 > 包括 `transpose` 和偏置列拼接时的两次 `lift`。**图的规模不等于协议的规模**, > 这是这一层最直接的产出。 +### 3.1 换多项式求值顺序省不下轮数(量过了) + +很自然的想法是换个结合顺序缩短依赖链。**结论是现状已经最优** —— +`crates/nax-ml/tests/reassoc.rs` 把三条路都建了图量过: + +| 写法 | 7 次的轮数 | 为什么 | +|---|---|---| +| 现状:先算齐各次幂,再乘公开系数做一次组合,只截一次 | **7** | 3 层乘 + 1 次收尾截断 | +| Estrin `t·(c₁+c₃u) + u²·t·(c₅+c₇u)`,`u = t²` | 8 | 每组系数乘要回到本尺度才能再乘,多一次截断 | +| Horner `c₀ + t·(c₁ + u·(c₃ + u·(c₅ + c₇u)))` | 9 | 每层密文乘自带截断,串成一条链 | + +根因是 `Op::Mul` **自带一次舍入 open**(见 §2.2):一层乘就是 2 轮,而 +degree 7 的深度下界是 `⌈log₂7⌉ = 3` 层。现状把 4 次「乘公开系数 + 加」 +(本地、0 轮)全推到最后,只在最外层舍入一次。 + +> **顺带修掉一句批量之后失效的旧注释**:`emit_poly` 原来写「最后只截一次…… +> 比每项各截一次省 3 个往返」。批量之前(R13 前)确实如此,每次截断各占一轮; +> 同阶段截断合批之后,逐项截断搭的是本来就要付的那一轮,**轮数一分不多** +> (`truncating_each_term_costs_precision_not_rounds`)。「只截一次」仍然是对 +> 的写法,但理由是**精度**(一次舍入 vs 四次),不是往返数。 +> 这是第二批「批量让旧论证自动失效」的实例 —— 与 §2.2 里 `mul` 的 2 轮同源。 + ### 3.2 密态 SQL 的 WHERE + 聚合 `nax sql-plan` 把一条掩码 WHERE + 聚合的查询编一遍(不联网、不需要数据 —— @@ -400,6 +429,8 @@ SQL 侧还有第三条路径不在上表里,因为它是**换算法**而不是 | 编译期不给比较批量(执行器照旧) | `query_rounds_matches_the_measured_protocol`:计划 **90** vs 实测 45 | | 执行器逐个比较(编译期照旧) | 同一条:计划 45 vs 实测 **90** | | `Select` 当成需要截断 | 同一条:计划 **49** vs 实测 45 —— 这就是真踩到的那个 bug | +| 多项式求幂改成顺序链(`tᵏ = t^(k−1)·t`) | `tests/reassoc.rs` 四条一起失败:degree 7 的多项式 **7 → 13** 轮(深度 3 → 6) | +| 多项式改成逐项截断 | 四条**全过** —— 截断合批,轮数不变。这就是 §3.1 里那句失效注释的证据 | 批量那三行是关键:它们说明 `nax sql-plan` 报出来的 45 轮不是「自己跟自己一致」, 而是锚在真协议的收发次数上。轮数模型和实测是**两条独立的链** —— 只改模型 @@ -413,6 +444,11 @@ SQL 侧还有第三条路径不在上表里,因为它是**换算法**而不是 的计划就比实测多 5 轮。**这种偏差不会让任何数值错**,只会让报出来的数虚高 —— 所以只能靠对账测试抓。 +多项式那两行是一对**反向**守卫:改坏求幂顺序会让轮数涨(必须红),而改坏 +截断粒度不会(红反而是误报)。前者钉住「深度」,后者钉住「别拿往返数论证 +精度上的选择」。变异验证不只能确认「测试在测东西」,也能确认**哪条结论本身 +是虚的** —— 后一行就是这么找出 §3.1 那句失效注释的。 + 第三条尤其说明问题:**静态分析说「合并了」不等于运行时真的合并**, 所以 `tests/schedule.rs` 用一个记录调用序的明文档执行器把这件事钉住。 @@ -430,6 +466,8 @@ SQL 侧还有第三条路径不在上表里,因为它是**换算法**而不是 那要求把 Beaver 的收发完全摊到 IR 层。所以现在的估计仍是**上界**, 真跑只快不慢。 - **批量只在同阶段内**。跨阶段一定有数据依赖,合并就是错。这不是保守,是正确性。 +- **换多项式求值顺序不是个杠杆。** 量过了(§3.1):现状已是深度最优,Estrin 8 轮、 + Horner 9 轮都比现状的 7 轮贵。别再把它当待办。 - **没有前端。** 图用 Rust 手写(`Graph::matmul(...)`),不做语言绑定。 ## 7. 与 `nax-runtime::device` 的关系