docs(ir): 补多项式深度表与结合顺序的结论
- §3 的 degree 表加「深度 `⌈log₂ d⌉`」与「sigmoid 块往返」两行, 说明多项式块是 `2·⌈log₂ d⌉ + 1`,并点明 degree 5 与 7 同价。 - 新增 §3.1:三条求值顺序的实测对比(7 / 8 / 9),结论是这条路没有杠杆。 - §5 变异表加两行反向守卫(改坏求幂顺序必红、改坏截断粒度必须不红), §6 把「换顺序」从待办里划掉。
This commit is contained in:
1 parent
4c485bc72a
commit
0204e1fb21
1 file changed
+40
-2
+40
-2
@@ -171,13 +171,20 @@ $ nax plan --rows 8 --features 4 --lr 0.1
|
||||
`6 | mul, mul` 这一行是 2 轮而不是 4:两个乘合成一个乘批(1 轮),两个截断
|
||||
合成一个截断批(1 轮)。**批量之前这里是 4 轮,迭代总计 17 轮。**
|
||||
|
||||
`sigmoid` 的次数决定多项式那几段 `mul` 的个数,也就决定了轮数:
|
||||
`sigmoid` 的次数决定多项式求值的**深度**,也就决定了轮数:
|
||||
|
||||
| `--sigmoid-degree` | 3 | 5 | 7(默认) | 9 |
|
||||
|---|---|---|---|---|
|
||||
| 多项式深度 `⌈log₂ d⌉` | 2 | 3 | 3 | 4 |
|
||||
| sigmoid 块往返(含 `t = z/R` 那次缩放) | 6 | 8 | 8 | 10 |
|
||||
| 每轮迭代往返 | 11 | 13 | **13** | 15 |
|
||||
|
||||
degree 5 与 7 同为 13:多出来的那一项乘落在已经有乘的阶段里,被批量吃掉了。
|
||||
两条能直接拿来选参数的结论:
|
||||
|
||||
* **degree 5 与 7 轮数完全一样**:多出来的那一项乘落在已经有乘的阶段里,被批量
|
||||
吃掉,深度都是 3 层。选 5 还是 7 只看拟合精度,与代价无关。
|
||||
* 多项式块是 `2·⌈log₂ d⌉ + 1`:每层乘 2 轮(乘批 1 + 舍入 open 1),
|
||||
收尾那次线性组合的截断 1 轮。
|
||||
|
||||
`--l2 0.1` 恰好 **+1 轮**(13 → 14,多一条「乘公开系数 + 截断」),测试
|
||||
`l2_costs_exactly_one_more_round` 钉住。`--lr` 不改变轮数:步长是 `lr/n`,
|
||||
@@ -195,6 +202,28 @@ degree 5 与 7 同为 13:多出来的那一项乘落在已经有乘的阶段
|
||||
> 包括 `transpose` 和偏置列拼接时的两次 `lift`。**图的规模不等于协议的规模**,
|
||||
> 这是这一层最直接的产出。
|
||||
|
||||
### 3.1 换多项式求值顺序省不下轮数(量过了)
|
||||
|
||||
很自然的想法是换个结合顺序缩短依赖链。**结论是现状已经最优** ——
|
||||
`crates/nax-ml/tests/reassoc.rs` 把三条路都建了图量过:
|
||||
|
||||
| 写法 | 7 次的轮数 | 为什么 |
|
||||
|---|---|---|
|
||||
| 现状:先算齐各次幂,再乘公开系数做一次组合,只截一次 | **7** | 3 层乘 + 1 次收尾截断 |
|
||||
| Estrin `t·(c₁+c₃u) + u²·t·(c₅+c₇u)`,`u = t²` | 8 | 每组系数乘要回到本尺度才能再乘,多一次截断 |
|
||||
| Horner `c₀ + t·(c₁ + u·(c₃ + u·(c₅ + c₇u)))` | 9 | 每层密文乘自带截断,串成一条链 |
|
||||
|
||||
根因是 `Op::Mul` **自带一次舍入 open**(见 §2.2):一层乘就是 2 轮,而
|
||||
degree 7 的深度下界是 `⌈log₂7⌉ = 3` 层。现状把 4 次「乘公开系数 + 加」
|
||||
(本地、0 轮)全推到最后,只在最外层舍入一次。
|
||||
|
||||
> **顺带修掉一句批量之后失效的旧注释**:`emit_poly` 原来写「最后只截一次……
|
||||
> 比每项各截一次省 3 个往返」。批量之前(R13 前)确实如此,每次截断各占一轮;
|
||||
> 同阶段截断合批之后,逐项截断搭的是本来就要付的那一轮,**轮数一分不多**
|
||||
> (`truncating_each_term_costs_precision_not_rounds`)。「只截一次」仍然是对
|
||||
> 的写法,但理由是**精度**(一次舍入 vs 四次),不是往返数。
|
||||
> 这是第二批「批量让旧论证自动失效」的实例 —— 与 §2.2 里 `mul` 的 2 轮同源。
|
||||
|
||||
### 3.2 密态 SQL 的 WHERE + 聚合
|
||||
|
||||
`nax sql-plan` 把一条掩码 WHERE + 聚合的查询编一遍(不联网、不需要数据 ——
|
||||
@@ -400,6 +429,8 @@ SQL 侧还有第三条路径不在上表里,因为它是**换算法**而不是
|
||||
| 编译期不给比较批量(执行器照旧) | `query_rounds_matches_the_measured_protocol`:计划 **90** vs 实测 45 |
|
||||
| 执行器逐个比较(编译期照旧) | 同一条:计划 45 vs 实测 **90** |
|
||||
| `Select` 当成需要截断 | 同一条:计划 **49** vs 实测 45 —— 这就是真踩到的那个 bug |
|
||||
| 多项式求幂改成顺序链(`tᵏ = t^(k−1)·t`) | `tests/reassoc.rs` 四条一起失败:degree 7 的多项式 **7 → 13** 轮(深度 3 → 6) |
|
||||
| 多项式改成逐项截断 | 四条**全过** —— 截断合批,轮数不变。这就是 §3.1 里那句失效注释的证据 |
|
||||
|
||||
批量那三行是关键:它们说明 `nax sql-plan` 报出来的 45 轮不是「自己跟自己一致」,
|
||||
而是锚在真协议的收发次数上。轮数模型和实测是**两条独立的链** —— 只改模型
|
||||
@@ -413,6 +444,11 @@ SQL 侧还有第三条路径不在上表里,因为它是**换算法**而不是
|
||||
的计划就比实测多 5 轮。**这种偏差不会让任何数值错**,只会让报出来的数虚高 ——
|
||||
所以只能靠对账测试抓。
|
||||
|
||||
多项式那两行是一对**反向**守卫:改坏求幂顺序会让轮数涨(必须红),而改坏
|
||||
截断粒度不会(红反而是误报)。前者钉住「深度」,后者钉住「别拿往返数论证
|
||||
精度上的选择」。变异验证不只能确认「测试在测东西」,也能确认**哪条结论本身
|
||||
是虚的** —— 后一行就是这么找出 §3.1 那句失效注释的。
|
||||
|
||||
第三条尤其说明问题:**静态分析说「合并了」不等于运行时真的合并**,
|
||||
所以 `tests/schedule.rs` 用一个记录调用序的明文档执行器把这件事钉住。
|
||||
|
||||
@@ -430,6 +466,8 @@ SQL 侧还有第三条路径不在上表里,因为它是**换算法**而不是
|
||||
那要求把 Beaver 的收发完全摊到 IR 层。所以现在的估计仍是**上界**,
|
||||
真跑只快不慢。
|
||||
- **批量只在同阶段内**。跨阶段一定有数据依赖,合并就是错。这不是保守,是正确性。
|
||||
- **换多项式求值顺序不是个杠杆。** 量过了(§3.1):现状已是深度最优,Estrin 8 轮、
|
||||
Horner 9 轮都比现状的 7 轮贵。别再把它当待办。
|
||||
- **没有前端。** 图用 Rust 手写(`Graph::matmul(...)`),不做语言绑定。
|
||||
|
||||
## 7. 与 `nax-runtime::device` 的关系
|
||||
|
||||
Reference in new issue
Block a user