admin
|
0e968ed5ce
|
feat(chain): GmSSL 真 TLCP 握手与 TA 密钥分级,主门禁扩到 16 条
- 纠正国密链提交方法为自有 sendTransaction(4 参),eth_sendRawTransaction 在国密链禁用
- 新增 GmSSL 3.2.0 环回真 TLCP 握手自测:双证书、国密套件、应用数据往返、负向期望拒绝特征
- 落地 build_optee.sh TA 签名密钥三级硬拒绝,缺 SDK 时判据仍可被执行到
- 新增 FISCO 真机对拍契约:缺环境显式 SKIPPED 并逐项列出,环境齐备只报 NEEDS_IMPL
- 同步 catalog 守卫 / 集成文档 / CLAUDE.md,主门禁 15 条改为 16 条
|
2026-11-07 18:23:46 +08:00 |
|
admin
|
851e899b3c
|
feat(chain): 国密治理形状与 guest 产物边界,主门禁扩到 15 条
- mpc-chain 新增 sm2/tlcp/policy:OpenSSL 软件 SM2 真签名、distid 三重对齐、
TLCP 双证书 fail-closed 准入、硬规则进合约与 OPA 业务策略分域
- signer 增加安全档与 SignerPolicy(无默认值);生产策略一律拒软件签名器
- mpc chain 扩到 keygen/sign/align/tlcp/governance;flush --transport 必填
- mpc-cli 按 control-plane feature + target 切分:musl guest 静态产物不再链接
OpenSSL/axum/reqwest,交叉编译必须 --no-default-features,编译期守卫硬拒绝
- 新增 tools/check-guest-artifact.py(依赖树/守卫/ELF 三层探针)与
selftest-chain-gm.py;第 4 条接产物探针,第 14 条 47 判据、第 15 条 33 判据
- catalog 守卫与 CLAUDE.md / README / ZYNQ / 真机 README / 方案文档同步
完整 ./tools/ci.sh 15 条全绿。诚实边界不变:flush 仍发规范字节、不是已签名交易,
RLP / Tongsuo TLCP FFI / 硬件模组 provider / 真机建链未落地。
|
2026-11-07 17:42:24 +08:00 |
|
admin
|
b15f0268bf
|
feat(chain): 阶段 2 链上层形状层,新增主门禁第 14 条
- 新增 crates/mpc-chain:链上对象规范编码、SM3 摘要、FISCO BCOS 3.x eth_* JSON-RPC 客户端、幂等 outbox、成员准入、Signer 形状层
- 新增 mpc chain digest|submit|flush|status|admit 命令族
- 新增 tools/selftest-chain.py 桩自测(44 判据),主门禁 13 → 14 条
- 同步 catalog 守卫、domain 域分隔、CLAUDE.md、INTEGRATION_ANALYSIS.md
边界:ModuleSigner / RLP / 国密模组 provider 未落地;flush 发的是规范字节而非已签名交易,未配置签名器即拒绝,本期不宣称能上链。
|
2026-11-07 16:48:08 +08:00 |
|
admin
|
362db1d7a8
|
feat(tee): 两层控制面、宿主控制面独立 crate 与会话级链路层
- 拆出 crates/mpc-hostd(axum/tokio/reqwest),mpc-tee 保持零 crates.io 依赖,保住 OP-TEE SDK 离线交叉编译
- mpc-hostd 提供 e2b 兼容 API + TeeRuntime + /attestation 四布尔分开报;站点侧 session_admit 产 TeeRequirement
- 新增 mpc link plan|verdict|credential:EasyTier 三档中继策略,凭据由管理节点签发,框架不生成
- OP-TEE 补跨设备/跨重启验证编排与判据逻辑自测,真机验收延后
- 主门禁 11→13 条:新增 hostd 端到端(33 判据)与链路层桩自测(53 判据)
- 同步 catalog 守卫测试、CLAUDE.md、INTEGRATION_ANALYSIS.md 与 OPTEE_VERIF_PLAN.md
|
2026-11-07 16:10:42 +08:00 |
|
admin
|
e839a972c0
|
feat(tee): 接入 AMD SEV-SNP 芯片验签,双平台「先验证明才给密钥」全部真机跑通
## 改了什么
- **SNP 芯片签名验签闭环**:新增 `snp_collect.rs`(SNP_GET_EXT_REPORT ioctl
+ GHCB 切分)、`snp-verify-attestation.sh`(VCEK 走 AMD KDS)、
`selftest-snp-verify.py`(正 1 + 负 8),进主闸门第 10 条。
- **框架侧补 `mpc.tee.platform`**:`tee plan` 现在告诉 guest 用哪个平台采证明。
- **KBS 补独立 `--pin`**:`MPC_KBS_PIN` 与 `--measurement` 解耦,缺省回落,
既有部署行为不变 —— 这是「度量 pin 那一关」唯一能被单独测到的姿势。
- **guest stdout 修复**:init 开头 mknod 真 `/dev/console` + `exec > ... 2>&1`;
`run-guest.py` 加 `MPC_TEE_SERIAL_LOG` 换 chardev file 落盘。
- **负向矩阵**:新增 `snp-attest-negative.sh`(6 条),判据全部收紧到该关独有文案。
- **KBS 就绪判据**:`kbs-net.sh` 从「进程存活」改成「端口进 LISTEN」。
- **文档**:`TEE_DIRECT_LAUNCH.md` 新增 SNP 整节 + bug 1~9;
`TEE_OCI_PATH.md` 补 SNP 侧与负向判据唯一性;新增 `INTEGRATION_ANALYSIS.md`
与 `OPTEE_VERIF_PLAN.md`;`ci.sh` 加 no_std 双守、TA UUID 对拍、SNP 自测。
## 什么影响
- 真机(海光 CSV `192.168.1.102` + AMD SNP `192.168.1.7`)**双向跑通**,
两端用同一份 Rust 判定代码。
- SNP 正向 e2e 7/7、负向 6/6 全部真拒在各自关卡;`tools/ci.sh` 十条全绿。
- 三处真 bug 已修:guest stdout 全丢(`/dev/console` 是普通文件 +
`-nographic`/`-serial stdio` 抢 stdio)、`MPC_KBS_PIN` 接口缺口、
负向判据不唯一(兜底分支导致假绿)。
- 边界不变:`attest-mkbundle` 仍是合成件,过不了芯片验签(仅自测用)。
|
2026-11-07 12:47:22 +08:00 |
|
admin
|
0326311888
|
feat(tee): KBS 从 stub 变为真判定,打通「先验证明,才给密钥」闭环
密钥下发从「问就给」改成「先出证明,才给密钥」:
- 新增 crates/mpc-tee/src/bundle.rs:唯一的证明判定实现,判定五关
全部 fail-closed(平台一致+布局解析 / 重算绑定值挡重放 / 度量 pin /
TCB 门槛 / 芯片签名)。验证方与放行方共用同一份,口径不分叉。
- 新增 crates/mpc-tee/src/collect.rs:guest 内从芯片驱动采真报告
(CSV ioctl 0xC0104401;SNP 证书链需单独 ioctl,显式 Unsupported)。
- 新增 crates/mpc-core/src/sm3.rs:CSV launch 度量与挑战哈希用。
- deploy/tee/kbs/serve.py:新增 /kbs/v0/attestation,判定调
`mpc tee attest-check`(Rust),Python 只搬字节看退出码。
严格模式默认开,缺判定器或缺验签器一律拒发。
- guest/init.sh:去掉 offline-demo 兜底,改「采集证明 → POST 换 token
→ 凭 token 取钥」。
- 新增 CLI 子命令 tee attest-collect/attest-check/attest-mkbundle/attest-post。
修掉多个真 bug:
- GNU coreutils `tee` 把非选项参数当文件名创建且成功退出,判定退化成
「不报错就算过」就是假绿 → KBS 加五道闸(判定器校验 / 独立工作目录 /
stdin=DEVNULL / 超时上限 / 输出必须是含 ok+verdict 的判定结论)。
- Rust TcpStream::connect 无超时,对端不可达时挂 ~130s,guest 表现为
卡死 → 新增 connect_with_timeout(10s)。
- guest 显式等 carrier 就绪(LOWER_UP),消除 attest-post 偶发超时。
- tap 名两处各记一份导致「配置全对但连不上」→ 统一兜底。
- iproute2 接口名上限 15 字符,超长报误导性的 policy validation → 预检。
- argparse 吞「以 - 开头的值」→ 证书链目录改用独立选项 --chain-dir。
- 跨目标编译盲区:#[cfg(target_os="linux")] 代码在宿主目标被整段排除,
宿主零告警但交叉编译出告警 → CI 新增跨目标零告警闸门。
- lint-shell-vars.py 只扫 deploy/tee,对 tools/ci.sh 自身无感 → 扩到
tools;并跳过纯注释行(shell 不解析注释,对教学示例持续误报会让人
习惯性忽略闸门输出 = 假绿的温床)。
真机(海光 CSV 192.168.1.102):正向 7/7 全绿,负向 6/6 全部 fail-closed。
CI 扩到九条,全部通过。
|
2026-11-07 08:46:24 +08:00 |
|
admin
|
5c68564b6c
|
feat(tee): 打通 OCI 镜像流水线与在线 KBC 密钥下发,补齐运行期完整性链
交付两件此前欠着的事,并在真机(192.168.1.102 海光 CSV)端到端跑通:
1. OCI 镜像流水线 build → verify → pack 三步在真机跑通,manifest digest
作 SessionBinding.code_measurement 钉进会话绑定值。
2. PSK / seed / root-key 不再内置 initrd,改由 guest 内 mpc tee kbs-get
按会话从宿主 KBS 取回(key_source=kbs)。
★ 修掉两个框架级缺陷(都是「校验通过 ≠ 校验的是对的东西」):
- guest 侧活文件链:旧 layers.sha256 只覆盖 blobs/ 下的惰性证据副本,
真正执行的 /init、/mpc 不在范围内 —— 真机改 /mpc 一个字节照样打印
oci_layers: verified。现改为从 cmdline 的 PIN 逐跳推导到活文件逐个校验,
失败时点名具体文件。
- 流水线侧自证:pack 打完 initrd 必须回读核对内嵌 digest / 清单 /
manifest.json,不符即失败。缺前者不能保证「送进 guest 的是这个镜像」,
缺后者不能保证「guest 跑的是这个镜像里的活内容」,两者缺一不可。
新增真机可复现资产(deploy/tee/):
- oci/oci-image.py:rootfs_state_from_layers() 直接从各层 tar 字节算活
rootfs 状态,不解包(免 mknod 权限,build 与 pack 共用同一函数防分叉);
build 扫 base rootfs 里的密钥物料,命中即退出码 3。
- oci/selftest-chain.py:完整性链本地回归,含「旧口径对 /mpc 篡改完全
无感」的反向断言。
- real-machine/kbc-e2e.sh / kbc-negative.sh / kbs-net.sh:正向全链路与
5 条 fail-closed 负向矩阵、tap + bridge 出网链路。
- real-machine/tamper-initrd.py:精确解析 newc cpio 改目标文件数据区。
- real-machine/guest-syntax-check.sh:解包 initrd 后用解出来的 musl loader
跑解出来的 busybox,完全模拟 guest 内 ash 解析环境。
- real-machine/lint-shell-vars.py:shell 引号与变量名三类陷阱闸门。
框架侧:PlatformProfile.kbc 拆成 allowed_kbc(支持哪些)与 kbc(缺省);
kbs_endpoint 改由节点描述给出,现场部署事实与代码分离。
真机实测:正向 KBC_E2E_OK(key_source=kbs),负向 5/5 全 fail-closed。
闸门扩到六条:ci.sh 新增 shell 引号/变量名卫生与 OCI 完整性链自测。
|
2026-11-07 02:07:28 +08:00 |
|
admin
|
14eb9065de
|
feat(tee): 接入海光 CSV 真实芯片验签,打通报告捕获到验签的端到端闭环
海光 CSV 报告的 user_data / mnonce / measure / pek_cert / sn 被 anonce
按 u32 数组逐个异或混淆,此前框架按明文比对,永远对不上。现按厂商 SDK
(csv_sdk/csv_status.c)规则还原(deobfuscate_csv_field),SNP 走明文分支。
另修两个真实 CLI bug:
- 全局 --report text|json 与 `tee verify --report <文件>` 撞名,导致
tee verify 永远拿不到文件路径;改为上下文感知。
- tee verify 的 --tcb 默认 0,而 tee plan 用节点描述里的 tcb 算绑定值,
二者不一致时报「user_data 与本次会话绑定不一致(疑似重放报告)」,
把实现问题误导成安全事件。现给 tee verify 加 --node,site / measurement /
tcb / platform 默认与 tee plan 同源,平台冲突直接拒绝。
新增真机可复现资产(deploy/tee/real-machine/):
- csv-attest-request.c:支持自定义挑战值取报告,自带 SM3 实现
(厂商 get-attestation 把挑战值写死成 "user data",无法与会话绑定)
- csv-report-restore.py:还原 anonce 混淆字段
- csv-verify-attestation.sh:官方验签器 wrapper,堵住退出码恒 0、
报告路径写死、离线证书 fallback 同目录、截断报告 fail-open 四个坑
- capture-csv-report.sh / verify-csv-report-e2e.sh / attest-init.sh /
build-attest-initrd.sh
真机(192.168.1.102)实测:捕获 2548 字节真实报告,官方验签器完成
芯片签名与 hrk→hsk→cek→pek 全链验证,框架校验通过(structure_ok /
bound_ok / chip=已验证)。篡改 user_data、篡改 sig1、截断报告三种负向
场景全部 fail-closed。
|
2026-11-06 21:28:41 +08:00 |
|
admin
|
eba460b4ff
|
fix(tee): 按海光厂商 SDK 实测修正 CSV 报告总长 4096→2548
- 在 192.168.1.102 用海光厂商 SDK 头文件 /opt/hygon/csv/attestation/csv_status.h 经本机 gcc offsetof/sizeof 实测确认 struct csv_attestation_report:user_data@0x40、measure@0x90(32B SM3)、policy@0xB0、sig1@0xC0(144B),sizeof=2548,且结构体内无 version 字段。\n- 修正真 bug:CSV_REPORT_LEN / hygon_csv_layout().total_len 原写 4096(那是 hypercall/mmap 页大小),而 get-attestation 实际写出 sizeof(struct)=2548,原长度下限会拒掉每一份真实 CSV 报告;现改为 2548,4096 页填充仍按下限接受。\n- 新增回归测试 csv_real_size_accepted_and_page_padding_tolerated(2548 接受 / 2547 拒绝 / 4096 页填充接受),mpc-tee 单测 87→88。\n- docs/TEE_DIRECT_LAUNCH.md 同步表与说明,并如实标注「真实 CSV 报告 live 捕获未做(.102 主机无 /dev/csv-guest,须在 guest 内 ioctl 取)」。\n- 验证:./tools/ci.sh 四道全绿。
|
2026-11-06 20:08:23 +08:00 |
|
admin
|
25c3baf880
|
feat(tee): 泛化 attestation 报告解析,覆盖海光 CSV(SEV 派生)
- verify.rs:新增 ReportLayout + snp_layout()/hygon_csv_layout(),parse_sev_like_report 由 SNP 与 CSV 共用同一套解析逻辑(绑定原语通用、字节布局参数化);HygonCsv 不再走「长度≥64 即过」兜底,按 CSV 固件报告(4096B/user_data@0x40/measure 32B SM3/sig1@0xC0 144B)真实解析并校验 user_data 与会话绑定一致。
- platform.rs:模块注释说明 CSV 是 SEV 派生、证明原语通用、字节布局独立。
- docs/TEE_DIRECT_LAUNCH.md:新增「海光 CSV = 国产版 SEV」节,更正过度保守的兜底分支;更新「仍未交付」段。
- 测试:mpc-tee 单测 86→87,新增 CSV 报告 fixture 与绑定校验;./tools/ci.sh 四道全绿。
- 影响:海光证明报告结构校验与 AMD 等价(均如实区分结构与芯片验签);CSV 报告偏移源自 rats-tls csv.h,需在 192.168.1.102 用 csv-guest-tool 复核(verify.rs 留 TODO)。
|
2026-11-06 19:45:09 +08:00 |
|
admin
|
5dec915185
|
feat(tee): KBS 客户端 + 证明结构校验,OCI 打包与真机编排资产入仓
- mpc-tee 新增 kbs.rs(最小 HTTP/1.1 KBS 客户端 + fail-closed 校验 + KbsKeySource 替代内置 PSK)、verify.rs(SNP 报告结构解析 + 可插拔外部芯片验签器 + verify_attestation 显式区分「芯片签名未验证」)。
- mpc-cli 新增 mpc tee verify / mpc tee kbs-get 子命令。
- catalog.rs 补 verify/kbs 模块到 TEE 直接调度段并加回归断言(清单铁律)。
- deploy/tee 新增 oci/(分层镜像构建)、kbs/(serve stub)、guest/(init)、real-machine/(跨机双 guest 编排);docs/TEE_OCI_PATH.md 记录 Kata 实测复核(仅 AMD 有、海光无且不支持 CSV,不引入)与 e2b 远程调度接口参考。
- 影响:密钥经 KBS 注入(不再内置明文 PSK),证明结论如实区分结构与芯片验签;远程调度走 OCI digest + 框架选节点,不引入 Kata/e2b 依赖。
- 测试:./tools/ci.sh 四道全绿;mpc-tee 单测 73→86。
|
2026-11-06 19:33:53 +08:00 |
|
admin
|
783761cb26
|
feat(tee): 框架直接调度 AMD SEV-SNP / 海光 CSV,真机端到端跑通
mpc-tee 新增 platform/session/schedule(no_std) 与 guest(std):平台能力表、会话绑定证明、fail-closed 准入、qemu LaunchSpec、guest 内 Tee 实现。CLI 加 tee paths / tee plan,catalog 与 domain 同步清单与常量(非 breaking)。deploy/tee 提供宿主预检与直接启动脚本,docs/TEE_DIRECT_LAUNCH.md 记录分层与真机真值。真机校正:confidential-guest-support、kernel-hashes=on + pflash 固件(CSV)、cbitpos 51/47、console=ttyS0。影响:TEE 调度不经容器编排层;SNP/CSV guest 跨物理机密文会话已实测通过。
|
2026-11-06 18:42:27 +08:00 |
|
admin
|
535c63a690
|
refactor(domain): 协议域分隔常量统一到 mpc-core::domain,nax → mpc
ci / gate (push) Waiting to run
- 20 个 KDF/HMAC/PSI/TEE/分片/作业种子标签全量换 mpc 前缀,集中到 mpc-core::domain 唯一真相源,业务代码不再写裸字符串
- 等长替换,消息格式与长度不变;mpc-tee 的 COMMIT/EGRESS 消息长度改由 label.len() 计算,避免写死数字漂移
- 不兼容变更:会话密钥、TEE 封存 blob、PSI 盲化点、缓存指纹、分片流全部换钥,参与方须同步升级,旧 blob/缓存/离线物料作废;不提供旧 nax 标签兼容读取
- README/CLAUDE/OPT_PLAN 重写兼容约定与迁移清单;仍保留 refs/nax 路径与 Python 包名 import nax(独立只读仓库真实路径)
- golden 向量(ring/paillier/zkp)是纯数学、check_psi.py 只比语义,均不依赖这些标签,无需重生成
- CI 三条闸门全绿(全量测试 / -Dwarnings / mpc-core no_std)
|
2026-11-05 15:29:33 +08:00 |
|
admin
|
e01c7f9419
|
docs: 按新定位重写中文描述,修复参考实现路径误改
- 中文定位从「Rust 重写 Python 算术执行引擎」改为「多方数据协同、数据不出域的安全计算框架」;README/CLAUDE/ARCHITECTURE/GAP_PLAN 同步,沿革小节写明新旧语义差别
- 修复机械替换引入的功能 bug:gen_golden.py / check_psi.py / bench_numpy.py 的 refs/mpc/mpc 路径改回 refs/nax/nax(参考实现真实目录,CI 不跑这些脚本故未暴露)
- 恢复 Python 参考实现包名 import nax;mpc-python 统一改称「Python 参考实现」;远端仓库描述同步
|
2026-11-05 15:17:28 +08:00 |
|
admin
|
f36217c36a
|
docs: 补命名沿革与兼容约定,明确 nax 字面量的保留边界
- README 新增沿革小节:改名映射、三个 tag、两类刻意保留项、部署迁移清单
- CLAUDE.md 加硬约束,避免后续把协议域分隔常量与 refs/nax 当漏改清理
- OPT_PLAN 标注握手 label 沿用历史域分隔常量
|
2026-11-05 15:11:59 +08:00 |
|
admin
|
54781b3f83
|
refactor: 项目改名 ssw-mpc,crate 统一到 mpc-* 前缀
ci / gate (push) Waiting to run
- 项目与文档标题:nax-rs → ssw-mpc(尚数网-多方安全计算),二进制 nax → mpc
- 18 个 crate 及目录 nax-* → mpc-*,Rust 引用 nax_* → mpc_*
- 环境变量、C 符号、构建/部署脚本:NAX_* → MPC_*、libnax_ray.so → libmpc_ray.so
- 保留协议域分隔常量与 refs/nax 参考实现路径,维持 golden 向量与历史数据兼容
- 新增 [profile.dev] incremental=false
|
2026-11-05 15:06:12 +08:00 |
|
rong
|
89bdef38fb
|
docs(opt): 冷缓存与不缓存同价的说法按实测收准(差 0~23%,在漂移噪声内)
ci / gate (push) Waiting to run
|
2026-11-02 14:16:01 +08:00 |
|
rong
|
f5a6424ca6
|
docs: OPT_PLAN 增 R6/R7/R8;IR §3.4 补两组读数并标注漂移
- R6 记下跨会话盲化缓存:三档实测表、5 条验收用例(含反向守卫)、
三条代价、以及两件**刻意没做**的事(落盘、接进纵向 LR)。
- R7 是**量过但没做**的一条:换 Ristretto 约 1.55×,Edwards 约 1.75×。
附三列实测表,并记下「映射到点的钱会吃掉窗口法收益」这个预判被推翻 ——
本仓第三次同类失误,共同点都是只估了一边。
- R8 记录基准漂移:同一份代码同一台机,1024 行建会话 466 → 990 ms、
每次迭代 10.65 → 79.73 ms,且两个倍率不同(说明降的是本地算术的时钟)。
约定:本机毫秒数只在同一次运行内横向比,跨次跨机一律引比值。
- IR §3.4 加复测对照表,并把「建会话是最该优化项」这条指到 R6 的结果。
|
2026-11-02 14:15:01 +08:00 |
|
rong
|
0c6026b01e
|
docs(ir): §3.4 轮数↔墙钟;nax plan 的口径从「上界」改成「实测相等」
- §3.4 两张表:计划 13 轮 == 线上 13 个往返(24 帧);本机 64/256/1024 行的
建会话、每次迭代、每轮纯等待。
- 结论:环回上 13 轮只占一次迭代的 8%,本地计算占 92%;跨机房(RTT 20 ms)
才轮到轮数当瓶颈。另外建会话(PSI 的 EC 运算)在小样本下比整个训练还贵。
- §6 把「上界」的说法收窄:只有「同阶段既有 mul 又有独立 open」的图会虚高,
纵向 LR 的图没有独立 open,那一侧是精确的。
- `nax plan` 的口径行同步 —— 数字上的每个断言现在都指得到一条对账测试。
|
2026-11-02 12:48:06 +08:00 |
|
rong
|
0204e1fb21
|
docs(ir): 补多项式深度表与结合顺序的结论
- §3 的 degree 表加「深度 `⌈log₂ d⌉`」与「sigmoid 块往返」两行,
说明多项式块是 `2·⌈log₂ d⌉ + 1`,并点明 degree 5 与 7 同价。
- 新增 §3.1:三条求值顺序的实测对比(7 / 8 / 9),结论是这条路没有杠杆。
- §5 变异表加两行反向守卫(改坏求幂顺序必红、改坏截断粒度必须不红),
§6 把「换顺序」从待办里划掉。
|
2026-11-02 12:13:46 +08:00 |
|
rong
|
279ae5e94c
|
docs: 同步树形归约后的轮数(5 行 45 / 1000 行 115)与用例数
影响:只改口径,不动代码。
- 掩码聚合 55 → 45 轮;新增 1000 行/10000 行的对照表(对数增长)
- §4 净收益改成三笔:上图 / 上批量 / 换算法,第三笔才是数量级
- §5 变异表补 3 条算法层守卫,重测批量三条的数字(90/45、49/45)
- 用例数 469 → 471(nax-sql 50 → 52)
|
2026-11-02 11:39:51 +08:00 |
|
rong
|
65e199c406
|
feat(sql): MIN/MAX 换树形归约,轮数从线性变对数
影响:`MIN`/`MAX` 的往返数不再随行数线性增长,1000 行的五聚合查询从
约 9995 轮降到 115 轮。**这是本仓第一次改增长阶,不是压常数因子。**
- `secure_graph::minmax` 从「best 与每一行比一次」改成逐层两两归约:
叶子层是 `len` 个本地 slice,每层 9 轮比较 + 1 轮选择 = 10 轮,
深度 ⌈log₂ len⌉。奇数个元素时最后一个轮空(补哑元素要多一次比较)。
- 每行翻一倍正好 +10 轮:4/8/16/32/64/128/256 行 → 23/33/43/53/63/73/83。
- 5 行 55 → 45 轮;1000 行 ~9995 → 115;10000 行 ~99995 → 155。
数值上等价:min/max 可结合,全程只有 cmp + select、不经过 truncate,
换结合顺序不引入任何差。`where_aggregate_matches_legacy_for_every_cmp_op`
仍要求 `MIN`/`MAX` 与手写序列逐位相同。
顺带修 `nax-cli` 的阶段表:本地算子列改成同名折叠(`slice ×2000`)。
1000 行时原来会把上千个 slice 逐个列出来,表格 300 KB 且不可读;
折叠之后树的结构反而一眼可见(`cmp ×1000 → ×500 → ×250 → ×124 → …`)。
修正一处自己写错的论断:`minmax` 原注释与 `docs/IR.md` 说「树形不省轮数,
因为串行依赖不变」—— 深度不同,`行数−1` vs `⌈log₂行数⌉`,而且同层比较
互不依赖可以合批。文档已改,另加 2 条测试钉住增长阶与非 2 的幂的正确性。
验证:471 用例全绿(+2),-Dwarnings 零告警,no_std 守线过,rustfmt 无 diff。
变异 3 条全部按预期红后还原:退回线性链(4→8 行多 40 轮)、落单元素不轮空
(n=3 MAX 错)、比较方向取反(n=2 MIN 错)。
|
2026-11-02 11:39:43 +08:00 |
|
rong
|
b5bfb86581
|
docs: 同步批量之后的轮数(LR 13 轮 / SQL 55 轮 / 分组 13 轮)与用例数
影响:只改口径与描述,不动代码。
- LR 17 → 13 轮,degree 3/5/7/9 → 11/13/13/15(5 与 7 同价)
- 掩码聚合 115 → 55 轮(掩码 11 + 聚合 44),且与实测突发数逐轮相等
- GROUP BY 8 组:逐组 13、整数码 12(组数不再影响轮数)
- 用例数 462 → 469(nax-vault 30、nax-ir 39、nax-sql 50)
- README 能力表补批量路径(`mul_batch` / `truncate_batch` / `bit_lt_batch`)
|
2026-11-01 20:42:52 +08:00 |
|
rong
|
1dd4841368
|
feat(vault): 同阶段批量——k 个乘 1 个往返,k 次比较 9 轮封顶
影响:轮数模型与执行器一起改,SQL 侧的轮数掉一个数量级(不是靠换算法)。
`nax-vault` 新增三个协议原语,判据是「与逐次逐位相同」:
- `mul_batch` —— k 个 Beaver 乘 **1 个往返**(2k 个 d/e 一起发)。各对长度可
以不同;离线三元组按序取,所有方必须同序调用。
- `bit_lt_batch` —— k 次比较 **9 轮封顶**:批量 open(1) + Hillis–Steele 六层
扫描(6) + `z = p·d`(1) + `t·borrow`(1)。每一层把 k 个乘合成一个往返,所以
轮数与 k 无关(k=1 与逐个同价 9 轮,k=5 时 45 → 9)。
- `truncate_batch` —— k 次截断 1 个往返。`cs` 只在 0 号出现这条铁律照旧;
结果**不**逐位相同(随机舍入取决于取到哪对离线物料),只保证落在预算内。
`nax-ir`:`Exec` 加 `sec_mul_products_batch` / `sec_cmp_batch` /
`sec_trunc_batch`(默认实现是逐个循环,明文档执行器不必重写);`run` 的阶段内
顺序改为「本地 → 乘批 → 截断批 → 其余 → 比较批 → open 批」,依据是
`base` 相同 ⇒ 互不依赖;`compile` 的阶段耗时改成四项常数:
(有乘类?1) + (有截断类?1) + (有open?1) + (有cmp?9) + Σ其余 cost
`Mul` 算「乘+截断」两段;`MulRaw` / `Select` 只算乘段 —— **`Select` 不截断**,
第一版把它记进截断类,5 个聚合的计划因此比实测多 5 轮(60 vs 55)。
实测(`nax plan` / `nax sql-plan` 现算):
- 纵向 LR 一次迭代 17 → **13** 轮;degree 3/5/7/9 → 11/13/13/15(5 与 7 同价)
- `[COUNT,SUM,AVG,MIN,MAX]` 5 行 115 → **55**(掩码 11 + 聚合 44)
- `GROUP BY` 8 组 162 → **13**(整数码 12):**组数不再影响轮数**
- `MIN`/`MAX` 两条链在同一层撞进同一阶段,比较天然合批(8 次比较 36 轮)
新增 7 条测试:`nax-vault` 4 条(批量与逐次的逐位一致 + 往返数钉值)、
`nax-ir` 3 条(同阶段两个比较 9 轮 / 两个 select 1 轮 / Mul+MulRaw 2 轮)。
`nax-ml` 的迁移判据随之修订:帧序列不再逐帧相同(`SRSR` → `SSRR`),改成
「**帧数不变 + 往返数不增**」,数值预算(≤8 / ≤64 ULP)不变。
变异验证 5 条全部按预期红后还原。其中四条证明模型与执行器是两条独立的链:
只改编译期 → 计划 91 实测 55;只改执行器 → 计划 55 实测 91。
全量 469 用例通过 / 0 失败,`-Dwarnings` 零告警,`nax-core` no_std 守线过。
|
2026-11-01 20:42:44 +08:00 |
|
rong
|
903f14efb2
|
feat(sql): GROUP BY 走整数码前缀和,8 组 162 → 92 轮
影响:`secure_group_by` 新增 `GroupMode::IntegerCode` 路径,每组相等判断
(`bit_eq` = 两次 `bit_lt`,18 轮/组、串行累加)换成 `N+1` 个单调前缀
「码 ≤ g」,`COUNT` 取前缀位之和、`SUM` 取 `mul_raw(前缀位, 列)`,所有 `open`
落在同一阶段合成一次,**组内值在明文侧差分**,没有第二段图。默认仍是
`GroupMode::Exact`,语义不变。
实测(`nax sql-plan --rows 8 --aggs count,sum`):2 组 42→32、4 组 82→52、
8 组 162→92;每组建图成本约 20 → 11 轮。带 WHERE 的增量是「一次比较 + 一次
搬家乘」10~11 轮。
新增:
- `secure_graph::build_prefix_stage` —— 谓词 → 码搬家 → N+1 个前缀 → 累积和
- `secure_group_by_coded` / `secure_group_by_pred_coded`,`query_rounds` 收
`GroupMode`,`nax sql-plan --group-mode coded`、`nax sql --group-mode coded`
- `crates/nax-sql/tests/coded.rs` 12 条:与 Exact 对拍(`COUNT`/`SUM` 逐位、
`AVG` 相对 1e-4)、复合谓词、越界/非整数码契约、空组、k-匿名、单组、轮数钉值
三条契约(写进 `docs/IR.md` §3.3,不隐藏代价):分组码必须是整数(非整数落
到上方最近一组);不支持 MIN/MAX(前缀和还原不出极值,直接报错不降级);
越界码丢弃(与逐组比较一致,两端边界 `−0.5` / `N−0.5` 就是为它留的)。
WHERE 未命中行不逐组乘 `base`(`2N` 轮),而是把码搬到 `−1000·2^fxp` 让它在
差分中自动抵消。**第一版把 `−1000` 当 raw 用**:分组码列是 fxp 编码,
`0.5` 编出来是 `131072`,于是 `−1000` 比每个边界都小,全部行被算进每个前缀
(行数变全表、SUM 变全表之和且不报错)。改为按 `2^fxp` 缩放,`fxp > 40` 拒绝。
变异验证 4 条全部按预期变红后还原:停放值不缩放(2 红)、边界少 `−0.5`
(只有非整数码契约那条红,整数码下 `<g` 与 `<g+0.5` 等价)、累积和忘记差分
(7 红)。
全量 462 用例通过 / 0 失败,`-Dwarnings` 零告警,`nax-core` no_std 守线过。
|
2026-11-01 19:49:16 +08:00 |
|
rong
|
c00ec0d0a5
|
docs: 补上 IR 一层、n 方能力矩阵与轮数口径
影响:文档不再手抄「几次 matmul_trunc」,轮数一律引用 `nax plan` / `nax sql-plan`
的实测输出,读文档的人能自己复现。
- 新增 `docs/IR.md`:算子往返表(mul/matmul=2、trunc/open=1、整数 scale=0)、
定点尺度为什么挂在值上、阶段与轮数公式、两个消费者(nax-ml / nax-sql)的实测数字
- 新增 `docs/N_PARTY.md`:能力矩阵(每条结论都指得到测试名)、PSI 环协议代价、
安全边界(`strict` 挡不住什么写清楚)
- `docs/ARCHITECTURE.md`:分层图补 `nax-ir` / `nax-ml` / `nax-sql`
- `docs/COMPARE_SECRETFLOW.md` §2.3 加修正块:原来说「nax 的 IR 就是 nax-sql 的
AST」—— 前半句对(拒绝 XLA + Bazel + MLIR 那一套),后半句错:AST 回答不了
「几个往返」,中间要过一层「谓词/聚合 → 协议动作」的降级
- `README.md` / `CLAUDE.md`:用例数 423 → 450、crate 分层与关键设计决策同步
修正一处过期数据:文档里「14 个算子 / 7 轮、`lr=2` 时 5 轮」是早期 demo 图
(线性梯度步、不含 sigmoid 多项式)的数,不是 `nax plan` 的输出。迁移之后
`cmd_plan` 直连 `VerticalLR::build_epoch`,实测是 33 算子 / 17 轮;degree 3/5/9
对应 11/13/19 轮,`--l2` 恰好 +1 轮。
|
2026-11-01 19:01:27 +08:00 |
|
rong
|
37aa81e394
|
feat(psi): n 方隐私求交(环协议)+ 分块流水修复大集合死锁
影响:PSI 此前硬卡在两方,导致纵向 LR / SQL JOIN 无法扩展。现在 3 方及以上
可以直接跑,n=2 退化为原两轮交换、开销逐项不变(没有第二条代码路径)。
- nax-psi 新增 match_across:n 方求交(逐个 match_points 取 AND)。不能拿两两
求交拼 —— A={1,2} B={2,3} C={3,1} 两两都非空但三方交集为空,有专门的测试钉住
- run_psi_session 改成环协议:集合沿环走 n-1 跳、每跳叠一把密钥,最后汇总广播;
新增 PsiConfig.my_idx(必须与 transport 的 party 编号一致)
- pipeline_points:分块 + 交替收发。整份 3.2 MB 单帧会写满 socket 缓冲(macOS
默认 ~128 KB)造成多方互相阻塞 —— 实测 10 万条两方 256 s 后 Broken pipe;
分块后在途数据恒定 32 KB,10 万条两方 34 s、三方 90 s
- nax-cli 的 psi 支持 --peers 建网状连接(与 node 一致);种子一律从
(主种子, site) 派生,否则各方共用默认 --seed 会撞 ECDH 私钥(交集仍对,隐私全失)
验证:三方真 TCP 跑出正确交集;变异验证两条 —— 把 AND 退化成"只比第一个对端"、
把环上"谁持有哪份集合"写错,对应测试都立刻失败。
未做:恶意方防护(需 OPRF-based PSI);纵向 LR / SQL JOIN 仍是两方(它们是
两方协议,不是被 PSI 卡住)。
|
2026-11-01 14:29:53 +08:00 |
|
rong
|
d79048e690
|
test(n-party): n>2 从"代码看着对"变成"有测试守着",列交换扩到 n 方
影响:nax 的 n 方能力此前只有 open 和整数乘有测试,截断/矩阵乘/比较一律
只跑过两方 —— 而这三处恰好都碰公开值,两方写错只是数值翻倍,三方错成三倍,
代码一模一样、不报错。另外竖向列交换原语硬卡在两方。
- nax-vault 补 4 条三方测试:truncate(cs 只落 0 号)、mul_trunc、matmul_trunc、bit_lt;
截断那条做过变异验证(把 `if my_idx == 0` 改成 `if true`,测试立刻失败)
- nax-sql 新增 exchange_split_columns_multi:n 方竖向列交换,两方版改为复用(去重收发逻辑)
- docs/N_PARTY.md:能力矩阵,每条"支持 n 方"都指到测试,每条"不支持"写明是协议限制还是没做
- nax-node 的 run_session 文档补一句 `+1` 在求和之内(结果 = Σ∏ + 元素个数),
避免把正确结果当成"公开值加多了"去改代码
未做(协议限制,非本轮):n 方 PSI。两两求交 ≠ n 方求交,需环协议(O(n) 轮)
并新增中间集合帧;落地前依赖行对齐的纵向 LR / SQL JOIN 只能两方,已在启动时拒绝。
|
2026-11-01 12:49:27 +08:00 |
|
rong
|
a00b32f2f5
|
feat(secure): 链路 AEAD 加密 + 熵源统一 + TEE seal 换成标准 ChaCha20-Poly1305
影响:跨机部署不再假设链路可被窃听(此前只有握手认证,分片与掩码差值明文传输);
TEE 密封格式从 v1 换到 v2,旧 blob 解不开但会明确失败而不是误解。
- nax-core 新增 aead / osrand:ChaCha20-Poly1305(复用 prg 的 core,RFC 8439 标准向量 + OpenSSL 交叉验证),OS 熵源拒绝时间戳降级
- nax-node 握手派生 c2s/s2c 双向会话密钥,帧走 AEAD;计数器严格对齐,重放与错向密钥均拒绝
- nax-tee 两处手拼 encrypt-then-MAC(optee/core、mock)收敛到 nax-core::aead:开销 44B→28B、版本进 AAD、删除已无用的 K_mac;重复的 HMAC/ct_eq 合并为 nax-core 单一实现
- nax-he 补 keygen_os(库函数不再 panic),确定性 keygen 保留给 golden 测试
- tools/ci.sh + .gitea/workflows/ci.yml:测试 / -Dwarnings / nax-core no_std 三条闸门
- bench_core:matmul、逐元素、AEAD、分片重建的可复现基准
设计取舍:帧加密自己实现而不引 crate —— nax-core 的依赖树必须为空才能编进 OP-TEE TA;
ChaCha20 复用 prg 里已有的 core,避免两套实现分叉。
|
2026-11-01 11:20:28 +08:00 |
|
rong
|
471289fe55
|
feat: 按 SecretFlow 对比结论补齐六条优化 + PostgreSQL 数据接入
影响
- 传输层不再"知道端口就能冒充":PSK 挑战-应答,未配置时显式告警
- 参与方参数不一致可归因(逐字段对表,不再只说"指纹不同")
- 长跑不再整表进内存:CSV 真流式,PG 可直连
- 所有子命令支持 --report json,stdout 只出结构化结果,诊断走 stderr
- 作业支持 DAG 与落盘状态,失败/跳过/重来可追溯
- 计算域抽象落地,dry_run 开关第一次有消费者
改动
- nax-core: 新增 hmac(HMAC-SHA256 / ct_eq / derive_labeled);pg 的 HMAC 改为委托,删重复实现
- nax-node: 新增 auth(REQ/ACK/OK,ctx 绑定双方序号与双 nonce,双 label 防回打)、entropy(只读 /dev/urandom,不降级)
- nax-proto: 新增 Op::Manifest,显式拼字节避开长度前缀错位
- nax-vault: exchange_manifest 比对版本/参与方/fxp/键值清单,三种差异分别点名
- nax-data: 新增 source(TableSource/Batch/CsvSource,流式与整表逐位一致);新增 pg 客户端(自研 wire、trust/md5/SCRAM、零外部依赖)
- nax-orch: 新增 plan(文本计划 + 拓扑校验)、state(append-only JSONL)、run_jobs;协议加 SKIP,单作业模式逐字不变;每作业派生种子避免 Beaver 三元组复用
- nax-runtime: 新增 device(Value/Device/Plain/Secret);域是数据属性,单方搬不回明文;非线性算子在密态域显式拒绝而不是给出错掩码
- nax-cli: 新增 report 模块(Cell/table/kv/note!)、selfcheck(含 TEE 签名)、pg(列类型摊开)、orch run|status
- tools/pg-dev: PGlite + PG-wire 壳、两方种子库、e2e.sh 20 条断言
设计(明确拒绝的方案)
- 设备抽象不做 eval(op) 分发:线性算子对加性分片天然透明,多一层间接只多一个没人用的入口;非线性算子要换协议,不是换指针
- DAG 计划用文本不用 JSON:现场手改要能报"第 2 行:不认识的指令 retries",而 serde_json 与单二进制目标冲突
- 端到端用 PGlite 而非系统 PostgreSQL:同一份源码编成 WASM,无需常驻服务
回归
- cargo test --workspace --features secure → 338 通过 / 0 失败
- cargo build --workspace --all-targets --features secure → 零代码告警
- cargo build -p nax-core --no-default-features → no_std 守线通过
- tools/pg-dev/e2e.sh 两轮真 TCP + 真 PSI + 真密态聚合,两方输出逐字段一致
|
2026-10-31 21:08:21 +08:00 |
|
rong
|
df021dba0d
|
feat(cli): nax sql-join 真两进程 JOIN×PSI×密态 SQL
影响:能敲一个命令在真 TCP 两进程里跑 PSI → 对齐 → 密态聚合 → reveal;
`--schema` 约定全局列序解决竖向切分里两方各持不同列的拼接问题。
- `nax sql-join` 子命令(需 --features secure):真 TCP 两进程,
PSI → align_by_key → exchange_split_columns → 密态聚合。
- `--schema col1,col2,...`:全局列序,列交换后按 schema 槽位落位。
**不是 mine + theirs 简单拼接** —— 后者两方拼出的顺序不同,谓词下标静默错位。
- 两个种子:psi_seed 每方不同(同种子 = ECDH 私钥相同,隐私破坏);
vault_seed 两方一致(Beaver 物料派生)。CLI 从 (seed, site) 自动派生 psi_seed。
- `impl Transport for &mut T`:同一条 TCP 先 PSI 再 Vault 不用拆通道。
- 新增 4 测(真 TcpListener + TcpTransport)含变异检验:
schema 落位换成拼接 → 3 条红。
- 更新 README、GAP_PLAN(产品口径缺口 ①②③ 已闭环)。
|
2026-10-30 18:32:43 +08:00 |
|
rong
|
c97da57c5f
|
feat(sql): JOIN × PSI 竖直接入密态 SQL
影响:两方各持半张表的纵向切分,现在能 PSI 求交后在密态下跑 join 后的
COUNT/SUM/GROUP BY,结果与明文引擎的等价 JOIN 逐值一致;`nax-sql` 库依赖闭包不变。
- `secure::exchange_split_columns`:各方向对端送出本方每列一片,再收齐对端每列一片;
先全发再全收(发一个收一个在缓冲撑满时会双向死锁),入口校验各列行数一致。
- `secure::secure_aggregate_all`:无 WHERE 聚合,掩码取 `vault.bit_one`,不新增公开常量。
- 新增 `tests/join_psi.rs`(6 测):PSI → 按键字节序排序对齐 → 密态聚合,对拍明文
`Engine` 的 `bank JOIN shop ON bank.id = shop.uid`;覆盖 COUNT/SUM、跨方复合 WHERE、
GROUP BY、对齐不变式、重复键拒绝、空交集拒绝。
- PSI 与行对齐留在调用方:`nax-node`/`nax-psi` 只作 dev-dependency,测试目标挂
`required-features = ["secure"]`,默认构建不拉密码学依赖(workspace 218 测,
`-p nax-sql --features secure` 27 测)。
- 明确不做一对多 join:PSI 去重只给一个下标,纵向对齐表达不了笛卡尔展开,本方键重复即报错。
|
2026-10-30 17:32:24 +08:00 |
|
rong
|
1e84d681c2
|
feat(sql): 密态 IN / NOT IN(脱糖 OR 等式)
Pred 加 In{col, values, negated}:逐个 bit_eq 后 bit_or,negated 再 bit_not。
对拍明文引擎的 x IN (100,250,500) 与 NOT IN。
nax-sql --features secure 21 测,workspace 218 全绿、零警告。
|
2026-10-30 16:51:32 +08:00 |
|
rong
|
c84f6ec19d
|
test(vault): BitLT 随机化对拍(64 组,含 ±0/相等/跨零/同号大值)
固定数组容易漏边界。新增随机化测试覆盖 bit_lt/bit_eq/bit_gt 的 64 组
随机值 + 强制相等、±0、跨零、同号近界,全部对拍明文通过。
nax-vault 15 测,workspace 218 全绿、零警告。
|
2026-10-30 16:49:28 +08:00 |
|
rong
|
633d9b548b
|
feat(sql): 复合谓词密态求值(AND/OR/NOT 组合比较)
secure 新增 Pred(Cmp/And/Or/Not) + secure_predicate_mask 递归求掩码,
secure_where_aggregate_pred 在掩码下聚合。对齐明文引擎的任意布尔表达式:
x<400 AND g=0、x<400 OR g=1、NOT x<400 三例均对拍通过。
nax-sql --features secure 20 测,workspace 217 全绿、零警告。
|
2026-10-30 16:47:16 +08:00 |
|
rong
|
ee7aae6f04
|
test(vault): 2 方布尔代数真值表(AND/OR/XOR/NOT)
补一组位运算的端到端验证:原始 0/1 分片下 AND/OR/XOR/NOT 逐位正确。
这是后续把复合谓词(a>1 AND b<2、NOT、IN 脱糖)接到密态 SQL 的基础。
nax-vault 14 测,workspace 217 测全绿、零警告。
|
2026-10-30 16:42:13 +08:00 |
|
rong
|
34855a3b2d
|
feat(cli): nax sql —— in-process 2 方密态 GROUP BY 演示(feature=secure)
nax-cli 加 feature secure(拉 nax-sql/secure + nax-vault),新增 `nax sql`:
单进程用两条 Pipe 起 2 方,真跑 GROUP BY + COUNT/SUM/AVG,打印结果表。
实测 region0=3/650/216.67、region1=2/1100/550,与明文一致。
默认构建不含该命令,仍零警告。
workspace 216 测全绿;nax-sql --features secure 19、nax-fl --features secure 13。
|
2026-10-30 16:40:13 +08:00 |
|
rong
|
33c25533cf
|
feat(sql): 密态 GROUP BY(bit_eq 逐公开码掩码)+ constant 公开常量分片
- nax-vault::constant:公开常数 fxp 分片(party0 持编码值,其余 0),对应参考
vault.constant;密态 SQL 的阈值/组码改走它,调用方无需 split。
- nax-sql secure 重构:抽出 aggregate_with_mask;secure_where_aggregate 改吃
plaintext threshold;新增 secure_group_by(逐 bit_eq(gcol,c) 与 WHERE 掩码 AND)。
- 新增 GROUP BY 对拍明文 Engine 测试。
nax-sql --features secure 18 测,workspace 216 测全绿、零警告。
|
2026-10-30 16:36:31 +08:00 |
|
rong
|
a87445d656
|
feat(sql/ml): 掩码 WHERE+聚合 与 分箱 Mᵀ@y 接到密态算子,2 方端到端跑通
- nax-sql 加可选 feature secure:secure_where_aggregate 实现
SELECT COUNT/SUM/AVG/MIN/MAX ... WHERE col <op> T。
掩码 bit_lt/gt/eq → bit_mask;COUNT/SUM 本地线性;AVG scale_public+truncate;
MIN/MAX 用 (1-mask)·(±SENTINEL) 本地补位后两两 bit_lt+select_raw 归约(不靠 sentinel 分片)。
2 测对拍明文 Engine(含空命中 NaN)。
- nax-ml 新增 binning_secure:bad = Mᵀ·y(matmul_trunc) + total(本地列和),1 测对拍明文。
M/y 按 fxp 编码,Mᵀ@y 落 2fxp,matmul_trunc 截回 fxp。
workspace 216 测全绿;nax-sql --features secure 17、nax-fl --features secure 13、nax-ml 15,零警告。
|
2026-10-30 16:34:09 +08:00 |
|
rong
|
567b3d63e5
|
feat(vault): 补安全比较(edaBit + BitLT + msb + 0/1 位代数),2 方端到端跑通
nax-vault 新增 compare 模块,逐位对齐参考实现 device/vault.py:
- edabit/msb_raw/bit_lt_public(内部) + 对外 bit_lt/gt/eq/not/and/or/xor/mask/select_raw
- 后缀积扫描的乘法走 Beaver;msb 的 t·borrow 也走 Beaver。
关键坑:公开常量只在 0 号加一次。nax-core::compare 的 xor_bits_into/not_bits_into
把常量加到每一方,2 方重建会翻倍(违反「公开值只能出现一次」铁律);改用自带
lin_bits(out_p = coef·b_p + (c if p==0 else 0))。
3 新测:比较算子对照明文、msb 符号、SUM(x) WHERE x<T 掩码+聚合端到端。
nax-vault 13 测,workspace 215 测全绿、零警告。
|
2026-10-30 16:15:39 +08:00 |
|
rong
|
862774dbf4
|
feat(fl): 安全 FedAvg 接入真实 Vault(secure feature),2 方端到端跑通
nax-fl 加可选 feature `secure`,把加权均值 ΣnᵢΔᵢ/Σnᵢ 接到 nax-vault 的密态算子:
- secure::weighted_mean_shares:mul_trunc(Beaver+截断)+add_local+reveal(公开总样本数)
+scale_public(1/Σn)+truncate,全程无需安全比较。
- 2 方 in-process(Pipe::pair 双线程) 端到端,对照明文 weighted_mean 验证;
cargo test -p nax-fl --features secure 13 测全绿。
- 精度:scale_public 编码 1/Σn 的舍入误差被 |ΣnΔ| 放大,容差按 (|ΣnΔ|+1)·2^-fxp。
默认构建仍不引入 nax-vault;workspace 212 测全绿、零警告。
下一步(未做):给 nax-vault 补 bit_lt/bit_eq/bit_mask,再密态化 nax-sql / binning。
|
2026-10-30 15:59:27 +08:00 |
|
rong
|
f43fe16c86
|
feat(gap): 补齐 nax-python 参考实现的 9 块算法层,212 测全绿
按 docs/GAP_PLAN.md 的优先级逐条落地,新建 6 个 crate、nax-ml 加 2 模块:
- nax-zkp:Schnorr 身份证明 + Pedersen 承诺/表示证明,逐位 golden
- nax-fl:安全聚合责任链 + DP(RDP 记账) + 横向 FedAvg(fedavg/linear/metrics)
- nax-ml:明文 MLP(mlp) + 异构分箱 WOE/IV + 互补抑制(binning)
- nax-data:列主序 Frame + 明文统计 + mock(确定性主键/schema/DP) + CSV
- nax-sql:手写解析器 + 掩码式 WHERE + 聚合/GROUP BY/k-匿名/JOIN/HAVING
- nax-policy:出域守卫(exec/transfer/fetch) + 审计日志
- nax-runtime:dry_run / real_run(线程局部 + RAII 嵌套恢复)
- nax-cli:新增 `nax fl` 横向 FedAvg 本地演示子命令
约束:零新外部依赖(复用 nax-core::prg/hash、nax-he::bigint);确定性算子均以
纯 Python 同构参考导出 golden 逐位对照;密文/分布式外壳复用既有 Vault/Site/PSI。
cargo test --workspace 212 通过 0 失败,nax-core --no-default-features 守线通过。
|
2026-10-30 15:53:56 +08:00 |
|
rong
|
45bc626256
|
feat(ray): 对齐 Ray 1.0.1,nax 作为 driver 跑通跨架构 MPC
用户要求先用 1.0.1 对齐两端再把 nax MPC 跑通。闭环达成:
x86_64 Ray node 73bfdc0a… nax site=b MPC 35
armv7 Ray node 235afb22… nax site=a MPC 35
同一进程既是 Ray driver 又是 MPC 参与方;node_id 由 raylet 握手分配,
两端不同即「真的挂在两个节点上」的证据。35 = (1·4+1)+(2·5+1)+(3·6+1)。
1.0.1 shim(ray/nax_ray_shim_101.cc)与 2.59 的六个接口差异:
CoreWorkerProcess 无独立头、TaskExecutionCallback 只有 8 参数、
GcsClientOptions 位置参数、无 GetNodeToConnectForDriver/GetNextJobID、
无 ray::core 命名空间、GcsNodeInfo 无 node_manager_port。
两个必踩的坑:
- options.num_workers 必须显式设 1(1.0.1 有 RAY_CHECK(>0),默认 0 abort)
- gcs_options 要指向 Redis(6400)而非 gcs_server(6402),指错报
Protocol error got "\x00",看着像协议问题其实是端口给错
同一版本两个架构的 string ABI 不同(关键):
x86_64 _raylet.so 是旧 ABI(0 个 cxx11),armv7 是新 ABI(423 个)。
搞错的表现是运行期 basic_string::_M_create 异常,错误信息不提 ABI。
编译补丁自动打在解出来的头上:client_call.h 的 vector<CompletionQueue> 换 deque
(grpc 1.51 删了移动构造)、影子 arrow/buffer.h、-Dgrpc_impl=grpc。
Python 符号 x86 缺 8 个 / armv7 缺 2 个,shim 零值占位(不执行 Python 代码)。
nax-cli 加可选 feature ray:设 NAX_RAY_RAYLET 即注册 driver,默认构建仍是
纯静态单二进制。rpath 放在 nax-cli 的 build.rs(link-arg-bins),放 nax-ray
里传不到依赖方的 bin。
新增 docs/RAY_CORE_101.md、ray/{nax_ray_shim_101.cc,build101.sh,
build101_armv7.sh,test101.py,test101_arm.c,verify101.sh}、ray/armv7/mpc_ray.sh;
nax-ray 重写为 1.0.1 签名;README 状态表更新。
|
2026-10-30 13:44:00 +08:00 |
|
rong
|
00e4fc322b
|
test(ray): 1.0.1 与 2.59 双向不兼容;改做 x86+armv7 混合 1.0.1 集群并跑通
兼容性(双向都测了):
- 1.0.1 raylet → 2.59 head:6379 报 Protocol error, got "\x00"
(2.59 的 6379 是 gRPC/HTTP2,1.0.1 说 RESP;Ray 2.0 移除了 Redis GCS 后端)
- 2.59 ray start --address=<1.0.1 gcs:6402> 报 RpcError
- 结论:没有中间路线,只能整集群同版本
混合架构集群(x86_64 原生 + armv7 qemu,同为 1.0.1):
- x86 raylet ID f85f933f…(cpu=4 / nm:6403)
- armv7 raylet ID 9f3e5ae1…(cpu=2 / nm:6413)
- 两侧节点通知是同一对 ID,均 IsAlive=1;armv7 收到 x86 心跳
- GCS 分片表 4 条:2×NODE_RESOURCE + 2×CLIENT,
CLIENT socket 分别 raylet_a.sock(armv7) / raylet_x.sock(x86)
新增 ray/armv7/{mixed_cluster.sh,compat_probe.sh,decode_gcs.py};
docs/RAY_ARMV7.md 增 §6 兼容性、§7 混合集群、§8 复现命令。
|
2026-10-30 12:14:26 +08:00 |
|
rong
|
d60fcf40ca
|
fix(docs): Ray 在 armv7 上确实能跑——更正错误结论并附实测
用户指出社区编过 ray 1.0.1 armv7l wheel。核实为真,之前的"不可能"是错的。
PyPI 侧仍是事实:135 个版本 5087 个 wheel,armv7l/armhf/armv6 共 0 个,
piwheels 全 skip(binary only),无 sdist。但社区有人编:
- PidgeyBE 1.0.1 (cp36)、PeterPirog 1.2.0 (cp38),issue #12128
- 唯一需要的改动是 setup.py 加 --linkopt=-latomic(8 字节原子要 libatomic)
实物核对(ray-1.0.1-cp36-cp36m-linux_armv7l.whl,19MB→64MB):
_raylet.so 16.4MB / raylet 13.1MB / gcs_server 10.9MB,
全部 ELF32 ARM EABI5 hard-float;_raylet.so 导出 2040 个 ray:: 符号,
CoreWorkerProcess::Initialize/GetCoreWorker/RunTaskExecutionLoop 齐全,
无 B5cxx11(同样是旧 ABI),所以 shim 那套做法在 armv7 也成立。
实测跑通完整节点(x86_64 沙箱 + qemu-arm-static 真 ELF32 执行):
redis(带 ray 模块) → gcs_server:6392 → plasma → raylet:6393,
NodeManager ID ebb89cb9…,GCS 回 IsAlive = 1。
顺带记三个非 32 位坑:redis 要手工播种 5 个键;容器 /dev/shm 64MB 要改
plasma 目录;raylet 硬性要求一个 worker_command。
代价也说清:1.0.1 是 2020-12 代码,GCS 协议与 2.x 不同,接不进现代集群;
cp36 要 python3.6;44.6MB 二进制。默认仍走 nax-orch。
新增 docs/RAY_ARMV7.md + ray/armv7/{run_node,run_gcs_only}.sh;
RAY_CORE.md §5 与状态表改正。
|
2026-10-30 12:07:19 +08:00 |
|
rong
|
4bb573d98c
|
feat: Ray C++ 内核接进 nax Rust + armv7 真交叉编译
Ray 这条线不绕 bazel:
- wheel 里的 ray/_raylet.so 就是编好的 C++ core(34113 个导出符号,
3638 个 ray:: 符号 default 可见,含 CoreWorkerProcess::Initialize)
- ray/nax_ray_shim.cc:259 行 C ABI shim,复用 process_helper 的初始化路径
- 实测跑通:Rust 二进制作为 driver 接入真实 GCS+raylet,
拿到 raylet 分配的 node_id(d190801c…),probe 通过
踩坑(都已固化进 ray/build.sh):
- raylet 只编了 Python worker pool → 注册时语言声明 PYTHON
- Ray C++ 是旧 ABI → -D_GLIBCXX_USE_CXX11_ABI=0
- fmt v9/v11 撞车 → FMT_HEADER_ONLY
- Debian absl 固定自家 optional → 影子头直通 std::optional
- _raylet.so 是 CPython 扩展(253 个 Py 符号)→ build.rs 自动链 libpython
- GcsNodeInfo 手写 wire format 解析,避免 protobuf 跨 ABI
armv7 交叉编译修正(原结论有误):
- 换 armv7-unknown-linux-musleabihf + rust-lld/link-self-contained
- 不再需要外部交叉 gcc,macOS 本机 83 秒出 687 KB 静态二进制
- .cargo/config.toml 固化,无需 export 任何变量
其他:nax-orch 告警清理;README/ZYNQ 文档对齐实测。
|
2026-10-30 11:31:02 +08:00 |
|
ssw
|
c5b2cf69a5
|
feat: nax-rs P0/P1/P1.5 —— Rust 重写隐私计算框架
算子核(nax-core):零依赖 no_std
- Z_2^64 定点算术 + AVX2 矩阵乘,与 Python 参考实现 215 条逐位一致
- 加性分享 / Beaver 三元组 / 截断对 / edaBit,ChaCha20 PRG,SHA-256
- 自实现银行家舍入(f64::round_ties_even 是 std-only,no_std 编不过)
协议栈
- nax-proto:手写帧协议(12 字节头 + u64 payload),无 protobuf 依赖
- nax-vault:Beaver 乘 / 定点截断 / open / reveal
- nax-node:TCP 传输 + 密文会话 + PSI 会话
- nax-psi:X25519 ECDH-PSI(唯一外部依赖 dalek,因恒定时间约束)
- nax-tee:HAL trait(seal/unseal/attest/sign)+ Mock + TrustPlan 四级降级
验收
- 83 用例全绿;armv7 全 workspace 编译通过
- 两进程密文计算:(1·4+1)+(2·5+1)+(3·6+1) = 35
- 两进程 PSI:[1..5] ∩ [3..7] = {3,4,5}
- 单二进制 450 KB,零运行时依赖
文档
- docs/ARCHITECTURE.md:分层、Ray 定位、TEE 分工与降级梯度
- docs/ZYNQ.md:A9 性能预算(比 i5 慢 8-12x,非 50x)与部署形态
|
2026-10-29 11:10:54 +08:00 |
|