- 项目与文档标题:nax-rs → ssw-mpc(尚数网-多方安全计算),二进制 nax → mpc - 18 个 crate 及目录 nax-* → mpc-*,Rust 引用 nax_* → mpc_* - 环境变量、C 符号、构建/部署脚本:NAX_* → MPC_*、libnax_ray.so → libmpc_ray.so - 保留协议域分隔常量与 refs/nax 参考实现路径,维持 golden 向量与历史数据兼容 - 新增 [profile.dev] incremental=false
4.7 KiB
PostgreSQL 接入
mpc sql-join --pg-url 直连业务库取本方数据,靠的是 crates/mpc-data/src/pg
里一份手写的 PG v3 前端协议客户端(零外部依赖)。这份文档说明它支持到哪、
怎么验、以及出问题时先看什么。
为什么要手写
铁律是「单二进制、能编进 TEE / Zynq」。tokio-postgres 会拖进 tokio +
bytes + futures;postgres(同步版)也是一串依赖 + 自己的 TLS 栈。
联邦学习这条路上真正需要的只有一件事:执行一条只读 SELECT,把行取回来。
没有参数化、没有预编译、没有连接池、没有通知、没有 COPY——这些都不要,
要的就手写。协议本身不难:StartupMessage + 认证 + Simple Query,一千多行。
支持矩阵
| 能力 | 状态 |
|---|---|
连接串 postgres://user:pass@host:port/db?sslmode=disable |
支持 |
sslmode=disable / 省略 |
支持 |
sslmode=require 及其他 |
明确报错,不假装支持 |
认证 trust / cleartext / md5 / SCRAM-SHA-256 |
支持;SCRAM-SHA-256-PLUS 不支持(要 TLS) |
Simple Query(Q),多语句返回多个结果集 |
支持 |
| Extended Query(prepare/bind/execute) | 不做 |
结果文本格式 → Frame(只要数值列) |
支持,非数值列先丢后报 |
COPY、LISTEN/NOTIFY、游标 |
不做 |
| 密码来源 | 连接串 → 省略时取 MPC_PG_PASSWORD;别写进 argv |
被丢的列:ResultSet::to_frame 只收 bool/int2/int4/int8/oid/float4/float8/numeric
(OID 16/21/23/20/26/700/701/1700),text/varchar/date/timestamp/json 一律丢弃
并回报列名。Frame 的格子是 f64,这是刻意的——密态算子只认定点数。
join 键必须是非负整数(PSI 的 id 是 u64),且 < 2^53(f64 能精确表示的上界)。
三层验证
单元测试只能证明「我们自己写的服务端和客户端能对上」,等于自证。所以分三层:
- golden 向量(
pg/crypto.rs的测试)——PBKDF2 / HMAC / MD5 / base64 / SCRAM 的中间值与python3 hashlib独立算出的结果逐位比对。 - 假服务端(
pg/mod.rs的tests::Server)——真 TCP、三种认证、错误注入, 验证客户端的状态机(错密码、错误后连接仍可用、SCRAM 全流程)。 - 真 Postgres(
tools/pg-dev/)——PGlite 是 Postgres 编到 WASM 的版本, 复用同一份 PG 源码,协议行为一致。tools/pg-dev/e2e.sh起两个独立的库 (银行 / 商户),跑完整的两方密态聚合并断言结果。
tools/pg-dev/e2e.sh # 全自动,退出码 0 = 全部断言通过
tools/pg-dev/e2e.sh --keep # 跑完不关库,方便手工再看
它验的是:客户端连真库 → SELECT uid, balance 取数 → PSI 求交(uid=6 只在乙方、
uid=5 只在甲方,必须被挡掉)→ 列分片交换 → 密态聚合 → 两方结果一致。
第一轮(聚合 spend) COUNT=4 SUM=140 MIN=20 MAX=50
第二轮(WHERE spend>=30,聚合 balance) COUNT=3 SUM=1600 MIN=300 MAX=900
手工起一个本地库
cd tools/pg-dev && node server.mjs --port 5433 --init seed-bank.sql
- 默认
memory://,跑完即弃;要保住数据给--data-dir .data/bank - 就绪信号是 stdout 上的
[pg-dev] ready 127.0.0.1:5433 - 认证走 trust(PGlite 单用户),所以 SCRAM 只在假服务端 + golden 向量里验过
出问题时先跑 mpc pg
sql-join 的报错来自分布式会话深处,「连不上库 / 列被丢 / 键不是整数 / 值不是数值」
四种错在终端上长得差不多。把库这条路单独跑通再排查:
mpc pg --url postgres://[email protected]:5432/db \
--sql "select uid, balance, name from t" --frames
输出三块:原始结果集、列类型表(每列的 OID、类型名、会不会进 Frame)、
以及 --frames 时真正进密态计算的那几列。用户最常见的困惑「我查了 5 列,
怎么聚合只认 2 列」,答案永远在那张列类型表里。
已知限制(写清楚免得踩)
- 链路上不加密。
sslmode=require直接拒绝,跨公网请套 SSH 隧道 / WireGuard。 - 密码以 md5 / SCRAM 证明过网(trust 除外),明文只出现在 cleartext 模式。
- 整表物化。Simple Query 一次返回全部
DataRow,百万行会吃掉内存; 真流式要 extended query + Execute 分页,属后续。CSV 侧已有分批流接口 (mpc-data::source),PG 侧还没有。 - PGlite 是 PG 18,生产是 15.18;两者 wire 协议同为 v3,但新版本的行为差异 (如参数默认值)不会被这套端到端测试覆盖。