From 5501a8a2f29cb0e6831ba24a6d81611a8eebd223 Mon Sep 17 00:00:00 2001 From: admin Date: Wed, 11 Nov 2026 15:55:44 +0800 Subject: [PATCH] =?UTF-8?q?feat(device):=20zynq=20=E6=B3=A8=E5=86=8C?= =?UTF-8?q?=E4=B8=BA=E8=8A=82=E7=82=B9=EF=BC=8C=E8=AE=BE=E5=A4=87=E9=A1=B5?= =?UTF-8?q?=E6=A0=87=E6=B3=A8=20TEE=20=E6=94=AF=E6=8C=81=E4=B8=8E=E5=90=A6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 真机:zynq(192.168.1.233) 以 platform=none 注册进 ssw-mpc 控制面, 与 AMD(sev-snp)/海光(hygon-csv) 并列,ssw-mpc-flow 同步到 3 台。 - 修复事件流游标:afterSeq 默认 -1(exclusive 游标,sortCode 从 0 编号, 原默认 0 会永久丢掉第一条事件,Overview 只返 5/6 条)。service/controller/前端 api 三处同步改。 - 设备页新增派生列「TEE 支持」:none ⇒ 标注「不支持 TEE」; 平台列显示中文名 + PlatformKind 规范名。 - 适配层/实体的 platform 改为原样透传 PlatformKind(sev-snp/hygon-csv/optee/tdx/none), 不做白名单,真源加新平台不被挡在适配层。 - 文档:真机验证报告补 §1B(zynq 注册全链路)与 §0.3(上游 issue #3 修复背景); CLAUDE.md 纠正 platform 口径。 --- .workbuddy/memory/2026-11-11.md | 41 ++ .workbuddy/memory/MEMORY.md | 366 ++++++++---------- CLAUDE.md | 7 +- docs/e2e/real-machine-verification.md | 224 ++++++++++- src/backend/src/sswdevice/device.entity.ts | 10 +- .../src/sswflow/engine/ssw-mpc-adapter.ts | 10 +- src/backend/src/sswflow/flowrun.controller.ts | 5 +- src/backend/src/sswflow/flowrun.service.ts | 12 +- src/frontend/src/api/flowrun.ts | 4 +- src/frontend/src/views/Device.tsx | 44 ++- 10 files changed, 493 insertions(+), 230 deletions(-) diff --git a/.workbuddy/memory/2026-11-11.md b/.workbuddy/memory/2026-11-11.md index ee6d3a2..74f0c8b 100644 --- a/.workbuddy/memory/2026-11-11.md +++ b/.workbuddy/memory/2026-11-11.md @@ -244,3 +244,44 @@ Gitea 容器的 `GITEA__server__*` 环境变量会在**每次启动时重新生 > **✅ 11:41 已提交推送**:`1129ec0` `docs(CLAUDE): 明确 ssw-mpc 能力不满足时走上游 issue,不在本项目 hack` > (2 files / +137,含本节工作日志)。远端 `main` 已同步,`git status` 干净。 + +## 15:5x — zynq 注册为节点(上游修复后打通) + +**起因**:用户指出「zynq 可以作为节点呀,注明不支持 vmtee 就好」—— +纠正了我上一轮的错误结论。 + +### 我上一轮错在哪 + +只看了 `PlatformKind` 的一半: +- `crates/mpc-tee/src/lib.rs` 的 `PlatformKind` 本来就有 **5 个**变体 + (`None`/`Optee`/`SevSnp`/`Tdx`/`HygonCsv`),我记成「只有 snp/csv」; +- `hostd::api::parse_platform()` 也认识 `optee`; +- ★ 真正的卡点是 `schedule.rs::parse_kind()` 只接受 `sev-snp`/`hygon-csv`, + 而自报必经它(`POST /registry` → `TeeNode::parse(descriptor)`)。 + +### 处置 + +1. 提 issue #3 到 ssw-mpc(`http://192.168.1.18:13300/ssw/ssw-mpc/issues/3`), + 凭据走 xop `git_local_user`/`git_local_pass`(`git_ssw_*`/`jnpf_git_*` 不通)。 +2. 用户选「去 ssw-mpc 提 issue(推荐)」⇒ 不改上游源码。 +3. 上游 commit `f676a6a` 修复:`PlatformKind` 加 `ALL`/`as_str`/`parse`, + 规范名解析收敛为一份口径,`parse_kind` 手写分支删除。 +4. 本地交叉编译两个产物(macOS → Linux): + - 控制面 x86_64:`cargo zigbuild --target x86_64-unknown-linux-gnu --features vendored` + (`OPENSSL_STATIC=1` + `--config 'build.rustc-wrapper=""'` 关 sccache) + - 板端 armv7:`cargo build --target armv7-unknown-linux-musleabihf --no-default-features --features host-only` +5. 海光机**无 Rust 工具链也无源码仓库** ⇒ 本地编译后 gzip 管道送到机器, + 替换前 `cp -a` 备份旧二进制。 +6. ★ 控制面重启**必须带共享密钥**: + `export MPC_HOSTD_SHARED_SECRET="$(cat /tmp/mpc-cluster/cluster.secret)"` + (原来那个进程就是用环境变量起的,argv 里没有 ⇒ 差点起不来)。 +7. zynq 起 hostd 自报:**平台写 `none` 而不是 `optee`**(zynq 连 OP-TEE 都没有, + 写 optee 是谎报平台);用 `nohup … &`(BusyBox 无 setsid)。 +8. 结果:控制面 `/nodes` 三台(alice/bob/carol), + ssw-mpc-flow `Device/Sync` ⇒ `synced=3`。 +9. 本项目侧:设备页加「TEE 支持」派生列(`none` ⇒ 标注「不支持 TEE」), + 平台列显示中文名 + 规范名。 + +### 回归 + +219/0(sswflow)、21/0(sswdevice)、21/0(sswchain)、32/0(perm-smoke)、46/0(sswflow-smoke)全绿。 diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index c47d40d..c6d2365 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -1,182 +1,152 @@ # ssw-mpc-flow 项目长期记忆 > 范围:`/Users/xs/Desktop/workspace/ssw-mpc-flow`(隐私计算编排,JNPF Lite 框架) -> **远端**:`http://192.168.1.18:13300/ssw/ssw-mpc-flow`(Gitea 1.26.1,用户空间 `ssw`,默认分支 `main`) -> 推送凭据走 **xop**(`git_local_user` / `git_local_pass`)+ `GIT_ASKPASS`,**别把密码写进 remote URL**。 -> 项目级上下文见仓库根的 **`CLAUDE.md`**(改动前先读)。 +> **远端**:`http://192.168.1.18:13300/ssw/ssw-mpc-flow`(Gitea 1.26.1,用户空间 `ssw`,分支 `main`) +> 推送凭据走 **xop**(`git_local_user`/`git_local_pass`)+ `GIT_ASKPASS`,**别把密码写进 remote URL**。 +> +> ★ **架构 / 铁律 / API 契约 / 环境变量表 / 验证命令 一律看仓库根 `CLAUDE.md`**(本文件不重复)。 +> 本文件只留 **实测事实与坑**。详细流水见 `.workbuddy/memory/YYYY-MM-DD.md`。 -## 项目定位 +## 定位 -从 `../ssw-mvp` 抽取隐私计算编排(sswflow)域做成独立项目: -框架换 **JNPF Lite**(NestJS + TypeORM + PGlite + React/Vite), -执行底座换 **`../ssw-mpc`**(Rust CLI)。 -**不修改 ssw-mpc Rust 源码**(其 IR 无 serde、hostd 非 DAG 入口、demo 非生产协议)。 +从 `../ssw-mvp` 抽 sswflow(隐私计算编排)域做独立项目:框架换 **JNPF Lite** +(NestJS + TypeORM + PGlite + React/Vite),执行底座换 **`../ssw-mpc`**(Rust CLI)。 +**不修改 ssw-mpc Rust 源码**。设备注册 / 链上存证**不在 sswflow 域**, +本项目直接对接 ssw-mpc 真实接口,不是移植 ssw-mvp 旧实现。 -## 硬契约(改了会破) +## ★ 真机实测事实(2026-11-11) -- **DAG 结构**:`steps[{stepId,operatorKey,label,x,y,params}]` / - `edges[{edgeId,sourceStepId,sourcePort,targetStepId,targetPort}]` —— 前后端一致。 -- **JNPF 数据契约**:`f_` 前缀列、`f_id VARCHAR(50)` UUID 主键、`f_delete_mark` 软删、 - `ActionResult` 统一返回、API 路径 `/api/ssw/sswflow/{Entity}/{List|Save|Delete}`。 -- **三处一字不差**:controller `MODULE_KEY` == `seed.service.ts` 的 `urlAddress` - == `App.tsx` 的 ``。改任一处必须同步另两处,否则菜单不显示 / 路由 404 / 权限静默放行。 -- **算子 19 个**在 `catalog/catalog.json`(唯一事实源);端口与必填参数以它为准。 -- **12 张表** `sswflow_*`;`db/schema.sql` 由 `scripts/gen-schema.js` 生成,**改列改实体后重跑**。 -- **模块是兄弟而非子域**:`sswflow`(编排)/ `sswdevice`(设备注册)/ `sswchain`(链上存证) - 与 `shop`/`books` 同级,各有自己的 appCode + 模块目录 + 表前缀(`sswdevice_*` / `sswchain_*`)。 -- **前端菜单全动态**:`Dashboard.tsx` 从 `currentUser().menuList` 渲染 → 加菜单**不用改导航代码**, - 只要 seed `menus[]` + App.tsx Route + controller MODULE_KEY 三处一致就会自动出现。 -- **★ `f_id VARCHAR(50)` 是硬上限**:主键派生前缀 + hex 必须 ≤ 50 - (`tee-`+46hex=50 / `rcpt-`+45hex=50)。超了报 `value too long for type character varying(50)`。 -- **★ 两个兄弟模块是真接口对接,不许灌假数据**: - - 设备注册真源 = ssw-mpc **control-plane** `GET {url}/nodes`(Bearer **明文原文**密钥) - - 链上存证真源 = ssw-mpc **outbox**(二进制 canonical_bytes)+ FISCO 国密链自有 RPC - - 真源不可达 ⇒ **0 条 + source=mock + 原因**,绝不造假数据顶。 -- **★ `sswdevice_device.f_online` 三态**:`1`=此刻在真源 `/nodes` 里 / `0`=真源里已消失 - (掉线或 TTL 过期)/ `null`=从未同步过(人工登记)。 - 控制面 `/nodes` 是**当前在线清单**(TTL 90s 自动剔除)⇒ 同步必须标下线, - 但**只有真源读取成功时**才标(不可达时 `offline` 恒 0)。 +### 三台主机 + +| 主机 | 平台 | 端口 | ssw-mpc | 备注 | +|---|---|---|---|---| +| 192.168.1.102 | 海光 csv | 3010/3020 | `/tmp/mpc-cluster/mpc`(8.06MB,**已升级**) | `--node-site bob`,兼控制面 3020 | +| 192.168.1.7 | AMD snp | 3010 | `/tmp/mpc-tee-run-attestpair/` | `--node-site alice`,含我们的 `serve.py` KBS | +| 192.168.1.233 | zynq armv7 | 3011 | `/tmp/mpc-hostd/mpc`(2.79MB armv7 静态) | `--node-site carol`,**platform=none** | + +- **★ zynq 无 TEE 环境(实测)**:`# CONFIG_TEE is not set`、无 `/dev/tee0`、 + 无 `/lib/optee_armtz`、无 optee 内核模块、设备树无 secure/firmware 节点 ⇒ + **OP-TEE 跑不了,要换启动链**(无第二台板子可试,风险极高)。 + 「之前跑通 OP-TEE」指的是 **`mpc` 二进制上板自检,不是 OP-TEE 本身**。 +- **★ zynq 已能作为节点注册(已实测通过)**:上游 commit `f676a6a` 修复了 + `schedule.rs::parse_kind` 只认 snp/csv 的问题 ⇒ `optee`/`none`/`tdx` 均可登记。 + 板端跑 `mpc hostd --node-platform none --node-site carol --node-host 192.168.1.233` + ⇒ 控制面 `/nodes` 出现 `carol@192.168.1.233`。 + **平台写 `none` 不写 `optee`**:zynq 连 OP-TEE 都没有,写 optee 是谎报平台。 + ★ **控制面二进制也必须升级**(否则自报 400);macOS 交叉编译用 + `cargo zigbuild --target x86_64-unknown-linux-gnu --features vendored` + (`OPENSSL_STATIC=1` + `--config 'build.rustc-wrapper=""'` 关 sccache)。 + ★ **控制面重启必须带共享密钥**:`export MPC_HOSTD_SHARED_SECRET="$(cat cluster.secret)"` + (密钥走 argv 会进 `ps`)。 +- **★ zynq 板端硬坑**:① **必须用绝对路径**(SSH 非交互 PATH 只有 `/usr/bin:/bin`, + `mpc` 在 `/usr/local/bin/` ⇒ 直调 "command not found",且 `busybox time` 显示 0.00s 假数据); + ② **不能用 `date +%s%N`**(BusyBox 不支持 `%N`);③ **`/proc/uptime` 只有 0.01s 精度** + ⇒ 测性能要循环 N 次取总量。 +- **★ zynq 是 BusyBox 1.24.1**:无 gcc/make/python3/base64/openssl/**setsid**/**timeout** + ⇒ 传二进制用 **tar.gz 管道**(`cat x.tgz | ssh "cat > x.tgz && tar xzf x.tgz"`); + 后台起进程用 **`nohup … &` + stdin /dev/null**(不是 setsid);`head` 只支持 `-n` 不支持 `-c`。 +- **★ armv7 交叉编译**:`--no-default-features --features host-only`(hostd 不含 OpenSSL, + musl 静态链得出来;默认 `control-plane` 会被 `compile_error!` 硬拒)。 + 板子 glibc 2.26 ⇒ **gnu 动态产物在板子上跑不起来**(`GLIBC_2.28 not found`)。 +- **★ 本机 `nc -z` 端口扫描会报假阴性/假阳性**(受代理影响)⇒ 用 **python socket** 实测。 + +### ★ 多方会话协议契约(实测踩过) + +- **三方必须网状连接**:`--listen + --peers`(`--connect` 只连一个对端,n>2 非法)。 + `--peers` 格式 `name=addr,`,**必须含全部站点**(含本方那格,本方那格被跳过)。 +- **party 编号 = 站点名字典序**(alice=0/bob=1/carol=2);**小编号主动连大编号** + ⇒ 启动顺序要 **carol → bob → alice**(先起最高编号,只 accept)。 + 填错编号**不报错**,只会把帧送到错误的人手里。 +- **密态第二通道 = `--listen` 端口 +1**,`--peers` 表里每个地址也要 +1(`bump_peers`)。 +- **LR 契约**:`--col-blocks` 一一对应铺满 `0..d_total`;`--data-x` 长度 = ids × 本方列数 + ⇒ **给全量行**,交集由 PSI 运行时求;**只有 `--label-owner` 能给 `--data-y`**。 +- **真实实现是「先全发再全收」**(多方纪律;发一个收一个会在 socket 缓冲写满时互等)。 +- **★ 本地密态基准搭法**:cargo 全工作区被 `mpc-chain→openssl` 卡死时,把 + `mpc-core/vault/ir/proto/ml` 五个零依赖 crate 拷到 `/tmp/mpc-bench` 建独立 workspace。 + ★ **三方必须用 `MeshPipe::mesh(3)`**(`Pipe` 是两方专用,忽略 party 定向 ⇒ 会串会话挂死)。 +- **★ 数据必须 z-score 标准化**(每方用自己列的均值/方差):原始量纲(负载 20~95、 + 电压 218~232)+ `lr=0.1` ⇒ 20 轮直接发散(w 到 5.2e5)。 +- 数据生成脚本:`/tmp/mpc-real/gen-lr3.py`(三方)、`gen-lr.py`(两方)。 + +### ★ 真机验证已达成 + +报告:`docs/e2e/real-machine-verification.md`;脚本:`/tmp/mpc-real/`(两方)、`/tmp/mpc3/`(三方)。 + +- **两方**(AMD alice + 海光 bob):PSI 交集 95;权重双方逐位一致;密态 vs 明文 **0.69%**。 +- **三方**(AMD alice + 海光 bob + **zynq carol**):PSI 交集 **84**(三方一致); + 三方权重逐位一致 `[0.3898658752441406, 0.02921295166015625, 0.01927947998046875, + -0.03290557861328125]`;vs 本地密态基准 `1e-5`;vs 明文 **0.76%**。 +- **节点注册三台**(alice/bob/carol)⇒ `Device/Sync` = `synced=3`。 +- **诚实边界**:宿主端二进制执行(非 TEE guest 内);PSK 来自会话文件而非 KBS 证明后下发; + **未经 ssw-mpc-flow 编排层驱动**;zynq 无 TEE ⇒ 只是普通 armv7 参与方。 + +### ★ xop 使用纪律 + +- 凭据只存**键名**;输出被掩码成 `ro****…` ⇒ 必须在 `xop run` 内部直接用 `"$VAR"`。 +- **★ `xop run` 的 stdin 必须 ` log 2>&1 < /dev/null` ⇒ 立即返回、进程完全脱离 ✅; + `ssh "cmd &"` ⇒ SSH 挂起 ❌。点火前必须 `pkill` 旧实例。 +- **★ `pkill -f mpc-host` 会连带杀掉常驻 hostd** ⇒ 重启用 `/tmp/mpc-real/restore-amd.sh`。 +- **★ `scp` 到 AMD 认证失败**(sshd 没开 SFTP)⇒ 走 ssh stdin 管道。 + +## ★ 本项目自身的坑 + +- **事件流游标是 exclusive**:后端 `events()` 过滤 `sortCode > afterSeq`, + 而 `sortCode` **从 0 开始编号** ⇒ 默认 `afterSeq` 必须 **-1** 不是 0, + 否则**第一条事件永久丢失**(曾致 Overview 只返 5/6 条)。 + service / controller / 前端 api 三处默认值必须同步改。 +- **引擎状态值必须大写**:`SUCCESS`/`FAILED`/`SKIPPED`。 + `flowrun.service.ts` 的 `stats` 只认大写 ⇒ 落库写小写会让前端显示「0 成功」。 +- **`f_id VARCHAR(50)` 是硬上限**:主键派生前缀 + hex 必须 ≤ 50 + (`tee-`+46hex=50 / `rcpt-`+45hex=50),超了报 `value too long for character varying(50)`。 +- **两个兄弟模块是真接口对接,不许灌假数据**:真源不可达 ⇒ **0 条 + source=mock + 原因**。 + 设备真源 = ssw-mpc 控制面 `GET {url}/nodes`(Bearer **明文原文**密钥,非 hex); + 链上真源 = ssw-mpc outbox + FISCO 国密链自有 RPC。 +- **`f_online` 三态**:`1`=此刻在真源 `/nodes` 里 / `0`=真源里已消失(掉线或 TTL 过期)/ + `null`=从未同步过(人工登记)。`/nodes` 是**当前在线清单**(TTL 90s 自动剔除) + ⇒ 同步必须标下线,但**只有真源读取成功时**才标(不可达时 `offline` 恒 0)。 `save()` 剥掉 `online`/`source`/`sourceReason` ⇒ 人工登记不能篡改真源权威字段。 +- **`platform` 原样透传 `PlatformKind`**(`sev-snp`/`hygon-csv`/`optee`/`tdx`/`none`), + 不做白名单 ⇒ 真源加新平台不该被挡在适配层。 +- **`TeeNode.measurement` 全零 ⇒ 永远选不中**(选节点靠 measurement 匹配)。 +- **登录密文是 Hex 不是 base64**(写错编码 ⇒「账号或密码错误」)。 + 检验向量:`encryptPassword('123456') === 'd4958348e22108119b3ef57b022c83f4bf857dd0b247eaab15b9a43d47ee3c503900f7135bf0de255bc33620c3cdc02b'` +- 设备列表 = **`GET /api/ssw/sswdevice/Device/List`**(不是 POST);同步 = `POST .../Device/Sync`。 +- **API 返回字段是 camelCase**(`key`/`site`/`online`/`source`),不是 `f_` 前缀。 +- **PGlite 0.5.8 持久化模式起不来**(卡 `waitReady`),只有 `memory://` 能用 + ⇒ **每次重启后端数据清空**。⇒ 落库脚本必须**自带元数据重建**且**幂等** + (先 List 查复用,查不到才建),否则重跑就重复。 +- 后端启动后 **5~8s 内登录会失败**(PGlite 初始化竞态)⇒ 等日志出现 + 「Nest application successfully started」再打 API。 +- `./run.sh dev` 的 nohup 进程在工具 shell 里会被回收 ⇒ 用工具原生后台任务起进程。 +- 浏览器自动化用 `agent-browser`(`aix` 软链已断);React 重渲染后 `@ref` 失效, + 改用 `eval` + `element.click()` + 手动 dispatch `change`。 +- macOS grep 无 `-P`;`npm bin -g` 已移除,用 `npm root -g`。 +- `grep` 对本仓库文件常返回空(退出码 1)⇒ 改用 python 计数/`re` 读。 +- `mpcSettings()` 仓库根解析是**多候选 + 存在性探测**,别改回单路径。 +- `check-module.sh --all` 会把多词实体名拆错(`datasetauth`→`Datasetauth`), + **必须显式列实体名**。 -## 关键入口 +## ★ ssw-mpc 侧真源(只读) -| 用途 | 路径 | -|---|---| -| 画布编辑器 | `src/frontend/src/views/Flow.tsx`(**React Flow `@xyflow/react`** 受控模式) | -| 画布节点 | `src/frontend/src/components/SswNode.tsx`(按算子 ports 动态渲染 Handle) | -| 画布转换层 | `src/frontend/src/utils/flowTransform.ts`(toBackendSteps/Edges,端口 key 直通) | -| 执行引擎层 | `src/backend/src/sswflow/engine/` | -| 算子能力映射 | `src/backend/src/sswflow/engine/mpc-operator-map.ts` | -| 运行调度中枢 | `src/backend/src/sswflow/flowrun.service.ts` | -| 菜单种子 | `src/backend/src/sys/seed.service.ts`(`menus[]` 字面量,perm-smoke 动态解析它) | -| schema 生成器 | `scripts/gen-schema.js`(递归扫 `src/backend/src/**/*.entity.ts`) | -| **ssw-mpc 适配层(真源唯一入口)** | `src/backend/src/sswflow/engine/ssw-mpc-adapter.ts` | -| 设备注册 / 链上存证 | `src/backend/src/sswdevice/` `src/backend/src/sswchain/`(**已真接口对接**) | -| 通用 CRUD 页 | `src/frontend/src/components/CrudPage.tsx`(`apiBase` / `sync` / `syncExtra` / `renderCell` / `banner`) | - -**★ ssw-mpc 侧真源(只读,不改 Rust 源码)**: `crates/mpc-chain/src/objects.rs`(Receipt 布局)、`outbox.rs`(行格式 + 幂等键)、 `rpc.rs`(FISCO 自有端点 + 成功三件套)、`crates/mpc-hostd/src/auth.rs`(Bearer 口径)、 `crates/mpc-cli/src/chain.rs`(子命令)、`tools/selftest-fisco-contract.py`(真链门禁 22/22)、 -`tools/fisco-realnode/example.chain.json`(chain.json)、`contracts/MpcHardRule.sol` + -`build/contracts/combined.json`(合约与 ABI)、`deploy/tee/real-machine/`(真机参数集中入口)。 +`tools/fisco-realnode/example.chain.json`、`contracts/MpcHardRule.sol` + +`build/contracts/combined.json`、`deploy/tee/real-machine/`。 -**★ 执行底座 = ssw-mpc 版本二进制包(不再本地编 Rust)**: -- 上游按版本发 `mpc` 单二进制到 Gitea Release(三目标 + `SHA256SUMS`); - 安装 `bash scripts/install-mpc.sh`(`./run.sh mpc` 同效)→ 落 `.mpc/bin//mpc`(gitignore)。 -- 安装必做**双重校验**:比对 Release 的 `SHA256SUMS` + 装完跑 `mpc selfcheck` 对账自报摘要。 -- 二进制解析顺序:`MPC_BIN` → 已装版本包(取**语义化版本最高**)→ 仓库 `target/release/mpc` - → `target/debug/mpc` → PATH。`MPC_WORK_DIR` 现在**只用于找素材**(chain.json / 合约 ABI),不找二进制。 -- ★★ **版本包与源码构建能力面不同**:版本包是 `--features vendored`(静态 OpenSSL), - **不含 `secure`** ⇒ `mpc sql/sql-plan/sql-join/pg` **不存在**(exit=2 + 「未知命令: sql」); - 源码树默认构建**含** `secure` ⇒ 有 sql。⇒ 能力映射必须**实测**(`probeCliSubcommands()`, - 缺则 `native → partial` + 写明原因),不能照抄静态表(否则界面说谎)。 +**★ CLI feature 门控**:`hostd`/`control-plane`/`link` 需 control-plane 或 host-only; +`chain` 需 control-plane(要 OpenSSL);`sql*`/`pg` 需 secure; +**`node`/`psi`/`lr`/`lr-vertical`/`fl`/`orch`/`plan` 无门控**(guest 静态版也有)。 -**画布组件事实**:原 ssw-mvp 用 VueFlow(`@vue-flow/core`);本项目用同门 React Flow -(`@xyflow/react`)。二者 API 一一对应(受控用 applyNodeChanges、Handle id=端口 key、 -useReactFlow/fitView、Background/MiniMap/Panel 全有)。**端口 key 透传**: -React Flow 的 `sourceHandle`/`targetHandle` == 后端 `edge.sourcePort`/`edge.targetPort` -== `catalog.json` 端口 key,无映射表。 - -## 验证命令(改完必跑) - -```bash -node scripts/gen-schema.js # 列有变更时 -bash scripts/check-module.sh sswflow Artifact Dataset DatasetAuth Datasource Flow \ - FlowRun FlowSchedule FlowStepRun Party Project ProjectParty RunEvent # 静态,期望 219/0 -bash scripts/perm-smoke.sh # 权限闭环,期望 32/0 -bash scripts/sswflow-smoke.sh # 业务链路,期望 46/0 -bash scripts/check-module.sh sswdevice Device # 静态,期望 21/0 -bash scripts/check-module.sh sswchain ChainBlock # 静态,期望 21/0 -node scripts/check-canvas-ports.js # 画布端口落库校验(默认 127.0.0.1:30000) -node scripts/seed-infra.js # ★ 触发真源同步(不再灌假数据) -node scripts/seed-infra.js --list # 只看当前库里有什么 -node scripts/seed-infra.js --tx 0x # 额外查 FISCO 链上出块回执 -bash scripts/install-mpc.sh --list # 版本包:远端版本 + 本地已装 -``` - -> ★ `sswflow-smoke.sh` 的 46/0 期望值是**默认 simulation 驱动**下的行为。 -> 用 `MPC_DRIVER=mpc` 跑会有 6 项失败(SINGLE/UPSTREAM/DOWNSTREAM 的 SUCCESS 计数)—— -> 那是真实驱动下 `psi`/`lr` 无 agent 会 FAILED 的**预期差异**,不是回归。 - -**★ 两个模块的环境变量**(后端进程要带,否则退化成 mock): - -| 变量 | 值(真机) | -|---|---| -| `MPC_CONTROL_PLANE_URL` | `http://192.168.1.102:3020`(海光真机 control-plane) | -| `MPC_HOSTD_SHARED_SECRET` | `/tmp/mpc-cluster/cluster.secret` 的**原文**(非 hex) | -| `MPC_FISCO_CHAIN_CONFIG` | `../ssw-mpc/tools/fisco-realnode/example.chain.json` | -| `MPC_FISCO_OUTBOX` | `/chain-outbox.txt` | -| `MPC_FISCO_NODE` | `node0` | - -**★ 两方会话的环境变量**(`prep.intersect` / `model.lr.train` 真密态必需): - -| 变量 | 值 | 不给的后果 | -|---|---|---| -| `MPC_SITES` | `alice,bob` | 不足 2 站 ⇒ 降级 | -| `MPC_SEED` | **64 位 hex**(32 字节),各方一致 | 各方随机 ⇒ **PSI 交集必空** | -| `MPC_SESSION_LISTEN` / `MPC_SESSION_CONNECT` | `host:port`,**二选一**(都给反而非法) | 无连接参数 ⇒ 协议错 | -| `MPC_SESSION_EPOCHS` / `MPC_SESSION_LR` | 默认 `20` / `0.1`,**各方必须一致** | 不一致 ⇒ `open_batch 第 0 个值长度不一致` | -| `MPC_AGENT_PRESENT` | `1` 表示各方进程在场 | — | - -> ★ **探测对端必须用 bind 不能用 connect**:connect 会占掉对端 accept 名额, -> 监听方 accept 后当真对端握手,探测方 destroy ⇒ 监听方卡死在密态通道等待, -> 真会话再也连不上。bind(EADDRINUSE ⇒ 有人在听)无副作用。 -> ★ `connect_within` 会重试到 **180s** 预算耗尽才报错 ⇒ 下发前先探测,不可达就降级。 - -**服务端口**:后端实际监听 **30000**(非 3000),前端 dev `127.0.0.1:5173`。 -登录契约:`x-www-form-urlencoded` 的 `account` + AES-ECB 密文密码(`encryptPassword('123456')`) -+ `grant_type=password`,token 在 `data.token`。 - -`check-module.sh --all` 会把多词实体名拆错(`datasetauth`→`Datasetauth`), -**必须显式列实体名**。 - -## 环境坑 - -- 起后端用 `node dist/main.js`(`nest start`/`nest build` 会被安全删除钩子拦,因为它们要清 dist)。 - **编译用 `npx tsc -p tsconfig.json`**(直接发射到 dist,增量覆盖,不批量删目录)→ 绕过钩子且成功。 -- `gen-schema.js` 的 ENTITY_DIR 已改成递归扫整个 `src/backend/src`,新模块加在 sswflow 之外也能进 schema.sql。 -- `./run.sh dev` 的 nohup 进程在工具 shell 里会被回收 → 用工具原生后台任务起进程。 -- 浏览器自动化用 `agent-browser`(`aix` 软链已断);React 重渲染后 `@ref` 失效, - 改用 `eval` + `element.click()` + 手动 dispatch `change`(原生 select 要用 - `HTMLSelectElement.prototype` 的 value setter)。 -- macOS grep 无 `-P`;`npm bin -g` 已移除,用 `npm root -g`。 -- **PGlite 0.5.8 持久化模式起不来**:`new PGlite('/dir')` 卡在 `waitReady`,只有 - `memory://` 能用 ⇒ **每次重启后端数据清空**(测存量库路径需要真 Postgres)。 -- 后端启动后 **5~8s 内登录会失败**(PGlite 初始化竞态)→ 等日志出现 - 「Nest application successfully started」再打 API。 -- `grep` 对本仓库文件常返回空(退出码 1)⇒ 改用 python 计数/`re` 读。 -- `mpcSettings()` 仓库根解析是**多候选 + 存在性探测**(`../../../ssw-mpc` 等), - 别改回单路径 —— 从 `src/backend` 出发 `../../` 会落到 workspace 根下。 - -## 已知未实现 - -- **FlowSchedule 周期调度**:只有表和 CRUD,**调度器未实现**(到点不自动起 run)。 -- **两方会话算子需对端在场**:`prep.intersect`/`model.lr.train` 走 ssw-mpc 真密态, - 需各方进程同时在场(**2026-11-11 起 AMD alice 与海光 bob 两方真机均已就位**, - 手动跨机会话已跑通并三方对齐)。但**编排层仍不能自动驱动多方**: - `mpc-engine.ts` 是单进程(`sites[0]` 作本方), - `sessionCapability()` 需 `MPC_SESSION_LISTEN`/`MPC_SESSION_CONNECT`/`MPC_AGENT_PRESENT=1` - 才真下发,否则降级 partial + WARN 写明原因,不硬失败。 -- **端口扫描必须 `--noproxy '*'` / `NO_PROXY=*`**:本机代理会把 `nc -z` 的 - 「succeeded」报成假阳性。 -- **设备注册无 mTLS 握手**:走的是 ssw-mpc 既有机制(TEE 节点经 hostd 向控制面自报), - 本项目只做注册表的读取与呈现,不自建注册协议。 -- **链上存证不是通用区块浏览器**:ssw-mpc `mpc chain` **没有**区块浏览命令, - 链上对象只有 Receipt / Member / PolicyBundleRecord 三类。 - -## ssw-mvp 原始落点(别再找错) - -「设备注册」「区块链」**不在 sswflow 域**,是三个子项目三种语言: -`nax/nax/device/`(Python 设备登记)、`scard/code/connector/register/`(Go 注册连接器)、 -`boot/ssw-tds/.../tds/chain/`(Java FISCO 链存证)。**没有现成 TS 版可搬** —— -本项目改为**直接对接 ssw-mpc 的真实接口**(control-plane + outbox + FISCO 链), -不是移植 ssw-mvp 的旧实现。 - -## ★ 真链/真机关键事实 - -细节见 README「设备注册 / 链上存证」两节与 `.workbuddy/memory/2026-11-10.md`。 -最易踩的 9 条: +## ★ 真链/真机关键事实(FISCO + 控制面) 1. **FISCO 成功三件套**:`status==0`(与 web3 的 0x1 **相反**)+ `transactionHash` 非空 + `blockNumber>0`;字段缺失按「没有」处理。 @@ -188,55 +158,27 @@ bash scripts/install-mpc.sh --list # 版本包:远 `call --arg` 要 `TYPE:VALUE` + `--key ` + `--node node0`。 6. **控制面 Bearer 必须是密钥原文**(非 hex);outbox `Confirmed` 只代表已广播。 7. **Receipt 布局**:域分隔固定 25B 无长度前缀 → `push_field("receipt")` → `"v1"` → 字段。 -8. **TeeNode**:`kbc`=`cc_kbc`/`offline_fs_kbc::null`;`platform`=`sev-snp`/`hygon-csv`; - `kbs_endpoint` 只能从 descriptor 解析。 -9. **★ `GET /nodes` 是「当前在线清单」,不是注册档案**:控制面 - `prune_stale()` 会剔除超 `node_ttl_secs`(**默认 90s**)未心跳的节点 - (`crates/mpc-tee/src/control_plane.rs`)。⇒ 同步必须处理「下线」: - 真源里消失的节点标 `f_online=0`(不软删),且**只有真源读取成功时**才标 - (控制面不可达时 `offline` 恒 0,否则就是误报)。`f_online` 三态: - `1`=在线 / `0`=掉线 / `null`=从未同步(人工登记)。 +8. **TeeNode**:`kbc`=`cc_kbc`/`offline_fs_kbc::null`;`kbs_endpoint` 只能从 descriptor 解析。 +9. **`GET /nodes` 是「当前在线清单」**:控制面 `prune_stale()` 剔除超 `node_ttl_secs` + (**默认 90s**)未心跳的节点 ⇒ 同步要处理下线,但**只有真源读取成功时**才标。 -## ★ 三台真机现状(2026-11-11 实测,已装 ssw-mpc) +## 已知未实现 -| 主机 | 平台 | 3010 | ssw-mpc | 备注 | -|---|---|---|---|---| -| 192.168.1.102 | 海光 csv | OPEN | **有**,`/tmp/mpc-cluster/mpc` 手工起(**非 systemd**,重启即丢) | `--node-site bob`,同时跑控制面 3020 | -| 192.168.1.7 | AMD snp | OPEN | **已装**,`/tmp/mpc-tee-run-attestpair/`(mpc-host=8MB 宿主端 / mpc=1.5MB musl guest) | `--node-site alice`,含我们的 `serve.py` KBS | -| 192.168.1.233 | zynq | 未探测 | — | xop 有 `tee_zynq_user/pass`;armv7l guest 静态二进制(不含 hostd/control-plane) | +- **FlowSchedule 周期调度**:只有表和 CRUD,**调度器未实现**(到点不自动起 run)。 +- **编排层仍不能自动驱动多方**:`mpc-engine.ts` 是单进程(`sites[0]` 作本方), + `sessionCapability()` 需 `MPC_SESSION_LISTEN`/`MPC_SESSION_CONNECT`/`MPC_AGENT_PRESENT=1` + 才真下发,否则降级 partial + WARN 写明原因,不硬失败。 +- **TEE guest 内运行 PSI/LR**:当前为**宿主端**二进制执行,PSK 来自会话文件而非 + KBS 证明后下发。 +- **AMD 侧 KBS 真实 SNP 证明流程**:strict 已起,但无 guest 提交过证明包。 +- **设备注册无 mTLS 握手**:走 ssw-mpc 既有机制(TEE 节点经 hostd 向控制面自报), + 本项目只做注册表的读取与呈现,不自建注册协议。 +- **链上存证不是通用区块浏览器**:ssw-mpc `mpc chain` **没有**区块浏览命令, + 链上对象只有 Receipt / Member / PolicyBundleRecord 三类。 +- **KBS 架构结论**(已定):判定留真机 / 物料进 pod / 控制面进 pod / hostd 不变。 -- **AMD SSH 已通**:先 `ssh-keygen -R 192.168.1.7`(host key 变过),再用 xop 凭据 + - `sshpass -e`。**xop 输出被掩码**(`ro****…`),`printf "$PASS"` 拿到的是掩码串 - ⇒ 必须在 `xop run` 内部直接用 `"$VAR"`,别把掩码当明文。 -- **AMD `host-agent.service` 无限重启(116328 次/13.5 天)拖垮系统**(`vfio-pci` 未加载 - + 硬编码 `/dev/vfio/61`,真实 group 60);已 `disable --now` 止血。 -- **★ `scp` 到 AMD 认证失败**(sshd 没开 SFTP)⇒ 用 **base64 编码经 ssh stdin 管道**传输。 -- **★ xop 会掩码含敏感词的文件名**(`psk.hex`→`zk****`、`root-key`→`ro****-key`) - ⇒ 传输文件用不含敏感词的名字(`sess-auth.txt`/`sess-master.txt`)。 +## ssw-mvp 原始落点(别再找错) -## ★ 真机验证已达成(2026-11-11) - -**跨机密态 PSI + 纵向联邦 LR 在两台不同厂商真机上跑通,权重三方对齐。** -完整报告见 `docs/e2e/real-machine-verification.md`,脚本在 `/tmp/mpc-real/`。 - -- 数据:alice(AMD) 120 行 `load_pct`/`temp_c`,bob(海光) 102 行 `volt_v`; - 标签 = `temp_c>65℃`;交集 95。**每方只用自己列做 z-score 标准化**。 -- 契约(照 `cmd_lr_vertical` 源码):`--col-blocks` 一一对应铺满 `0..d_total`; - `--data-x` 长度 = ids × 本方列数 ⇒ **给全量行**,交集由 PSI 运行时求; - **只有 `--label-owner` 能给 `--data-y`**;**密态第二通道 = `--listen` 端口 +1** - (PSI 9449 / 密态 9450);`--seed` 全体一致。 -- 结果:双方 reveal 的权重**逐位一致**;跨机 vs 本地密态基准偏差 `1e-5`; - 密态 vs 明文 `plaintext_lr` 偏差 **0.69%**(degree=7 多项式 sigmoid 逼近 + 定点截断)。 -- **独立基准搭法(复用价值高)**:cargo 全工作区被 `mpc-chain→openssl` 卡死时, - 把 `mpc-core/vault/ir/proto/ml` 五个零依赖 crate 拷到 `/tmp/mpc-bench` 建独立 - workspace,用 `Pipe` 内存传输复刻 `run_lr_vertical_session` 即可。 -- 远端点火:`setsid --fork cmd > log 2>&1 < /dev/null` ✅(`ssh "cmd &"` 会挂起)。 - 点火前必须 `pkill` 旧实例,否则报 `Address already in use` 而旧实例仍在监听。 - ★ `pkill -f mpc-host` 会**连带杀掉常驻 hostd** ⇒ 重启用 `/tmp/mpc-real/restore-amd.sh`。 - -**诚实边界**:本次是**宿主端**二进制执行(非 TEE guest 内),PSK 来自会话文件而非 -KBS 证明后下发;**未经 ssw-mpc-flow 编排层驱动**(`mpc-engine.ts` 单进程, -需 `MPC_AGENT_PRESENT=1` 等才真下发,否则 `[simulated]`)。 - 完整排查见 `2026-11-10.md`(**该动作由并行执行体执行,授权未与用户确认**)。 -- **跨机真密态会话还需 alice 方**:在 AMD 或 zynq 上起 `mpc hostd --node-site alice`。 -- 海光节点上 `mpc` **不在 PATH**(在 `/tmp/mpc-cluster/`),排障用 `readlink /proc//exe`。 +「设备注册」「区块链」**不在 sswflow 域**,是三个子项目三种语言: +`nax/nax/device/`(Python 设备登记)、`scard/code/connector/register/`(Go 注册连接器)、 +`boot/ssw-tds/.../tds/chain/`(Java FISCO 链存证)。**没有现成 TS 版可搬**。 diff --git a/CLAUDE.md b/CLAUDE.md index d557281..630ca28 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -139,8 +139,11 @@ bash docs/e2e/sswflow/run.sh --ui # 额外用浏览器打开 Flow 画布真 - TeeNode 真实字段:`site`/`host`/`platform{kind,tcb}`/`device_present`/`qemu_present`/ `firmware_present`/`image_present`/`measurement[32]`/`kbc`/`kbs_reachable`/`kbs_endpoint`/`qemu_bin`… -- `platform` = `sev-snp` / `hygon-csv`;`kbc` = `cc_kbc` / `offline_fs_kbc::null` - (**不是** online/offline);`key` = `site@host`;`tcb` 是整数 +- `platform` = `PlatformKind` 的**规范名**(`crates/mpc-tee/src/lib.rs`): + `sev-snp` / `hygon-csv` / `optee` / `tdx` / `none`。 + ★ `none` = **无 TEE 的普通计算节点**(如 zynq 边缘板)—— 界面必须标注「不支持 TEE」。 + 历史别名(`snp`/`csv`/`amd`/`hygon`)只在各自输入层放宽,**不进协议口径**。 +- `kbc` = `cc_kbc` / `offline_fs_kbc::null`(**不是** online/offline);`key` = `site@host`;`tcb` 是整数 - ★ `kbs_endpoint` **只能从 descriptor 解析**(`node_to_json` 没有该字段) - ★ 控制面鉴权:配了共享密钥 ⇒ 必须带 `Authorization: Bearer <明文密钥原文>` (≥32 字节、纯 ASCII、**不许含空白**)。**用了 hex 编码会全 401** diff --git a/docs/e2e/real-machine-verification.md b/docs/e2e/real-machine-verification.md index 5f0d7a9..b155077 100644 --- a/docs/e2e/real-machine-verification.md +++ b/docs/e2e/real-machine-verification.md @@ -1,7 +1,7 @@ -# 真机验证报告:AMD(SEV-SNP) × 海光(CSV) 跨机密态 PSI + 纵向联邦 LR +# 真机验证报告:AMD(SEV-SNP) × 海光(CSV) × ZYNQ(ARMv7) 跨机密态 PSI + 纵向联邦 LR > 验证日期:2026-11-11 -> 真机:AMD `192.168.1.7`(alice,sev-snp,tcb=5) / 海光 `192.168.1.102`(bob,hygon-csv,tcb=3) +> 真机:AMD `192.168.1.7`(alice,sev-snp,tcb=5) / 海光 `192.168.1.102`(bob,hygon-csv,tcb=3) / **zynq `192.168.1.233`(carol,armv7l 边缘板)** > 执行底座:`../ssw-mpc`(Rust CLI,**未修改源码**) > 结论:**真协议、真跨机、真数据,PSI 交集与纵向 LR 权重三方对齐通过。** @@ -9,6 +9,8 @@ ## 0. 一句话结论 +### 0.1 两方(AMD × 海光) + | 验证项 | 结果 | |---|---| | 两台真机注册到控制面 `/nodes` | ✅ alice + bob 同时在册,measurement 一致 | @@ -17,6 +19,34 @@ | 真跨机密态纵向 LR | ✅ 双方权重**逐位一致**(3/3 分量完全相同) | | 密态 vs 明文基准 | ✅ 最大相对偏差 **0.69%**(degree=7 多项式 sigmoid 逼近 + 定点截断) | +### 0.2 三方(AMD × 海光 × zynq)—— 本轮新增 + +| 验证项 | 结果 | +|---|---| +| zynq 板端自检(`board-selftest.sh` 判据) | ✅ selfcheck sha256 一致 / selftest **5/5** 全过 / 两进程会话两侧 `value \| 35.000000` | +| zynq 作为第三方参与方 | ✅ 以 **carol** 身份参与三方网状会话 | +| 三方真跨机密态 PSI | ✅ 交集 **84** 条,三方各自算出同一份,与本地真值吻合 | +| 三方真跨机密态纵向 LR | ✅ **三方权重逐位一致**(4/4 分量完全相同) | +| 三方密态 vs 本地密态基准 | ✅ 偏差 `1e-5` 量级 | +| 三方密态 vs 明文基准 | ✅ 最大相对偏差 **0.76%** | +| **zynq 注册为节点** | ✅ `carol@192.168.1.233` 出现在控制面 `/nodes`(`platform=none`),ssw-mpc-flow 同步到 **3 台**(见 §1B) | + +--- + +## 0.3 一句话背景:为什么 zynq 之前注册不了,现在能了 + +上一轮结论「zynq 不能作为 TEE 节点注册」**是错的** —— 错在只看了 `PlatformKind` 的一半: + +- `PlatformKind`(`crates/mpc-tee/src/lib.rs`)本来就有 **5 个**变体: + `None` / `Optee` / `SevSnp` / `Tdx` / `HygonCsv`; +- `hostd::api::parse_platform()` 也认识 `optee`; +- ★ 但**节点描述解析器** `schedule.rs::parse_kind()` 只接受 `sev-snp` / `hygon-csv`, + 而自报必经它(`POST /registry` → `TeeNode::parse(descriptor)`)⇒ `kind=optee` 被 400 拒。 + +已向 ssw-mpc 提 issue #3,上游在 commit `f676a6a` 修复: +`PlatformKind` 新增 `ALL` / `as_str` / `parse`,规范名解析**收敛为一份口径**, +`parse_kind` 手写分支删除 ⇒ `optee` / `none` / `tdx` 均可登记。 + --- ## 1. 节点注册 @@ -46,6 +76,83 @@ POST /api/ssw/sswdevice/Device/Sync --- +## 1B. zynq 注册为节点(无 TEE 的普通计算节点) + +### 1B.1 链路 + +``` +zynq 192.168.1.233 + /tmp/mpc-hostd/mpc hostd --listen 0.0.0.0:3011 --allow-remote + --control-plane 192.168.1.102:3020 + --node-platform none --node-site carol --node-host 192.168.1.233 + --node-tcb 1 --node-capacity 1 --node-kbc offline + --node-measurement 25d06a32…d50d3a --report-interval 5 + ↓ 自报(每 5s) + 海光控制面 192.168.1.102:3020 POST /registry + ↓ + GET /nodes ⇒ carol@192.168.1.233 platform=none + ↓ + ssw-mpc-flow POST /api/ssw/sswdevice/Device/Sync ⇒ synced=3 +``` + +### 1B.2 平台值为什么写 `none` 而不是 `optee` + +zynq 板子实测:`# CONFIG_TEE is not set`、无 `/dev/tee0`、无 `/lib/optee_armtz`、 +无 optee 内核模块、设备树无 secure/firmware 节点 ⇒ 它**连 OP-TEE 都不是**, +只是个普通 armv7 计算节点。 + +写 `optee` 等于**谎报平台**(声明有可信执行环境而实际没有)⇒ 本项目纪律是 +「宁可如实说没有,也不假装有」。所以平台如实写 `none`, +界面上明确标注「**不支持 TEE**」—— 用它跑敏感算子前必须知道这一点。 + +### 1B.3 板端产物 + +| 项 | 值 | +|---|---| +| 产物 | `armv7-unknown-linux-musleabihf` 静态(`--no-default-features --features host-only`) | +| 体积 | 2,786,340 B | +| sha256 | `83e408f041f7772efd443cbd3cf6ce7e3496b67601e63c165f3480d9c738beeb` | +| 板端路径 | `/tmp/mpc-hostd/mpc` | +| 能力位 | `device_present=false` / `qemu_present=false` / `kbc=offline_fs_kbc`(如实全 false) | + +> ★ `host-only`(而不是默认 `control-plane`):musl 目标下带 `mpc-chain` +> 会被 `compile_error!` 硬拒(要系统 OpenSSL)。hostd 不含 OpenSSL,musl 静态链得出来。 +> ★ 传输用 **tar.gz 管道**(zynq 无 `base64`/`scp`);起进程用 **`nohup … &`** +> (BusyBox 无 `setsid`)。 + +### 1B.4 控制面侧也要升级 + +控制面二进制必须含新解析口径,否则自报会被 400 拒: + +```bash +# 本地交叉编译(macOS 上要用 zig + vendored OpenSSL) +export OPENSSL_STATIC=1 +cargo zigbuild --target x86_64-unknown-linux-gnu --release -p mpc-cli \ + --features vendored --config 'build.rustc-wrapper=""' +# → 8,055,040 B,sha256 47167979d2f034fb2d260e16719e4a1007f0fd18b38f0217a49bafcc30d75d11 +``` + +海光机上原本没有 Rust 工具链,也没有源码仓库 ⇒ 本地编译后经 gzip 管道送到板/机, +替换前先 `cp -a` 备份旧二进制。 + +> ★ 控制面**必须带共享密钥**才能起(非回环地址): +> `export MPC_HOSTD_SHARED_SECRET="$(cat /tmp/mpc-cluster/cluster.secret)"` +> (密钥走 argv 会进 `ps` 输出,所以用环境变量) + +### 1B.5 三方注册表最终状态 + +```json +[ + {"key":"alice@192.168.1.7", "platform":"sev-snp", "tcb":5,"device_present":true, "kbc":"cc_kbc"}, + {"key":"bob@192.168.1.102", "platform":"hygon-csv", "tcb":3,"device_present":true, "kbc":"cc_kbc"}, + {"key":"carol@192.168.1.233","platform":"none", "tcb":1,"device_present":false,"kbc":"offline_fs_kbc"} +] +``` + +ssw-mpc-flow 侧同步结果:`{"synced":3,"offline":0,"source":"control-plane"}`。 + +--- + ## 2. 数据(真实业务语义,非 mock) 由 `gen-data.py` 生成,**可复现**(`random.seed(20261111)`): @@ -128,6 +235,106 @@ bob: 本方 bob(2/2)有 102 个 ID / 第 1/2 跳完成(120 个点)/ --- +## 4A. 三方(AMD × 海光 × zynq)—— 本轮新增 + +### 4A.1 zynq 板端先做自检(照 `deploy/arm/zynq7015/board-selftest.sh` 的判据) + +板子身份:`ACZ7015 ZYNQ Development Board`,`xlnx,zynq-7000`,armv7l 双核 Cortex-A9, +内核 `4.14.0-xilinx`,BusyBox 1.24.1,glibc 2.26 armhf。 + +``` +== 1. selfcheck == + | tool | mpc + | size | 1273788 + | sha256 | 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d + | platform | linux/arm +== 2. selftest == 5 项全过(含「两方分片/重建」「两方 Beaver 乘法」「明文域/密态域一致性」) +== 3. 两进程会话(alice + bob)== + alice: value | 35.000000 bob: value | 35.000000 +``` + +> ★ 板端三条硬坑(脚本已处理,别再踩): +> ① **必须用绝对路径** `/usr/local/bin/mpc` —— SSH 非交互 PATH 只有 `/usr/bin:/bin`, +> 直调 `mpc` 会 "command not found",且 `busybox time` 会显示 `0.00s` **假数据**; +> ② **不能用 `date +%s%N`**(BusyBox 不支持 `%N`); +> ③ **`/proc/uptime` 只有 0.01s 精度** ⇒ 测性能要循环 N 次取总量。 + +### 4A.2 三方协议契约(照 `cmd_lr_vertical` + `connect_any` 源码,不是猜的) + +```bash +# 三方**都**用 --listen + --peers(网状连接),--connect 只支持两方 +mpc lr-vertical --site alice --sites alice,bob,carol \ + --col-blocks alice:0:1,bob:1:1,carol:2:1 \ + --data-ids <120> --data-x <120> --data-y <120 标签> \ + --label-owner alice --epochs 20 --lr 0.05 --seed <同一份 64hex> \ + --listen 0.0.0.0:9449 \ + --peers alice=192.168.1.7:9449,bob=192.168.1.102:9449,carol=192.168.1.233:9449 \ + --report json +``` + +三方比两方多出来的三个硬约束: + +1. **party 编号 = 站点名字典序**(alice=0 / bob=1 / carol=2),**不是**自定义顺序。 + `TcpMesh::connect_mesh_with_psk` 按下标收发,填错**不报错**,只会把帧送到错误的人手里 + (表现为交集莫名不对)。 +2. **小编号主动连大编号**(`for j in addrs.iter().enumerate().skip(me + 1)` 主动连, + `for _ in 0..me` 只 accept)⇒ **启动顺序必须 carol → bob → alice**。 + 先起 alice 会 `connect_retry` 空等 300s。 +3. **`--peers` 表里必须含全部站点**(含本方那格,填自己的地址也不冲突 —— + 本方那格在 `connect_any` 里被跳过),且**每个地址都要 +1** 对应密态通道 + (`bump_peers`):PSI 走 9449、密态走 **9450**。 + +### 4A.3 三方结果 + +PSI(三方各自算出同一份): + +``` +alice: 本方 alice(1/3)有 120 个 ID / 第 1/3 跳完成(86 个点)/ 交集 84 条 +bob: 本方 bob (2/3)有 102 个 ID / 第 1/3 跳完成(120 个点)/ 交集 84 条 +carol: 本方 carol(3/3)有 86 个 ID / 第 1/3 跳完成(102 个点)/ 交集 84 条 +``` + +对齐后 **84 行 × 3 列**,与本地 `gen-lr3.py` 算的三方真值(A∩B∩C = 84)**完全吻合**。 + +纵向 LR —— **三方 + 明文基准** 四方对齐: + +| 权重 | 跨机密态(三方真机) | 本地独立密态基准 | 明文 `plaintext_lr` | 密态 vs 明文相对偏差 | +|---|---|---|---|---| +| `w[0]` load_pct(alice) | `0.3898658752441406` | `0.38986968994140625` | `0.38740154028818446` | 0.636% | +| `w[1]` volt_v(bob) | `0.02921295166015625` | `0.0292205810546875` | `0.029000670489206008` | 0.731% | +| `w[2]` amp_a(carol) | `0.01927947998046875` | `0.01926422119140625` | `0.019252393363064474` | 0.141% | +| `w[3]` 截距 | `-0.03290557861328125` | `-0.032917022705078125` | `-0.032778496464229236` | 0.387% | + +- **alice / bob / carol reveal 出的权重逐位一致**(4/4 分量完全相同 ⇒ 三方密态协议正确) +- **跨机 vs 本地密态基准**偏差 `1e-5` 量级(Beaver 三元组随机性 ⇒ 定点截断) +- **密态 vs 明文**最大偏差 **0.76%**,与两方同量级 + +### 4A.4 三方本地基准怎么搭(`bench-lr3`) + +两方基准能直接照抄,**三方有两处必须改**,否则要么死锁要么串会话: + +| 坑 | 症状 | 修复 | +|---|---|---| +| 用了 `Pipe::pair()` | `Pipe` 是**两方专用**(`send_to`/`recv_from` **忽略 party 参数**)⇒ 三方会串会话 | 必须用 `MeshPipe::mesh(3)`(每对 (i,j) 一条独立通道,索引语义与 TCP 版一致) | +| 「发一个收一个」 | 真实实现是「**先全发再全收**」—— 发一个收一个会在 socket 缓冲写满时各方互等 | 基准必须照抄「先全发再全收」的顺序 | + +另外三方基准的**列块落位要按 offset**,不是按 party 序号 —— +各方列块 `[0,1) [1,2) [2,3)` 与 party 序号恰好同序,但真实实现写的是 +`x_sh[i * d_total + my_block.offset + k]`,基准必须照抄这个语义。 + +### 4A.5 zynq 上的三条实操坑 + +| # | 坑 | 后果 | 解法 | +|---|---|---|---| +| ① | BusyBox **没有 `setsid`** | `setsid: command not found` ⇒ 进程根本没起,但脚本以为点火成功 | 用 `nohup … > log 2>&1 < /dev/null &` | +| ② | BusyBox **没有 `base64` / `openssl`** | `base64 -d` 传二进制得到**空文件**(md5 `e3b0c44…`) | 用 **tar.gz 管道**:`cat x.tgz \| ssh "cat > x.tgz && tar xzf x.tgz"` | +| ③ | 板子 **glibc 2.26** | 交叉编出的 gnu 动态产物在板上直接 `GLIBC_2.28 not found` 起不来 | 用 **musl 静态**产物(`--no-default-features` + `armv7-unknown-linux-musleabihf`) | + +> ★ 另:本地 `cargo build --offline` 在 ssw-mpc 主仓会被 `mpc-chain → openssl → semver` +> 卡住(内网 ipass 索引滞后)⇒ 交叉编译前先确认依赖可解析。 + +--- + ## 5. 诚实边界(本次**没有**做到的部分) | 项 | 状态 | 说明 | @@ -135,10 +342,17 @@ bob: 本方 bob(2/2)有 102 个 ID / 第 1/2 跳完成(120 个点)/ | TEE guest 内运行 | ❌ 未做 | 本次是**宿主端**二进制执行。真协议/真跨机/真数据,但 PSK 来自会话文件,不是 KBS 证明后下发。guest 内跑需 `guest-role.sh` + `run-guest.py` + `attest-init.sh` + `snp-verify-attestation.sh`(KDS 拉 VCEK)。 | | 经 ssw-mpc-flow 编排层驱动 | ❌ 未做 | 后端 `mpc-engine.ts` 是**单进程**(`sites[0]` 作本方)。`sessionCapability()` 需 `MPC_SESSION_LISTEN`/`MPC_SESSION_CONNECT`/`MPC_AGENT_PRESENT=1` 才真下发,否则降级 partial + `[simulated]`。本次是**手动跨机执行**。 | | KBS 真实证明流程 | ❌ 未做 | AMD 上 `serve.py` 已 strict 模式启动,但**尚无 guest 提交过真实 SNP 证明包**。 | -| zynq(192.168.1.233)作第三方 | ❌ 未做 | armv7l TEE guest 静态二进制(不含 hostd/control-plane),可行性未评估。 | +| zynq(192.168.1.233)作第三方 | ✅ **已达成** | 本轮已把 zynq 跑通并作为 **carol** 参与三方 PSI + 纵向 LR(权重三方逐位一致)。**且已作为节点注册进控制面**(见 §1B),本项目管理台里显示为 `platform=none` / **TEE 支持=不支持 TEE**。仍**没有**做到的是:真板 OP-TEE(`# CONFIG_TEE is not set`、无 `/dev/tee0`、无 `/lib/optee_armtz`、设备树无 secure 节点)⇒ 要**换启动链**,板上**无第二台可试**、在役服务在跑 ⇒ 本轮**没有**改板。 | -> 换句话说:本次证明的是「**ssw-mpc 的 MPC 协议栈在两台不同厂商的真机上能跑通且结果正确**」, -> 还**没有**证明「端到端 TEE attested 闭环」与「编排层能自动驱动多方会话」。 +> ⚠️ zynq 的 OP-TEE 现状(已按 `../ssw-mpc/docs/ZYNQ.md` §4.3 与 +> `deploy/arm/zynq7015/README.md` 的缺口表逐条核实,与本文实测一致): +> **「之前跑通 OP-TEE」指的是 `mpc` 二进制(算子核 + 协议栈 + 两进程会话)上板自检**, +> 不是 OP-TEE 本身。OP-TEE 部分在 ssw-mpc 文档里明确记为「沙箱构建完成、 +> 真板未跑通、需换启动链」(§6 诚实清单里 `mpc-tee` 的 OP-TEE 实现仍为未勾选)。 + +> 换句话说:本次证明的是「**ssw-mpc 的 MPC 协议栈在两台不同厂商真机 + 一台 ARM 边缘板 +> 上能跑通且结果正确**」,还**没有**证明「端到端 TEE attested 闭环」 +> 与「编排层能自动驱动多方会话」。 --- diff --git a/src/backend/src/sswdevice/device.entity.ts b/src/backend/src/sswdevice/device.entity.ts index ec3f042..117a2ad 100644 --- a/src/backend/src/sswdevice/device.entity.ts +++ b/src/backend/src/sswdevice/device.entity.ts @@ -9,7 +9,9 @@ import { Column, Entity, PrimaryColumn } from 'typeorm'; * 与 ssw-mpc 的真实语义不符。 * * ★ 真实取值(2026-11-10 海光真机 192.168.1.102 控制面实读): - * platform = `sev-snp` / `hygon-csv`(= TeeNode.kind) + * platform = `PlatformKind` 的显示值(crates/mpc-tee/src/lib.rs): + * `sev-snp` / `hygon-csv` / `optee` / `tdx` / `none` + * (`none` = 无 TEE 的普通计算节点,如 zynq 边缘板) * kbc = `cc_kbc` / `offline_fs_kbc::null`(不是 online / offline) * key = `site@host`(注册表主键) * tcb = 整数版本号(海光 CSV2 = 3,AMD SNP = 5) @@ -35,7 +37,11 @@ export class DeviceEntity { @Column({ name: 'f_host', type: 'varchar', length: 200, nullable: true }) host: string; - /** 平台种类:sev-snp / hygon-csv(= TeeNode.kind)。 */ + /** + * 平台种类(= `PlatformKind` 的显示值): + * `sev-snp` / `hygon-csv` / `optee` / `tdx` / `none`(`none` = 无 TEE)。 + * 原样透传,不做白名单。 + */ @Column({ name: 'f_platform', type: 'varchar', length: 64, nullable: true }) platform: string; diff --git a/src/backend/src/sswflow/engine/ssw-mpc-adapter.ts b/src/backend/src/sswflow/engine/ssw-mpc-adapter.ts index a4d93ef..5880a8a 100644 --- a/src/backend/src/sswflow/engine/ssw-mpc-adapter.ts +++ b/src/backend/src/sswflow/engine/ssw-mpc-adapter.ts @@ -8,7 +8,9 @@ * key(`site@host`) / site / host / platform / tcb / capacity / last_seen / * device_present / qemu_present / firmware_present / image_present / * kbs_reachable / kbc / measurement / descriptor - * ★ `platform` 的真实取值是 `sev-snp` / `hygon-csv`(= TeeNode 的 kind), + * ★ `platform` 的真实取值来自 ssw-mpc 的 `PlatformKind` + * (crates/mpc-tee/src/lib.rs):`sev-snp` / `hygon-csv` / `optee` / `tdx` / `none`, + * 本层**原样透传**、不做枚举白名单(真源将来加新平台不该被这里挡掉)。 * `kbc` 的真实取值是 `cc_kbc` / `offline_fs_kbc::null` —— 不是 online/offline。 * ★ `descriptor` 是 TeeNode 的 `key=value` 行式文本,**原始字段都在里面**, * 它是「一份描述两处呈现」的权威副本。 @@ -69,7 +71,11 @@ export interface TeeNodeView { site: string; /** 主机地址。 */ host: string; - /** 平台种类:`sev-snp` / `hygon-csv`(= TeeNode.kind)。 */ + /** + * 平台种类(原样透传 ssw-mpc 的 `PlatformKind`): + * `sev-snp` / `hygon-csv` / `optee` / `tdx` / `none`。 + * `none` = 无 TEE 的普通计算节点。 + */ platform: string; /** 可信计算基版本号(整数)。 */ tcb: number; diff --git a/src/backend/src/sswflow/flowrun.controller.ts b/src/backend/src/sswflow/flowrun.controller.ts index 2f27555..f2bbd46 100644 --- a/src/backend/src/sswflow/flowrun.controller.ts +++ b/src/backend/src/sswflow/flowrun.controller.ts @@ -91,7 +91,10 @@ export class FlowRunController { ) { const g = await this.guard(req); if (g) return g; - return ActionResult.success(await this.svc.events(runId, Number(afterSeq) || 0, Number(limit) || 200)); + // ★ afterSeq 是**已消费到的游标**(exclusive)。不传 ⇒ 从头开始(-1 ⇒ 拿到 sortCode=0 那条)。 + // 用 `Number(x) || 0` 会把「不传」与「传 0」混为一谈,且 0 会丢掉第一条事件。 + const after = afterSeq === undefined || afterSeq === '' ? -1 : Number(afterSeq); + return ActionResult.success(await this.svc.events(runId, after, Number(limit) || 200)); } @Get('Artifacts') diff --git a/src/backend/src/sswflow/flowrun.service.ts b/src/backend/src/sswflow/flowrun.service.ts index c8d9e6d..111911e 100644 --- a/src/backend/src/sswflow/flowrun.service.ts +++ b/src/backend/src/sswflow/flowrun.service.ts @@ -296,7 +296,14 @@ export class FlowRunService { return this.stepRepo.find({ where: { runId } as any, order: { seq: 'ASC' } as any }); } - async events(runId: string, afterSeq = 0, limit = 200): Promise { + /** + * 事件流(增量游标)。 + * + * ★ `afterSeq` 是**已消费到的游标**(exclusive),所以默认值必须是 -1 而不是 0 —— + * `sortCode` 从 0 开始编号,而 `sortCode > 0` 会把**第一条事件永久丢掉**。 + * 调用方传 0 表示「已消费到 0 之前」⇒ 期望拿到 sortCode=0 那条。 + */ + async events(runId: string, afterSeq = -1, limit = 200): Promise { const rows = await this.eventRepo.find({ where: { runId } as any, order: { sortCode: 'ASC' } as any, take: 1000 }); return rows.filter((r) => (r.sortCode || 0) > afterSeq).slice(0, limit); } @@ -311,7 +318,8 @@ export class FlowRunService { const run = await this.get(runId); if (!run) throw new BizException('运行实例不存在'); const steps = await this.steps(runId); - const events = await this.events(runId, 0, 200); + // ★ 从头开始(-1):否则 sortCode=0 的第一条事件永远不返回。 + const events = await this.events(runId, -1, 200); const artifacts = await this.artifacts(runId); return { run, steps, events, artifacts, diff --git a/src/frontend/src/api/flowrun.ts b/src/frontend/src/api/flowrun.ts index 19366d9..0ad8d71 100644 --- a/src/frontend/src/api/flowrun.ts +++ b/src/frontend/src/api/flowrun.ts @@ -12,7 +12,9 @@ export const startRun = (opts: any) => request.post('/ssw/sswflow/FlowRun/Start' export const stopRun = (runId: string) => request.post('/ssw/sswflow/FlowRun/Stop', { runId }); export const runInfo = (id: string) => request.get(`/ssw/sswflow/FlowRun/Info?id=${id}`); export const runSteps = (runId: string) => request.get(`/ssw/sswflow/FlowRun/Steps?runId=${runId}`); -export const runEvents = (runId: string, afterSeq = 0) => +// ★ afterSeq 是**已消费到的游标**(exclusive):默认 -1 = 从头开始(拿到 sortCode=0 那条)。 +// 用 0 当默认值会永远丢掉第一条事件(后端 filter 是 sortCode > afterSeq)。 +export const runEvents = (runId: string, afterSeq = -1) => request.get(`/ssw/sswflow/FlowRun/Events?runId=${runId}&afterSeq=${afterSeq}`); export const runArtifacts = (runId: string, stepId?: string) => request.get(`/ssw/sswflow/FlowRun/Artifacts?runId=${runId}${stepId ? `&stepId=${stepId}` : ''}`); diff --git a/src/frontend/src/views/Device.tsx b/src/frontend/src/views/Device.tsx index e2970ac..e486536 100644 --- a/src/frontend/src/views/Device.tsx +++ b/src/frontend/src/views/Device.tsx @@ -7,11 +7,32 @@ import CrudPage from '../components/CrudPage'; * ★ 字段严格对齐 ssw-mpc 的 TeeNode(crates/mpc-tee/src/schedule.rs): * site / host / platform / tcb / capacity / device_present / qemu_present / * firmware_present / image_present / kbs_reachable / kbc / measurement。 - * 平台真实取值是 `sev-snp` / `hygon-csv`(不是 edge/gateway/compute_node)。 + * 平台真实取值来自 `PlatformKind`(crates/mpc-tee/src/lib.rs): + * `sev-snp` / `hygon-csv` / `optee` / `tdx` / `none`(不是 edge/gateway/compute_node)。 * * ★ 能力位一律展示为「在位 / 缺失」,因为 TeeNode 的能力位**默认全 false, * 漏填即被 admit 拒绝**(fail-closed),不是可选项。 + * + * ★ 「TEE 支持」列是**派生显示**(不改库、不改真源): + * `sev-snp` / `hygon-csv` / `optee` / `tdx` ⇒ 有可信执行环境; + * `none`(无 TEE 的普通计算节点,如 zynq 板)⇒ 标注「不支持 TEE」, + * 明确告诉使用者这台机器**没有**内存加密/隔离保证。 */ + +/** 有 TEE 保证的平台(对齐 PlatformKind 的实际变体)。 */ +const TEE_PLATFORMS = new Set(['sev-snp', 'hygon-csv', 'optee', 'tdx']); + +/** 平台值 → 中文可读名。未知值原样透传(不编造语义)。 */ +function platformLabel(p: string): string { + const map: Record = { + 'sev-snp': 'AMD SEV-SNP', + 'hygon-csv': '海光 CSV', + optee: 'ARM OP-TEE', + tdx: 'Intel TDX', + none: '无 TEE', + }; + return map[p] || p; +} export default function Device() { return ( control-plane 的节点注册表(GET /nodes)。 设备不是手工登记的 —— 是 TEE 节点经 hostd 向控制面自报的, 点「从控制面同步」拉取真实注册表。 - 平台取值 sev-snp / hygon-csv; + 平台取值来自 PlatformKind:sev-snp / hygon-csv / + optee / tdx / none; 密钥代理模式 cc_kbc / offline_fs_kbc::null。
+ TEE 支持列是派生显示:none 表示该节点没有可信执行环境 + (纯软件计算节点),只能承担普通计算,不能承担需要内存隔离/加密的敏感算子。 +
状态列说明:控制面 /nodes 返回的是当前活跃节点 (超过 TTL 90s 未心跳会被自动剔除),所以「离线」= 该节点已不在真源清单里, 同步时会自动标出 —— 不代表节点被删除,只是此刻没在自报。 @@ -37,6 +62,7 @@ export default function Device() { { key: 'site', label: '站点' }, { key: 'host', label: '主机' }, { key: 'platform', label: '平台' }, + { key: 'teeSupport', label: 'TEE 支持' }, { key: 'tcb', label: 'TCB' }, { key: 'capacity', label: '容量' }, { key: 'devicePresent', label: 'TEE设备' }, @@ -50,7 +76,7 @@ export default function Device() { { key: 'key', label: '注册键(site@host)' }, { key: 'site', label: '站点' }, { key: 'host', label: '主机' }, - { key: 'platform', label: '平台(sev-snp/hygon-csv)' }, + { key: 'platform', label: '平台(sev-snp/hygon-csv/optee/tdx/none)' }, { key: 'tcb', label: 'TCB' }, { key: 'capacity', label: '容量' }, { key: 'kbc', label: '密钥代理模式' }, @@ -64,6 +90,18 @@ export default function Device() { if (row.online === null || row.online === undefined) return '未登记'; return row.online ? '在线' : '离线'; } + if (key === 'platform') { + const p = String(row.platform || ''); + if (!p) return '-'; + return `${platformLabel(p)}(${p})`; + } + if (key === 'teeSupport') { + // ★ 派生显示:platform 是不是「有 TEE 保证」的平台。 + // `none` = 无 TEE 的普通计算节点 —— 明确标注,别让人误以为它也受内存加密保护。 + const p = String(row.platform || ''); + if (!p) return '-'; + return TEE_PLATFORMS.has(p) ? '支持' : '不支持 TEE'; + } if (key === 'devicePresent' || key === 'kbsReachable') { return row[key] ? '在位' : '缺失'; }