- remote() 只收 stdout(1>&3);2>&3 会把 ssh 客户端 Warning 混进返回值, 密钥送达长度校验再次失效。 - 按名字定位代码的判据统一剥注释,修掉补注释引起的自指型假红。 - 新增行为判据:真跑 remote(),断言返回值只剩远端 stdout; 判据 9 增加「stderr 不进采集流」静态约束。 - 破坏实验补 2 条,逐条证明新增判据非恒绿;文档同步计数与诚实边界。
442 lines
33 KiB
Markdown
442 lines
33 KiB
Markdown
# 系统架构(当前形态)
|
||
|
||
> **活文档 · A 类真相源** | 更新 2026-11-08 | 总入口 [docs/INDEX.md](INDEX.md)
|
||
>
|
||
> 本文只回答三个问题:**系统现在长什么样、组件摆在哪、信任边界在哪**。
|
||
>
|
||
> | 想看什么 | 去哪 | 别来本文 |
|
||
> |---|---|---|
|
||
> | 计算分层「为什么这样分」 | [ARCHITECTURE.md](ARCHITECTURE.md) | — |
|
||
> | 决策取证「为什么这么定」 | [INTEGRATION_ANALYSIS.md](INTEGRATION_ANALYSIS.md)(历史快照) | — |
|
||
> | 当前能力清单与硬证据 | [INDEX.md](INDEX.md) §1、[README.md](../README.md) 现状 | — |
|
||
> | 上游逐字节事实(TARS / ZA / 回执) | [FISCO_UPSTREAM_TRUTH.md](FISCO_UPSTREAM_TRUTH.md) | — |
|
||
>
|
||
> 本文拆解自 `INTEGRATION_ANALYSIS.md` 的 §1(双层控制面)/ §4(链上形态)/ §5(会话主键),
|
||
> **只收架构结论与当前事实**,不复制它的论证过程、阶段状态与判据逻辑。
|
||
> 判定口径只有一份实现(代码 / 判据脚本),本文一律给指针。
|
||
|
||
**状态图例**(全文通用,别把蓝图当现状):
|
||
|
||
| 标记 | 含义 |
|
||
|---|---|
|
||
| [实证] | 真机 / 真链上跑通,有判据与硬证据 |
|
||
| [桩验] | 代码已实现,但只在桩 / 环回 / 假服务上验过 |
|
||
| [设计] | 决策已定稿,尚未具象为独立服务或完整链路 |
|
||
| [禁用] | 明确不做,或已被决策删除 |
|
||
|
||
---
|
||
|
||
## 0. 一页速览
|
||
|
||
**一句话**:一套 Rust 单二进制的多方安全计算引擎,宿主侧直起 TEE guest 做隔离计算,
|
||
链上层用国密签名把订单 / 回执 / 硬规则写进 FISCO 国密链,站点与链的管理面落在 k8s,
|
||
而 **TEE 执行面必须留在真机**。
|
||
|
||
```text
|
||
┌───────────────────────── 管理面 / 站点面(wuguirong k8s)─────────────────────────┐
|
||
│ mpc-demo 算子集市 :30082 fisco-verify 守卫 ConfigMap 台账/工具 │
|
||
│ (Rust 单二进制 + 内嵌前端) (链活性 + 高度 + 指纹) (不含私钥、不复制判据) │
|
||
└───────────────────────────┬──────────────────────────────────────────────────────┘
|
||
│ JSON-RPC(自有 4 参端点)/ ConfigMap
|
||
┌───────────────────────────▼──────────────────────────────────────────────────────┐
|
||
│ 链面 FISCO BCOS 3.17.1 国密链(Deployment + NFS PVC,NodePort 30100/30101) │
|
||
│ sm_crypto=true · group0/chain0 · MpcHardRule.sol(硬规则,不开 WASM) │
|
||
│ mpc-chain:objects / rpc / outbox / admission / fisco_tx / sm2 / opa / policy │
|
||
└───────────────────────────┬──────────────────────────────────────────────────────┘
|
||
│ 站点端编排 / 会话登记([设计] 尚未具象为独立服务)
|
||
┌───────────────────────────▼── TEE 真机(编排层之外)─────────────────────────────┐
|
||
│ 集群控制面 mpc control-plane :3020 [桩验] 收自报 / 选址 / 对账 / 公布端点 │
|
||
│ 宿主机控制面 mpc-hostd :3010/:3011 e2b 兼容 API + /attestation │
|
||
│ TeeRuntime:qemu spawn / 状态表 / reaper / 孤儿校验(pid + 启动时间) │
|
||
│ 证明采集 → KBS 验签 → 放密钥 → tap(宿主) + socket(跨 guest) │
|
||
│ │ vsock / tap(不进网络栈) │
|
||
│ guest:musl `mpc` + 策略引擎 → 只做计算与出证明,不持链凭据、不发 HTTP │
|
||
│ 192.168.1.102 海光 CSV ✧ 192.168.1.7 AMD SNP(本身是 guest 虚机) │
|
||
└─────────────────────────────────────────────────────────────────────────────────┘
|
||
┌───────────────────── SA 扩展模式(Zynq-7015 板 + 外挂 VM)─────────────────────┐
|
||
│ 板(安全世界):SA 服务端 持 K_root(永不导出)→ seal/unseal/attest/sign │
|
||
│ + master-seed(共享)→ party-seed(按 site 派生) │
|
||
│ │ SA HTTP(凭据模式)|跨网段靠本机 socat 转发(临时手段) │
|
||
│ 外挂 VM(算力):SA 客户端 → 只拿会话物料,**拿不到 K_root**;MPC 算法在这里跑 │
|
||
└─────────────────────────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
**三条硬边界**(越界即失去多机构前提,不许借「方便」冲掉):
|
||
|
||
1. **站点端不碰 qemu,宿主机端不碰私钥。** 调度落点与芯片报告只在宿主机;成员策略与签发私钥只在站点端。
|
||
2. **TEE 直调度,绝不走 Kata / 编排层。** `/dev/sev`、`/dev/csv-guest` 设备直通决定了 hostd 必须留在真机,k8s 里只有台账。
|
||
3. **判定口径只有一份实现。** 生成端自检 == 审计端判定;四布尔不许合并成一个 `ok`,文档不许复述判据逻辑当第二真相源。
|
||
|
||
---
|
||
|
||
## 1. 组件清单(按「面」分组,路径真实存在)
|
||
|
||
### 1.1 计算面(单二进制内)
|
||
|
||
| 层 | crate | 职责 | 依赖约束 |
|
||
|---|---|---|---|
|
||
| 算子核 | `mpc-core` | u64 环算术 / 分享 / PRG / 比较本地步骤 | [实证] 零 crates.io 依赖、`no_std`、零分配 |
|
||
| 编译期 | `mpc-ir` | 算子图、轮数规划、强制 Lift | 不碰密码学 |
|
||
| 协议编排 | `mpc-vault` / `mpc-proto` | Beaver / 截断 / open / 帧协议 | 自研 TCP 帧 |
|
||
| 应用 | `mpc-sql` / `mpc-ml` / `mpc-psi` / `mpc-fl` / `mpc-he` / `mpc-zkp` | 各场景算子 | 协议都走图 |
|
||
| 编排 | `mpc-node` / `mpc-orch` / `mpc-runtime` | 一方一进程、成员与放置 | Ray 可选,不是必需 |
|
||
| 入口 | `mpc-cli`(`mpc`) | `node/psi/lr/.../tee/hostd/link/chain` | 见 1.4 profile 切分 |
|
||
|
||
> 这一层的分层理由与「为什么不是每方一个 Ray Actor」见 [ARCHITECTURE.md](ARCHITECTURE.md),本文不重复。
|
||
|
||
### 1.2 TEE 执行面(真机)
|
||
|
||
| 组件 | 落点 | 职责 | 状态 |
|
||
|---|---|---|---|
|
||
| `mpc-tee` | `crates/mpc-tee/` | HAL:`seal/attest/sign/device_key`;`verify.rs` / `collect.rs` / `kbs.rs` / `session.rs` / `site_admit.rs`;**集群调度层**:`scheduler.rs`(`NodeRegistry` / `TeePool`)/ `dispatch.rs` / `reconciler.rs` / `control_plane.rs` / `probe.rs` | [实证] 零 crates.io 依赖,两个平台真机跑通;调度层 [桩验] 见 §1.6 |
|
||
| `mpc-hostd` | `crates/mpc-hostd/` | **单机 e2b 兼容面**:`/sandboxes` + `/attestation`;`runtime.rs` 起 qemu + reaper;`api.rs` 四布尔 `AttestationVerdict`。**集群面**:`registry_api.rs` / `control_plane_api.rs` / `control_plane_server.rs` / `host_dispatch.rs` | [实证] 单机面真机运行;集群面 [桩验] 见 §1.6 |
|
||
| `mpc control-plane` | `crates/mpc-cli/src/control_plane.rs` | 集群面命令:`serve` / `nodes` / `sessions` / `set-desired` / `report`,默认只听 `127.0.0.1:3020` | [桩验] 真 socket 门禁跑通,非真机集群;见 §1.6 |
|
||
| KBS | 真机上各起一个 | 芯片验签放行后才给密钥(`key_source=kbs`) | [实证] 同一次运行合流 |
|
||
| qemu guest | musl `mpc` | 计算 + 出证明 | [实证] 跨物理机双 guest 密文会话,两侧 `35.000000` |
|
||
|
||
### 1.3 链面
|
||
|
||
| 组件 | 落点 | 职责 | 状态 |
|
||
|---|---|---|---|
|
||
| `mpc-chain` | `crates/mpc-chain/` | 对象规范编码 / JSON-RPC / 幂等 outbox / 准入 / 国密签名 / OPA / 治理形状 | [实证] 真链发交易 |
|
||
| `fisco_tx.rs` | 同上 | TARS 编码(**非 RLP**)、`e = SM3(ZA‖dataHash)` 签名、`r‖s‖pub` 128B | [实证] 逐字节核对 |
|
||
| `MpcHardRule.sol` | `contracts/` + `build/contracts/combined.json` | 硬规则上链(成员白名单 / TCB 门槛 / 算法准入) | [实证] 部署 / 调用 / 读回 22/22 |
|
||
| FISCO 节点 | k8s Deployment + `nfs-wuguirong` PVC | 共识 / 执行 / 账本,`sm_crypto=true` | [实证] 连同现有账本迁入,删 Pod 重建高度不变 |
|
||
| `mpc link` | `crates/mpc-cli/src/link.rs` | 会话级入网、三档 relay 策略、credential 绑定 | [桩验] 进程化已实现;credential 由管理节点签发([设计] 签发侧未独立成服务) |
|
||
|
||
### 1.4 站点 / 管理面(k8s)
|
||
|
||
| 组件 | 落点 | 职责 | 状态 |
|
||
|---|---|---|---|
|
||
| `mpc-demo` | `demo/` → k8s NodePort `30082` | 算子集市站点,Rust 单二进制 + `include_str!` 内嵌前端,零外部依赖 | [实证] 已在 k8s,`/tmp` 挂 NFS PVC |
|
||
| `fisco-verify` | `deploy/k8s/fisco/40-admin.yaml` | 常驻守卫:链活性 + 高度 ≥ 30 + block30 哈希指纹 | [实证] 三条负向样例逐条破坏过,非恒绿 |
|
||
| ConfigMap | `mpc-admin-tools` / `mpc-hostd-registry` | 工具与台账(**从仓库原文件生成**,不复制判据逻辑) | [实证] 台账类 |
|
||
| 站点端控制面 | — | 会话编排 / 成员策略签发 / 链交互 / 跨宿主调度 / 审计对账 | [设计] **决策定稿的角色,不是已实现的 `mpc site` 命令**;CLI 无此子命令,部分职责由 `mpc-hostd` client 侧、判据脚本与站点承担 |
|
||
|
||
> ⚠️ 别照着 `INTEGRATION_ANALYSIS.md` 的示意敲 `mpc site` / `--order` / `--pubkey`:
|
||
> 那是设计蓝图。当前可用的命令以 `mpc --help` 与 `crates/mpc-cli/src/main.rs` 注册为准。
|
||
|
||
### 1.5 单二进制、两种 profile(编译期硬切分)
|
||
|
||
| profile | 构建 | 含 | 不含 |
|
||
|---|---|---|---|
|
||
| 宿主控制面(默认) | `cargo build --bin mpc` | `mpc-hostd` + `mpc-chain`(`control-plane`) | — |
|
||
| musl guest | `--no-default-features` | 计算 + TEE 证明 | `hostd` / `chain` / OpenSSL |
|
||
|
||
`main.rs` 的 `compile_error!` 在 `target_env=musl` 且带 `control-plane` 时**硬拒绝**;
|
||
`mpc-cli/Cargo.toml` 按 target 把 `openssl-sys` 排除出 musl 依赖图,保证守卫真的可达,
|
||
而不是先撞上含混的 `pkg-config` 报错。主门禁第 4 条三层探针钉死这条边界。
|
||
|
||
### 1.6 集群调度面(CubeMaster 等价物)与单机面分离
|
||
|
||
`mpc control-plane` 是 2026-11-09 起新增的**集群面**命令,参考 CubeSandbox 的
|
||
CubeMaster / Cubelet / Redis / reconciler 三层映射。落点仍在 `mpc-tee`(纯逻辑,
|
||
零 crates.io 依赖)与 `mpc-hostd`(HTTP 实现),**不新增编排层、不落 `mpc-orch`**:
|
||
|
||
| CubeSandbox | 本项目落点 | 文件 |
|
||
|---|---|---|
|
||
| Cubelet(节点自描述 / 心跳) | `hostd` 探针 + 周期自报 | `mpc-tee/src/probe.rs`、`mpc-hostd/src/registry_api.rs` |
|
||
| Redis(共享状态源) | `NodeRegistry` / `TeePool` 候选池 | `mpc-tee/src/scheduler.rs` |
|
||
| CubeMaster(收自报 / 选址 / 公布端点) | `ControlPlane` | `mpc-tee/src/control_plane.rs` |
|
||
| reconciler(对账下发) | `TeeReconciler`(create / attest / destroy) | `mpc-tee/src/reconciler.rs` |
|
||
|
||
**两个命令、两个端口、两套面,故意不合并**:
|
||
|
||
| | `mpc hostd`(单机 e2b 兼容面) | `mpc control-plane`(集群面) |
|
||
|---|---|---|
|
||
| 对应角色 | Cubelet | CubeMaster |
|
||
| 默认监听 | `127.0.0.1:3010` | `127.0.0.1:3020` |
|
||
| 主要端点 | `/sandboxes`、`/attestation`、`/node` | `/registry`、`/nodes`、`/sessions`、`/desired`、`/report` |
|
||
| 生命周期 | 机器级(跟着一台 TEE 真机) | 集群级(可独立于任何一台真机) |
|
||
| 失败语义 | 「这台机器起不了 guest」 | 「整个集群排不出会话」 |
|
||
|
||
分开的理由是**暴露面与失败语义不同**:集群面要跨网段可达(因此非回环监听强制
|
||
共享密钥 **且** 显式 `--allow-remote`,见 `mpc-cli/src/control_plane.rs`),单机面
|
||
只该本机回环;合并会让「能起 guest」那条路随集群面一起暴露。`mpc-tee` 的
|
||
`probe` / `reconciler` / `control_plane` 仍受 `std` 门控(`--no-default-features`
|
||
不编进 guest),HTTP 服务器与 tokio runtime 只在 `mpc-hostd`。
|
||
|
||
**闭环**:`hostd` 周期自报 → `POST /registry`(复用 `TeeNode::parse()` 的唯一
|
||
fail-closed 口径,解析失败拒收、不写半条记录)→ `NodeRegistry` → 期望态
|
||
(`POST /desired`,存在 `Mutex<Vec<DesiredSession>>` 里,**运行期可改**,不是
|
||
启动脚本常量)→ 选址(`node_satisfies` + `admit`;注册表为空即失败,绝不硬塞
|
||
一台)→ 下发 `create` → 取 `attestation` → 四布尔 `all_ok()` 才把端点放进
|
||
`proven_endpoints()`(`GET /sessions`)。证明一旦漂移,**先**把旧记录从
|
||
`placed` 移除再重新选址 —— 否则「重新选址失败」会把证明已不通过的旧端点
|
||
继续对外公布。下发统一走 `HostDispatcher`(`mpc-hostd/src/host_dispatch.rs`),
|
||
请求体形状只有一份 `launch_body`。
|
||
|
||
**每会话专属绑定**:`DesiredSession.binding: Option<SessionBinding>` 优先于
|
||
控制面全局绑定。绑定值写进芯片报告 `user_data`,两个会话共用一份绑定等于
|
||
两份报告可互相冒用(重放)。
|
||
|
||
**状态**:[桩验 + 真机自报] 真 socket 端到端门禁已跑通完整闭环,且用**假 hostd** 给
|
||
「端点不外泄」补了正向对照(证明通过 ⇒ 端点真的出现;证明不齐 ⇒ 端点被收回),
|
||
避免否定式判据因 `create` 恒失败而恒真(空集通过)。
|
||
**真机两节点自报已实证**(2026-11-09):AMD SNP(`192.168.1.7`,site=alice)
|
||
与海光 CSV(`192.168.1.102`,site=bob)各起 hostd 向真机控制面自报,
|
||
`/nodes` 注册表里确实有两个节点、`measurement` 非全零。
|
||
但**选址 → 下发 → 证明门控 → 公布端点**的真机闭环仍未做完 —— 见 §8。
|
||
★ 本轮又用离线探针查出联调脚本里 4 个会让真机必挂的缺陷(xop 把 WARN 打在
|
||
**stdout** 污染返回值、`printf` 前导 `---` 被当选项、`remote()` 里被覆盖的
|
||
`< /dev/null` 假防护、以及为修第一个缺陷写成 `2>&3` 后 ssh 客户端
|
||
`Warning: Permanently added …` 从 stderr 又混进 fd3)。修完后**只过了离线判据门禁
|
||
+ 真机只读链路复验**(真跑 `remote()`:返回值只剩标记与纯数字,
|
||
xop WARN 与 ssh Warning 都没混进来、临时文件无残留);**完整真机 e2e 尚未复跑**。
|
||
|
||
### 1.7 SA 扩展模式(安全锚点供能力、算力挂外部 VM)
|
||
|
||
这是**第四种平台形态**,与 §6 矩阵里的 CSV/SNP、OP-TEE 都不同:算力**不在**安全世界里,
|
||
安全世界只**供能力**。
|
||
|
||
| 组件 | 落点 | 职责 | 状态 |
|
||
|---|---|---|---|
|
||
| SA 协议 | `crates/mpc-tee/src/sa/` | `seal`/`unseal`/`attest`/`sign`/`master-seed`/`party-seed` 六个操作;纯 `std::net::TcpStream` 手写 HTTP/1.1 子集(`mpc-tee` 零 crates.io 依赖的硬约束) | [实证] 板端 ↔ VM 端到端 26/26 |
|
||
| SA 服务端 | 同上 `sa/server.rs` | 持 `K_root`;**永不出现在任何 wire 上**;AEAD AAD 绑定 `platform‖aad` | [实证] 板端真跑 |
|
||
| SA 客户端 | 同上 `sa/client.rs` | 远程调用;VM 侧只拿会话物料 | [实证] VM 侧真跑 |
|
||
| CLI 入口 | `crates/mpc-cli/src/sa.rs` | `sa serve` / `sa client`;**密钥走文件**(`--root-key-file` / `--shared-secret-file`),不进命令行(会进 `ps`) | [实证] 本机门禁第 23 条 |
|
||
| 会话物料 | `crates/mpc-core/src/material.rs` | `seed_is_valid` —— 全零主种子必须拒绝(fail-closed) | [实证] 门禁第 24 条 + Rust 单测 |
|
||
|
||
**形态图**:
|
||
|
||
```text
|
||
┌──────────────── Zynq-7015 板(安全世界)──────────────────┐
|
||
│ SA 服务端 ── 持 K_root(永不导出) │
|
||
│ seal / unseal / attest / sign │
|
||
│ master-seed(共享主种子)→ party-seed(按 site 派生) │
|
||
│ 根密钥文件 0600,板端生成,不出板 │
|
||
└──────────────────────────┬───────────────────────────────┘
|
||
│ SA HTTP(凭据模式,Bearer token)
|
||
│ ★ VM 在另一网段 ⇒ 本机 socat 端口转发
|
||
┌──────────────────────────▼───────────────────────────────┐
|
||
│ 外挂 VM(OrbStack mpc-calc,x86_64)= 算力侧 │
|
||
│ SA 客户端 ── 只拿会话物料,拿不到 K_root │
|
||
│ MPC 算子 / 隐私计算在这里跑 │
|
||
└──────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
**三条铁律**(破了即失去前提):
|
||
|
||
1. **SA 不承载算法** —— 只供能力(加解密 / 证明 / 签名 / 会话物料),算法留在 VM 侧。
|
||
2. **`K_root` 永不导出** —— 协议里**根本没有** root-key 导出端点;用 site 名
|
||
(`root-key` / `export` / `k-root` / `master-key`)去问,只会换出不同的派生种子。
|
||
3. **能力来源必须诚实自曝** —— 阶段一自曝 `platform=none` / `hardware_protected=false`,
|
||
**不假装**有硬件根。
|
||
|
||
**信任模型(方案 B:主种子信任模型)**:SA 按会话下发**共享**主种子,每方种子由
|
||
`(主种子, site)` 单向派生。⇒ **主种子本身不是秘密**,密态隐私性依赖「双方半诚实」
|
||
的协议假设,**不是**依赖主种子保密。相应地,**全零主种子必须拒绝**(Beaver 三元组
|
||
全部可预测 ⇒ 密态乘法隐私性归零,而症状是「不报错、不崩溃、结果数值也对」)。
|
||
|
||
**阶段一诚实边界**:本轮证明的是**接口与边界形状成立**,**不是**「`K_root` 硬件隔离
|
||
成立」—— 板端 SA 的密钥是**软件**生成与持有的,板子本身没有硬件密钥槽。
|
||
详见 `docs/SA_EXTENDED_MODE.md`。
|
||
|
||
---
|
||
|
||
## 2. 双层控制面与信任边界
|
||
|
||
切两层不是审美选择,是**判据归属**决定的:芯片报告只能由宿主机读(`/dev/sev`),
|
||
「谁是联盟成员、这轮算什么」只有站点端知道,两边各持一半判据;单层控制面必然
|
||
要么把宿主机凭据发给每一方,要么假装能远程调度,两者都破坏隔离。
|
||
|
||
```text
|
||
站点端控制面([设计] 角色) 只持:成员表 / 策略签发 SM2 私钥 / 会话编排
|
||
│ e2b 兼容 API(HTTPS + 双向认证):控制面 3010 / 数据面 3011
|
||
▼
|
||
宿主机控制面 mpc-hostd([实证]) 只持:芯片报告 / 度量 pin / TCB / qemu 生命周期
|
||
│ vsock / tap(不进网络栈)
|
||
▼
|
||
guest([实证]) 只做计算与出证明,不持链凭据、不发 HTTP
|
||
```
|
||
|
||
**准入拆两段**:站点管成员与策略,宿主管度量与芯片;链的硬规则在站点段,芯片判定在宿主段。
|
||
|
||
**四布尔不许合并**(`crates/mpc-hostd/src/api.rs` 的 `AttestationVerdict`):
|
||
`user_data_ok` / `meas_ok` / `tcb_ok` / `chip_sig` 分开报,响应里**不允许出现 `ok` 合并字段**;
|
||
布尔字段缺失一律当 `false`——「没拿到」和「不成立」在安全语义上必须同向,
|
||
否则解析失败会伪装成通过。`chip_sig=0` 的含义是「绑定关系成立但没做芯片验签」,
|
||
不能让运维看到一个 `ok=1` 就以为安全。
|
||
|
||
---
|
||
|
||
## 3. 会话是唯一主键
|
||
|
||
三个子系统不共享数据库,靠 **`session_id` + `session_pubkey`** 对齐:
|
||
|
||
```text
|
||
Session(session_id + session_pubkey)
|
||
│ │ │
|
||
┌────────────┘ │ └────────────┐
|
||
▼ ▼ ▼
|
||
TEE 绑定 EasyTier 入网 飞梭链登记
|
||
user_data[0..32] 短期 credential(管理节点签发) ComputeOrder.会话公钥
|
||
user_data[32..64] allow_relay 单独授权 Receipt.decision_id
|
||
(绑定会话公钥与度量) 会话结束 revoke Receipt.user_data(64B)
|
||
└──────────► 会话准入(站点)· 运行时准入(宿主)◄────────┘
|
||
```
|
||
|
||
- `user_data` 已绑定会话公钥(`crates/mpc-tee/src/session.rs`),链上登记的会话公钥与报告天然可对齐,不需要新协议。
|
||
- credential **由管理节点签发**,不是从 `session_id` 派生;框架只承载 / 绑定 / 回收,`CredentialProvider` 未配置即拒。
|
||
- `Receipt.user_data` 存**原始 64 字节**,不存链上重算值(国密链无 sha256 预编译)。
|
||
- **别把 EasyTier 塞进 TCB**:组网是传输设施,不是可信计算基。
|
||
|
||
---
|
||
|
||
## 4. 端到端数据流(真机实证链路)
|
||
|
||
这一条是**同一次运行**跑通的,不是分两次拼出来的结论(判据见
|
||
`deploy/tee/real-machine/tee-pair-attest-e2e.sh`、`docs/REAL_MACHINE_FINDINGS.md` 第 10 节):
|
||
|
||
```text
|
||
attest-collect → attest-post(KBS 芯片验签放行) → key_source=kbs
|
||
→ 跨物理机密文会话 → 两侧还原 35.000000
|
||
判据 TEE_ATTEST_GATE_OK 判据 TEE_PAIR_OK
|
||
```
|
||
|
||
链侧对应的是另一条独立实证链路(`tools/selftest-fisco-contract.py`,主门禁第 22 条):
|
||
|
||
```text
|
||
dataHash → TARS 编码已签名交易 → sendTransaction(4 参)→ receipt(status==0)
|
||
→ 部署 MpcHardRule.sol → recordHardRule → call 读回 → 负向矩阵
|
||
```
|
||
|
||
**两条链路目前没有合流**:TEE 证明未上链、未绑定链上状态位;
|
||
链上撤销状态位读取后端未接入(声明 chain 即 fail-closed 拒)。这是当前最重要的架构缺口,
|
||
不是「已经打通的端到端」。
|
||
|
||
组网事实(踩过坑,别重犯):跨 guest 走 qemu `socket`(二层),访问宿主 KBS 走 `tap`
|
||
(三层须同网段);网卡按 **MAC** 认、不按枚举顺序;两侧数据面 MAC 必须不同;
|
||
两侧各起一个 KBS、不共用;`SESSION_WAIT_BUDGET_SECS=180` 两侧对称。
|
||
|
||
---
|
||
|
||
## 5. 部署拓扑与端点(当前物理落点)
|
||
|
||
| 组件 | 落在哪 | 是不是虚拟机 | 端点 |
|
||
|---|---|---|---|
|
||
| FISCO 国密链 | wuguirong k8s,Pod + NFS PVC | ❌ 容器 | 集群内 `fisco-chain.wuguirong.svc.cluster.local:20200`;外 `192.168.1.26\|27\|29:30100`(RPC) / `30101`(P2P) |
|
||
| `mpc-demo` 站点 | wuguirong k8s,Pod + NFS PVC | ❌ 容器 | `192.168.1.26\|27\|29:30082` |
|
||
| `fisco-verify` 守卫 | wuguirong k8s | ❌ 容器 | 常驻,无对外端口 |
|
||
| `mpc-hostd` / guest / KBS | `192.168.1.102` 海光 CSV、`192.168.1.7` AMD SNP | `.7` 本身是 SNP guest 虚机,`.102` 裸机 / hypervisor | 本机 `127.0.0.1:3010` |
|
||
| 本机 `fisco-gm` | macOS Docker 容器(**已 stop 未删**,可回滚) | ❌ 容器 | 旧 `:20200`,**不要再启动** |
|
||
|
||
> ⚠️ 本机 `fisco-gm` 与 k8s 链是**同账本两份拷贝**,同时对外服务会分叉。
|
||
> 迁移与回滚 SOP 见 [deploy/k8s/fisco/README.md](../deploy/k8s/fisco/README.md)。
|
||
|
||
**链配置真相源**:`tools/fisco-realnode/example.chain.json`(客户端)
|
||
+ `deploy/k8s/fisco/README.md`(集群)。旧的 `127.0.0.1:20200` 只能作为历史叙述出现。
|
||
|
||
### 持久化边界
|
||
|
||
- PVC 承载的是**落盘数据**:FISCO 账本 / 配置 / 国密证书(5Gi RWO),站点的 `/tmp` 工作文件(2Gi RWO)。
|
||
- `replicas=1` + `strategy: Recreate`:单节点 PBFT 不许双写,RWO 不许新旧 Pod 抢挂载。
|
||
- 幂等解包 `[ -f /data/config.ini ] || tar xf`:Pod 重建不覆盖账本(防「假持久化」)。
|
||
- **内存任务表按 Pod 隔离,PVC 救不了**:站点 `replicas` 固定 1,扩副本会分裂任务。
|
||
- 账本 / `conf/node.pem` 私钥**只经 PVC 注入**,不进镜像 / ConfigMap / git。
|
||
|
||
---
|
||
|
||
## 6. 平台形态矩阵(不是同一套形态)
|
||
|
||
| | 海光 CSV / AMD SNP | ARM OP-TEE | **SA 扩展模式(§1.7)** |
|
||
|---|---|---|---|
|
||
| 宿主侧动作 | `Command::spawn(qemu)` 拉起 VM | attach 到已有 `/dev/tee0` | **不拉 VM**;算力挂外部 VM,SA 只供能力 |
|
||
| 信任根 | 芯片密钥 + 度量 | 设备密钥 + TA 签名 | 软件持有的 `K_root`(**不导出**),阶段一 `platform=none` |
|
||
| 生命周期 | 进程级,起 → 跑 → 退 → reaper | **会话级**,CA 开关会话,TA 常驻 | 服务端常驻,客户端每次会话调能力 |
|
||
| 回收 | kill qemu | 只关会话;**杀进程会切断别人正在用的 TA** | 撤服务端;VM 侧无需回收 |
|
||
| 多方组网 | 需要 | 不需要 | 需要(VM 之间组网,算力在 VM 侧) |
|
||
| 链上存证 | 需要 | 可选(只存结果 hash 与设备身份) | 同 CSV/SNP(链面与形态无关) |
|
||
| 控制面 | 两层 | 退化为一层(设备本地 CA 即控制面) | 板端 SA 服务端 = 一层能力面 |
|
||
|
||
`PlatformKind` 四个值里只有 CSV / SNP 能「直接启动」(`PlatformProfile::builtin()` 对
|
||
`Optee` / `Tdx` 返回 `None`,有断言钉死)。OP-TEE 是同一套 `mpc-tee` 抽象下的**另一个部署形态**,
|
||
不是另一套基础设施,走独立编译与验证通道。
|
||
|
||
**SA 扩展模式不是上表两者的「变体」,是第四种形态**:它的算力**根本不在**安全世界里,
|
||
安全世界只**供能力**(加解密 / 证明 / 签名 / 会话物料)。它存在的原因是 Zynq-7015
|
||
这类板的通用计算能力有限(Cortex-A9 双核 @666MHz、497MB RAM、无 `/dev/kvm`),
|
||
硬塞算法进板子既慢又挤。代价是**信任模型变弱**:SA 服务端的 `K_root` 是软件持有的,
|
||
不是硬件根 —— 阶段一只能自曝 `hardware_protected=false`。
|
||
形态演进路径(阶段二 PCIe 直通 / 阶段三真 OP-TEE)见 `docs/SA_EXTENDED_MODE.md`。
|
||
|
||
**为什么不在 OP-TEE 上假装是 VM**:`TeeRuntime` 靠 `pid + 启动时间` 校验孤儿进程;
|
||
TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语义,硬套会让 reaper 变成事故源。
|
||
|
||
---
|
||
|
||
## 7. 判定、门禁与治理分域
|
||
|
||
| 事项 | 唯一实现 | 纪律 |
|
||
|---|---|---|
|
||
| 主门禁 | `tools/ci.sh`,**25 条** | 缺环境显式 `*_SKIPPED`;闸门不扫自己 = 盲区,lint 含 `tools/` |
|
||
| 真链验收 | `tools/selftest-fisco-contract.py`(第 22 条) | 部署→写→读→负向矩阵,`--self-test` 零依赖 22/22 |
|
||
| 生成端 / 审计端判定 | 同一份 `security_audit::semantic_review()` | 仅 High/Critical 阻断,不得为通过设豁免 |
|
||
| SM2 口径 | `docs/FISCO_UPSTREAM_TRUTH.md` §3.1 | `e = SM3(ZA‖dataHash)`,distid 唯一值 `1234567812345678` |
|
||
| 真机双 guest 判据 | `deploy/tee/real-machine/` 判据脚本 | 每条负向判据用构造样例逐条破坏过,恒真 / 恒假一律不算 |
|
||
| SA 能力边界 | `tools/selftest-sa.py`(第 23 条)+ `deploy/arm/zynq7015/sa-pair-e2e.sh` | VM 拿不到 `K_root` 这条边界必须被钉死;每条否定判据带**期望特征**(不能只看退出码)且配**正向对照** |
|
||
| 零种子守卫 | `tools/selftest-seed-guard.py`(第 24 条)+ `mpc_core::material::seed_is_valid` | 全零主种子必须拒;守卫在 **CLI 入口且在连网之前**(否则失败会伪装成「网络问题」) |
|
||
|
||
**治理分域故意不同、不开 WASM**:
|
||
|
||
- `TEE_CHAIN_HARD_RULE` → **硬规则进 Solidity 合约**,链上共识执行(成员白名单 / TCB 门槛 / 算力上限 / 算法准入)。
|
||
- `TEE_OPA_BUNDLE` → **业务合规策略走 OPA**(真 `opa build` bundle + SM3 hash pin + SM2 真签 + 真 `opa eval`)。
|
||
- `undefined` 不当 deny:要求恰好 1 个 bool,`{}` / errors / 多结果 / 非 bool / 非零退出一律拒;**策略没加载 ≠ 策略拒绝**。
|
||
- 两者字段互相禁止;[禁用] Rego→WASM 上链已删除,`WITH_WASM` 保持 OFF。
|
||
|
||
**fail-open / fail-closed 不许混**:存证走 outbox 等补链(fail-open);成员准入缓存过期即拒、
|
||
撤销链读后端未接入即拒(fail-closed)。两侧混起来会让「没数据」伪装成「已放行」。
|
||
|
||
---
|
||
|
||
## 8. 诚实边界(仍然不宣称,不许借更新冲掉)
|
||
|
||
- 软件 OpenSSL 签名器**私钥可导出 ⇒ 密评不可过**;真链能上链 ≠ 生产可用,生产必须换硬件模组签名器(`SignerPolicy::ProductionModule` 必拒软件签名器)。
|
||
- 真实 `bcos-rpc` 的 **TLCP 通道未通**:第 18 条服务端是环回 echo,不是真节点,`BCOS_RPC_NOT_VERIFIED` 仍成立;当前实证用 `client_tlcp=false`。
|
||
- **`hostd` 执行面仍在 TEE 真机**:需要 qemu guest + `/dev/sev` / CSV ioctl,wuguirong 节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。
|
||
- TEE 证明**未上链**、未绑定链上状态位;链上撤销状态位读取后端**未接入**(声明 chain 即 fail-closed 拒);OPA **不在 guest 内**;decision 未签名未上链;OPA bundle 的 guest 分发未做。
|
||
- OP-TEE **QEMU 实跑已做**(2026-11-09,`docs/OPTEE_VERIF_PLAN.md` 有完整证据表):全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条**都真跑通了**。但那是 **QEMU 模拟**(`dna` = 编译期 sha256 种子,HUK = 模拟值)⇒ **不是**真板的设备绑定证据,**不能**替代真板一次性验收;`CryptoPrecompiled.sm2Verify` 真机对拍未做;`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
|
||
- 本租户 SA 无 `create secret` 权限;链客户端私钥 `MPC_FISCO_KEY` 保持仓库外,不进镜像 / ConfigMap / git。
|
||
- 站点端控制面是 [设计] 决策角色,不是已实现的独立服务;别把 §2 的职责矩阵当成已部署清单。
|
||
- **真机多节点自报已实证,但「调度闭环」仍未做完**:`mpc control-plane` 的
|
||
「收自报 → 注册表」这一步 2026-11-09 已在 AMD SNP + 海光 CSV 两台真机上跑通
|
||
(`/nodes` 里两个节点、度量非全零)。但「期望态 → 选址 → 下发 → 证明门控 →
|
||
公布端点」仍只在真 socket 门禁里用**假 hostd**(结论可控)或不可达节点验过;
|
||
跨网段暴露、真 KBS 验签后的会话端点交付**未做**。别把 §1.6 当成已部署清单。
|
||
- ★ **本轮修完的联调脚本尚未在真机完整复跑**:`deploy/tee/real-machine/cluster-selfreport-e2e.sh`
|
||
的 4 个必挂缺陷(xop WARN 走 stdout ⇒ `wc -c` / `sha256sum` 返回值被污染、
|
||
`printf '--- …'` 前导破折号被当选项、`remote()` 的 `< /dev/null` 被 here-string
|
||
覆盖成假防护、以及 `2>&3` 把 ssh 客户端 Warning 又收回采集流)是**离线探针**
|
||
发现并修掉的;第 25 条门禁证明的是「判据本身不是恒绿」,
|
||
**不是**「真机端到端已复跑通过」。已做的真机验证只是**只读**调用 `remote()`
|
||
(返回值纯净、无临时文件残留),复跑前别把脚本标成 [实证]。
|
||
- **SA 扩展模式只证明了「接口与边界形状成立」,不是「`K_root` 硬件隔离成立」**(§1.7):
|
||
板端 SA 的 `K_root` 是**软件**生成与持有的(板子无硬件密钥槽),SA 自曝
|
||
`platform=none` / `hardware_protected=false`。⇒ **阶段一不能进密评**。
|
||
另:方案 B 下**主种子本身不是秘密**(SA 按会话下发共享主种子),密态隐私性依赖
|
||
「双方半诚实」协议假设,**不是**依赖主种子保密 ⇒ 半诚实假设必须显式写进契约。
|
||
板端与 VM 在不同网段,当前靠本机 `socat` 转发(临时手段,不是产品形态)。
|
||
|
||
逐条对照与旧结论见 [INDEX.md](INDEX.md) §4 / §5。
|
||
|
||
---
|
||
|
||
## 9. 阅读路线与文档分工
|
||
|
||
```text
|
||
想快速知道「现在能干什么」 → README.md 现状 → INDEX.md §1
|
||
想搞懂「系统怎么摆、边界在哪」 → 本文
|
||
想搞懂「计算层为什么这样分」 → ARCHITECTURE.md
|
||
想看「当时为什么这么决策」 → INTEGRATION_ANALYSIS.md(先看文首状态提示)
|
||
想核对「链上逐字节事实」 → FISCO_UPSTREAM_TRUTH.md
|
||
想真跑一遍 → tools/ci.sh(25 条)/ deploy/k8s/fisco/README.md
|
||
/ deploy/tee/real-machine/README.md
|
||
```
|
||
|
||
**更新纪律**:本文是 A 类活文档,事实变了就改;但不得复制判据逻辑、不得写死门禁条数
|
||
(只认 `tools/ci.sh`)、不得把 [设计] 悄悄改成 [实证]。新增架构结论先改本文,
|
||
历史文档的正文按 [INDEX.md](INDEX.md) §6 只加锚点、不改写。
|
||
|
||
**可分享版本**:`docs/ARCHITECTURE_SYSTEM.html` 由 `tools/render-share-html.py`
|
||
从本文生成,是**派生产物,勿手改**;改架构请改本 md 后重新生成。
|