mpc-teecrates/mpc-tee/seal/attest/sign/device_key;verify.rs / collect.rs / kbs.rs / session.rs / site_admit.rsseal/attest/sign/device_key;verify.rs / collect.rs / kbs.rs / session.rs / site_admit.rs;集群调度层:scheduler.rs(NodeRegistry / TeePool)/ dispatch.rs / reconciler.rs / control_plane.rs / probe.rsmpc-hostdcrates/mpc-hostd//attestation;runtime.rs 起 qemu + reaper;api.rs 四布尔 AttestationVerdict/sandboxes + /attestation;runtime.rs 起 qemu + reaper;api.rs 四布尔 AttestationVerdict。集群面:registry_api.rs / control_plane_api.rs / control_plane_server.rs / host_dispatch.rsmpc control-planecrates/mpc-cli/src/control_plane.rsserve / nodes / sessions / set-desired / report,默认只听 127.0.0.1:3020main.rs 的 compile_error! 在 target_env=musl 且带 control-plane 时硬拒绝;
mpc-cli/Cargo.toml 按 target 把 openssl-sys 排除出 musl 依赖图,保证守卫真的可达,
而不是先撞上含混的 pkg-config 报错。主门禁第 4 条三层探针钉死这条边界。
1.6 集群调度面(CubeMaster 等价物)与单机面分离
+mpc control-plane 是 2026-11-09 起新增的集群面命令,参考 CubeSandbox 的
+CubeMaster / Cubelet / Redis / reconciler 三层映射。落点仍在 mpc-tee(纯逻辑,
+零 crates.io 依赖)与 mpc-hostd(HTTP 实现),不新增编排层、不落 mpc-orch:
| CubeSandbox | +本项目落点 | +文件 | +
|---|---|---|
| Cubelet(节点自描述 / 心跳) | +hostd 探针 + 周期自报 |
+mpc-tee/src/probe.rs、mpc-hostd/src/registry_api.rs |
+
| Redis(共享状态源) | +NodeRegistry / TeePool 候选池 |
+mpc-tee/src/scheduler.rs |
+
| CubeMaster(收自报 / 选址 / 公布端点) | +ControlPlane |
+mpc-tee/src/control_plane.rs |
+
| reconciler(对账下发) | +TeeReconciler(create / attest / destroy) |
+mpc-tee/src/reconciler.rs |
+
两个命令、两个端口、两套面,故意不合并:
+| + | mpc hostd(单机 e2b 兼容面) |
+mpc control-plane(集群面) |
+
|---|---|---|
| 对应角色 | +Cubelet | +CubeMaster | +
| 默认监听 | +127.0.0.1:3010 |
+127.0.0.1:3020 |
+
| 主要端点 | +/sandboxes、/attestation、/node |
+/registry、/nodes、/sessions、/desired、/report |
+
| 生命周期 | +机器级(跟着一台 TEE 真机) | +集群级(可独立于任何一台真机) | +
| 失败语义 | +「这台机器起不了 guest」 | +「整个集群排不出会话」 | +
分开的理由是暴露面与失败语义不同:集群面要跨网段可达(因此非回环监听强制
+共享密钥 且 显式 --allow-remote,见 mpc-cli/src/control_plane.rs),单机面
+只该本机回环;合并会让「能起 guest」那条路随集群面一起暴露。mpc-tee 的
+probe / reconciler / control_plane 仍受 std 门控(--no-default-features
+不编进 guest),HTTP 服务器与 tokio runtime 只在 mpc-hostd。
闭环:hostd 周期自报 → POST /registry(复用 TeeNode::parse() 的唯一
+fail-closed 口径,解析失败拒收、不写半条记录)→ NodeRegistry → 期望态
+(POST /desired,存在 Mutex<Vec<DesiredSession>> 里,运行期可改,不是
+启动脚本常量)→ 选址(node_satisfies + admit;注册表为空即失败,绝不硬塞
+一台)→ 下发 create → 取 attestation → 四布尔 all_ok() 才把端点放进
+proven_endpoints()(GET /sessions)。证明一旦漂移,先把旧记录从
+placed 移除再重新选址 —— 否则「重新选址失败」会把证明已不通过的旧端点
+继续对外公布。下发统一走 HostDispatcher(mpc-hostd/src/host_dispatch.rs),
+请求体形状只有一份 launch_body。
每会话专属绑定:DesiredSession.binding: Option<SessionBinding> 优先于
+控制面全局绑定。绑定值写进芯片报告 user_data,两个会话共用一份绑定等于
+两份报告可互相冒用(重放)。
状态:[桩验] 真 socket 端到端门禁已跑通完整闭环,且用假 hostd 给
+「端点不外泄」补了正向对照(证明通过 ⇒ 端点真的出现;证明不齐 ⇒ 端点被收回),
+避免否定式判据因 create 恒失败而恒真(空集通过)。但节点是本机假 hostd /
+不可达节点,不等于真机集群调度已跑通 —— 见 §8。
-
2. 双层控制面与信任边界
+2. 双层控制面与信任边界
切两层不是审美选择,是判据归属决定的:芯片报告只能由宿主机读(/dev/sev),
「谁是联盟成员、这轮算什么」只有站点端知道,两边各持一半判据;单层控制面必然
要么把宿主机凭据发给每一方,要么假装能远程调度,两者都破坏隔离。
chip_sig=0 的含义是「绑定关系成立但没做芯片验签」,
不能让运维看到一个 ok=1 就以为安全。
-
3. 会话是唯一主键
+3. 会话是唯一主键
三个子系统不共享数据库,靠 session_id + session_pubkey 对齐:
Session(session_id + session_pubkey)
│ │ │
@@ -460,7 +561,7 @@ guest([实证]) 只做计算与出证明,不持链
别把 EasyTier 塞进 TCB:组网是传输设施,不是可信计算基。
-4. 端到端数据流(真机实证链路)
+4. 端到端数据流(真机实证链路)
这一条是同一次运行跑通的,不是分两次拼出来的结论(判据见
deploy/tee/real-machine/tee-pair-attest-e2e.sh、docs/REAL_MACHINE_FINDINGS.md 第 10 节):
attest-collect → attest-post(KBS 芯片验签放行) → key_source=kbs
@@ -478,7 +579,7 @@ guest([实证]) 只做计算与出证明,不持链
(三层须同网段);网卡按 MAC 认、不按枚举顺序;两侧数据面 MAC 必须不同;
两侧各起一个 KBS、不共用;SESSION_WAIT_BUDGET_SECS=180 两侧对称。
-5. 部署拓扑与端点(当前物理落点)
+5. 部署拓扑与端点(当前物理落点)
@@ -529,7 +630,7 @@ guest([实证]) 只做计算与出证明,不持链
deploy/k8s/fisco/README.md(集群)。旧的 127.0.0.1:20200 只能作为历史叙述出现。
-持久化边界
+持久化边界
- PVC 承载的是落盘数据:FISCO 账本 / 配置 / 国密证书(5Gi RWO),站点的
/tmp 工作文件(2Gi RWO)。
replicas=1 + strategy: Recreate:单节点 PBFT 不许双写,RWO 不许新旧 Pod 抢挂载。
@@ -538,7 +639,7 @@ guest([实证]) 只做计算与出证明,不持链
- 账本 /
conf/node.pem 私钥只经 PVC 注入,不进镜像 / ConfigMap / git。
-6. 平台形态矩阵(不是同一套形态)
+6. 平台形态矩阵(不是同一套形态)
@@ -591,7 +692,7 @@ guest([实证]) 只做计算与出证明,不持链
为什么不在 OP-TEE 上假装是 VM:TeeRuntime 靠 pid + 启动时间 校验孤儿进程;
TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语义,硬套会让 reaper 变成事故源。
-7. 判定、门禁与治理分域
+7. 判定、门禁与治理分域
@@ -638,19 +739,24 @@ TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语
fail-open / fail-closed 不许混:存证走 outbox 等补链(fail-open);成员准入缓存过期即拒、
撤销链读后端未接入即拒(fail-closed)。两侧混起来会让「没数据」伪装成「已放行」。
-8. 诚实边界(仍然不宣称,不许借更新冲掉)
+8. 诚实边界(仍然不宣称,不许借更新冲掉)
- 软件 OpenSSL 签名器私钥可导出 ⇒ 密评不可过;真链能上链 ≠ 生产可用,生产必须换硬件模组签名器(
SignerPolicy::ProductionModule 必拒软件签名器)。
- 真实
bcos-rpc 的 TLCP 通道未通:第 18 条服务端是环回 echo,不是真节点,BCOS_RPC_NOT_VERIFIED 仍成立;当前实证用 client_tlcp=false。
hostd 执行面仍在 TEE 真机:需要 qemu guest + /dev/sev / CSV ioctl,wuguirong 节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。
- TEE 证明未上链、未绑定链上状态位;链上撤销状态位读取后端未接入(声明 chain 即 fail-closed 拒);OPA 不在 guest 内;decision 未签名未上链;OPA bundle 的 guest 分发未做。
-- OP-TEE QEMU 实跑未做(缺 SDK);
CryptoPrecompiled.sm2Verify 真机对拍未做;tools/fisco-realnode-probe.py 的 4 处 IMPL_GAPS 未销账。
+- OP-TEE QEMU 实跑已做(2026-11-09,
docs/OPTEE_VERIF_PLAN.md 有完整证据表):全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条都真跑通了。但那是 QEMU 模拟(dna = 编译期 sha256 种子,HUK = 模拟值)⇒ 不是真板的设备绑定证据,不能替代真板一次性验收;CryptoPrecompiled.sm2Verify 真机对拍未做;tools/fisco-realnode-probe.py 的 4 处 IMPL_GAPS 未销账。
- 本租户 SA 无
create secret 权限;链客户端私钥 MPC_FISCO_KEY 保持仓库外,不进镜像 / ConfigMap / git。
- 站点端控制面是 [设计] 决策角色,不是已实现的独立服务;别把 §2 的职责矩阵当成已部署清单。
+- 集群控制面只在假 hostd / 不可达节点上验过框架契约:
mpc control-plane
+的「收自报 → 注册表 → 期望态 → 选址 → 下发 → 证明门控 → 公布端点」闭环
+在真 socket 门禁里全绿,但节点是本机假 hostd(证明结论可控)或不可达节点;
+真机多节点自报、跨网段暴露、真 KBS 验签后的会话端点交付未做。
+别把 §1.6 当成已部署的集群清单。
逐条对照与旧结论见 INDEX.md §4 / §5。
-9. 阅读路线与文档分工
+9. 阅读路线与文档分工
想快速知道「现在能干什么」 → README.md 现状 → INDEX.md §1
想搞懂「系统怎么摆、边界在哪」 → 本文
想搞懂「计算层为什么这样分」 → ARCHITECTURE.md
diff --git a/docs/ARCHITECTURE_SYSTEM.md b/docs/ARCHITECTURE_SYSTEM.md
index b852f32..24f42ba 100644
--- a/docs/ARCHITECTURE_SYSTEM.md
+++ b/docs/ARCHITECTURE_SYSTEM.md
@@ -45,6 +45,7 @@
└───────────────────────────┬──────────────────────────────────────────────────────┘
│ 站点端编排 / 会话登记([设计] 尚未具象为独立服务)
┌───────────────────────────▼── TEE 真机(编排层之外)─────────────────────────────┐
+│ 集群控制面 mpc control-plane :3020 [桩验] 收自报 / 选址 / 对账 / 公布端点 │
│ 宿主机控制面 mpc-hostd :3010/:3011 e2b 兼容 API + /attestation │
│ TeeRuntime:qemu spawn / 状态表 / reaper / 孤儿校验(pid + 启动时间) │
│ 证明采集 → KBS 验签 → 放密钥 → tap(宿主) + socket(跨 guest) │
@@ -81,8 +82,9 @@
| 组件 | 落点 | 职责 | 状态 |
|---|---|---|---|
-| `mpc-tee` | `crates/mpc-tee/` | HAL:`seal/attest/sign/device_key`;`verify.rs` / `collect.rs` / `kbs.rs` / `session.rs` / `site_admit.rs` | [实证] 零 crates.io 依赖,两个平台真机跑通 |
-| `mpc-hostd` | `crates/mpc-hostd/` | e2b 兼容 API + `/attestation`;`runtime.rs` 起 qemu + reaper;`api.rs` 四布尔 `AttestationVerdict` | [实证] 真机运行 |
+| `mpc-tee` | `crates/mpc-tee/` | HAL:`seal/attest/sign/device_key`;`verify.rs` / `collect.rs` / `kbs.rs` / `session.rs` / `site_admit.rs`;**集群调度层**:`scheduler.rs`(`NodeRegistry` / `TeePool`)/ `dispatch.rs` / `reconciler.rs` / `control_plane.rs` / `probe.rs` | [实证] 零 crates.io 依赖,两个平台真机跑通;调度层 [桩验] 见 §1.6 |
+| `mpc-hostd` | `crates/mpc-hostd/` | **单机 e2b 兼容面**:`/sandboxes` + `/attestation`;`runtime.rs` 起 qemu + reaper;`api.rs` 四布尔 `AttestationVerdict`。**集群面**:`registry_api.rs` / `control_plane_api.rs` / `control_plane_server.rs` / `host_dispatch.rs` | [实证] 单机面真机运行;集群面 [桩验] 见 §1.6 |
+| `mpc control-plane` | `crates/mpc-cli/src/control_plane.rs` | 集群面命令:`serve` / `nodes` / `sessions` / `set-desired` / `report`,默认只听 `127.0.0.1:3020` | [桩验] 真 socket 门禁跑通,非真机集群;见 §1.6 |
| KBS | 真机上各起一个 | 芯片验签放行后才给密钥(`key_source=kbs`) | [实证] 同一次运行合流 |
| qemu guest | musl `mpc` | 计算 + 出证明 | [实证] 跨物理机双 guest 密文会话,两侧 `35.000000` |
@@ -119,6 +121,54 @@
`mpc-cli/Cargo.toml` 按 target 把 `openssl-sys` 排除出 musl 依赖图,保证守卫真的可达,
而不是先撞上含混的 `pkg-config` 报错。主门禁第 4 条三层探针钉死这条边界。
+### 1.6 集群调度面(CubeMaster 等价物)与单机面分离
+
+`mpc control-plane` 是 2026-11-09 起新增的**集群面**命令,参考 CubeSandbox 的
+CubeMaster / Cubelet / Redis / reconciler 三层映射。落点仍在 `mpc-tee`(纯逻辑,
+零 crates.io 依赖)与 `mpc-hostd`(HTTP 实现),**不新增编排层、不落 `mpc-orch`**:
+
+| CubeSandbox | 本项目落点 | 文件 |
+|---|---|---|
+| Cubelet(节点自描述 / 心跳) | `hostd` 探针 + 周期自报 | `mpc-tee/src/probe.rs`、`mpc-hostd/src/registry_api.rs` |
+| Redis(共享状态源) | `NodeRegistry` / `TeePool` 候选池 | `mpc-tee/src/scheduler.rs` |
+| CubeMaster(收自报 / 选址 / 公布端点) | `ControlPlane` | `mpc-tee/src/control_plane.rs` |
+| reconciler(对账下发) | `TeeReconciler`(create / attest / destroy) | `mpc-tee/src/reconciler.rs` |
+
+**两个命令、两个端口、两套面,故意不合并**:
+
+| | `mpc hostd`(单机 e2b 兼容面) | `mpc control-plane`(集群面) |
+|---|---|---|
+| 对应角色 | Cubelet | CubeMaster |
+| 默认监听 | `127.0.0.1:3010` | `127.0.0.1:3020` |
+| 主要端点 | `/sandboxes`、`/attestation`、`/node` | `/registry`、`/nodes`、`/sessions`、`/desired`、`/report` |
+| 生命周期 | 机器级(跟着一台 TEE 真机) | 集群级(可独立于任何一台真机) |
+| 失败语义 | 「这台机器起不了 guest」 | 「整个集群排不出会话」 |
+
+分开的理由是**暴露面与失败语义不同**:集群面要跨网段可达(因此非回环监听强制
+共享密钥 **且** 显式 `--allow-remote`,见 `mpc-cli/src/control_plane.rs`),单机面
+只该本机回环;合并会让「能起 guest」那条路随集群面一起暴露。`mpc-tee` 的
+`probe` / `reconciler` / `control_plane` 仍受 `std` 门控(`--no-default-features`
+不编进 guest),HTTP 服务器与 tokio runtime 只在 `mpc-hostd`。
+
+**闭环**:`hostd` 周期自报 → `POST /registry`(复用 `TeeNode::parse()` 的唯一
+fail-closed 口径,解析失败拒收、不写半条记录)→ `NodeRegistry` → 期望态
+(`POST /desired`,存在 `Mutex>` 里,**运行期可改**,不是
+启动脚本常量)→ 选址(`node_satisfies` + `admit`;注册表为空即失败,绝不硬塞
+一台)→ 下发 `create` → 取 `attestation` → 四布尔 `all_ok()` 才把端点放进
+`proven_endpoints()`(`GET /sessions`)。证明一旦漂移,**先**把旧记录从
+`placed` 移除再重新选址 —— 否则「重新选址失败」会把证明已不通过的旧端点
+继续对外公布。下发统一走 `HostDispatcher`(`mpc-hostd/src/host_dispatch.rs`),
+请求体形状只有一份 `launch_body`。
+
+**每会话专属绑定**:`DesiredSession.binding: Option` 优先于
+控制面全局绑定。绑定值写进芯片报告 `user_data`,两个会话共用一份绑定等于
+两份报告可互相冒用(重放)。
+
+**状态**:[桩验] 真 socket 端到端门禁已跑通完整闭环,且用**假 hostd** 给
+「端点不外泄」补了正向对照(证明通过 ⇒ 端点真的出现;证明不齐 ⇒ 端点被收回),
+避免否定式判据因 `create` 恒失败而恒真(空集通过)。但节点是本机假 hostd /
+不可达节点,**不等于真机集群调度已跑通** —— 见 §8。
+
---
## 2. 双层控制面与信任边界
@@ -273,9 +323,14 @@ TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语
- 真实 `bcos-rpc` 的 **TLCP 通道未通**:第 18 条服务端是环回 echo,不是真节点,`BCOS_RPC_NOT_VERIFIED` 仍成立;当前实证用 `client_tlcp=false`。
- **`hostd` 执行面仍在 TEE 真机**:需要 qemu guest + `/dev/sev` / CSV ioctl,wuguirong 节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。
- TEE 证明**未上链**、未绑定链上状态位;链上撤销状态位读取后端**未接入**(声明 chain 即 fail-closed 拒);OPA **不在 guest 内**;decision 未签名未上链;OPA bundle 的 guest 分发未做。
-- OP-TEE **QEMU 实跑未做**(缺 SDK);`CryptoPrecompiled.sm2Verify` 真机对拍未做;`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
+- OP-TEE **QEMU 实跑已做**(2026-11-09,`docs/OPTEE_VERIF_PLAN.md` 有完整证据表):全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条**都真跑通了**。但那是 **QEMU 模拟**(`dna` = 编译期 sha256 种子,HUK = 模拟值)⇒ **不是**真板的设备绑定证据,**不能**替代真板一次性验收;`CryptoPrecompiled.sm2Verify` 真机对拍未做;`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
- 本租户 SA 无 `create secret` 权限;链客户端私钥 `MPC_FISCO_KEY` 保持仓库外,不进镜像 / ConfigMap / git。
- 站点端控制面是 [设计] 决策角色,不是已实现的独立服务;别把 §2 的职责矩阵当成已部署清单。
+- **集群控制面只在假 hostd / 不可达节点上验过框架契约**:`mpc control-plane`
+ 的「收自报 → 注册表 → 期望态 → 选址 → 下发 → 证明门控 → 公布端点」闭环
+ 在真 socket 门禁里全绿,但节点是本机假 hostd(证明结论可控)或不可达节点;
+ 真机多节点自报、跨网段暴露、真 KBS 验签后的会话端点交付**未做**。
+ 别把 §1.6 当成已部署的集群清单。
逐条对照与旧结论见 [INDEX.md](INDEX.md) §4 / §5。
diff --git a/docs/INDEX.md b/docs/INDEX.md
index fa718dd..747d5f5 100644
--- a/docs/INDEX.md
+++ b/docs/INDEX.md
@@ -36,6 +36,8 @@
| 主门禁 | [实证] **22 条**(第 21 条真交易编码、第 22 条真链合约) | `tools/ci.sh`;缺环境显式 `*_SKIPPED`,绝不静默通过 |
| FISCO 链节点 + 账本持久化 | [实证] 迁入 wuguirong k8s,`nfs-wuguirong` PVC;历史区块哈希逐个一致,删 Pod 重建后高度不变 | `deploy/k8s/fisco/README.md` |
| MPC 站点 `mpc-demo` | [实证] 已在 k8s(NodePort `30082`),`/tmp` 挂 NFS PVC | `demo/k8s/README.md` |
+| ARM 边缘板(Zynq-7015) | [实证] `mpc` 二进制上板:selftest 5/5、两进程会话 `35.000000`、sha256 与本机一致;selftest 单次 **≈4 ms**、峰值 RSS 3.5 MB | `docs/ZYNQ.md` §4 |
+| ★ Zynq 真板 OP-TEE | [设计] 产物已能交叉编译;**板端未部署**——当前内核 `CONFIG_TEE is not set`、`BOOT.BIN` 无 EL3 承载 ⇒ 须换启动链 | `docs/ZYNQ.md` §4.3、`build/build_optee_zynq7k.sh` |
---
@@ -56,6 +58,7 @@
| 看真链实证期的审计轨迹 | `tools/fisco-realnode/README.md` | `/tmp`(会被清) |
| 查两台真机硬事实 / 踩坑 | `docs/REAL_MACHINE_FINDINGS.md`(第 10 节最新) | 记忆或口头结论 |
| 查决策依据(为什么这么设计) | `docs/INTEGRATION_ANALYSIS.md` 决策台账 + `ARCHITECTURE.md` | 把它当进度表 |
+| 上 ARM 边缘板 / 真板 OP-TEE | `docs/ZYNQ.md`(板端实证 + 启动链缺口)+ `build/build_optee_zynq7k.sh` | 以为「装个 OP-TEE 包就行」;拿 §1 推算表当实测 |
**端点速查**:集群内 `fisco-chain.wuguirong.svc.cluster.local:20200`;
集群外 `192.168.1.26|27|29:30100`(RPC)/ `30101`(P2P);
@@ -83,9 +86,9 @@
`docs/ARCHITECTURE.md`(分层 / Ray / TEE 定位)、`docs/IR.md`(轮数规划)、
`docs/N_PARTY.md`(n 方能力矩阵)、`docs/COMPARE_SECRETFLOW.md`(与隐语对照)、
-`docs/OPT_PLAN.md`、`docs/ZYNQ.md`、`docs/PG.md`、
+`docs/OPT_PLAN.md`、`docs/ZYNQ.md`(**ARM 边缘板:2026-11-09 已上板实测 + 真板 OP-TEE 启动链缺口**)、`docs/PG.md`,
`docs/TEE_DIRECT_LAUNCH.md`(AMD/海光直接调度,已加 11-08 状态核对)、
-`docs/TEE_OCI_PATH.md`、`docs/OPTEE_VERIF_PLAN.md`(QEMU 实跑仍待 SDK)、
+`docs/TEE_OCI_PATH.md`、`docs/OPTEE_VERIF_PLAN.md`(**QEMU 实跑已做:selftest + 第 5 条跨设备 + 第 4 条跨重启**),
`docs/RAY_CORE.md` / `RAY_CORE_101.md` / `RAY_ARMV7.md`。
### C 历史阶段快照(先看文首状态提示)
@@ -100,6 +103,8 @@
### D 部署与复现
`deploy/k8s/fisco/README.md`(链迁移 SOP / 账本 / 回滚 / 边界)、
+`deploy/arm/zynq7015/README.md`(**ARM 边缘板**:板端速查 / `board-selftest.sh` 判据 /
+板端三条硬坑 / 真板 OP-TEE 缺口 / 上板产物 sha256)、
`deploy/tee/real-machine/README.md`(真机 e2e;**开头有重跑三步、参数真相源与症状速查表**)、
`deploy/tee/real-machine/real-machines.env.example`(**双机参数唯一集中入口**,脱敏、可 source)、
`deploy/tee/real-machine/preflight-real-machine.sh`(重跑前环境预检,`--self-test` 负向矩阵;
@@ -146,8 +151,18 @@
节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。
- TEE 证明**未上链**、未绑定链上状态位;链上撤销状态位读取后端**未接入**
(声明 chain 即 fail-closed 拒);OPA **不在 guest 内**;decision 未签名未上链。
-- OP-TEE **QEMU 实跑未做**(缺 SDK);`CryptoPrecompiled.sm2Verify` 真机对拍未做;
+- OP-TEE **QEMU 实跑已做**(2026-11-09,见 `docs/OPTEE_VERIF_PLAN.md`):
+ 全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条**都真跑通了**。
+ 但那是 **QEMU 模拟**:`dna` 是编译期 sha256 种子、HUK 是模拟值 ⇒
+ **不能**当成真板的设备绑定证据,**不能**替代真板一次性验收。
+ `CryptoPrecompiled.sm2Verify` 真机对拍未做;
`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
+- ★ **Zynq-7015 真板 OP-TEE 未部署**:产物能交叉编译(`build/build_optee_zynq7k.sh`),
+ 但板子当前内核 `CONFIG_TEE is not set`、`BOOT.BIN` 里**没有 EL3 承载**
+ (U-Boot 2018.01 直接 `bootz` 进内核)⇒ 必须换启动链;
+ 板子上跑着 `board-agent` / `easytier-core`(m4gw) 等在役服务,
+ 且**没有第二台板子**可试 ⇒ 部署前必须先做带哈希基线的完整备份 + 回滚路径。
+ 本轮**未改动板子任何文件**。
- 本租户 SA 无 `create secret` 权限;链客户端私钥 `MPC_FISCO_KEY` 保持仓库外,
不进镜像 / ConfigMap / git。
@@ -185,3 +200,7 @@
一律 FAIL 并打印 diff),换机或物料升级后 `--collect` 重采并提交。
**清单本身由 git 保护**,不许在仓库外偷改;也不许把 69MB/78MB 二进制搬进仓库。
新增判据必须能用构造样例推翻(`--self-test` 6 条 + 端到端篡改 hash 判红)。
+12. **TA 签名密钥分级只有一份实现**:`build/ta-key-tier.sh` 是唯一真相源,
+ `build_optee.sh` 与 `build_optee_zynq7k.sh` 都 source 它;
+ `tools/selftest-ta-key-tier.py` 反向守卫「入口里不许有第二份拷贝」。
+ 改密钥规则必须改共享文件并重跑该自检,别在某个入口里私改一份。
diff --git a/docs/OPTEE_VERIF_PLAN.md b/docs/OPTEE_VERIF_PLAN.md
index 225a91c..5240711 100644
--- a/docs/OPTEE_VERIF_PLAN.md
+++ b/docs/OPTEE_VERIF_PLAN.md
@@ -3,7 +3,7 @@
> 2026-11-07。针对 `docs/INTEGRATION_ANALYSIS.md` 1.7 里标为"未覆盖"的第 4、5 条。
> 本文只讲怎么把它们做成真的能跑的验证,以及**怎么避免做成假的**。
-## ★ 实施状态(2026-11-07 更新)
+## ★ 实施状态(2026-11-09 更新)
本文原是方案,现已**开工落地**。当前状态:
@@ -12,15 +12,116 @@
| 三层错误分类贯通(core → TA TEEC 码 → CA 解析) | **已实现** | 宿主侧单测覆盖(`cargo test -p mpc-tee` 140 项) |
| CA 的 `seal` / `seal-hex` / `unseal` / `unseal-hex` | **已实现** | 逻辑进共享层,宿主侧可测 |
| blob 串口传输格式(标记 + 分行 + 行宽) | **已实现** | Rust 侧 5 个单测 + 跨语言一致性检查 |
-| 判据逻辑(`build/optee-verdict.py`) | **已实现** | **15 个分支用例 + 跨语言检查 + 漂移探针,全进主门禁** |
-| 两条编排脚本(`tools/optee-cross-device.sh` / `optee-restart.sh`) | **已实现** | shell 语法 + lint 通过;**QEMU 未实跑** |
+| 判据逻辑(`build/optee-verdict.py`) | **已实现** | **19 个分支用例 + 跨语言检查 + 漂移探针,全进主门禁** |
+| 两条编排脚本(`tools/optee-cross-device.sh` / `optee-restart.sh`) | **已实现** | **QEMU 实跑通过(2026-11-09)** |
| `tools/ci-optee.sh --cross-device` / `--restart` | **已实现** | 缺环境时显式 `OPTEE_SKIPPED`(不静默通过) |
-| **QEMU 实跑** | **未做** | 本机无 OP-TEE SDK / armhf 交叉工具链 |
+| **QEMU 实跑** | **已做(2026-11-09)** | **OP-TEE 4.11 真跑起来,TA 真被调用;见 §7** |
-**一句话**:判据逻辑与格式约定已进 CI 并逐条验过;**QEMU 上的实际行为尚未跑过一次**。
-所以现在能说"验证链路是通的",**不能说"这两条验证已通过"**。
+**一句话**:判据逻辑、格式约定**与 QEMU 上的实际行为**都已跑过一遍。
+现在能说"这两条验证在 QEMU 上通过了",**仍不能说"真板通过了"**(QEMU 的 HUK 是模拟值、
+DNA 是编译期 sha256 种子,见 §2.3 / §3.4 的结论边界)。
-### 落地时踩到并修掉的四个真问题
+### ★ 2026-11-09 QEMU 实跑结果(CubeSandbox,16C/15G)
+
+| 验证 | 结论 | 关键证据 |
+|---|---|---|
+| **全流程 selftest** | ✅ `OPTEE_VERDICT: PASS` | `/dev/teepriv0` 存在;八步全过:`provision OK` → `info: provisioned=true` → `seal/unseal roundtrip OK (21 字节 → 50 字节)` → `重开 session 后 unseal OK` → `篡改检测 OK` → `AAD 绑定 OK` → `sign OK` → `attest OK: 104 bytes` → `ALL OK` / `MPC_RC=0` |
+| **第 5 条 跨设备** | ✅ `OPTEE_CROSS_DEVICE_OK` | A(`mpc-dev-A`)seal 成功(30 B → 59 B blob);B(`mpc-dev-B`)unseal **失败**,失败原因**恰是** `MPC_UNSEAL_TAG_MISMATCH: AEAD 认证失败 (teec=0xffff3071)`,且三条假失败(`BAD_FORMAT` / `VERSION` / `OTHER`)全部排除 |
+| **第 4 条 跨重启** | ✅ `OPTEE_RESTART_OK` | 第二次启动 `provisioned=true dev_tag=174d77df2f9ac977`(第一次是 `false`)+ `MPC_UNSEAL_OK: 54 字节 -> 25 字节`;14 条判据全 PASS;宿主 `persist/tee/` 下有 `dirf.db` + `0/1/2` 四个文件 |
+
+**第 4 条的额外证据(比"本轮内跨重启"更强)**:跑第二轮时**不清空**宿主 `persist` 目录,
+于是**第一次启动**就读到 `provisioned=true` —— 那是**上一轮运行**留下的 storage。
+⇒ 持久化跨越了整个脚本运行周期,不只是"同一轮里的两次启动"。
+
+**结论边界(不写会变成误导)**:
+
+- ✅ 证明:OP-TEE 4.11 的 TA 装载、session 打开、secure storage 写入、
+ 设备绑定密钥派生、AEAD 密封/解封、SM2 签名、attestation **在真实 OP-TEE 运行时上成立**;
+ `dna` **确实参与了密钥派生**(换 `MPC_SIM_DEV` 即解不开)。
+- ❌ 不证明:真板的 SLCR Device DNA 读取是否正确(QEMU 用的是编译期 sha256 种子);
+ 真板 secure storage 的跨重启行为(QEMU 的 HUK 是平台模拟值)。
+
+### ★ 第 4 条的判据必须能逐条破坏(2026-11-09 实证)
+
+按本仓库纪律「每条否定式判据都要能构造样例破坏过」,第 4 条做了**三个破坏实验**:
+
+| 破坏什么 | 期望 | 实测 |
+|---|---|---|
+| 去掉 `tee-supplicant -f /data/tee`(storage 落回 initramfs) | 判据**转红** | ✅ 第一轮就 `MPC_STORAGE_EMPTY` + 缺 `MPC_STORAGE_OK` ⇒ `OPTEE_VERDICT: FAIL`,编排脚本 `FAIL:` 退出 |
+| 9p 没挂上 | 判据**转红** | ✅ 构造日志用例覆盖(`log_restart_no_9p`) |
+| 第二次又 provision(伪成功) | 判据**转红** | ✅ 构造日志用例覆盖(`log_restart_reprovisioned`) |
+
+★ **破坏实验的价值在于「问题在第一轮就被抓住」**:storage 落点不对这件事,
+第一轮启动看起来**全对**(provision/seal 都成功),只有第二轮才会暴露
+`provisioned=false`。如果判据只在第二轮检查,就要多跑一轮 15 分钟才知道第一轮白跑了。
+
+### QEMU 实跑时踩到并修掉的六个真问题
+
+写在最前面是因为:**这六个里有四个是"照着本文档的方案写也会写错"的**。
+
+**① 明文/blob 写到了宿主的 `/tmp`,guest 根本看不到。**
+`printf ... > /tmp/plain.txt` 写在**宿主**(`$W` 之外的 `/tmp`),不是 `$W/rootfs/tmp`。
+症状是 guest 里报 `FAIL: 读 /tmp/plain.txt 失败: No such file or directory`。
+**照方案写也会错**:方案里写的是「把它 `cp` 进 `$W/rootfs/`」,但没说清是**哪个** `/tmp`。
+
+**② 就算文件进了 rootfs 的 `/tmp`,guest 里也读不到。**
+init 里 `mount -t tmpfs tmp /tmp` 会**覆盖** initramfs 里原有的 `/tmp` 内容。
+⇒ 明文与 blob 必须放 **rootfs 根目录**(`/plain.txt`、`/blob.hex`)。
+★ 而输出(unseal 的明文)必须写 `/tmp/plain.out`(tmpfs 可写)——
+initramfs 是只读的,写根目录会失败,而症状是"unseal 失败",
+**真实原因却是解封成功了、只是写不出去**。
+
+**③ `prune_workspace` 多传了一个 `$3`,`set -u` 下直接崩。**
+`$PYTHON3 - "$1" "$2" "$3" <<'PY'` 里 `$3` 从来没传 ⇒
+`line 396: $3: unbound variable` ⇒ build 段退出。
+★ 这条是**脚本自身**的 bug,与方案无关,但它说明 `set -u` 下多写一个位置参数就是致命。
+
+**④ workspace 不裁剪 ⇒ cargo 卡在 `Updating crates.io index` 超过 15 分钟。**
+teaclave-sdk 的 `examples/{ta,ca}/Cargo.toml` 默认列 30+ 个成员
+(mnist 训练、burn/ndarray/autodiff、rustls、big_int…),
+cargo 即使只 `build -p mpc-tee-ta` 也要**解析整个依赖图**。
+⇒ 裁剪到 3 个成员 + 删 `Cargo.lock` ⇒ 解析 22 个包、**35 秒**。
+★ 已证伪「网络问题」:crates.io 直连 `index.crates.io` **200 / 0.75s**。
+
+**⑤ 产物路径硬猜 ⇒ "TA ELF 没找到",而 build 段照样退出 0。**
+镜像里可能全局设了 `CARGO_TARGET_DIR`(沙箱就是 `/root/.cache/cargo-target`)。
+⇒ 用 `cargo metadata` 的 `target_directory` **问 cargo 自己**,不猜。
+
+**⑥ 判定器路径用 `dirname "$0"` 解析,而脚本中途 `cd $W` ⇒ 判据根本没跑。**
+症状:`line 646: cd: build: No such file or directory`,
+而 **QEMU 其实已经跑完了** —— 判据没执行,脚本却带着假绿语义结束。
+⇒ 脚本自身目录必须在**任何 `cd` 之前**解析成绝对路径;
+编排脚本传给 QEMU 脚本的路径也要转绝对(QEMU 脚本内部会 `cd /root`)。
+
+### ★ 第 4 条开工时踩到并修掉的三个真问题(2026-11-09)
+
+**⑦ tee-supplicant 的 secure storage 默认路径是 `/var/lib/tee`,不是 `/data/tee`。**
+本文档 §3 的方案里写的是"挂 9p 到 `/data`,storage 默认就在 `/data/tee`" ——
+**那是错的**。硬证据:`strings tee-supplicant | grep /var/lib` ⇒ `/var/lib/tee`;
+`tee_supplicant.c` 里 `.fs_parent_path = TEE_FS_PARENT_PATH`,
+而 `CMakeLists.txt` 的 `CFG_TEE_FS_PARENT_PATH` 默认 `${CMAKE_INSTALL_LOCALSTATEDIR}/lib/tee`。
+⇒ 必须显式 `-f /data/tee`(`--fs-parent-path`)。
+症状极具迷惑性:9p 挂载成功、provision/seal 都成功,但宿主 `persist` 目录**始终是空的**。
+★ `-f` 确实生效有源码依据:`getopt_long` 在 `main()` 开头解析 `-f`,
+`tee_supp_fs_init()` 里的 `mkpath()` 在其后 ⇒ 参数先落地再创建目录。
+
+**⑧ storage 落点检查放在 provision 之前 ⇒ 永远误报"空"。**
+secure storage 目录是**懒创建**的(`mkpath()` 只在第一次 RPC 时发生)。
+把检查放在 provision 之前查,目录必然还不存在 ⇒ 每轮都报 `MPC_STORAGE_EMPTY`。
+⇒ 检查必须放在 provision **之后**,且判据要升级成"目录里真有文件",
+不能只看目录存在(目录可能是自己 `mkdir` 出来的)。
+
+**⑨ `timeout 200 qemu-system-arm` 收不住 QEMU ⇒ 每次启动白等 200 秒。**
+guest 跑完会 `poweroff`,但 QEMU **不退出** —— 串口尾部实测
+`Flash device refused suspend due to active operation (state 20)`;
+而 `timeout` 默认只发 SIGTERM 给直接子进程,QEMU 扛住继续跑(实测 etime 超 200 秒仍在),
+于是整条验证被拖成一个长循环。
+⇒ 改成 QEMU 后台跑 + 轮询 `MARKER_ALL_DONE`(guest 跑完的**唯一**标志)
+→ 收到就 SIGTERM,10 秒不退再 SIGKILL;超时兜底仍保留,但那时必须**明确报未完成**。
+实测收工耗时从 200s 降到 **8s**。
+★ 收工判据不能用"日志文件有内容"或"进程没了" —— 那些都会假绿。
+
+### 落地时踩到并修掉的四个真问题(2026-11-07 首次开工)
写方案时没预料到、开工后暴露的(都属于"照着方案写也会写错"的类型):
@@ -256,11 +357,16 @@ SKIP_PREP=1 MPC_SIM_DEV=mpc-dev-B MODE=unseal BLOB=blob-a.bin \
```text
K_root ← read_obj(OBJ_ROOT) ta/src/main.rs:79 存 OP-TEE secure storage
-storage ← tee-supplicant,默认 /data/tee
+storage ← tee-supplicant,默认 /var/lib/tee ★ 实测更正(见坑 ⑦):不是 /data/tee
/data ← initramfs 里的目录 p3_optee_qemu.sh:228-240 没有挂任何持久介质
```
-**重启 QEMU → initramfs 重建 → /data 清空 → K_root 没了 → blob 必然解不开。**
+**重启 QEMU → initramfs 重建 → storage 目录清空 → K_root 没了 → blob 必然解不开。**
+
+★ 初稿写的是"storage 默认就在 `/data/tee`,所以挂 9p 到 `/data` 就够了" ——
+**实测证明那是错的**:默认是 `/var/lib/tee`(在 initramfs 内),
+必须显式 `-f /data/tee`(`--fs-parent-path`)才能把落点指到 9p 目录。
+详见坑 ⑦。
所以现在去测"重启后 unseal",结果一定是失败,而失败原因是"密钥没了",不是"绑定错了"。这个失败**没有任何验证价值**,还会把人往错误方向带(以为是 seal 的问题)。
@@ -305,7 +411,20 @@ storage ← tee-supplicant,默认 /data/tee
poweroff
```
-`tee-supplicant` 的 storage 默认在 `/data/tee`,所以把 9p 挂到 `/data` 就够了,**不用改 tee-supplicant 的启动参数**(init 脚本里那一行保持原样)。
+★★ **实测更正**:初稿写「`tee-supplicant` 的 storage 默认在 `/data/tee`,所以把 9p 挂到
+`/data` 就够了,**不用改 tee-supplicant 的启动参数**」—— **这是错的**。
+
+- 默认路径是 **`/var/lib/tee`**(在 initramfs 内 ⇒ 重启即清空);
+ 硬证据:`strings tee-supplicant | grep /var/lib` ⇒ `/var/lib/tee`,
+ `tee_supplicant.c` 的 `.fs_parent_path = TEE_FS_PARENT_PATH`,
+ `CMakeLists.txt` 默认 `${CMAKE_INSTALL_LOCALSTATEDIR}/lib/tee`。
+- ⇒ **必须改启动参数**:加 `-f /data/tee`(`--fs-parent-path`)把落点指到 9p 目录。
+ 证据链完整:`getopt_long` 在 `main()` 开头解析 `-f`,
+ `tee_supp_fs_init()` 里的 `mkpath()` 在其后 ⇒ 参数先落地再创建目录。
+
+症状极具迷惑性:**9p 挂载成功、provision/seal 都成功,但宿主 `persist` 目录始终是空的**
+—— 第一轮看起来全对,只有第二轮才暴露 `provisioned=false`。
+所以判据里必须有「storage 落点真的有内容」这一条(坑 ⑧)。
init 脚本要加两行(在起 tee-supplicant 之前):
@@ -346,8 +465,8 @@ QEMU 上 OP-TEE 的 HUK 是平台模拟值,不是芯片唯一密钥。所以
| `build/optee-verdict.py`(新增) | **判据的唯一真相源**:按 mode / expect / provisioned / require-9p 判定串口日志;兼带 blob 抠取 | 4、5 | 已实现 |
| `build/p3_optee_qemu.sh` | 拆段(`PHASE=prep\|build\|run\|buildrun`);`MODE=seal\|unseal\|selftest`;`PERSIST=1` 时挂 9p;`MPC_NW_LOG` 覆盖日志路径;`MPC_UNSEAL_EXPECT` / `MPC_PROVISIONED_EXPECT` / `MPC_REQUIRE_9P` 判据参数;判据改为调判定器 | 4、5 | 已实现 |
| `tools/selftest-optee-verdict.py`(新增) | 用构造日志跑判据的每条分支 + 跨语言常量一致性 + 漂移探针;**进主门禁第 11 条** | 4、5 | 已实现 |
-| `tools/optee-cross-device.sh`(新增) | 跨设备编排:A 密封 → 抠 blob → B 解封必须失败且原因是认证失败 | 5 | 已实现(QEMU 未实跑) |
-| `tools/optee-restart.sh`(新增) | 跨重启编排:两次启动,第二次必须 `provisioned=true` 且 unseal 成功 | 4 | 已实现(QEMU 未实跑) |
+| `tools/optee-cross-device.sh`(新增) | 跨设备编排:A 密封 → 抠 blob → B 解封必须失败且原因是认证失败 | 5 | 已实现(**QEMU 实跑通过 2026-11-09**) |
+| `tools/optee-restart.sh`(新增) | 跨重启编排:两次启动,第二次必须 `provisioned=true` 且 unseal 成功 | 4 | 已实现(**QEMU 实跑通过 2026-11-09**) |
| `tools/ci-optee.sh` | 加 `--cross-device` / `--restart` 两个模式,互斥检查,缺环境显式 `OPTEE_SKIPPED` | 4、5 | 已实现 |
| `tools/ci.sh` | 加第 11 条:OP-TEE 判据逻辑自测 | 4、5 | 已实现 |
| `docs/INTEGRATION_ANALYSIS.md` 1.7 | "未覆盖"改成"已覆盖 + 判据 + 结论边界" | — | 已实现 |
@@ -369,13 +488,13 @@ QEMU 上 OP-TEE 的 HUK 是平台模拟值,不是芯片唯一密钥。所以
## 6. 顺序与工作量
-> 状态:步骤 1、2、4 已完成;步骤 3 的**脚本**已完成,**QEMU 实跑未做**。
+> 状态:步骤 1、2、4 已完成;步骤 3 的脚本与 **QEMU 实跑都已完成(2026-11-09)**。
| 步骤 | 内容 | 工作量 | 阻塞 | 状态 |
|---|---|---|---|---|
| 1 | 错误分类贯通三层(`core` → TA TEEC 码 → CA 解析)+ CA 加 `seal`/`unseal` + hex 编解码 | 1 天 | 无,两条都要用 | ✅ 完成 |
| 2 | `p3_optee_qemu.sh` 拆段 + 两次启动编排 + 判据抽成 `optee-verdict.py` | 1.5 天 | 步骤 1 | ✅ 完成 |
-| 3 | 第 4 条:`/data` 挂 9p(`version=9p2000.L`)+ 两次启动编排 | 1 天 | 步骤 1;9p 锁语义待实测 | 🟡 脚本完成,QEMU 未跑 |
+| 3 | 第 4 条:`/data` 挂 9p(`version=9p2000.L`)+ 两次启动编排 | 1 天 | 步骤 1 | ✅ **完成(QEMU 实跑通过,9p 锁语义 `.L` 实测正常)** |
| 4 | 两条接进 `ci-optee.sh`(`--cross-device` / `--restart`,带判据)+ 判据自测进主门禁 | 0.5 天 | 2、3 | ✅ 完成 |
**剩下唯一没做的是「在有 SDK 的机器上实跑一次」。** 具体命令:
diff --git a/docs/ZYNQ.md b/docs/ZYNQ.md
index 4df2477..fec7507 100644
--- a/docs/ZYNQ.md
+++ b/docs/ZYNQ.md
@@ -14,17 +14,17 @@ x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品*
A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×,
再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。
-| 负载 | i5 实测 | A9 估算 | 判断 |
-|---|---|---|---|
-| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
-| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
-| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
-| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
-| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
-| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
-| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
-| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
-| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
+| 负载 | i5 实测 | A9 估算 | 判断 |
+| ------------------------- | ----------------- | ------------- | ------- |
+| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
+| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
+| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
+| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
+| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
+| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
+| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
+| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
+| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
**结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。
不适合**大矩阵密文训练**——那类负载直接上 x86。
@@ -32,6 +32,11 @@ A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5
> 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑
> `mpc selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。**
+> ★ **2026-11-09 更新**:上板已经跑了(见 §4.2 / §4b)。`mpc selftest`
+> 单次 **≈4 ms**、峰值 RSS **3.5 MB** —— 与本表"A9 是 i5 的 8–12× 慢"的
+> 推算量级**不矛盾**(selftest 本身极小,进程启动开销占主导),
+> 但**各算子的规模曲线仍未实测**,上表数字继续按"推算"看待。
+
---
## 2. 交叉编译
@@ -71,13 +76,13 @@ flags 0x5000400 → EABI5 + hard-float
**已知约束**(都是已经踩过或必须防的):
-| 约束 | 原因 | 守它的方式 |
-|---|---|---|
-| `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` |
-| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
-| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
-| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 |
-| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` |
+| 约束 | 原因 | 守它的方式 |
+| -------------------------- | ------------------------- | ----------------------------------------------- |
+| `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` |
+| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
+| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
+| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 |
+| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` |
---
@@ -114,7 +119,94 @@ flags 0x5000400 → EABI5 + hard-float
---
-## 4. 上板步骤(待执行)
+## 4. 上板实测(2026-11-09 已执行)
+
+> 本节是**实证**记录。凡标 `[实证]` 的都真在 `192.168.1.233` 上跑过;
+> 标 `[桩验]` 的是 QEMU / 框架契约,**不等于真板**。
+
+### 4.1 板子身份(`[实证]`)
+
+| 项 | 实测值 |
+| ----------------- | ----------------------------------------------- |
+| 型号 | `ACZ7015 ZYNQ Development Board`(设备树 `xlnx,zynq-7000`) |
+| 内核 | `Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT` |
+| 架构 | armv7l,双核 Cortex-A9(`cpu/online` = `0-1`) |
+| 启动介质 | SD 卡 `mmcblk0`;`p1` = vfat 98.5M(boot),`p2` = ext4 7.0G(root) |
+| 启动链 | `BOOT.BIN`(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ `uEnv.txt` → `system.bit` + `zImage` + `system.dtb` |
+| `bootcmd` | `run sdboot` → `fatload mmc 0 …` 加载 bit/zImage/dtb → `bootz` |
+| 在役服务 | `board-agent`(:18080/:12222/:1891)、`easytier-core`(m4gw)、`healthwd.sh`、`monitor.sh`、dropbear |
+| 工具链 | **无** gcc / make / python3(板子不能本地编译任何东西) |
+
+启动链基线 sha256(2026-11-09,改动前):
+
+```
+bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc BOOT.BIN
+86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb system.bit
+ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e zImage
+5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01 system.dtb
+d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9 uEnv.txt
+```
+
+> 板子 p1 里**已存在** `boot_backup.tar.gz`(14 MB,内含
+> `zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt`),
+> 说明此前已有人备份过启动链。换启动链前**必须再存一份带哈希的基线**。
+
+### 4.2 mpc 二进制上板(`[实证]`)
+
+产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU):
+
+```
+target/armv7-unknown-linux-musleabihf/release/mpc
+ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 1,273,788 B
+sha256 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d
+```
+
+板上结果:
+
+| 判据 | 结果 |
+| -------------------------------- | ----------------------------------------------- |
+| `mpc selftest` | **5/5 全过** |
+| 两进程 MPC 会话(alice+bob) | 两侧 `value \| 35.000000`(= 1+2+3+4+5+6+7+8+9+10) |
+| `mpc selfcheck` sha256 | 与本机构建产物**逐字节一致** |
+| `mpc selfcheck` platform | `linux/arm` |
+| `mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested"` | L3,`needs_mpc=true`、`needs_tee=true`、`allow_plaintext_merge=false` |
+
+> ★ `mpc selfcheck` 的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制,
+> 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版,
+> 必须核 sha)。
+
+### 4.3 OP-TEE 上真板的真实缺口(`[实证]`)
+
+**结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。**
+
+| 缺口 | 实测证据 | 影响 |
+| --------------------- | ------------------------------------------------------------------------ | ------------------------------- |
+| 内核无 TEE 支持 | `zcat /proc/config.gz` → `# CONFIG_TEE is not set` | 无 `/dev/tee*` ⇒ CA 调不到 TA |
+| 无 OP-TEE 运行时 | 无 `/lib/optee_armtz`、无 optee 内核模块 | TA 装不进去 |
+| **EL3 无 OP-TEE 承载** | `BOOT.BIN` 里 grep `trusty\|atf\|optee` 仅命中无关串;`bootcmd` 直接 `bootz` 进内核 | 安全世界镜像**无处安放** |
+| 板子无构建工具 | 无 gcc/make/python3 | 只能交叉编译后拷贝 |
+
+因此真板 OP-TEE 需要**同时**具备:
+
+1. 带 `CONFIG_TEE` 的 `zImage`(配套 `system.dtb` 加 `firmware`/`optee` 节点);
+2. 能加载安全世界镜像的启动链(OP-TEE `plat-zynq7k` 的 `zc702` flavor 走
+ **U-Boot 直接加载 bl32**;另一条 `atf` flavor 需要 EL3 上的 ATF);
+3. `libteec` + `tee-supplicant`(secure storage 持久化 `K_root` 必需)。
+
+**风险**(必须在动手前讲清):
+
+- 换 `zImage` / `uEnv.txt` / `BOOT.BIN` = **改启动链**;
+- 板子上跑着 `board-agent`、`easytier-core`(m4gw 网关)、`healthwd.sh`
+ 等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置;
+- **板子无本地编译环境**,一旦启动链改坏,**没有第二台板子**可试;
+ ⇒ 必须先做**带哈希基线的完整备份**,并保留**可回滚**路径。
+
+> 本轮**没有**替换启动链,也没有在板上安装任何 OP-TEE 组件 ——
+> 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。
+
+---
+
+## 4b. 上板步骤(`mpc` 二进制部分,已执行)
```bash
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
@@ -132,24 +224,43 @@ mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
# 期望两侧都输出:会话结果: 35
```
-**验收判据**(三条,缺一不可):
+**验收判据**(三条,已全部达成):
-1. `mpc selftest` 四项全过 —— 说明算子核在 armv7 上数值正确
+1. `mpc selftest` **5/5 全过** —— 说明算子核在 armv7 上数值正确
(尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
-2. 两进程会话得到 **35** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
-3. `mpc selftest` 的耗时 —— 这是**唯一的性能实测基线**,记下来,
- 后续所有规模判断都从它推算,而不是从 i5 的数字猜。
+2. 两进程会话得到 **35.000000** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
+3. `mpc selfcheck` sha256 与本机构建产物一致 —— 上板的就是这份产物。
+
+> ★ 性能实测(2026-11-09,板端 `[实证]`):
+> `mpc selftest` **单次约 4.0 ms**,峰值常驻内存 **3568 KB**(约 3.5 MB)。
+>
+> 测量方式(板子是 BusyBox,`date` 不支持 `%N` 纳秒,`/usr/bin/time` 也没有;
+> `busybox time` 分辨率只有 0.01 s,单次跑测不出来 ⇒ **放大信号**):
+>
+> ```
+> busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
+> → real 0m 0.84s ⇒ 单次 4.2 ms
+> busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
+> → real 0m 2.00s ⇒ 单次 4.0 ms
+> ```
+>
+> 两组独立测量互相印证(4.2 / 4.0 ms),取 **≈4 ms**。
+>
+> ★★ **踩坑记录**:板子 SSH 非交互会话的 `PATH` 只有 `/usr/bin:/bin`,
+> 而 `mpc` 装在 `/usr/local/bin/mpc` ⇒ **`mpc` 直接调会 "command not found"**,
+> 且 `busybox time` 只报 `can't execute 'mpc'`、耗时显示 0.00s —— **假数据**。
+> 板端一律用**绝对路径**。这条差点让「性能基线」变成凭空捏造的数。
---
## 5. 与 x86 + SNP 的分工
-| | Zynq-7015 | x86 + SEV-SNP |
-|---|---|---|
-| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
-| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
-| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
-| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
+| | Zynq-7015 | x86 + SEV-SNP |
+| --- | -------------------- | ---------------------- |
+| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
+| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
+| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
+| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
**同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是
"双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。
@@ -171,9 +282,15 @@ trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
## 6. 还没做的(诚实清单)
-- [ ] 板上实测性能数字(上表全是推算)
-- [ ] `mpc-tee` 的 OP-TEE 实现(复用 `op-tee-test/src/vault-core`)
+- [x] 板上实测性能数字(`mpc selftest` ≈4 ms / 峰值 RSS 3.5 MB,2026-11-09 `[实证]`,
+ 见 §4b;**但只覆盖 selftest 规模**,各算子的规模曲线仍未逐项实测)
+- [ ] `mpc-tee` 的 OP-TEE 实现**在真板上跑通**(产物已在沙箱构建,见 §4.3 缺口表)
+- [ ] 真板 OP-TEE 的**启动链方案**:带 `CONFIG_TEE` 的 zImage + 能加载 bl32 的 U-Boot
+ ⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试)
- [ ] TA 侧的最小算子(比较、聚合)
- [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
-- [x] 交叉编译产物可出(musl 静态,687 KB,见 §2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2)
+- [x] 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2)
- [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
+- [x] `mpc` 二进制上板自检 + 两进程会话(2026-11-09,`[实证]`,见 §4.2)
+- [x] 板子身份与启动链基线固化(sha256,见 §4.1)
+- [x] OP-TEE zynq7k 构建脚本(`build/build_optee_zynq7k.sh`,含 `board` feature 真板 DNA 读取)