docs: 更新 OP-TEE 实跑状态,纠正文档里 storage 默认路径的错误认知
- docs/INDEX.md / ARCHITECTURE_SYSTEM.md / README.md: 「OP-TEE QEMU 实跑未做(缺 SDK)」改为已做,但明确标注是 QEMU 模拟 (dna = 编译期 sha256 种子、HUK = 模拟值),不能当真板设备绑定证据。 - docs/OPTEE_VERIF_PLAN.md:补第 4 条实跑证据表与破坏实验表; 新增坑 ⑦⑧⑨(storage 默认路径 / 落点检查时机 / QEMU 不退出); 状态表判据用例 15 → 19;步骤 3 状态改为完成。 - 更正 §3 里「storage 默认在 /data/tee,所以不用改 tee-supplicant 启动参数」 这句错误认知 —— 实测默认是 /var/lib/tee,必须显式 -f /data/tee。 - ARCHITECTURE_SYSTEM.html 由 tools/render-share-html.py 重新生成,--check 同步通过。 - CLAUDE.md 补集群调度面与 OP-TEE 实跑结论。
This commit is contained in:
1 parent
27cbdc7b42
commit
01b8bb44aa
7 files changed
+501
-78
No files matched your search
@@ -477,7 +477,14 @@ AMD SNP(alice)+ 海光 CSV(bob)两侧**各自**完成
|
||||
**专题设计(结论稳定,不含进度)**
|
||||
|
||||
- `docs/ARCHITECTURE.md` — 分层、Ray 定位、TEE 定位
|
||||
- `docs/IR.md` / `docs/N_PARTY.md` / `docs/COMPARE_SECRETFLOW.md` / `docs/ZYNQ.md`
|
||||
- `docs/IR.md` / `docs/N_PARTY.md` / `docs/COMPARE_SECRETFLOW.md`
|
||||
- `docs/ZYNQ.md` — **ARM 边缘板(Zynq-7015)**:§4 是 2026-11-09 上板实证
|
||||
(selftest 5/5、会话 35.000000、selftest ≈4 ms);
|
||||
§4.3 是**真板 OP-TEE 的真实缺口**(内核无 `CONFIG_TEE`、`BOOT.BIN` 无 EL3 承载
|
||||
⇒ 须换启动链,且板上有在役服务、无第二台可试)
|
||||
- `build/build_optee_zynq7k.sh` — Zynq 真板 TA/CA 构建(`PLATFORM=zynq7k` +
|
||||
`PLATFORM_FLAVOR=zc702` + TA `--features board` 读真板 SLCR DNA);
|
||||
密钥分级守卫在 `build/ta-key-tier.sh`(**唯一实现**,两个 build 脚本都 source 它)
|
||||
- `docs/TEE_DIRECT_LAUNCH.md` / `docs/TEE_OCI_PATH.md` / `docs/OPTEE_VERIF_PLAN.md`
|
||||
- `docs/RAY_CORE.md` / `docs/RAY_CORE_101.md` / `docs/RAY_ARMV7.md` / `docs/PG.md`
|
||||
- `docs/OPT_PLAN.md` / `docs/GAP_PLAN.md`(后者是 2026-10-30 改名前缺口计划,已加归档声明)
|
||||
|
||||
@@ -98,7 +98,7 @@ TEE 证明**未上链**、链上撤销状态位读取后端未接入、OPA 不
|
||||
| `mpc-runtime` 执行模式 | ✅ dry_run / real_run(线程局部 + RAII 嵌套恢复),4 测 |
|
||||
| `mpc-ir` 算子图与轮次规划 | ✅ `Vis`(公开/秘密)与**定点尺度 `k`** 都挂在值上 + 强制 `Lift` 节点 + `base/end` 排程 + **同阶段同类批量**(乘 / 截断 / open / 比较各自合成一个往返);`mpc plan` / `mpc sql-plan` 可查。39 测含**两方真 Vault 端到端**、调用序验证、`cmp` 轮数实测(`CMP_ROUNDS=9`),见 `docs/IR.md` |
|
||||
| `mpc-he` Paillier/OLE | ✅ 无可信发牌方 Beaver 物料 + PIR,50 条 Python 逐位对照 + 13 语义测试 |
|
||||
| `mpc-tee` HAL | ✅ trait + Mock 实现;`TrustPlan` 是 **n 方计算函数**(`for_parties` + `TrustPolicy`,L0–L3),`mpc trust` 可查;OP-TEE CA↔TA 范式已落地(QEMU 实跑待 SDK) |
|
||||
| `mpc-tee` HAL | ✅ trait + Mock 实现;`TrustPlan` 是 **n 方计算函数**(`for_parties` + `TrustPolicy`,L0–L3),`mpc trust` 可查;OP-TEE CA↔TA 范式已落地,**QEMU 实跑已通过**(2026-11-09:全流程 selftest + 跨设备解封被拒 + 跨重启 unseal 成功;**模拟环境,非真板**) |
|
||||
| `mpc-cli` | ✅ 单二进制,`selftest` / `trust` / `plan` / `node` / `psi` / `lr` / `lr-vertical` / `fl` 子命令;`--features secure` 另加 `mpc sql`(in-process)、`mpc sql-plan`(把聚合查询编成计划报轮数,不联网不需要数据;`--group-mode coded` 走整数码前缀和,8 组 13→12 轮)与 `mpc sql-join`(真 TCP 两进程 JOIN×PSI×密态 SQL) |
|
||||
| `mpc-orch` 编排 | ✅ 661 行纯 std,PLAN 协议 + 两阶段提交,7 单测;本机三进程跑通 |
|
||||
| `mpc-ray` Ray C++ 内核 | ✅ 链接 `_raylet.so` 接入真实集群(拿到 raylet 分配的 node id),见 `docs/RAY_CORE.md` |
|
||||
|
||||
+129
-23
@@ -102,15 +102,16 @@ footer{max-width:760px;margin:26px auto 0;color:var(--muted);font-size:12.5px;te
|
||||
<a class="lv3" href="#sec-6">1.3 链面</a>
|
||||
<a class="lv3" href="#sec-7">1.4 站点 / 管理面(k8s)</a>
|
||||
<a class="lv3" href="#sec-8">1.5 单二进制、两种 profile(编译期硬切分)</a>
|
||||
<a class="lv2" href="#sec-9">2. 双层控制面与信任边界</a>
|
||||
<a class="lv2" href="#sec-10">3. 会话是唯一主键</a>
|
||||
<a class="lv2" href="#sec-11">4. 端到端数据流(真机实证链路)</a>
|
||||
<a class="lv2" href="#sec-12">5. 部署拓扑与端点(当前物理落点)</a>
|
||||
<a class="lv3" href="#sec-13">持久化边界</a>
|
||||
<a class="lv2" href="#sec-14">6. 平台形态矩阵(不是同一套形态)</a>
|
||||
<a class="lv2" href="#sec-15">7. 判定、门禁与治理分域</a>
|
||||
<a class="lv2" href="#sec-16">8. 诚实边界(仍然不宣称,不许借更新冲掉)</a>
|
||||
<a class="lv2" href="#sec-17">9. 阅读路线与文档分工</a>
|
||||
<a class="lv3" href="#sec-9">1.6 集群调度面(CubeMaster 等价物)与单机面分离</a>
|
||||
<a class="lv2" href="#sec-10">2. 双层控制面与信任边界</a>
|
||||
<a class="lv2" href="#sec-11">3. 会话是唯一主键</a>
|
||||
<a class="lv2" href="#sec-12">4. 端到端数据流(真机实证链路)</a>
|
||||
<a class="lv2" href="#sec-13">5. 部署拓扑与端点(当前物理落点)</a>
|
||||
<a class="lv3" href="#sec-14">持久化边界</a>
|
||||
<a class="lv2" href="#sec-15">6. 平台形态矩阵(不是同一套形态)</a>
|
||||
<a class="lv2" href="#sec-16">7. 判定、门禁与治理分域</a>
|
||||
<a class="lv2" href="#sec-17">8. 诚实边界(仍然不宣称,不许借更新冲掉)</a>
|
||||
<a class="lv2" href="#sec-18">9. 阅读路线与文档分工</a>
|
||||
</nav>
|
||||
<main>
|
||||
<div class="banner">
|
||||
@@ -204,6 +205,7 @@ footer{max-width:760px;margin:26px auto 0;color:var(--muted);font-size:12.5px;te
|
||||
└───────────────────────────┬──────────────────────────────────────────────────────┘
|
||||
│ 站点端编排 / 会话登记([设计] 尚未具象为独立服务)
|
||||
┌───────────────────────────▼── TEE 真机(编排层之外)─────────────────────────────┐
|
||||
│ 集群控制面 mpc control-plane :3020 [桩验] 收自报 / 选址 / 对账 / 公布端点 │
|
||||
│ 宿主机控制面 mpc-hostd :3010/:3011 e2b 兼容 API + /attestation │
|
||||
│ TeeRuntime:qemu spawn / 状态表 / reaper / 孤儿校验(pid + 启动时间) │
|
||||
│ 证明采集 → KBS 验签 → 放密钥 → tap(宿主) + socket(跨 guest) │
|
||||
@@ -286,14 +288,20 @@ footer{max-width:760px;margin:26px auto 0;color:var(--muted);font-size:12.5px;te
|
||||
<tr>
|
||||
<td><code>mpc-tee</code></td>
|
||||
<td><code>crates/mpc-tee/</code></td>
|
||||
<td>HAL:<code>seal/attest/sign/device_key</code>;<code>verify.rs</code> / <code>collect.rs</code> / <code>kbs.rs</code> / <code>session.rs</code> / <code>site_admit.rs</code></td>
|
||||
<td>[实证] 零 crates.io 依赖,两个平台真机跑通</td>
|
||||
<td>HAL:<code>seal/attest/sign/device_key</code>;<code>verify.rs</code> / <code>collect.rs</code> / <code>kbs.rs</code> / <code>session.rs</code> / <code>site_admit.rs</code>;<strong>集群调度层</strong>:<code>scheduler.rs</code>(<code>NodeRegistry</code> / <code>TeePool</code>)/ <code>dispatch.rs</code> / <code>reconciler.rs</code> / <code>control_plane.rs</code> / <code>probe.rs</code></td>
|
||||
<td>[实证] 零 crates.io 依赖,两个平台真机跑通;调度层 [桩验] 见 §1.6</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td><code>mpc-hostd</code></td>
|
||||
<td><code>crates/mpc-hostd/</code></td>
|
||||
<td>e2b 兼容 API + <code>/attestation</code>;<code>runtime.rs</code> 起 qemu + reaper;<code>api.rs</code> 四布尔 <code>AttestationVerdict</code></td>
|
||||
<td>[实证] 真机运行</td>
|
||||
<td><strong>单机 e2b 兼容面</strong>:<code>/sandboxes</code> + <code>/attestation</code>;<code>runtime.rs</code> 起 qemu + reaper;<code>api.rs</code> 四布尔 <code>AttestationVerdict</code>。<strong>集群面</strong>:<code>registry_api.rs</code> / <code>control_plane_api.rs</code> / <code>control_plane_server.rs</code> / <code>host_dispatch.rs</code></td>
|
||||
<td>[实证] 单机面真机运行;集群面 [桩验] 见 §1.6</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td><code>mpc control-plane</code></td>
|
||||
<td><code>crates/mpc-cli/src/control_plane.rs</code></td>
|
||||
<td>集群面命令:<code>serve</code> / <code>nodes</code> / <code>sessions</code> / <code>set-desired</code> / <code>report</code>,默认只听 <code>127.0.0.1:3020</code></td>
|
||||
<td>[桩验] 真 socket 门禁跑通,非真机集群;见 §1.6</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>KBS</td>
|
||||
@@ -421,8 +429,101 @@ footer{max-width:760px;margin:26px auto 0;color:var(--muted);font-size:12.5px;te
|
||||
<p><code>main.rs</code> 的 <code>compile_error!</code> 在 <code>target_env=musl</code> 且带 <code>control-plane</code> 时<strong>硬拒绝</strong>;
|
||||
<code>mpc-cli/Cargo.toml</code> 按 target 把 <code>openssl-sys</code> 排除出 musl 依赖图,保证守卫真的可达,
|
||||
而不是先撞上含混的 <code>pkg-config</code> 报错。主门禁第 4 条三层探针钉死这条边界。</p>
|
||||
<h3 id="sec-9">1.6 集群调度面(CubeMaster 等价物)与单机面分离</h3>
|
||||
<p><code>mpc control-plane</code> 是 2026-11-09 起新增的<strong>集群面</strong>命令,参考 CubeSandbox 的
|
||||
CubeMaster / Cubelet / Redis / reconciler 三层映射。落点仍在 <code>mpc-tee</code>(纯逻辑,
|
||||
零 crates.io 依赖)与 <code>mpc-hostd</code>(HTTP 实现),<strong>不新增编排层、不落 <code>mpc-orch</code></strong>:</p>
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
<th>CubeSandbox</th>
|
||||
<th>本项目落点</th>
|
||||
<th>文件</th>
|
||||
</tr>
|
||||
</thead>
|
||||
<tbody>
|
||||
<tr>
|
||||
<td>Cubelet(节点自描述 / 心跳)</td>
|
||||
<td><code>hostd</code> 探针 + 周期自报</td>
|
||||
<td><code>mpc-tee/src/probe.rs</code>、<code>mpc-hostd/src/registry_api.rs</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>Redis(共享状态源)</td>
|
||||
<td><code>NodeRegistry</code> / <code>TeePool</code> 候选池</td>
|
||||
<td><code>mpc-tee/src/scheduler.rs</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>CubeMaster(收自报 / 选址 / 公布端点)</td>
|
||||
<td><code>ControlPlane</code></td>
|
||||
<td><code>mpc-tee/src/control_plane.rs</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>reconciler(对账下发)</td>
|
||||
<td><code>TeeReconciler</code>(create / attest / destroy)</td>
|
||||
<td><code>mpc-tee/src/reconciler.rs</code></td>
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
<p><strong>两个命令、两个端口、两套面,故意不合并</strong>:</p>
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
<th></th>
|
||||
<th><code>mpc hostd</code>(单机 e2b 兼容面)</th>
|
||||
<th><code>mpc control-plane</code>(集群面)</th>
|
||||
</tr>
|
||||
</thead>
|
||||
<tbody>
|
||||
<tr>
|
||||
<td>对应角色</td>
|
||||
<td>Cubelet</td>
|
||||
<td>CubeMaster</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>默认监听</td>
|
||||
<td><code>127.0.0.1:3010</code></td>
|
||||
<td><code>127.0.0.1:3020</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>主要端点</td>
|
||||
<td><code>/sandboxes</code>、<code>/attestation</code>、<code>/node</code></td>
|
||||
<td><code>/registry</code>、<code>/nodes</code>、<code>/sessions</code>、<code>/desired</code>、<code>/report</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>生命周期</td>
|
||||
<td>机器级(跟着一台 TEE 真机)</td>
|
||||
<td>集群级(可独立于任何一台真机)</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>失败语义</td>
|
||||
<td>「这台机器起不了 guest」</td>
|
||||
<td>「整个集群排不出会话」</td>
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
<p>分开的理由是<strong>暴露面与失败语义不同</strong>:集群面要跨网段可达(因此非回环监听强制
|
||||
共享密钥 <strong>且</strong> 显式 <code>--allow-remote</code>,见 <code>mpc-cli/src/control_plane.rs</code>),单机面
|
||||
只该本机回环;合并会让「能起 guest」那条路随集群面一起暴露。<code>mpc-tee</code> 的
|
||||
<code>probe</code> / <code>reconciler</code> / <code>control_plane</code> 仍受 <code>std</code> 门控(<code>--no-default-features</code>
|
||||
不编进 guest),HTTP 服务器与 tokio runtime 只在 <code>mpc-hostd</code>。</p>
|
||||
<p><strong>闭环</strong>:<code>hostd</code> 周期自报 → <code>POST /registry</code>(复用 <code>TeeNode::parse()</code> 的唯一
|
||||
fail-closed 口径,解析失败拒收、不写半条记录)→ <code>NodeRegistry</code> → 期望态
|
||||
(<code>POST /desired</code>,存在 <code>Mutex<Vec<DesiredSession>></code> 里,<strong>运行期可改</strong>,不是
|
||||
启动脚本常量)→ 选址(<code>node_satisfies</code> + <code>admit</code>;注册表为空即失败,绝不硬塞
|
||||
一台)→ 下发 <code>create</code> → 取 <code>attestation</code> → 四布尔 <code>all_ok()</code> 才把端点放进
|
||||
<code>proven_endpoints()</code>(<code>GET /sessions</code>)。证明一旦漂移,<strong>先</strong>把旧记录从
|
||||
<code>placed</code> 移除再重新选址 —— 否则「重新选址失败」会把证明已不通过的旧端点
|
||||
继续对外公布。下发统一走 <code>HostDispatcher</code>(<code>mpc-hostd/src/host_dispatch.rs</code>),
|
||||
请求体形状只有一份 <code>launch_body</code>。</p>
|
||||
<p><strong>每会话专属绑定</strong>:<code>DesiredSession.binding: Option<SessionBinding></code> 优先于
|
||||
控制面全局绑定。绑定值写进芯片报告 <code>user_data</code>,两个会话共用一份绑定等于
|
||||
两份报告可互相冒用(重放)。</p>
|
||||
<p><strong>状态</strong>:[桩验] 真 socket 端到端门禁已跑通完整闭环,且用<strong>假 hostd</strong> 给
|
||||
「端点不外泄」补了正向对照(证明通过 ⇒ 端点真的出现;证明不齐 ⇒ 端点被收回),
|
||||
避免否定式判据因 <code>create</code> 恒失败而恒真(空集通过)。但节点是本机假 hostd /
|
||||
不可达节点,<strong>不等于真机集群调度已跑通</strong> —— 见 §8。</p>
|
||||
<hr />
|
||||
<h2 id="sec-9">2. 双层控制面与信任边界</h2>
|
||||
<h2 id="sec-10">2. 双层控制面与信任边界</h2>
|
||||
<p>切两层不是审美选择,是<strong>判据归属</strong>决定的:芯片报告只能由宿主机读(<code>/dev/sev</code>),
|
||||
「谁是联盟成员、这轮算什么」只有站点端知道,两边各持一半判据;单层控制面必然
|
||||
要么把宿主机凭据发给每一方,要么假装能远程调度,两者都破坏隔离。</p>
|
||||
@@ -441,7 +542,7 @@ guest([实证]) 只做计算与出证明,不持链
|
||||
否则解析失败会伪装成通过。<code>chip_sig=0</code> 的含义是「绑定关系成立但没做芯片验签」,
|
||||
不能让运维看到一个 <code>ok=1</code> 就以为安全。</p>
|
||||
<hr />
|
||||
<h2 id="sec-10">3. 会话是唯一主键</h2>
|
||||
<h2 id="sec-11">3. 会话是唯一主键</h2>
|
||||
<p>三个子系统不共享数据库,靠 <strong><code>session_id</code> + <code>session_pubkey</code></strong> 对齐:</p>
|
||||
<pre><code class="language-text"> Session(session_id + session_pubkey)
|
||||
│ │ │
|
||||
@@ -460,7 +561,7 @@ guest([实证]) 只做计算与出证明,不持链
|
||||
<li><strong>别把 EasyTier 塞进 TCB</strong>:组网是传输设施,不是可信计算基。</li>
|
||||
</ul>
|
||||
<hr />
|
||||
<h2 id="sec-11">4. 端到端数据流(真机实证链路)</h2>
|
||||
<h2 id="sec-12">4. 端到端数据流(真机实证链路)</h2>
|
||||
<p>这一条是<strong>同一次运行</strong>跑通的,不是分两次拼出来的结论(判据见
|
||||
<code>deploy/tee/real-machine/tee-pair-attest-e2e.sh</code>、<code>docs/REAL_MACHINE_FINDINGS.md</code> 第 10 节):</p>
|
||||
<pre><code class="language-text">attest-collect → attest-post(KBS 芯片验签放行) → key_source=kbs
|
||||
@@ -478,7 +579,7 @@ guest([实证]) 只做计算与出证明,不持链
|
||||
(三层须同网段);网卡按 <strong>MAC</strong> 认、不按枚举顺序;两侧数据面 MAC 必须不同;
|
||||
两侧各起一个 KBS、不共用;<code>SESSION_WAIT_BUDGET_SECS=180</code> 两侧对称。</p>
|
||||
<hr />
|
||||
<h2 id="sec-12">5. 部署拓扑与端点(当前物理落点)</h2>
|
||||
<h2 id="sec-13">5. 部署拓扑与端点(当前物理落点)</h2>
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
@@ -529,7 +630,7 @@ guest([实证]) 只做计算与出证明,不持链
|
||||
<ul>
|
||||
<li><code>deploy/k8s/fisco/README.md</code>(集群)。旧的 <code>127.0.0.1:20200</code> 只能作为历史叙述出现。</li>
|
||||
</ul>
|
||||
<h3 id="sec-13">持久化边界</h3>
|
||||
<h3 id="sec-14">持久化边界</h3>
|
||||
<ul>
|
||||
<li>PVC 承载的是<strong>落盘数据</strong>:FISCO 账本 / 配置 / 国密证书(5Gi RWO),站点的 <code>/tmp</code> 工作文件(2Gi RWO)。</li>
|
||||
<li><code>replicas=1</code> + <code>strategy: Recreate</code>:单节点 PBFT 不许双写,RWO 不许新旧 Pod 抢挂载。</li>
|
||||
@@ -538,7 +639,7 @@ guest([实证]) 只做计算与出证明,不持链
|
||||
<li>账本 / <code>conf/node.pem</code> 私钥<strong>只经 PVC 注入</strong>,不进镜像 / ConfigMap / git。</li>
|
||||
</ul>
|
||||
<hr />
|
||||
<h2 id="sec-14">6. 平台形态矩阵(不是同一套形态)</h2>
|
||||
<h2 id="sec-15">6. 平台形态矩阵(不是同一套形态)</h2>
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
@@ -591,7 +692,7 @@ guest([实证]) 只做计算与出证明,不持链
|
||||
<p><strong>为什么不在 OP-TEE 上假装是 VM</strong>:<code>TeeRuntime</code> 靠 <code>pid + 启动时间</code> 校验孤儿进程;
|
||||
TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语义,硬套会让 reaper 变成事故源。</p>
|
||||
<hr />
|
||||
<h2 id="sec-15">7. 判定、门禁与治理分域</h2>
|
||||
<h2 id="sec-16">7. 判定、门禁与治理分域</h2>
|
||||
<table>
|
||||
<thead>
|
||||
<tr>
|
||||
@@ -638,19 +739,24 @@ TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语
|
||||
<p><strong>fail-open / fail-closed 不许混</strong>:存证走 outbox 等补链(fail-open);成员准入缓存过期即拒、
|
||||
撤销链读后端未接入即拒(fail-closed)。两侧混起来会让「没数据」伪装成「已放行」。</p>
|
||||
<hr />
|
||||
<h2 id="sec-16">8. 诚实边界(仍然不宣称,不许借更新冲掉)</h2>
|
||||
<h2 id="sec-17">8. 诚实边界(仍然不宣称,不许借更新冲掉)</h2>
|
||||
<ul>
|
||||
<li>软件 OpenSSL 签名器<strong>私钥可导出 ⇒ 密评不可过</strong>;真链能上链 ≠ 生产可用,生产必须换硬件模组签名器(<code>SignerPolicy::ProductionModule</code> 必拒软件签名器)。</li>
|
||||
<li>真实 <code>bcos-rpc</code> 的 <strong>TLCP 通道未通</strong>:第 18 条服务端是环回 echo,不是真节点,<code>BCOS_RPC_NOT_VERIFIED</code> 仍成立;当前实证用 <code>client_tlcp=false</code>。</li>
|
||||
<li><strong><code>hostd</code> 执行面仍在 TEE 真机</strong>:需要 qemu guest + <code>/dev/sev</code> / CSV ioctl,wuguirong 节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。</li>
|
||||
<li>TEE 证明<strong>未上链</strong>、未绑定链上状态位;链上撤销状态位读取后端<strong>未接入</strong>(声明 chain 即 fail-closed 拒);OPA <strong>不在 guest 内</strong>;decision 未签名未上链;OPA bundle 的 guest 分发未做。</li>
|
||||
<li>OP-TEE <strong>QEMU 实跑未做</strong>(缺 SDK);<code>CryptoPrecompiled.sm2Verify</code> 真机对拍未做;<code>tools/fisco-realnode-probe.py</code> 的 4 处 <code>IMPL_GAPS</code> 未销账。</li>
|
||||
<li>OP-TEE <strong>QEMU 实跑已做</strong>(2026-11-09,<code>docs/OPTEE_VERIF_PLAN.md</code> 有完整证据表):全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条<strong>都真跑通了</strong>。但那是 <strong>QEMU 模拟</strong>(<code>dna</code> = 编译期 sha256 种子,HUK = 模拟值)⇒ <strong>不是</strong>真板的设备绑定证据,<strong>不能</strong>替代真板一次性验收;<code>CryptoPrecompiled.sm2Verify</code> 真机对拍未做;<code>tools/fisco-realnode-probe.py</code> 的 4 处 <code>IMPL_GAPS</code> 未销账。</li>
|
||||
<li>本租户 SA 无 <code>create secret</code> 权限;链客户端私钥 <code>MPC_FISCO_KEY</code> 保持仓库外,不进镜像 / ConfigMap / git。</li>
|
||||
<li>站点端控制面是 [设计] 决策角色,不是已实现的独立服务;别把 §2 的职责矩阵当成已部署清单。</li>
|
||||
<li><strong>集群控制面只在假 hostd / 不可达节点上验过框架契约</strong>:<code>mpc control-plane</code>
|
||||
的「收自报 → 注册表 → 期望态 → 选址 → 下发 → 证明门控 → 公布端点」闭环
|
||||
在真 socket 门禁里全绿,但节点是本机假 hostd(证明结论可控)或不可达节点;
|
||||
真机多节点自报、跨网段暴露、真 KBS 验签后的会话端点交付<strong>未做</strong>。
|
||||
别把 §1.6 当成已部署的集群清单。</li>
|
||||
</ul>
|
||||
<p>逐条对照与旧结论见 <a href="INDEX.md">INDEX.md</a> §4 / §5。</p>
|
||||
<hr />
|
||||
<h2 id="sec-17">9. 阅读路线与文档分工</h2>
|
||||
<h2 id="sec-18">9. 阅读路线与文档分工</h2>
|
||||
<pre><code class="language-text">想快速知道「现在能干什么」 → README.md 现状 → INDEX.md §1
|
||||
想搞懂「系统怎么摆、边界在哪」 → 本文
|
||||
想搞懂「计算层为什么这样分」 → ARCHITECTURE.md
|
||||
|
||||
@@ -45,6 +45,7 @@
|
||||
└───────────────────────────┬──────────────────────────────────────────────────────┘
|
||||
│ 站点端编排 / 会话登记([设计] 尚未具象为独立服务)
|
||||
┌───────────────────────────▼── TEE 真机(编排层之外)─────────────────────────────┐
|
||||
│ 集群控制面 mpc control-plane :3020 [桩验] 收自报 / 选址 / 对账 / 公布端点 │
|
||||
│ 宿主机控制面 mpc-hostd :3010/:3011 e2b 兼容 API + /attestation │
|
||||
│ TeeRuntime:qemu spawn / 状态表 / reaper / 孤儿校验(pid + 启动时间) │
|
||||
│ 证明采集 → KBS 验签 → 放密钥 → tap(宿主) + socket(跨 guest) │
|
||||
@@ -81,8 +82,9 @@
|
||||
|
||||
| 组件 | 落点 | 职责 | 状态 |
|
||||
|---|---|---|---|
|
||||
| `mpc-tee` | `crates/mpc-tee/` | HAL:`seal/attest/sign/device_key`;`verify.rs` / `collect.rs` / `kbs.rs` / `session.rs` / `site_admit.rs` | [实证] 零 crates.io 依赖,两个平台真机跑通 |
|
||||
| `mpc-hostd` | `crates/mpc-hostd/` | e2b 兼容 API + `/attestation`;`runtime.rs` 起 qemu + reaper;`api.rs` 四布尔 `AttestationVerdict` | [实证] 真机运行 |
|
||||
| `mpc-tee` | `crates/mpc-tee/` | HAL:`seal/attest/sign/device_key`;`verify.rs` / `collect.rs` / `kbs.rs` / `session.rs` / `site_admit.rs`;**集群调度层**:`scheduler.rs`(`NodeRegistry` / `TeePool`)/ `dispatch.rs` / `reconciler.rs` / `control_plane.rs` / `probe.rs` | [实证] 零 crates.io 依赖,两个平台真机跑通;调度层 [桩验] 见 §1.6 |
|
||||
| `mpc-hostd` | `crates/mpc-hostd/` | **单机 e2b 兼容面**:`/sandboxes` + `/attestation`;`runtime.rs` 起 qemu + reaper;`api.rs` 四布尔 `AttestationVerdict`。**集群面**:`registry_api.rs` / `control_plane_api.rs` / `control_plane_server.rs` / `host_dispatch.rs` | [实证] 单机面真机运行;集群面 [桩验] 见 §1.6 |
|
||||
| `mpc control-plane` | `crates/mpc-cli/src/control_plane.rs` | 集群面命令:`serve` / `nodes` / `sessions` / `set-desired` / `report`,默认只听 `127.0.0.1:3020` | [桩验] 真 socket 门禁跑通,非真机集群;见 §1.6 |
|
||||
| KBS | 真机上各起一个 | 芯片验签放行后才给密钥(`key_source=kbs`) | [实证] 同一次运行合流 |
|
||||
| qemu guest | musl `mpc` | 计算 + 出证明 | [实证] 跨物理机双 guest 密文会话,两侧 `35.000000` |
|
||||
|
||||
@@ -119,6 +121,54 @@
|
||||
`mpc-cli/Cargo.toml` 按 target 把 `openssl-sys` 排除出 musl 依赖图,保证守卫真的可达,
|
||||
而不是先撞上含混的 `pkg-config` 报错。主门禁第 4 条三层探针钉死这条边界。
|
||||
|
||||
### 1.6 集群调度面(CubeMaster 等价物)与单机面分离
|
||||
|
||||
`mpc control-plane` 是 2026-11-09 起新增的**集群面**命令,参考 CubeSandbox 的
|
||||
CubeMaster / Cubelet / Redis / reconciler 三层映射。落点仍在 `mpc-tee`(纯逻辑,
|
||||
零 crates.io 依赖)与 `mpc-hostd`(HTTP 实现),**不新增编排层、不落 `mpc-orch`**:
|
||||
|
||||
| CubeSandbox | 本项目落点 | 文件 |
|
||||
|---|---|---|
|
||||
| Cubelet(节点自描述 / 心跳) | `hostd` 探针 + 周期自报 | `mpc-tee/src/probe.rs`、`mpc-hostd/src/registry_api.rs` |
|
||||
| Redis(共享状态源) | `NodeRegistry` / `TeePool` 候选池 | `mpc-tee/src/scheduler.rs` |
|
||||
| CubeMaster(收自报 / 选址 / 公布端点) | `ControlPlane` | `mpc-tee/src/control_plane.rs` |
|
||||
| reconciler(对账下发) | `TeeReconciler`(create / attest / destroy) | `mpc-tee/src/reconciler.rs` |
|
||||
|
||||
**两个命令、两个端口、两套面,故意不合并**:
|
||||
|
||||
| | `mpc hostd`(单机 e2b 兼容面) | `mpc control-plane`(集群面) |
|
||||
|---|---|---|
|
||||
| 对应角色 | Cubelet | CubeMaster |
|
||||
| 默认监听 | `127.0.0.1:3010` | `127.0.0.1:3020` |
|
||||
| 主要端点 | `/sandboxes`、`/attestation`、`/node` | `/registry`、`/nodes`、`/sessions`、`/desired`、`/report` |
|
||||
| 生命周期 | 机器级(跟着一台 TEE 真机) | 集群级(可独立于任何一台真机) |
|
||||
| 失败语义 | 「这台机器起不了 guest」 | 「整个集群排不出会话」 |
|
||||
|
||||
分开的理由是**暴露面与失败语义不同**:集群面要跨网段可达(因此非回环监听强制
|
||||
共享密钥 **且** 显式 `--allow-remote`,见 `mpc-cli/src/control_plane.rs`),单机面
|
||||
只该本机回环;合并会让「能起 guest」那条路随集群面一起暴露。`mpc-tee` 的
|
||||
`probe` / `reconciler` / `control_plane` 仍受 `std` 门控(`--no-default-features`
|
||||
不编进 guest),HTTP 服务器与 tokio runtime 只在 `mpc-hostd`。
|
||||
|
||||
**闭环**:`hostd` 周期自报 → `POST /registry`(复用 `TeeNode::parse()` 的唯一
|
||||
fail-closed 口径,解析失败拒收、不写半条记录)→ `NodeRegistry` → 期望态
|
||||
(`POST /desired`,存在 `Mutex<Vec<DesiredSession>>` 里,**运行期可改**,不是
|
||||
启动脚本常量)→ 选址(`node_satisfies` + `admit`;注册表为空即失败,绝不硬塞
|
||||
一台)→ 下发 `create` → 取 `attestation` → 四布尔 `all_ok()` 才把端点放进
|
||||
`proven_endpoints()`(`GET /sessions`)。证明一旦漂移,**先**把旧记录从
|
||||
`placed` 移除再重新选址 —— 否则「重新选址失败」会把证明已不通过的旧端点
|
||||
继续对外公布。下发统一走 `HostDispatcher`(`mpc-hostd/src/host_dispatch.rs`),
|
||||
请求体形状只有一份 `launch_body`。
|
||||
|
||||
**每会话专属绑定**:`DesiredSession.binding: Option<SessionBinding>` 优先于
|
||||
控制面全局绑定。绑定值写进芯片报告 `user_data`,两个会话共用一份绑定等于
|
||||
两份报告可互相冒用(重放)。
|
||||
|
||||
**状态**:[桩验] 真 socket 端到端门禁已跑通完整闭环,且用**假 hostd** 给
|
||||
「端点不外泄」补了正向对照(证明通过 ⇒ 端点真的出现;证明不齐 ⇒ 端点被收回),
|
||||
避免否定式判据因 `create` 恒失败而恒真(空集通过)。但节点是本机假 hostd /
|
||||
不可达节点,**不等于真机集群调度已跑通** —— 见 §8。
|
||||
|
||||
---
|
||||
|
||||
## 2. 双层控制面与信任边界
|
||||
@@ -273,9 +323,14 @@ TA 是所有 CA 共享的,没有「这个 TA 属于哪个租户」的进程语
|
||||
- 真实 `bcos-rpc` 的 **TLCP 通道未通**:第 18 条服务端是环回 echo,不是真节点,`BCOS_RPC_NOT_VERIFIED` 仍成立;当前实证用 `client_tlcp=false`。
|
||||
- **`hostd` 执行面仍在 TEE 真机**:需要 qemu guest + `/dev/sev` / CSV ioctl,wuguirong 节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。
|
||||
- TEE 证明**未上链**、未绑定链上状态位;链上撤销状态位读取后端**未接入**(声明 chain 即 fail-closed 拒);OPA **不在 guest 内**;decision 未签名未上链;OPA bundle 的 guest 分发未做。
|
||||
- OP-TEE **QEMU 实跑未做**(缺 SDK);`CryptoPrecompiled.sm2Verify` 真机对拍未做;`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
|
||||
- OP-TEE **QEMU 实跑已做**(2026-11-09,`docs/OPTEE_VERIF_PLAN.md` 有完整证据表):全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条**都真跑通了**。但那是 **QEMU 模拟**(`dna` = 编译期 sha256 种子,HUK = 模拟值)⇒ **不是**真板的设备绑定证据,**不能**替代真板一次性验收;`CryptoPrecompiled.sm2Verify` 真机对拍未做;`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
|
||||
- 本租户 SA 无 `create secret` 权限;链客户端私钥 `MPC_FISCO_KEY` 保持仓库外,不进镜像 / ConfigMap / git。
|
||||
- 站点端控制面是 [设计] 决策角色,不是已实现的独立服务;别把 §2 的职责矩阵当成已部署清单。
|
||||
- **集群控制面只在假 hostd / 不可达节点上验过框架契约**:`mpc control-plane`
|
||||
的「收自报 → 注册表 → 期望态 → 选址 → 下发 → 证明门控 → 公布端点」闭环
|
||||
在真 socket 门禁里全绿,但节点是本机假 hostd(证明结论可控)或不可达节点;
|
||||
真机多节点自报、跨网段暴露、真 KBS 验签后的会话端点交付**未做**。
|
||||
别把 §1.6 当成已部署的集群清单。
|
||||
|
||||
逐条对照与旧结论见 [INDEX.md](INDEX.md) §4 / §5。
|
||||
|
||||
|
||||
+22
-3
@@ -36,6 +36,8 @@
|
||||
| 主门禁 | [实证] **22 条**(第 21 条真交易编码、第 22 条真链合约) | `tools/ci.sh`;缺环境显式 `*_SKIPPED`,绝不静默通过 |
|
||||
| FISCO 链节点 + 账本持久化 | [实证] 迁入 wuguirong k8s,`nfs-wuguirong` PVC;历史区块哈希逐个一致,删 Pod 重建后高度不变 | `deploy/k8s/fisco/README.md` |
|
||||
| MPC 站点 `mpc-demo` | [实证] 已在 k8s(NodePort `30082`),`/tmp` 挂 NFS PVC | `demo/k8s/README.md` |
|
||||
| ARM 边缘板(Zynq-7015) | [实证] `mpc` 二进制上板:selftest 5/5、两进程会话 `35.000000`、sha256 与本机一致;selftest 单次 **≈4 ms**、峰值 RSS 3.5 MB | `docs/ZYNQ.md` §4 |
|
||||
| ★ Zynq 真板 OP-TEE | [设计] 产物已能交叉编译;**板端未部署**——当前内核 `CONFIG_TEE is not set`、`BOOT.BIN` 无 EL3 承载 ⇒ 须换启动链 | `docs/ZYNQ.md` §4.3、`build/build_optee_zynq7k.sh` |
|
||||
|
||||
---
|
||||
|
||||
@@ -56,6 +58,7 @@
|
||||
| 看真链实证期的审计轨迹 | `tools/fisco-realnode/README.md` | `/tmp`(会被清) |
|
||||
| 查两台真机硬事实 / 踩坑 | `docs/REAL_MACHINE_FINDINGS.md`(第 10 节最新) | 记忆或口头结论 |
|
||||
| 查决策依据(为什么这么设计) | `docs/INTEGRATION_ANALYSIS.md` 决策台账 + `ARCHITECTURE.md` | 把它当进度表 |
|
||||
| 上 ARM 边缘板 / 真板 OP-TEE | `docs/ZYNQ.md`(板端实证 + 启动链缺口)+ `build/build_optee_zynq7k.sh` | 以为「装个 OP-TEE 包就行」;拿 §1 推算表当实测 |
|
||||
|
||||
**端点速查**:集群内 `fisco-chain.wuguirong.svc.cluster.local:20200`;
|
||||
集群外 `192.168.1.26|27|29:30100`(RPC)/ `30101`(P2P);
|
||||
@@ -83,9 +86,9 @@
|
||||
|
||||
`docs/ARCHITECTURE.md`(分层 / Ray / TEE 定位)、`docs/IR.md`(轮数规划)、
|
||||
`docs/N_PARTY.md`(n 方能力矩阵)、`docs/COMPARE_SECRETFLOW.md`(与隐语对照)、
|
||||
`docs/OPT_PLAN.md`、`docs/ZYNQ.md`、`docs/PG.md`、
|
||||
`docs/OPT_PLAN.md`、`docs/ZYNQ.md`(**ARM 边缘板:2026-11-09 已上板实测 + 真板 OP-TEE 启动链缺口**)、`docs/PG.md`,
|
||||
`docs/TEE_DIRECT_LAUNCH.md`(AMD/海光直接调度,已加 11-08 状态核对)、
|
||||
`docs/TEE_OCI_PATH.md`、`docs/OPTEE_VERIF_PLAN.md`(QEMU 实跑仍待 SDK)、
|
||||
`docs/TEE_OCI_PATH.md`、`docs/OPTEE_VERIF_PLAN.md`(**QEMU 实跑已做:selftest + 第 5 条跨设备 + 第 4 条跨重启**),
|
||||
`docs/RAY_CORE.md` / `RAY_CORE_101.md` / `RAY_ARMV7.md`。
|
||||
|
||||
### C 历史阶段快照(先看文首状态提示)
|
||||
@@ -100,6 +103,8 @@
|
||||
### D 部署与复现
|
||||
|
||||
`deploy/k8s/fisco/README.md`(链迁移 SOP / 账本 / 回滚 / 边界)、
|
||||
`deploy/arm/zynq7015/README.md`(**ARM 边缘板**:板端速查 / `board-selftest.sh` 判据 /
|
||||
板端三条硬坑 / 真板 OP-TEE 缺口 / 上板产物 sha256)、
|
||||
`deploy/tee/real-machine/README.md`(真机 e2e;**开头有重跑三步、参数真相源与症状速查表**)、
|
||||
`deploy/tee/real-machine/real-machines.env.example`(**双机参数唯一集中入口**,脱敏、可 source)、
|
||||
`deploy/tee/real-machine/preflight-real-machine.sh`(重跑前环境预检,`--self-test` 负向矩阵;
|
||||
@@ -146,8 +151,18 @@
|
||||
节点无 TEE 设备,且项目铁律禁止编排层;进 k8s 的只是台账 ConfigMap。
|
||||
- TEE 证明**未上链**、未绑定链上状态位;链上撤销状态位读取后端**未接入**
|
||||
(声明 chain 即 fail-closed 拒);OPA **不在 guest 内**;decision 未签名未上链。
|
||||
- OP-TEE **QEMU 实跑未做**(缺 SDK);`CryptoPrecompiled.sm2Verify` 真机对拍未做;
|
||||
- OP-TEE **QEMU 实跑已做**(2026-11-09,见 `docs/OPTEE_VERIF_PLAN.md`):
|
||||
全流程 selftest、第 5 条跨设备解封被拒、第 4 条跨重启 unseal 成功三条**都真跑通了**。
|
||||
但那是 **QEMU 模拟**:`dna` 是编译期 sha256 种子、HUK 是模拟值 ⇒
|
||||
**不能**当成真板的设备绑定证据,**不能**替代真板一次性验收。
|
||||
`CryptoPrecompiled.sm2Verify` 真机对拍未做;
|
||||
`tools/fisco-realnode-probe.py` 的 4 处 `IMPL_GAPS` 未销账。
|
||||
- ★ **Zynq-7015 真板 OP-TEE 未部署**:产物能交叉编译(`build/build_optee_zynq7k.sh`),
|
||||
但板子当前内核 `CONFIG_TEE is not set`、`BOOT.BIN` 里**没有 EL3 承载**
|
||||
(U-Boot 2018.01 直接 `bootz` 进内核)⇒ 必须换启动链;
|
||||
板子上跑着 `board-agent` / `easytier-core`(m4gw) 等在役服务,
|
||||
且**没有第二台板子**可试 ⇒ 部署前必须先做带哈希基线的完整备份 + 回滚路径。
|
||||
本轮**未改动板子任何文件**。
|
||||
- 本租户 SA 无 `create secret` 权限;链客户端私钥 `MPC_FISCO_KEY` 保持仓库外,
|
||||
不进镜像 / ConfigMap / git。
|
||||
|
||||
@@ -185,3 +200,7 @@
|
||||
一律 FAIL 并打印 diff),换机或物料升级后 `--collect` 重采并提交。
|
||||
**清单本身由 git 保护**,不许在仓库外偷改;也不许把 69MB/78MB 二进制搬进仓库。
|
||||
新增判据必须能用构造样例推翻(`--self-test` 6 条 + 端到端篡改 hash 判红)。
|
||||
12. **TA 签名密钥分级只有一份实现**:`build/ta-key-tier.sh` 是唯一真相源,
|
||||
`build_optee.sh` 与 `build_optee_zynq7k.sh` 都 source 它;
|
||||
`tools/selftest-ta-key-tier.py` 反向守卫「入口里不许有第二份拷贝」。
|
||||
改密钥规则必须改共享文件并重跑该自检,别在某个入口里私改一份。
|
||||
+133
-14
@@ -3,7 +3,7 @@
|
||||
> 2026-11-07。针对 `docs/INTEGRATION_ANALYSIS.md` 1.7 里标为"未覆盖"的第 4、5 条。
|
||||
> 本文只讲怎么把它们做成真的能跑的验证,以及**怎么避免做成假的**。
|
||||
|
||||
## ★ 实施状态(2026-11-07 更新)
|
||||
## ★ 实施状态(2026-11-09 更新)
|
||||
|
||||
本文原是方案,现已**开工落地**。当前状态:
|
||||
|
||||
@@ -12,15 +12,116 @@
|
||||
| 三层错误分类贯通(core → TA TEEC 码 → CA 解析) | **已实现** | 宿主侧单测覆盖(`cargo test -p mpc-tee` 140 项) |
|
||||
| CA 的 `seal` / `seal-hex` / `unseal` / `unseal-hex` | **已实现** | 逻辑进共享层,宿主侧可测 |
|
||||
| blob 串口传输格式(标记 + 分行 + 行宽) | **已实现** | Rust 侧 5 个单测 + 跨语言一致性检查 |
|
||||
| 判据逻辑(`build/optee-verdict.py`) | **已实现** | **15 个分支用例 + 跨语言检查 + 漂移探针,全进主门禁** |
|
||||
| 两条编排脚本(`tools/optee-cross-device.sh` / `optee-restart.sh`) | **已实现** | shell 语法 + lint 通过;**QEMU 未实跑** |
|
||||
| 判据逻辑(`build/optee-verdict.py`) | **已实现** | **19 个分支用例 + 跨语言检查 + 漂移探针,全进主门禁** |
|
||||
| 两条编排脚本(`tools/optee-cross-device.sh` / `optee-restart.sh`) | **已实现** | **QEMU 实跑通过(2026-11-09)** |
|
||||
| `tools/ci-optee.sh --cross-device` / `--restart` | **已实现** | 缺环境时显式 `OPTEE_SKIPPED`(不静默通过) |
|
||||
| **QEMU 实跑** | **未做** | 本机无 OP-TEE SDK / armhf 交叉工具链 |
|
||||
| **QEMU 实跑** | **已做(2026-11-09)** | **OP-TEE 4.11 真跑起来,TA 真被调用;见 §7** |
|
||||
|
||||
**一句话**:判据逻辑与格式约定已进 CI 并逐条验过;**QEMU 上的实际行为尚未跑过一次**。
|
||||
所以现在能说"验证链路是通的",**不能说"这两条验证已通过"**。
|
||||
**一句话**:判据逻辑、格式约定**与 QEMU 上的实际行为**都已跑过一遍。
|
||||
现在能说"这两条验证在 QEMU 上通过了",**仍不能说"真板通过了"**(QEMU 的 HUK 是模拟值、
|
||||
DNA 是编译期 sha256 种子,见 §2.3 / §3.4 的结论边界)。
|
||||
|
||||
### 落地时踩到并修掉的四个真问题
|
||||
### ★ 2026-11-09 QEMU 实跑结果(CubeSandbox,16C/15G)
|
||||
|
||||
| 验证 | 结论 | 关键证据 |
|
||||
|---|---|---|
|
||||
| **全流程 selftest** | ✅ `OPTEE_VERDICT: PASS` | `/dev/teepriv0` 存在;八步全过:`provision OK` → `info: provisioned=true` → `seal/unseal roundtrip OK (21 字节 → 50 字节)` → `重开 session 后 unseal OK` → `篡改检测 OK` → `AAD 绑定 OK` → `sign OK` → `attest OK: 104 bytes` → `ALL OK` / `MPC_RC=0` |
|
||||
| **第 5 条 跨设备** | ✅ `OPTEE_CROSS_DEVICE_OK` | A(`mpc-dev-A`)seal 成功(30 B → 59 B blob);B(`mpc-dev-B`)unseal **失败**,失败原因**恰是** `MPC_UNSEAL_TAG_MISMATCH: AEAD 认证失败 (teec=0xffff3071)`,且三条假失败(`BAD_FORMAT` / `VERSION` / `OTHER`)全部排除 |
|
||||
| **第 4 条 跨重启** | ✅ `OPTEE_RESTART_OK` | 第二次启动 `provisioned=true dev_tag=174d77df2f9ac977`(第一次是 `false`)+ `MPC_UNSEAL_OK: 54 字节 -> 25 字节`;14 条判据全 PASS;宿主 `persist/tee/` 下有 `dirf.db` + `0/1/2` 四个文件 |
|
||||
|
||||
**第 4 条的额外证据(比"本轮内跨重启"更强)**:跑第二轮时**不清空**宿主 `persist` 目录,
|
||||
于是**第一次启动**就读到 `provisioned=true` —— 那是**上一轮运行**留下的 storage。
|
||||
⇒ 持久化跨越了整个脚本运行周期,不只是"同一轮里的两次启动"。
|
||||
|
||||
**结论边界(不写会变成误导)**:
|
||||
|
||||
- ✅ 证明:OP-TEE 4.11 的 TA 装载、session 打开、secure storage 写入、
|
||||
设备绑定密钥派生、AEAD 密封/解封、SM2 签名、attestation **在真实 OP-TEE 运行时上成立**;
|
||||
`dna` **确实参与了密钥派生**(换 `MPC_SIM_DEV` 即解不开)。
|
||||
- ❌ 不证明:真板的 SLCR Device DNA 读取是否正确(QEMU 用的是编译期 sha256 种子);
|
||||
真板 secure storage 的跨重启行为(QEMU 的 HUK 是平台模拟值)。
|
||||
|
||||
### ★ 第 4 条的判据必须能逐条破坏(2026-11-09 实证)
|
||||
|
||||
按本仓库纪律「每条否定式判据都要能构造样例破坏过」,第 4 条做了**三个破坏实验**:
|
||||
|
||||
| 破坏什么 | 期望 | 实测 |
|
||||
|---|---|---|
|
||||
| 去掉 `tee-supplicant -f /data/tee`(storage 落回 initramfs) | 判据**转红** | ✅ 第一轮就 `MPC_STORAGE_EMPTY` + 缺 `MPC_STORAGE_OK` ⇒ `OPTEE_VERDICT: FAIL`,编排脚本 `FAIL:` 退出 |
|
||||
| 9p 没挂上 | 判据**转红** | ✅ 构造日志用例覆盖(`log_restart_no_9p`) |
|
||||
| 第二次又 provision(伪成功) | 判据**转红** | ✅ 构造日志用例覆盖(`log_restart_reprovisioned`) |
|
||||
|
||||
★ **破坏实验的价值在于「问题在第一轮就被抓住」**:storage 落点不对这件事,
|
||||
第一轮启动看起来**全对**(provision/seal 都成功),只有第二轮才会暴露
|
||||
`provisioned=false`。如果判据只在第二轮检查,就要多跑一轮 15 分钟才知道第一轮白跑了。
|
||||
|
||||
### QEMU 实跑时踩到并修掉的六个真问题
|
||||
|
||||
写在最前面是因为:**这六个里有四个是"照着本文档的方案写也会写错"的**。
|
||||
|
||||
**① 明文/blob 写到了宿主的 `/tmp`,guest 根本看不到。**
|
||||
`printf ... > /tmp/plain.txt` 写在**宿主**(`$W` 之外的 `/tmp`),不是 `$W/rootfs/tmp`。
|
||||
症状是 guest 里报 `FAIL: 读 /tmp/plain.txt 失败: No such file or directory`。
|
||||
**照方案写也会错**:方案里写的是「把它 `cp` 进 `$W/rootfs/`」,但没说清是**哪个** `/tmp`。
|
||||
|
||||
**② 就算文件进了 rootfs 的 `/tmp`,guest 里也读不到。**
|
||||
init 里 `mount -t tmpfs tmp /tmp` 会**覆盖** initramfs 里原有的 `/tmp` 内容。
|
||||
⇒ 明文与 blob 必须放 **rootfs 根目录**(`/plain.txt`、`/blob.hex`)。
|
||||
★ 而输出(unseal 的明文)必须写 `/tmp/plain.out`(tmpfs 可写)——
|
||||
initramfs 是只读的,写根目录会失败,而症状是"unseal 失败",
|
||||
**真实原因却是解封成功了、只是写不出去**。
|
||||
|
||||
**③ `prune_workspace` 多传了一个 `$3`,`set -u` 下直接崩。**
|
||||
`$PYTHON3 - "$1" "$2" "$3" <<'PY'` 里 `$3` 从来没传 ⇒
|
||||
`line 396: $3: unbound variable` ⇒ build 段退出。
|
||||
★ 这条是**脚本自身**的 bug,与方案无关,但它说明 `set -u` 下多写一个位置参数就是致命。
|
||||
|
||||
**④ workspace 不裁剪 ⇒ cargo 卡在 `Updating crates.io index` 超过 15 分钟。**
|
||||
teaclave-sdk 的 `examples/{ta,ca}/Cargo.toml` 默认列 30+ 个成员
|
||||
(mnist 训练、burn/ndarray/autodiff、rustls、big_int…),
|
||||
cargo 即使只 `build -p mpc-tee-ta` 也要**解析整个依赖图**。
|
||||
⇒ 裁剪到 3 个成员 + 删 `Cargo.lock` ⇒ 解析 22 个包、**35 秒**。
|
||||
★ 已证伪「网络问题」:crates.io 直连 `index.crates.io` **200 / 0.75s**。
|
||||
|
||||
**⑤ 产物路径硬猜 ⇒ "TA ELF 没找到",而 build 段照样退出 0。**
|
||||
镜像里可能全局设了 `CARGO_TARGET_DIR`(沙箱就是 `/root/.cache/cargo-target`)。
|
||||
⇒ 用 `cargo metadata` 的 `target_directory` **问 cargo 自己**,不猜。
|
||||
|
||||
**⑥ 判定器路径用 `dirname "$0"` 解析,而脚本中途 `cd $W` ⇒ 判据根本没跑。**
|
||||
症状:`line 646: cd: build: No such file or directory`,
|
||||
而 **QEMU 其实已经跑完了** —— 判据没执行,脚本却带着假绿语义结束。
|
||||
⇒ 脚本自身目录必须在**任何 `cd` 之前**解析成绝对路径;
|
||||
编排脚本传给 QEMU 脚本的路径也要转绝对(QEMU 脚本内部会 `cd /root`)。
|
||||
|
||||
### ★ 第 4 条开工时踩到并修掉的三个真问题(2026-11-09)
|
||||
|
||||
**⑦ tee-supplicant 的 secure storage 默认路径是 `/var/lib/tee`,不是 `/data/tee`。**
|
||||
本文档 §3 的方案里写的是"挂 9p 到 `/data`,storage 默认就在 `/data/tee`" ——
|
||||
**那是错的**。硬证据:`strings tee-supplicant | grep /var/lib` ⇒ `/var/lib/tee`;
|
||||
`tee_supplicant.c` 里 `.fs_parent_path = TEE_FS_PARENT_PATH`,
|
||||
而 `CMakeLists.txt` 的 `CFG_TEE_FS_PARENT_PATH` 默认 `${CMAKE_INSTALL_LOCALSTATEDIR}/lib/tee`。
|
||||
⇒ 必须显式 `-f /data/tee`(`--fs-parent-path`)。
|
||||
症状极具迷惑性:9p 挂载成功、provision/seal 都成功,但宿主 `persist` 目录**始终是空的**。
|
||||
★ `-f` 确实生效有源码依据:`getopt_long` 在 `main()` 开头解析 `-f`,
|
||||
`tee_supp_fs_init()` 里的 `mkpath()` 在其后 ⇒ 参数先落地再创建目录。
|
||||
|
||||
**⑧ storage 落点检查放在 provision 之前 ⇒ 永远误报"空"。**
|
||||
secure storage 目录是**懒创建**的(`mkpath()` 只在第一次 RPC 时发生)。
|
||||
把检查放在 provision 之前查,目录必然还不存在 ⇒ 每轮都报 `MPC_STORAGE_EMPTY`。
|
||||
⇒ 检查必须放在 provision **之后**,且判据要升级成"目录里真有文件",
|
||||
不能只看目录存在(目录可能是自己 `mkdir` 出来的)。
|
||||
|
||||
**⑨ `timeout 200 qemu-system-arm` 收不住 QEMU ⇒ 每次启动白等 200 秒。**
|
||||
guest 跑完会 `poweroff`,但 QEMU **不退出** —— 串口尾部实测
|
||||
`Flash device refused suspend due to active operation (state 20)`;
|
||||
而 `timeout` 默认只发 SIGTERM 给直接子进程,QEMU 扛住继续跑(实测 etime 超 200 秒仍在),
|
||||
于是整条验证被拖成一个长循环。
|
||||
⇒ 改成 QEMU 后台跑 + 轮询 `MARKER_ALL_DONE`(guest 跑完的**唯一**标志)
|
||||
→ 收到就 SIGTERM,10 秒不退再 SIGKILL;超时兜底仍保留,但那时必须**明确报未完成**。
|
||||
实测收工耗时从 200s 降到 **8s**。
|
||||
★ 收工判据不能用"日志文件有内容"或"进程没了" —— 那些都会假绿。
|
||||
|
||||
### 落地时踩到并修掉的四个真问题(2026-11-07 首次开工)
|
||||
|
||||
写方案时没预料到、开工后暴露的(都属于"照着方案写也会写错"的类型):
|
||||
|
||||
@@ -256,11 +357,16 @@ SKIP_PREP=1 MPC_SIM_DEV=mpc-dev-B MODE=unseal BLOB=blob-a.bin \
|
||||
|
||||
```text
|
||||
K_root ← read_obj(OBJ_ROOT) ta/src/main.rs:79 存 OP-TEE secure storage
|
||||
storage ← tee-supplicant,默认 /data/tee
|
||||
storage ← tee-supplicant,默认 /var/lib/tee ★ 实测更正(见坑 ⑦):不是 /data/tee
|
||||
/data ← initramfs 里的目录 p3_optee_qemu.sh:228-240 没有挂任何持久介质
|
||||
```
|
||||
|
||||
**重启 QEMU → initramfs 重建 → /data 清空 → K_root 没了 → blob 必然解不开。**
|
||||
**重启 QEMU → initramfs 重建 → storage 目录清空 → K_root 没了 → blob 必然解不开。**
|
||||
|
||||
★ 初稿写的是"storage 默认就在 `/data/tee`,所以挂 9p 到 `/data` 就够了" ——
|
||||
**实测证明那是错的**:默认是 `/var/lib/tee`(在 initramfs 内),
|
||||
必须显式 `-f /data/tee`(`--fs-parent-path`)才能把落点指到 9p 目录。
|
||||
详见坑 ⑦。
|
||||
|
||||
所以现在去测"重启后 unseal",结果一定是失败,而失败原因是"密钥没了",不是"绑定错了"。这个失败**没有任何验证价值**,还会把人往错误方向带(以为是 seal 的问题)。
|
||||
|
||||
@@ -305,7 +411,20 @@ storage ← tee-supplicant,默认 /data/tee
|
||||
poweroff
|
||||
```
|
||||
|
||||
`tee-supplicant` 的 storage 默认在 `/data/tee`,所以把 9p 挂到 `/data` 就够了,**不用改 tee-supplicant 的启动参数**(init 脚本里那一行保持原样)。
|
||||
★★ **实测更正**:初稿写「`tee-supplicant` 的 storage 默认在 `/data/tee`,所以把 9p 挂到
|
||||
`/data` 就够了,**不用改 tee-supplicant 的启动参数**」—— **这是错的**。
|
||||
|
||||
- 默认路径是 **`/var/lib/tee`**(在 initramfs 内 ⇒ 重启即清空);
|
||||
硬证据:`strings tee-supplicant | grep /var/lib` ⇒ `/var/lib/tee`,
|
||||
`tee_supplicant.c` 的 `.fs_parent_path = TEE_FS_PARENT_PATH`,
|
||||
`CMakeLists.txt` 默认 `${CMAKE_INSTALL_LOCALSTATEDIR}/lib/tee`。
|
||||
- ⇒ **必须改启动参数**:加 `-f /data/tee`(`--fs-parent-path`)把落点指到 9p 目录。
|
||||
证据链完整:`getopt_long` 在 `main()` 开头解析 `-f`,
|
||||
`tee_supp_fs_init()` 里的 `mkpath()` 在其后 ⇒ 参数先落地再创建目录。
|
||||
|
||||
症状极具迷惑性:**9p 挂载成功、provision/seal 都成功,但宿主 `persist` 目录始终是空的**
|
||||
—— 第一轮看起来全对,只有第二轮才暴露 `provisioned=false`。
|
||||
所以判据里必须有「storage 落点真的有内容」这一条(坑 ⑧)。
|
||||
|
||||
init 脚本要加两行(在起 tee-supplicant 之前):
|
||||
|
||||
@@ -346,8 +465,8 @@ QEMU 上 OP-TEE 的 HUK 是平台模拟值,不是芯片唯一密钥。所以
|
||||
| `build/optee-verdict.py`(新增) | **判据的唯一真相源**:按 mode / expect / provisioned / require-9p 判定串口日志;兼带 blob 抠取 | 4、5 | 已实现 |
|
||||
| `build/p3_optee_qemu.sh` | 拆段(`PHASE=prep\|build\|run\|buildrun`);`MODE=seal\|unseal\|selftest`;`PERSIST=1` 时挂 9p;`MPC_NW_LOG` 覆盖日志路径;`MPC_UNSEAL_EXPECT` / `MPC_PROVISIONED_EXPECT` / `MPC_REQUIRE_9P` 判据参数;判据改为调判定器 | 4、5 | 已实现 |
|
||||
| `tools/selftest-optee-verdict.py`(新增) | 用构造日志跑判据的每条分支 + 跨语言常量一致性 + 漂移探针;**进主门禁第 11 条** | 4、5 | 已实现 |
|
||||
| `tools/optee-cross-device.sh`(新增) | 跨设备编排:A 密封 → 抠 blob → B 解封必须失败且原因是认证失败 | 5 | 已实现(QEMU 未实跑) |
|
||||
| `tools/optee-restart.sh`(新增) | 跨重启编排:两次启动,第二次必须 `provisioned=true` 且 unseal 成功 | 4 | 已实现(QEMU 未实跑) |
|
||||
| `tools/optee-cross-device.sh`(新增) | 跨设备编排:A 密封 → 抠 blob → B 解封必须失败且原因是认证失败 | 5 | 已实现(**QEMU 实跑通过 2026-11-09**) |
|
||||
| `tools/optee-restart.sh`(新增) | 跨重启编排:两次启动,第二次必须 `provisioned=true` 且 unseal 成功 | 4 | 已实现(**QEMU 实跑通过 2026-11-09**) |
|
||||
| `tools/ci-optee.sh` | 加 `--cross-device` / `--restart` 两个模式,互斥检查,缺环境显式 `OPTEE_SKIPPED` | 4、5 | 已实现 |
|
||||
| `tools/ci.sh` | 加第 11 条:OP-TEE 判据逻辑自测 | 4、5 | 已实现 |
|
||||
| `docs/INTEGRATION_ANALYSIS.md` 1.7 | "未覆盖"改成"已覆盖 + 判据 + 结论边界" | — | 已实现 |
|
||||
@@ -369,13 +488,13 @@ QEMU 上 OP-TEE 的 HUK 是平台模拟值,不是芯片唯一密钥。所以
|
||||
|
||||
## 6. 顺序与工作量
|
||||
|
||||
> 状态:步骤 1、2、4 已完成;步骤 3 的**脚本**已完成,**QEMU 实跑未做**。
|
||||
> 状态:步骤 1、2、4 已完成;步骤 3 的脚本与 **QEMU 实跑都已完成(2026-11-09)**。
|
||||
|
||||
| 步骤 | 内容 | 工作量 | 阻塞 | 状态 |
|
||||
|---|---|---|---|---|
|
||||
| 1 | 错误分类贯通三层(`core` → TA TEEC 码 → CA 解析)+ CA 加 `seal`/`unseal` + hex 编解码 | 1 天 | 无,两条都要用 | ✅ 完成 |
|
||||
| 2 | `p3_optee_qemu.sh` 拆段 + 两次启动编排 + 判据抽成 `optee-verdict.py` | 1.5 天 | 步骤 1 | ✅ 完成 |
|
||||
| 3 | 第 4 条:`/data` 挂 9p(`version=9p2000.L`)+ 两次启动编排 | 1 天 | 步骤 1;9p 锁语义待实测 | 🟡 脚本完成,QEMU 未跑 |
|
||||
| 3 | 第 4 条:`/data` 挂 9p(`version=9p2000.L`)+ 两次启动编排 | 1 天 | 步骤 1 | ✅ **完成(QEMU 实跑通过,9p 锁语义 `.L` 实测正常)** |
|
||||
| 4 | 两条接进 `ci-optee.sh`(`--cross-device` / `--restart`,带判据)+ 判据自测进主门禁 | 0.5 天 | 2、3 | ✅ 完成 |
|
||||
|
||||
**剩下唯一没做的是「在有 SDK 的机器上实跑一次」。** 具体命令:
|
||||
|
||||
+150
-33
@@ -14,17 +14,17 @@ x86 + SEV-SNP 是算力上去以后的横向扩展,**不是 Zynq 的替代品*
|
||||
A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5–3×,
|
||||
再算上主频差(667 MHz vs 2.7 GHz Turbo)约 4×,合计 **8–12×**。
|
||||
|
||||
| 负载 | i5 实测 | A9 估算 | 判断 |
|
||||
|---|---|---|---|
|
||||
| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
|
||||
| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
|
||||
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
|
||||
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
|
||||
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
|
||||
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
|
||||
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
|
||||
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
|
||||
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
|
||||
| 负载 | i5 实测 | A9 估算 | 判断 |
|
||||
| ------------------------- | ----------------- | ------------- | ------- |
|
||||
| `matmul` 64³ u64 | 0.26 ms | ~2.5 ms | ✅ 随便跑 |
|
||||
| `matmul` 128³ | 2.2 ms | ~22 ms | ✅ |
|
||||
| 逐元素乘 100 万元素 | ~3.6 ms | ~35 ms | ✅ |
|
||||
| 纵向 LR 400×7 × 40 轮 | ~15 ms | ~150 ms | ✅ 秒级 |
|
||||
| PSI 1 万条(2×X25519) | — | ~8–15 s | ✅ 可接受 |
|
||||
| PSI 10 万条 | — | ~2 min | ⚠️ 能跑但慢 |
|
||||
| Paillier 1024 位 × 1000 元素 | ~0.1 s(Rust 估) | ~1–2 s | ✅ |
|
||||
| Paillier 1024 位 × 1 万 | ~1 s | ~15 s | ⚠️ |
|
||||
| 密文 MLP(256³ × 150 轮) | 18 ms×150 = 2.7 s | ~40 s/轮 → 不可行 | ❌ 上 x86 |
|
||||
|
||||
**结论**:Zynq 适合 **PSI / 安全统计 / 小规模纵向 LR / 密钥管理与策略执行**。
|
||||
不适合**大矩阵密文训练**——那类负载直接上 x86。
|
||||
@@ -32,6 +32,11 @@ A9 是双发射顺序核,Broadwell 是四发射乱序核,同频大约慢 2.5
|
||||
> 注意上表是**推算**,不是板上实测。真数字要等第一次上板跑
|
||||
> `mpc selftest` 与一个 64³ matmul 基准。**不要拿推算当验收结论。**
|
||||
|
||||
> ★ **2026-11-09 更新**:上板已经跑了(见 §4.2 / §4b)。`mpc selftest`
|
||||
> 单次 **≈4 ms**、峰值 RSS **3.5 MB** —— 与本表"A9 是 i5 的 8–12× 慢"的
|
||||
> 推算量级**不矛盾**(selftest 本身极小,进程启动开销占主导),
|
||||
> 但**各算子的规模曲线仍未实测**,上表数字继续按"推算"看待。
|
||||
|
||||
---
|
||||
|
||||
## 2. 交叉编译
|
||||
@@ -71,13 +76,13 @@ flags 0x5000400 → EABI5 + hard-float
|
||||
|
||||
**已知约束**(都是已经踩过或必须防的):
|
||||
|
||||
| 约束 | 原因 | 守它的方式 |
|
||||
|---|---|---|
|
||||
| `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` |
|
||||
| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
|
||||
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
|
||||
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 |
|
||||
| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` |
|
||||
| 约束 | 原因 | 守它的方式 |
|
||||
| -------------------------- | ------------------------- | ----------------------------------------------- |
|
||||
| `mpc-core` 必须 `no_std` | 要能编进 TA | `cargo build -p mpc-core --no-default-features` |
|
||||
| 不能用 `f64::round_ties_even` | std-only,no_std 编不过 | 已自实现银行家舍入 |
|
||||
| 不能假设 AVX2/NEON | A9 有 NEON 但 64 位整数乘用不上 | `simd` 是可选 feature,默认标量 |
|
||||
| 栈只有 8–32 KB(TA 内) | OP-TEE TA 的栈很小 | `mpc-core` 所有临时缓冲上限 64 个 u64 |
|
||||
| **Ray C++ 内核进不来** | 无 32 位 ARM 构建,`.so` 44 MB | 见 `docs/RAY_CORE.md` §5;边缘侧用 `mpc-orch` |
|
||||
|
||||
---
|
||||
|
||||
@@ -114,7 +119,94 @@ flags 0x5000400 → EABI5 + hard-float
|
||||
|
||||
---
|
||||
|
||||
## 4. 上板步骤(待执行)
|
||||
## 4. 上板实测(2026-11-09 已执行)
|
||||
|
||||
> 本节是**实证**记录。凡标 `[实证]` 的都真在 `192.168.1.233` 上跑过;
|
||||
> 标 `[桩验]` 的是 QEMU / 框架契约,**不等于真板**。
|
||||
|
||||
### 4.1 板子身份(`[实证]`)
|
||||
|
||||
| 项 | 实测值 |
|
||||
| ----------------- | ----------------------------------------------- |
|
||||
| 型号 | `ACZ7015 ZYNQ Development Board`(设备树 `xlnx,zynq-7000`) |
|
||||
| 内核 | `Linux ACZ7015_System 4.14.0-xilinx #52 SMP PREEMPT` |
|
||||
| 架构 | armv7l,双核 Cortex-A9(`cpu/online` = `0-1`) |
|
||||
| 启动介质 | SD 卡 `mmcblk0`;`p1` = vfat 98.5M(boot),`p2` = ext4 7.0G(root) |
|
||||
| 启动链 | `BOOT.BIN`(FSBL+U-Boot 2018.01 "Xilinx Zynq ZC702")→ `uEnv.txt` → `system.bit` + `zImage` + `system.dtb` |
|
||||
| `bootcmd` | `run sdboot` → `fatload mmc 0 …` 加载 bit/zImage/dtb → `bootz` |
|
||||
| 在役服务 | `board-agent`(:18080/:12222/:1891)、`easytier-core`(m4gw)、`healthwd.sh`、`monitor.sh`、dropbear |
|
||||
| 工具链 | **无** gcc / make / python3(板子不能本地编译任何东西) |
|
||||
|
||||
启动链基线 sha256(2026-11-09,改动前):
|
||||
|
||||
```
|
||||
bd5e91fcd51d36d580cb93553491d08cc0cf66e42ee14a08c6e4d82402ff9edc BOOT.BIN
|
||||
86ea8fd92231b4f64c324927b6ec7ad89c2a77055ff08720bfaf036d002df2bb system.bit
|
||||
ea462e87c54cbacd54c12fdca62dab3a74055ea248309993677a34f56ba6bc5e zImage
|
||||
5d198e1903480a019c48e3238ba5c81fd6aaf780c56102f8394302a23dc19b01 system.dtb
|
||||
d02ae0878840bec18f17e8b11823831e42efb7e7322f71f06ed9913109d2d3d9 uEnv.txt
|
||||
```
|
||||
|
||||
> 板子 p1 里**已存在** `boot_backup.tar.gz`(14 MB,内含
|
||||
> `zImage/system.bit/BOOT.BIN/boot.tar.gz/uEnv.zip/system.dtb/uEnv.txt`),
|
||||
> 说明此前已有人备份过启动链。换启动链前**必须再存一份带哈希的基线**。
|
||||
|
||||
### 4.2 mpc 二进制上板(`[实证]`)
|
||||
|
||||
产物(本机 macOS 交叉编译,非 armv7 本机、非 QEMU):
|
||||
|
||||
```
|
||||
target/armv7-unknown-linux-musleabihf/release/mpc
|
||||
ELF 32-bit LSB executable, ARM, EABI5, statically linked, stripped 1,273,788 B
|
||||
sha256 8f20c9f2877663aabe36918c882776cc08fcaee262c46b1005cf2a4167f3783d
|
||||
```
|
||||
|
||||
板上结果:
|
||||
|
||||
| 判据 | 结果 |
|
||||
| -------------------------------- | ----------------------------------------------- |
|
||||
| `mpc selftest` | **5/5 全过** |
|
||||
| 两进程 MPC 会话(alice+bob) | 两侧 `value \| 35.000000`(= 1+2+3+4+5+6+7+8+9+10) |
|
||||
| `mpc selfcheck` sha256 | 与本机构建产物**逐字节一致** |
|
||||
| `mpc selfcheck` platform | `linux/arm` |
|
||||
| `mpc trust --parties "alice=optee:5+attested,bob=optee:5+attested"` | L3,`needs_mpc=true`、`needs_tee=true`、`allow_plaintext_merge=false` |
|
||||
|
||||
> ★ `mpc selfcheck` 的 sha256 一致 ⇒ 上板的就是本机构建的那个二进制,
|
||||
> 不存在"板上另有一份旧版"的歧义(真机反复踩过这个坑:远端 mpc 常是旧版,
|
||||
> 必须核 sha)。
|
||||
|
||||
### 4.3 OP-TEE 上真板的真实缺口(`[实证]`)
|
||||
|
||||
**结论:当前板子跑不了 OP-TEE,且不是"装个包"能解决的——要换启动链。**
|
||||
|
||||
| 缺口 | 实测证据 | 影响 |
|
||||
| --------------------- | ------------------------------------------------------------------------ | ------------------------------- |
|
||||
| 内核无 TEE 支持 | `zcat /proc/config.gz` → `# CONFIG_TEE is not set` | 无 `/dev/tee*` ⇒ CA 调不到 TA |
|
||||
| 无 OP-TEE 运行时 | 无 `/lib/optee_armtz`、无 optee 内核模块 | TA 装不进去 |
|
||||
| **EL3 无 OP-TEE 承载** | `BOOT.BIN` 里 grep `trusty\|atf\|optee` 仅命中无关串;`bootcmd` 直接 `bootz` 进内核 | 安全世界镜像**无处安放** |
|
||||
| 板子无构建工具 | 无 gcc/make/python3 | 只能交叉编译后拷贝 |
|
||||
|
||||
因此真板 OP-TEE 需要**同时**具备:
|
||||
|
||||
1. 带 `CONFIG_TEE` 的 `zImage`(配套 `system.dtb` 加 `firmware`/`optee` 节点);
|
||||
2. 能加载安全世界镜像的启动链(OP-TEE `plat-zynq7k` 的 `zc702` flavor 走
|
||||
**U-Boot 直接加载 bl32**;另一条 `atf` flavor 需要 EL3 上的 ATF);
|
||||
3. `libteec` + `tee-supplicant`(secure storage 持久化 `K_root` 必需)。
|
||||
|
||||
**风险**(必须在动手前讲清):
|
||||
|
||||
- 换 `zImage` / `uEnv.txt` / `BOOT.BIN` = **改启动链**;
|
||||
- 板子上跑着 `board-agent`、`easytier-core`(m4gw 网关)、`healthwd.sh`
|
||||
等在役服务,换内核/DTB 可能影响它们的设备节点与网络配置;
|
||||
- **板子无本地编译环境**,一旦启动链改坏,**没有第二台板子**可试;
|
||||
⇒ 必须先做**带哈希基线的完整备份**,并保留**可回滚**路径。
|
||||
|
||||
> 本轮**没有**替换启动链,也没有在板上安装任何 OP-TEE 组件 ——
|
||||
> 板子状态与进来时一致。OP-TEE 产物在沙箱里构建,板端部署留待备份与回滚方案就绪后执行。
|
||||
|
||||
---
|
||||
|
||||
## 4b. 上板步骤(`mpc` 二进制部分,已执行)
|
||||
|
||||
```bash
|
||||
# 1. 本机(任意宿主)交叉编译,不需要板上或 Linux 机器
|
||||
@@ -132,24 +224,43 @@ mpc node --site alice --sites alice,bob --connect 127.0.0.1:9444 --data 1,2,3
|
||||
# 期望两侧都输出:会话结果: 35
|
||||
```
|
||||
|
||||
**验收判据**(三条,缺一不可):
|
||||
**验收判据**(三条,已全部达成):
|
||||
|
||||
1. `mpc selftest` 四项全过 —— 说明算子核在 armv7 上数值正确
|
||||
1. `mpc selftest` **5/5 全过** —— 说明算子核在 armv7 上数值正确
|
||||
(尤其银行家舍入与 u64 回绕,这两处在 32 位架构上最容易出偏差)。
|
||||
2. 两进程会话得到 **35** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
|
||||
3. `mpc selftest` 的耗时 —— 这是**唯一的性能实测基线**,记下来,
|
||||
后续所有规模判断都从它推算,而不是从 i5 的数字猜。
|
||||
2. 两进程会话得到 **35.000000** —— 说明帧协议、TCP、Beaver 协议栈在板上成立。
|
||||
3. `mpc selfcheck` sha256 与本机构建产物一致 —— 上板的就是这份产物。
|
||||
|
||||
> ★ 性能实测(2026-11-09,板端 `[实证]`):
|
||||
> `mpc selftest` **单次约 4.0 ms**,峰值常驻内存 **3568 KB**(约 3.5 MB)。
|
||||
>
|
||||
> 测量方式(板子是 BusyBox,`date` 不支持 `%N` 纳秒,`/usr/bin/time` 也没有;
|
||||
> `busybox time` 分辨率只有 0.01 s,单次跑测不出来 ⇒ **放大信号**):
|
||||
>
|
||||
> ```
|
||||
> busybox time sh -c 'for i in $(seq 1 200); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
|
||||
> → real 0m 0.84s ⇒ 单次 4.2 ms
|
||||
> busybox time sh -c 'for i in $(seq 1 500); do /usr/local/bin/mpc selftest >/dev/null 2>&1; done'
|
||||
> → real 0m 2.00s ⇒ 单次 4.0 ms
|
||||
> ```
|
||||
>
|
||||
> 两组独立测量互相印证(4.2 / 4.0 ms),取 **≈4 ms**。
|
||||
>
|
||||
> ★★ **踩坑记录**:板子 SSH 非交互会话的 `PATH` 只有 `/usr/bin:/bin`,
|
||||
> 而 `mpc` 装在 `/usr/local/bin/mpc` ⇒ **`mpc` 直接调会 "command not found"**,
|
||||
> 且 `busybox time` 只报 `can't execute 'mpc'`、耗时显示 0.00s —— **假数据**。
|
||||
> 板端一律用**绝对路径**。这条差点让「性能基线」变成凭空捏造的数。
|
||||
|
||||
---
|
||||
|
||||
## 5. 与 x86 + SNP 的分工
|
||||
|
||||
| | Zynq-7015 | x86 + SEV-SNP |
|
||||
|---|---|---|
|
||||
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
|
||||
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
|
||||
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
|
||||
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
|
||||
| | Zynq-7015 | x86 + SEV-SNP |
|
||||
| --- | -------------------- | ---------------------- |
|
||||
| 定位 | 边缘节点 / 数据源侧 / 密钥守门 | 计算节点 |
|
||||
| 优势 | TEE 天然在板上、低功耗、便宜、可离线 | 算力、内存带宽、大矩阵 |
|
||||
| 适合 | PSI、安全统计、小 LR、策略执行 | 密文训练、大 SQL、批量 Paillier |
|
||||
| 不适合 | 大矩阵、10 万级 PSI | 现场部署、低功耗场景 |
|
||||
|
||||
**同一份二进制、同一套协议**,靠 `TrustPlan` 决定这一轮走 MPC 还是
|
||||
"双方 TEE 互验后明文直算"(见 `docs/ARCHITECTURE.md` §4.3 的 L2)。
|
||||
@@ -171,9 +282,15 @@ trust_plan: TeeAssisted # 边侧有 TEE,计算节点独立
|
||||
|
||||
## 6. 还没做的(诚实清单)
|
||||
|
||||
- [ ] 板上实测性能数字(上表全是推算)
|
||||
- [ ] `mpc-tee` 的 OP-TEE 实现(复用 `op-tee-test/src/vault-core`)
|
||||
- [x] 板上实测性能数字(`mpc selftest` ≈4 ms / 峰值 RSS 3.5 MB,2026-11-09 `[实证]`,
|
||||
见 §4b;**但只覆盖 selftest 规模**,各算子的规模曲线仍未逐项实测)
|
||||
- [ ] `mpc-tee` 的 OP-TEE 实现**在真板上跑通**(产物已在沙箱构建,见 §4.3 缺口表)
|
||||
- [ ] 真板 OP-TEE 的**启动链方案**:带 `CONFIG_TEE` 的 zImage + 能加载 bl32 的 U-Boot
|
||||
⇒ 必须先做带哈希基线的完整备份 + 回滚路径(板子无第二台可试)
|
||||
- [ ] TA 侧的最小算子(比较、聚合)
|
||||
- [ ] NEON 优化(A9 的 NEON 对 64 位整数乘帮助有限,但要试)
|
||||
- [x] 交叉编译产物可出(musl 静态,687 KB,见 §2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2)
|
||||
- [x] 交叉编译产物可出(musl 静态,1.2 MB,见 §2/§4.2);CI 里加 `cargo build --target armv7-...-musleabihf --no-default-features` 即可(★ 不能省这个参数,见 §2)
|
||||
- [ ] 交叉编译产物的 CI 校验(本地已验证,还没进 CI)
|
||||
- [x] `mpc` 二进制上板自检 + 两进程会话(2026-11-09,`[实证]`,见 §4.2)
|
||||
- [x] 板子身份与启动链基线固化(sha256,见 §4.1)
|
||||
- [x] OP-TEE zynq7k 构建脚本(`build/build_optee_zynq7k.sh`,含 `board` feature 真板 DNA 读取)
|
||||
Reference in new issue
Block a user