Files
ssw-mpc/docs/TEE_OCI_PATH.md
admin e839a972c0 feat(tee): 接入 AMD SEV-SNP 芯片验签,双平台「先验证明才给密钥」全部真机跑通
## 改了什么

- **SNP 芯片签名验签闭环**:新增 `snp_collect.rs`(SNP_GET_EXT_REPORT ioctl
  + GHCB 切分)、`snp-verify-attestation.sh`(VCEK 走 AMD KDS)、
  `selftest-snp-verify.py`(正 1 + 负 8),进主闸门第 10 条。
- **框架侧补 `mpc.tee.platform`**:`tee plan` 现在告诉 guest 用哪个平台采证明。
- **KBS 补独立 `--pin`**:`MPC_KBS_PIN` 与 `--measurement` 解耦,缺省回落,
  既有部署行为不变 —— 这是「度量 pin 那一关」唯一能被单独测到的姿势。
- **guest stdout 修复**:init 开头 mknod 真 `/dev/console` + `exec > ... 2>&1`;
  `run-guest.py` 加 `MPC_TEE_SERIAL_LOG` 换 chardev file 落盘。
- **负向矩阵**:新增 `snp-attest-negative.sh`(6 条),判据全部收紧到该关独有文案。
- **KBS 就绪判据**:`kbs-net.sh` 从「进程存活」改成「端口进 LISTEN」。
- **文档**:`TEE_DIRECT_LAUNCH.md` 新增 SNP 整节 + bug 1~9;
  `TEE_OCI_PATH.md` 补 SNP 侧与负向判据唯一性;新增 `INTEGRATION_ANALYSIS.md`
  与 `OPTEE_VERIF_PLAN.md`;`ci.sh` 加 no_std 双守、TA UUID 对拍、SNP 自测。

## 什么影响

- 真机(海光 CSV `192.168.1.102` + AMD SNP `192.168.1.7`)**双向跑通**,
  两端用同一份 Rust 判定代码。
- SNP 正向 e2e 7/7、负向 6/6 全部真拒在各自关卡;`tools/ci.sh` 十条全绿。
- 三处真 bug 已修:guest stdout 全丢(`/dev/console` 是普通文件 +
  `-nographic`/`-serial stdio` 抢 stdio)、`MPC_KBS_PIN` 接口缺口、
  负向判据不唯一(兜底分支导致假绿)。
- 边界不变:`attest-mkbundle` 仍是合成件,过不了芯片验签(仅自测用)。
2026-11-07 12:47:22 +08:00

410 lines
24 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# OCI 镜像层与 libkrun 的评估(2026-11-06)
## 结论
**采纳 OCI 作为镜像与分发格式,分两阶段推进;libkrun 暂不进入框架。**
先把三样东西拆开,才能看清它和「框架直接调度 TEE、不走编排层」这条铁律的关系:
| 概念 | 是什么 | 是否属于编排层 |
|---|---|---|
| OCI image spec | 镜像的分层格式 + manifest digest + registry 分发 | 否,只是物料格式 |
| libkrun | 嵌进宿主进程的 VMM 库(Rust/C API,Linux KVM / macOS HVF) | 否,属于执行层 |
| crun `krun` handler / krunvm | 把 OCI 镜像启成 microVM 的启动器 | 否,属于执行层 |
| Kata / Pod / runtimeClass / K8s scheduler | 容器编排与调度 | **是,仍然禁止** |
所以在框架层引入 OCI digest 与可插拔启动后端,不违反铁律;核心 crate 依旧不生成
容器清单、不设运行时类、不依赖集群调度器。
## 事实来源
- 上游 `containers/libkrun`:变体只有 `libkrun`(通用)、`libkrun-sev`(AMD SEV /
SEV-ES / **SEV-SNP** + 远程证明)、`libkrun-tdx`(Intel TDX);设备含 virtio-console /
block / fs / net / vsock / rng,网络有 TSI 与 virtio-net + passt/gvproxy 两种模式。
- 2.0 的 Guest Init Subsystem:静态 musl `init-binary` 作 PID 1,宿主侧 `init-blob`
用 `Builder::from_oci_json()` 吃 OCI spec,通过 virtio-fs overlay 注入 `/init.krun`
与 `/.krun_config.json`;SEV/TDX 路径另有 `mount_tee_block_device()` 把 root 切到块设备。
- 启动速度:`sandbox-bench`(2026-05,裸机 10 次冷启动)中位 libkrun/krunvm **310 ms**、
docker 463 ms、Firecracker 808 ms。这是普通 microVM 的进程冷启动,**不含 SNP 固件
`LAUNCH_*` 流程**。
- 安全模型原文:guest 与 VMM 属同一安全上下文,VMM 可代理宿主资源;
`virtio-fs` 不限制 guest 访问宿主其他目录,`TSI` 让 VMM 成为 guest 的网络代理。
- 真机只读探测(xop 凭据连 `192.168.1.7` / `192.168.1.102`):两台只有
`docker` / `runc` / `containerd`,`libkrun`、`libkrunfw-sev`、`krunvm`、`crun`、
`podman`、`buildah` 全部缺失。内网代码库也没有 libkrun / krunvm / crun 镜像,
分析基于上游公开资料。
## 三项价值对照现状
| 诉求 | 现状痛点 | OCI 带来的 |
|---|---|---|
| 分层打镜像 | 13 MB initrd 手工拼,改一次 `mpc` 整体重建、整体重分发,`measurement` 跟着变 | base / mpc / init 分层,只推变化层;manifest digest 天然可 pin,正好作 `SessionBinding.code_measurement` |
| 远程调度 | scp 分发镜像,无完整性锚点 | registry 按 digest 拉取;**选节点仍在框架**(与 Kuscia 的「框架决策、K8s 执行」一致),把决策交给 scheduler 就退回编排层 |
| 快速启动 | qemu direct boot 秒级 | libkrun 的 VMM 路径确实更快,但 SNP 固件启动度量是硬成本,**真机未实测,不承诺** |
## 四个硬约束
1. **度量边界**:libkrun 默认用 virtio-fs 把 rootfs 从宿主注入 guest,而 SNP 只度量
启动时载入的 guest 页 —— 这些层不在初始度量内。直接拿来跑 `mpc` 会把「代码度量」
这一环掏空。出路:SEV 路径的 TEE block device,或把 manifest / 层 digest 钉进
`user_data` 并在 guest init 逐层校验。本版选后者。
2. **海光 CSV 无对应变体**:CSV 是海光自研(国密、ASID 复用补丁、`HYGONCSV.fd`、
vmmcall 证明、CSV3 kernel-hashes + 秘密注入),没有 rust-vmm 兼容证据。
OCI/libkrun 最多覆盖 AMD,**海光必须保留已跑通的 qemu direct boot**。两个后端只能并列。
3. **现场缺件**:SEV 变体还要 `libkrunfw-sev` + OpenSSL headers;libkrun 2.0 主线
API/ABI 不兼容 1.x 且仍在变,生产要锁 `stable-*`。引入是实打实的装包与验证工作。
4. **TSI 网络**:默认让 VMM 代理 guest socket,跨 guest 的 MPC 通信需改用 virtio-net +
passt/gvproxy,或保留 socket 语义并在策略里显式声明。
## 采纳路线
**阶段一(本版已落地)**:只做镜像格式与度量契约,`deploy/tee/oci/oci-image.py` 用
Python 标准库生成 OCI image layout(不依赖现场缺失的容器运行时),`pack` 按层解包后
仍打成 initrd 交给**已跑通的 qemu 后端**。`measurement = manifest digest`,guest init
逐层校验 digest 并核对 cmdline 里的 manifest 值。AMD / 海光都覆盖,现场无需装新运行时。
**阶段二(评估后再做)**:在 `192.168.1.7` 装 `libkrunfw-sev` + `crun`/`krunvm`,实测
SNP guest 的证明链路与冷启动时间;达标后把 `LaunchSpec` 扩成后端枚举
(`QemuDirect` / `OciMicrovm`),框架层仍保持平台中立。海光继续走 `QemuDirect`。
## Kata 复核(2026-11-06 傍晚)
用户追问「用 Kata 会不会更简单,两台不是都装好了吗」。重新只读探测两台真机(xop
凭据 `tee_amd_7_*` / `tee_hg_102_*`):
| 项 | AMD 节点 192.168.1.7 | 海光节点 192.168.1.102 |
|---|---|---|
| `/opt/kata` | **存在**,含完整安装(15 个二进制,含 `qemu-system-x86_64-snp-experimental`、`containerd-shim-kata-v2`) | 不存在 |
| 挂进 containerd / docker 运行时? | 否(`docker info` Runtimes 仅 `runc`) | 否 |
| 内核 | `6.13.0-snp-guest` | `5.10.134-csv` |
| `/dev/sev` | 有 | 有(CSV 复用 sev 接口) |
结论:**「两台都装了」只对一半** —— 只有 AMD 那台有 Kata 二进制(且没挂进运行时),
海光那台压根没有;而且 Kata 上游只支持 SEV / SEV-ES / SEV-SNP / TDX,**没有海光
CSV**(cbitpos=47、`HYGONCSV.fd`、vmmcall 是海光自研)。102 上我们跑通的 CSV guest
是 **qemu direct boot**,不是 Kata。
会不会更简单?**不会整体更简单**:
1. 只在 AMD 那台有用,海光仍要 direct boot → 没省掉这套,反而多一个后端;
2. Kata 是重依赖(in-guest kata-agent + containerd shim + runtime-rs);
3. 它会接管度量/证明模型(自带 KBC),我们刚钉死的 `SessionBinding` 要迁进去,更复杂;
4. OCI 分层镜像这个真收益,不靠 Kata 也能拿(盖在 direct launch 上)。
**决策**:保持 OCI 打包 + direct launch(阶段一已落地),Kata 不引入;若 `.7` 上有
必须复用的 Kata 资产,可后续作为可选 AMD-only 后端,藏在同一 `LaunchSpec` 抽象后。
## 远程调度:e2b 协议参考
用户提示远程调度可考虑 e2b 协议。采纳为**接口形态参考**,不引入 e2b 依赖:
- e2b 的 spawn-by-spec 模式(提交 sandbox 规格 + 产物挂载 + 结果流回)正好对应本框架
的「框架发 TEE 启动规格(OCI digest + 会话绑定 + 节点约束)→ 选中的节点起加密
guest → 报告/结果回传」;
- 节点选择仍是框架决策(与 Kuscia「框架决策、K8s 执行」一致),不交给外部 scheduler;
- 本版 `mpc tee plan` 已产出 `LaunchSpec`/`qemu_argv`,后续把「按 digest 从 registry
拉 OCI 镜像 + 选节点 + 起 guest」包成 e2b 形态的调度 API 即可,核心 crate 仍零编排字样。
## 边界(别夸大)
- **运行期完整性校验 ≠ 芯片度量**:它防的是分发/拉取过程中**活文件**被替换。
能同时改掉 initrd 里 `/init` 与校验清单的宿主不在防御范围内;启动镜像的
硬件度量要靠 SNP/CSV 证明体系。
(2026-11-07 补:原先只校验 `layers.sha256`,而它覆盖的是 blobs 下的**证据
副本**,真正执行的活文件不在范围内 —— 已改成从 cmdline 的 PIN 逐跳推导到
活文件逐个校验,见 `docs/TEE_DIRECT_LAUNCH.md` 的「运行期完整性链」一节。)
- **`deploy/tee/kbs/serve.py` 仍是演练级实现,不是 Trustee**:它**现在会校验芯片证明**
(2026-11-07 补齐,见下节「先验证明,才给密钥」),但 token 是**进程内登记簿**、
`MPC_KBS_TOKEN_KEY` 缺省时退化为明文 digest、生产该换成真正的 Trustee / KBS 与
共享 token 存储。**判定口径已是生产级的,密钥服务本身还不是。**
- **框架仍不实现 ECDSA / 证书链验签**:`mpc-tee::bundle` 做结构检查、会话绑定复核与
度量 pin,芯片签名交给可插拔的外部验签器(海光用官方 `verify-attestation`,
外面套一层自研 wrapper 堵它四个坑)。**没有验签器时结论必须显式写「未验证」,
绝不能默认通过** —— KBS 严格模式下缺验签器一律拒发密钥。
- OCI 层是物料格式,不是调度器;框架不因此获得「远程调度」能力,只获得可校验的
镜像分发锚点。
## ★ 先验证明,才给密钥(2026-11-07)
OCI 流水线解决的是「**送进 guest 的是这个镜像**」,KBS 解决的是「**这个 guest 配不配拿
密钥**」—— 两者缺一,密钥服务就成了「谁问都给」。
```
guest 向芯片要报告(CSV ioctl / SNP ioctl)
→ 打包成证明包 bundle(报告 + 证书链 + 绑定值)
→ POST /kbs/v0/attestation 给 KBS
→ KBS 调用「与验证方同一份」Rust 代码判定(mpc tee attest-check)
→ 通过才签发 token(绑定 session + bundle digest,有 TTL)
→ 凭 token 调 /kbs/v0/resource/<repo>/<kind>/<tag> 取 PSK / seed / root-key
```
### 判定口径只有一份
KBS 是 Python,但**不重写证明判定** —— 它调用 `mpc tee attest-check`(Rust 判定引擎,
`crates/mpc-tee/src/bundle.rs`),Python 只负责搬字节和看退出码
(0 = 通过 / 1 = 不通过 / 2 = 用法错误)。
这条是硬要求:**验证方(`mpc tee verify`)与放行方(KBS)必须用同一份判定**。
一旦两边各写一套,迟早分叉,分叉处就是能拿密钥的洞。
### 判定五关(全部 fail-closed)
| 关 | 挡什么 | 不过的后果 |
|---|---|---|
| 平台一致 + 按布局解析报告 | 拿 SNP 报告冒充 CSV、结构错乱 | 拒 |
| **重算**绑定值与报告内 `user_data` 比对 | 重放旧报告 | 拒 |
| 度量 pin 一致且已 pin | 跑的不是被允许的镜像 | 拒 |
| TCB 门槛 | 固件版本过低 | 拒 |
| 芯片签名(外部验签器) | 报告是伪造的 | 拒 |
绑定值重算是**关键**:只比「证明包自称的 `user_data`」等于放行,等于拿攻击者自己
提供的值当基准,重放就过了。
### `--tcb` vs `--min-tcb`(语义分离,别混)
- `--tcb` = 节点**实际** TCB,参与绑定值计算 `sha256(domain || measurement || platform_tag || tcb)`;
- `--min-tcb` = **门槛**,只做准入比较。
漏传 `--tcb` → 用 `tcb=0` 重算 → 报「`user_data` 与本次会话绑定不一致」——
这是把**参数漏填**报成**重放攻击**的误导性结论,排查方向直接被带偏。
`mpc tee verify` 已加 `--node`:site / measurement / tcb / platform 默认与
`mpc tee plan` 同源,节点平台与 `--platform` 冲突直接拒绝。
### 五道防「`tee` 坑」的闸
判定命令拼成 `[mpc, "tee", "attest-check", ...]`。`mpc` 为空或拼错时 `tee` 会落到
argv[0] → 执行**系统 `tee`** → 它把每个非选项参数都当文件名创建,**并且成功退出**
(本轮实测在仓库根目录撒了 15 个垃圾文件)。若判定退化成「不报错就算过」就是**假绿**。
KBS 侧因此加五道闸:
1. 启动时校验 `--mpc` 必须是**存在的可执行文件**(否则拒绝启动);
2. 判定在**独立工作目录**里跑(不在仓库根目录留垃圾);
3. `stdin=DEVNULL` —— 系统 `tee` 会等 stdin 到 EOF 才退出,继承来的 stdin 可能永远
不 EOF,判定进程挂死(自测实测命中);
4. 判定超时上限(`ATTEST_TIMEOUT = 30` 秒),卡住不拖垮整个 KBS;
5. 输出必须是**含 `ok` + `verdict` 两个字段的判定结论** —— 「恰好也是合法 JSON 的
别的东西」不算结论。
另外「芯片签名未验证」在严格模式下**一律拒发**,不是警告。
### 探针必须自己验灵敏度
「收紧检测 → 误报变多 → 放宽判据 → **假绿**」是同一条曲线上的三个点。改完闸门
必须用**已知有问题的探针**回归,确认检测还能报出来。
本轮就出现过一次**探针假绿**:负向探针输出的 `{"ok":true}` 被「芯片验签」那道闸
先拦掉 —— 探针测的不是它声称测的闸。修法:让探针伪装成**完整的通过结论**
(`ok=true` 且 `chip=verified`),只缺 `verdict`,这样它只会被「结论结构校验」挡住。
再次 sabotage 验证:该探针真实变红。
### 真机结果(`192.168.1.102`,海光 CSV)
正向 `deploy/tee/real-machine/kbc-attest-e2e.sh` 7/7 全绿:
```
attestation_collect: ok ← guest 从 /dev/csv-guest 采到真实 CSV 报告
attestation_post: ok ← KBS 验过并签发 token
key_source=kbs ← 凭 token 才取到密钥
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
chip=verified-by:.../csv-verify-attestation.sh
verdict=结构、会话绑定与芯片签名全部通过
```
**正向通过只说明闸门没把所有人挡在门外**;负向通过才说明闸门**认得谁该放行**。
负向矩阵见 `docs/TEE_DIRECT_LAUNCH.md`(CSV 6 条 + SNP 6 条,全部真拒在各自关卡)。
> ★ 负向判据的唯一性:每条用例的期望正则必须**只命中自己那份日志**。
> 判据里留「兜底分支」(`|X`、`TCB` 这类泛化单词)就等于退化成「有没有被拒」,
> 换个原因被拒也会判通过 —— 这是比「没测」更隐蔽的假绿。
> 实测踩过:`badsite` 写成 `站点|site|绑定不一致`,前两个词 KBS 文案里根本不存在。
### 边界(这条链还没做到什么)
- **SNP 报告采集与芯片验签已于 2026-11-07 补齐**(见下节「AMD SNP 侧」),
本条**已过时**。SNP 侧现在也是端到端跑通的,不再只覆盖 CSV 路径。
- **token 无状态化**:`v1.<session>.<digest[:32]>.<expires>.<mac[:32]>`,
HMAC-SHA256 + 常量时间比较,重启不失效、可跨实例(不再是进程内 dict)。
- **`MPC_KBS_TOKEN_KEY` 缺省 → KBS 拒绝启动**(缺密钥就既签不出 token
也验不了 token,这是有意的 fail-closed)。演练用每次运行随机生成的临时密钥。
- **KBS 内建 TLS**:TLS 1.2+,无证书拒绝启动。明文 HTTP 模式仍保留给演练。
- **`mpc tee attest-mkbundle` 造的是合成证明包**,过不了芯片验签 —— 只能自测用。
## AMD SNP 侧(2026-11-07 补齐,`192.168.1.7`)
CSV 的报告自带签名与完整证书链(hrk→hsk→cek→pek),官方工具一把验完。
SNP 报告**不带证书链** —— 只有一颗 ECDSA P-384 签名和 CHIP_ID,
证书链必须另行向 **AMD KDS** 取。所以 SNP 侧多了一条「取证 → 验签」链路。
### ★ AMD ABI 三个硬事实(权威出处:`virtee/sev`)
| # | 事实 | 踩错的症状 |
|---|---|---|
| 1 | 签名布局 = `r[72] + s[72]`,各为**小端标量**(`ecdsa/mod.rs`:`BigNum::from_le`) | 按 WebCrypto 的 48+48 大端切 → 全部验不过 |
| 2 | 被签名区间 = `report[0 : 0x2A0]`("bytes 0 to 0x29F inclusive") | 签错区间 → 验不过 |
| 3 | KDS 的 SPL 来自报告的 **`current_tcb`@0x038**,legacy 布局 `[bl,tee,0,0,0,0,snp,ucode]` | 推错 SPL → 取到别的 VCEK |
第 1 条是本轮最大的坑:38/144/16 个候选 VCEK 全失败,根因就是按浏览器
WebCrypto 的格式猜布局 —— **那不是 AMD ABI 的原生布局**。
### ★ KDS 的 SPL 必须是十进制两位
```
GET /vcek/v1/{product}/{hwID}?blSPL=04&teeSPL=00&snpSPL=22&ucodeSPL=213
```
- `hwID` = 报告 `CHIP_ID`(@0x1A0 起 64 字节)的**十六进制串**(128 字符);
- **SPL 参数用十进制两位**(官方 `{:02}`)。传十六进制 → **KDS 返回 400**。
同一个 URL 里两种进制,别弄反。
真机实测 `current_tcb` = `04 00 00 00 00 00 16 d5`
→ blSPL=4 / teeSPL=0 / snpSPL=22 / ucodeSPL=213。
验签算法:**ECDSA P-384 + SHA-384**。
### 实现与闸门
- `deploy/tee/real-machine/snp-verify-attestation.sh` —— 固化成框架
`ExternalVerifier` 契约;联网取到的证书**缓存回 chain-dir**,可离线复用。
- `deploy/tee/real-machine/selftest-snp-verify.py` —— 离线自测
**正向 1 + 负向 8**(篡改 report_data / measurement / 签名 / 截断报告 /
篡改 CHIP_ID / 缺 VCEK / 缺 ARK / ARK-ASK 换位)。CI 第 10 条即此。
- `deploy/tee/real-machine/fixtures/snp/` —— 真机报告 + ARK/ASK/VCEK,
全是 AMD **公开发布的信任材料,不含私钥**。
### 真机端到端结果(7/7 全绿)
```
attestation_collect: platform=snp
attestation_collect: ok ← guest 从 /dev/sev-guest 采到真实 SNP 报告
attestation_post: ok ← KBS 验过(含芯片签名)并签发 token
key_source=kbs ← 凭 token 才取到密钥
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
chip=verified-by:.../snp-verify-attestation.sh
verdict=结构、会话绑定与芯片签名全部通过
```
至此 **SNP 与 CSV 两条平台的「先验证明才给密钥」都已在真机双向跑通**,
两端用的是**同一份** Rust 判定代码。
### ★ 本轮最迷惑的一个坑:guest 成功了,但采集端一行日志都收不到
e2e 脚本 4 条判据全红,而 KBS 日志里明明是 `attestation 200` +
三个资源 `200` —— **guest 其实早已成功**。
两个叠加的原因:
1. **`/dev/console` 在 initramfs 里是普通文件**。内核 exec `/init` 时把
fd 0/1/2 接到它,于是 init 的所有 `echo` 写进了那个普通文件。
内核 printk 走 console driver 不受影响 → **内核日志正常、init 日志全无**,
看起来像「init 没跑起来」。
2. **qemu 的 `-nographic` + `-serial stdio` 抢同一个 stdio**
(框架 argv 里两者并存)→ 两个前端抢一个 stdio。
**诊断钥匙**:`die()` 里是 `echo "MPC_FAIL:" > /dev/console` ——
它**重新打开**了 `/dev/console`,拿到真字符设备,所以**能看到**;
而 init 的 `echo` 走**继承来的 fd 1**,指向旧文件,**看不到**。
这个「die() 能看到、正常输出看不到」的矛盾,一眼就指向 fd 绑错了。
修法(都不动框架的启动规格):
- `deploy/tee/guest/init.sh` 开头确保 `/dev/console` 是真字符设备(5:1),
然后 **`exec > /dev/console 2>&1`** 重新绑定 stdout
(内核绑的是 exec 之前那一刻的 fd,光换文件不够)。
- `deploy/tee/real-machine/run-guest.py` 新增 `MPC_TEE_SERIAL_LOG`,
串口换 **chardev file 后端**落盘,采集端读文件。
**教训**:「采集端什么都没收到」≠「被测对象没跑」。先看**另一侧的日志**
(KBS 侧)确认对象状态,再倒推采集链路 —— 否则会把「采集坏了」
误判成「功能没实现」。
### 框架侧补的一处真实缺口
`tee plan` 必须告诉 guest **用哪个平台采证明**:guest init 从内核命令行读
`mpc.tee.platform`,缺省猜 `csv` → AMD 机器上表现为
`打开 /dev/csv-guest 失败`(症状像驱动问题,实际是启动参数少一项)。
已在 `crates/mpc-tee/src/schedule.rs::admit()` 追加该参数,并加回归测试
`launch_spec_tells_guest_which_platform_to_collect_from` 钉死防串台。
## 真机跑通记要(2026-11-06 后续,`192.168.1.102`)
三个此前只存在于纸面的环节现在有真机证据了:
- **`build → verify → pack` 三步在真机跑通**,`manifest_digest` 同时是
`SessionBinding.code_measurement`。guest init 先逐层校验 digest,再核对
cmdline 里的 manifest,两者都过才启动 mpc。
- **base 层不允许含密钥物料**:`oci-image.py build` 会扫 base rootfs 里的
`psk` / `seed` / `root-key` 等文件,命中即 `sys.exit(3)` —— **宁可误报也不放过**。
真机上验证过:base 里放 `psk`/`seed` 时构建直接拒绝(rc=3)。
- **在线 KBC 真机跑通**:`key_source=kbs`(密钥由 KBS 按会话下发,镜像里没有明文)。
打包成 initrd 时踩到的三个坑(详见 `docs/TEE_DIRECT_LAUNCH.md` 同节):
1. `tar_from_files` 把 `init` 打成**目录** → `Failed to execute /init (error -13)`;
2. `cpio_newc` 把设备节点写成**普通文件** → guest 没有控制台,init 输出全丢;
3. newc 的 `rdevmajor/rdevminor` 字段填错(同一个 rdev 填了两遍)。
这三类 bug 的共同特征:**构建与校验全绿,但产物在真机上不能用**。
镜像流水线必须以真机 direct boot 收尾,不能只看 `verified=ok`。
## ★ 完整性链的真 bug(2026-11-07)
上面三个坑修完后,**负向矩阵**又挖出一个更根本的问题:`layers.sha256`
覆盖的是 `etc/mpc-tee/oci/blobs/` 下的**惰性证据副本**,而真正被执行的
`/init`、`/mpc` 是解层后合成的**活内容**,根本不在校验范围内。
真机实测:把 initrd 里的 `/mpc` 改掉一个字节 → guest 照样打印
`oci_layers: verified`,一路跑到 KBS 取密钥。
**仍然是同一个病根**:构建与校验全绿,但那份「全绿」证明的东西与真正被执行的
东西无关。
修复后信任根单一、逐跳推导:
```
cmdline 的 mpc.tee.manifest (PIN,= OCI manifest digest)
→ sha256(/etc/mpc-tee/oci/manifest.json)
→ manifest.annotations: mpc.tee.rootfs-files-digest / rootfs-links-digest
→ sha256(rootfs.sha256) / sha256(rootfs.links)
→ sha256sum -c → /init /mpc /bin/... 逐个校验
```
框架 pin 的 `code_measurement` 参与 `user_data` 计算 → **这条链的信任根与
芯片证明是同一个**。
实现上有个刻意选择:`rootfs_state_from_layers()` **直接从各层 tar 字节**算
活 rootfs 的文件级状态,不解包。原因有二:① 解包要 mknod 设备节点(要 root),
本地 macOS 上跑不了;② 更要紧的是**解包再扫 = 两份实现**,build 与 pack 一旦
理解分叉,清单就与产物对不上,而这种不一致只会在真机上表现为「校验莫名失败」。
直接从层内容算,两边共用同一函数,天然一致。
回归测试:`deploy/tee/oci/selftest-chain.py`(本地可跑,`python3` 直接执行)。
## ★ 同源病根的第二个面:流水线自证(2026-11-07)
上一节修的是「guest 校验的到底是不是活内容」。这一节是更靠前的一层:
**打包出来的 initrd 是不是这次镜像的产物**。
真机实测现象:
```
cmdline 的 manifest = 41d93d38… ← 本次 build
initrd 内嵌的 digest = 33c3bc79… ← 上一轮的 initrd
```
guest 报「manifest 不一致」,看起来像度量校验坏了 —— 实际镜像侧完全正常。
三个原因叠加,**每一个单独都足以造成这种错配**:
1. `pack ... | grep -v RuntimeWarning` —— 管道退出码取的是 **grep** 的,
`pack` 失败被静默吞掉(POSIX shell 里 `set -e` 对管道只查最后一条)。
2. 并发实例共用同一个远端目录 → `image/` 与 `initrd.img` 来自不同轮次。
**流水线自己发现不了** —— build / verify / pack 每一步单独看都是绿的。
3. 脚本运行期间被编辑 → bash 按字节偏移重读,注释被当命令执行。
修复:`pack` 打完 initrd 后**回读它**,核对内嵌 digest / rootfs 清单 /
manifest.json 三者,任一不符直接失败并打印 `selfcheck=ok`。
脚本层另加:独立远端目录 / 网段 / tap、本机 `mkdir` 原子锁
(**macOS 没有 `flock`**)、pack 的 stderr 不放管道右侧。
这与上一节是**同一个病根的两个面**:都是「校验通过 ≠ 校验的是对的东西」。
所以 `pack` 的自证和 guest 侧的活文件校验**缺一不可** ——
前者保证「送进 guest 的是这个镜像」,后者保证「guest 跑的是这个镜像里的活内容」。