## 改了什么 - **SNP 芯片签名验签闭环**:新增 `snp_collect.rs`(SNP_GET_EXT_REPORT ioctl + GHCB 切分)、`snp-verify-attestation.sh`(VCEK 走 AMD KDS)、 `selftest-snp-verify.py`(正 1 + 负 8),进主闸门第 10 条。 - **框架侧补 `mpc.tee.platform`**:`tee plan` 现在告诉 guest 用哪个平台采证明。 - **KBS 补独立 `--pin`**:`MPC_KBS_PIN` 与 `--measurement` 解耦,缺省回落, 既有部署行为不变 —— 这是「度量 pin 那一关」唯一能被单独测到的姿势。 - **guest stdout 修复**:init 开头 mknod 真 `/dev/console` + `exec > ... 2>&1`; `run-guest.py` 加 `MPC_TEE_SERIAL_LOG` 换 chardev file 落盘。 - **负向矩阵**:新增 `snp-attest-negative.sh`(6 条),判据全部收紧到该关独有文案。 - **KBS 就绪判据**:`kbs-net.sh` 从「进程存活」改成「端口进 LISTEN」。 - **文档**:`TEE_DIRECT_LAUNCH.md` 新增 SNP 整节 + bug 1~9; `TEE_OCI_PATH.md` 补 SNP 侧与负向判据唯一性;新增 `INTEGRATION_ANALYSIS.md` 与 `OPTEE_VERIF_PLAN.md`;`ci.sh` 加 no_std 双守、TA UUID 对拍、SNP 自测。 ## 什么影响 - 真机(海光 CSV `192.168.1.102` + AMD SNP `192.168.1.7`)**双向跑通**, 两端用同一份 Rust 判定代码。 - SNP 正向 e2e 7/7、负向 6/6 全部真拒在各自关卡;`tools/ci.sh` 十条全绿。 - 三处真 bug 已修:guest stdout 全丢(`/dev/console` 是普通文件 + `-nographic`/`-serial stdio` 抢 stdio)、`MPC_KBS_PIN` 接口缺口、 负向判据不唯一(兜底分支导致假绿)。 - 边界不变:`attest-mkbundle` 仍是合成件,过不了芯片验签(仅自测用)。
410 lines
24 KiB
Markdown
410 lines
24 KiB
Markdown
# OCI 镜像层与 libkrun 的评估(2026-11-06)
|
||
|
||
## 结论
|
||
|
||
**采纳 OCI 作为镜像与分发格式,分两阶段推进;libkrun 暂不进入框架。**
|
||
|
||
先把三样东西拆开,才能看清它和「框架直接调度 TEE、不走编排层」这条铁律的关系:
|
||
|
||
| 概念 | 是什么 | 是否属于编排层 |
|
||
|---|---|---|
|
||
| OCI image spec | 镜像的分层格式 + manifest digest + registry 分发 | 否,只是物料格式 |
|
||
| libkrun | 嵌进宿主进程的 VMM 库(Rust/C API,Linux KVM / macOS HVF) | 否,属于执行层 |
|
||
| crun `krun` handler / krunvm | 把 OCI 镜像启成 microVM 的启动器 | 否,属于执行层 |
|
||
| Kata / Pod / runtimeClass / K8s scheduler | 容器编排与调度 | **是,仍然禁止** |
|
||
|
||
所以在框架层引入 OCI digest 与可插拔启动后端,不违反铁律;核心 crate 依旧不生成
|
||
容器清单、不设运行时类、不依赖集群调度器。
|
||
|
||
## 事实来源
|
||
|
||
- 上游 `containers/libkrun`:变体只有 `libkrun`(通用)、`libkrun-sev`(AMD SEV /
|
||
SEV-ES / **SEV-SNP** + 远程证明)、`libkrun-tdx`(Intel TDX);设备含 virtio-console /
|
||
block / fs / net / vsock / rng,网络有 TSI 与 virtio-net + passt/gvproxy 两种模式。
|
||
- 2.0 的 Guest Init Subsystem:静态 musl `init-binary` 作 PID 1,宿主侧 `init-blob`
|
||
用 `Builder::from_oci_json()` 吃 OCI spec,通过 virtio-fs overlay 注入 `/init.krun`
|
||
与 `/.krun_config.json`;SEV/TDX 路径另有 `mount_tee_block_device()` 把 root 切到块设备。
|
||
- 启动速度:`sandbox-bench`(2026-05,裸机 10 次冷启动)中位 libkrun/krunvm **310 ms**、
|
||
docker 463 ms、Firecracker 808 ms。这是普通 microVM 的进程冷启动,**不含 SNP 固件
|
||
`LAUNCH_*` 流程**。
|
||
- 安全模型原文:guest 与 VMM 属同一安全上下文,VMM 可代理宿主资源;
|
||
`virtio-fs` 不限制 guest 访问宿主其他目录,`TSI` 让 VMM 成为 guest 的网络代理。
|
||
- 真机只读探测(xop 凭据连 `192.168.1.7` / `192.168.1.102`):两台只有
|
||
`docker` / `runc` / `containerd`,`libkrun`、`libkrunfw-sev`、`krunvm`、`crun`、
|
||
`podman`、`buildah` 全部缺失。内网代码库也没有 libkrun / krunvm / crun 镜像,
|
||
分析基于上游公开资料。
|
||
|
||
## 三项价值对照现状
|
||
|
||
| 诉求 | 现状痛点 | OCI 带来的 |
|
||
|---|---|---|
|
||
| 分层打镜像 | 13 MB initrd 手工拼,改一次 `mpc` 整体重建、整体重分发,`measurement` 跟着变 | base / mpc / init 分层,只推变化层;manifest digest 天然可 pin,正好作 `SessionBinding.code_measurement` |
|
||
| 远程调度 | scp 分发镜像,无完整性锚点 | registry 按 digest 拉取;**选节点仍在框架**(与 Kuscia 的「框架决策、K8s 执行」一致),把决策交给 scheduler 就退回编排层 |
|
||
| 快速启动 | qemu direct boot 秒级 | libkrun 的 VMM 路径确实更快,但 SNP 固件启动度量是硬成本,**真机未实测,不承诺** |
|
||
|
||
## 四个硬约束
|
||
|
||
1. **度量边界**:libkrun 默认用 virtio-fs 把 rootfs 从宿主注入 guest,而 SNP 只度量
|
||
启动时载入的 guest 页 —— 这些层不在初始度量内。直接拿来跑 `mpc` 会把「代码度量」
|
||
这一环掏空。出路:SEV 路径的 TEE block device,或把 manifest / 层 digest 钉进
|
||
`user_data` 并在 guest init 逐层校验。本版选后者。
|
||
2. **海光 CSV 无对应变体**:CSV 是海光自研(国密、ASID 复用补丁、`HYGONCSV.fd`、
|
||
vmmcall 证明、CSV3 kernel-hashes + 秘密注入),没有 rust-vmm 兼容证据。
|
||
OCI/libkrun 最多覆盖 AMD,**海光必须保留已跑通的 qemu direct boot**。两个后端只能并列。
|
||
3. **现场缺件**:SEV 变体还要 `libkrunfw-sev` + OpenSSL headers;libkrun 2.0 主线
|
||
API/ABI 不兼容 1.x 且仍在变,生产要锁 `stable-*`。引入是实打实的装包与验证工作。
|
||
4. **TSI 网络**:默认让 VMM 代理 guest socket,跨 guest 的 MPC 通信需改用 virtio-net +
|
||
passt/gvproxy,或保留 socket 语义并在策略里显式声明。
|
||
|
||
## 采纳路线
|
||
|
||
**阶段一(本版已落地)**:只做镜像格式与度量契约,`deploy/tee/oci/oci-image.py` 用
|
||
Python 标准库生成 OCI image layout(不依赖现场缺失的容器运行时),`pack` 按层解包后
|
||
仍打成 initrd 交给**已跑通的 qemu 后端**。`measurement = manifest digest`,guest init
|
||
逐层校验 digest 并核对 cmdline 里的 manifest 值。AMD / 海光都覆盖,现场无需装新运行时。
|
||
|
||
**阶段二(评估后再做)**:在 `192.168.1.7` 装 `libkrunfw-sev` + `crun`/`krunvm`,实测
|
||
SNP guest 的证明链路与冷启动时间;达标后把 `LaunchSpec` 扩成后端枚举
|
||
(`QemuDirect` / `OciMicrovm`),框架层仍保持平台中立。海光继续走 `QemuDirect`。
|
||
|
||
## Kata 复核(2026-11-06 傍晚)
|
||
|
||
用户追问「用 Kata 会不会更简单,两台不是都装好了吗」。重新只读探测两台真机(xop
|
||
凭据 `tee_amd_7_*` / `tee_hg_102_*`):
|
||
|
||
| 项 | AMD 节点 192.168.1.7 | 海光节点 192.168.1.102 |
|
||
|---|---|---|
|
||
| `/opt/kata` | **存在**,含完整安装(15 个二进制,含 `qemu-system-x86_64-snp-experimental`、`containerd-shim-kata-v2`) | 不存在 |
|
||
| 挂进 containerd / docker 运行时? | 否(`docker info` Runtimes 仅 `runc`) | 否 |
|
||
| 内核 | `6.13.0-snp-guest` | `5.10.134-csv` |
|
||
| `/dev/sev` | 有 | 有(CSV 复用 sev 接口) |
|
||
|
||
结论:**「两台都装了」只对一半** —— 只有 AMD 那台有 Kata 二进制(且没挂进运行时),
|
||
海光那台压根没有;而且 Kata 上游只支持 SEV / SEV-ES / SEV-SNP / TDX,**没有海光
|
||
CSV**(cbitpos=47、`HYGONCSV.fd`、vmmcall 是海光自研)。102 上我们跑通的 CSV guest
|
||
是 **qemu direct boot**,不是 Kata。
|
||
|
||
会不会更简单?**不会整体更简单**:
|
||
1. 只在 AMD 那台有用,海光仍要 direct boot → 没省掉这套,反而多一个后端;
|
||
2. Kata 是重依赖(in-guest kata-agent + containerd shim + runtime-rs);
|
||
3. 它会接管度量/证明模型(自带 KBC),我们刚钉死的 `SessionBinding` 要迁进去,更复杂;
|
||
4. OCI 分层镜像这个真收益,不靠 Kata 也能拿(盖在 direct launch 上)。
|
||
|
||
**决策**:保持 OCI 打包 + direct launch(阶段一已落地),Kata 不引入;若 `.7` 上有
|
||
必须复用的 Kata 资产,可后续作为可选 AMD-only 后端,藏在同一 `LaunchSpec` 抽象后。
|
||
|
||
## 远程调度:e2b 协议参考
|
||
|
||
用户提示远程调度可考虑 e2b 协议。采纳为**接口形态参考**,不引入 e2b 依赖:
|
||
- e2b 的 spawn-by-spec 模式(提交 sandbox 规格 + 产物挂载 + 结果流回)正好对应本框架
|
||
的「框架发 TEE 启动规格(OCI digest + 会话绑定 + 节点约束)→ 选中的节点起加密
|
||
guest → 报告/结果回传」;
|
||
- 节点选择仍是框架决策(与 Kuscia「框架决策、K8s 执行」一致),不交给外部 scheduler;
|
||
- 本版 `mpc tee plan` 已产出 `LaunchSpec`/`qemu_argv`,后续把「按 digest 从 registry
|
||
拉 OCI 镜像 + 选节点 + 起 guest」包成 e2b 形态的调度 API 即可,核心 crate 仍零编排字样。
|
||
|
||
## 边界(别夸大)
|
||
|
||
- **运行期完整性校验 ≠ 芯片度量**:它防的是分发/拉取过程中**活文件**被替换。
|
||
能同时改掉 initrd 里 `/init` 与校验清单的宿主不在防御范围内;启动镜像的
|
||
硬件度量要靠 SNP/CSV 证明体系。
|
||
(2026-11-07 补:原先只校验 `layers.sha256`,而它覆盖的是 blobs 下的**证据
|
||
副本**,真正执行的活文件不在范围内 —— 已改成从 cmdline 的 PIN 逐跳推导到
|
||
活文件逐个校验,见 `docs/TEE_DIRECT_LAUNCH.md` 的「运行期完整性链」一节。)
|
||
- **`deploy/tee/kbs/serve.py` 仍是演练级实现,不是 Trustee**:它**现在会校验芯片证明**
|
||
(2026-11-07 补齐,见下节「先验证明,才给密钥」),但 token 是**进程内登记簿**、
|
||
`MPC_KBS_TOKEN_KEY` 缺省时退化为明文 digest、生产该换成真正的 Trustee / KBS 与
|
||
共享 token 存储。**判定口径已是生产级的,密钥服务本身还不是。**
|
||
- **框架仍不实现 ECDSA / 证书链验签**:`mpc-tee::bundle` 做结构检查、会话绑定复核与
|
||
度量 pin,芯片签名交给可插拔的外部验签器(海光用官方 `verify-attestation`,
|
||
外面套一层自研 wrapper 堵它四个坑)。**没有验签器时结论必须显式写「未验证」,
|
||
绝不能默认通过** —— KBS 严格模式下缺验签器一律拒发密钥。
|
||
- OCI 层是物料格式,不是调度器;框架不因此获得「远程调度」能力,只获得可校验的
|
||
镜像分发锚点。
|
||
|
||
## ★ 先验证明,才给密钥(2026-11-07)
|
||
|
||
OCI 流水线解决的是「**送进 guest 的是这个镜像**」,KBS 解决的是「**这个 guest 配不配拿
|
||
密钥**」—— 两者缺一,密钥服务就成了「谁问都给」。
|
||
|
||
```
|
||
guest 向芯片要报告(CSV ioctl / SNP ioctl)
|
||
→ 打包成证明包 bundle(报告 + 证书链 + 绑定值)
|
||
→ POST /kbs/v0/attestation 给 KBS
|
||
→ KBS 调用「与验证方同一份」Rust 代码判定(mpc tee attest-check)
|
||
→ 通过才签发 token(绑定 session + bundle digest,有 TTL)
|
||
→ 凭 token 调 /kbs/v0/resource/<repo>/<kind>/<tag> 取 PSK / seed / root-key
|
||
```
|
||
|
||
### 判定口径只有一份
|
||
|
||
KBS 是 Python,但**不重写证明判定** —— 它调用 `mpc tee attest-check`(Rust 判定引擎,
|
||
`crates/mpc-tee/src/bundle.rs`),Python 只负责搬字节和看退出码
|
||
(0 = 通过 / 1 = 不通过 / 2 = 用法错误)。
|
||
|
||
这条是硬要求:**验证方(`mpc tee verify`)与放行方(KBS)必须用同一份判定**。
|
||
一旦两边各写一套,迟早分叉,分叉处就是能拿密钥的洞。
|
||
|
||
### 判定五关(全部 fail-closed)
|
||
|
||
| 关 | 挡什么 | 不过的后果 |
|
||
|---|---|---|
|
||
| 平台一致 + 按布局解析报告 | 拿 SNP 报告冒充 CSV、结构错乱 | 拒 |
|
||
| **重算**绑定值与报告内 `user_data` 比对 | 重放旧报告 | 拒 |
|
||
| 度量 pin 一致且已 pin | 跑的不是被允许的镜像 | 拒 |
|
||
| TCB 门槛 | 固件版本过低 | 拒 |
|
||
| 芯片签名(外部验签器) | 报告是伪造的 | 拒 |
|
||
|
||
绑定值重算是**关键**:只比「证明包自称的 `user_data`」等于放行,等于拿攻击者自己
|
||
提供的值当基准,重放就过了。
|
||
|
||
### `--tcb` vs `--min-tcb`(语义分离,别混)
|
||
|
||
- `--tcb` = 节点**实际** TCB,参与绑定值计算 `sha256(domain || measurement || platform_tag || tcb)`;
|
||
- `--min-tcb` = **门槛**,只做准入比较。
|
||
|
||
漏传 `--tcb` → 用 `tcb=0` 重算 → 报「`user_data` 与本次会话绑定不一致」——
|
||
这是把**参数漏填**报成**重放攻击**的误导性结论,排查方向直接被带偏。
|
||
`mpc tee verify` 已加 `--node`:site / measurement / tcb / platform 默认与
|
||
`mpc tee plan` 同源,节点平台与 `--platform` 冲突直接拒绝。
|
||
|
||
### 五道防「`tee` 坑」的闸
|
||
|
||
判定命令拼成 `[mpc, "tee", "attest-check", ...]`。`mpc` 为空或拼错时 `tee` 会落到
|
||
argv[0] → 执行**系统 `tee`** → 它把每个非选项参数都当文件名创建,**并且成功退出**
|
||
(本轮实测在仓库根目录撒了 15 个垃圾文件)。若判定退化成「不报错就算过」就是**假绿**。
|
||
|
||
KBS 侧因此加五道闸:
|
||
|
||
1. 启动时校验 `--mpc` 必须是**存在的可执行文件**(否则拒绝启动);
|
||
2. 判定在**独立工作目录**里跑(不在仓库根目录留垃圾);
|
||
3. `stdin=DEVNULL` —— 系统 `tee` 会等 stdin 到 EOF 才退出,继承来的 stdin 可能永远
|
||
不 EOF,判定进程挂死(自测实测命中);
|
||
4. 判定超时上限(`ATTEST_TIMEOUT = 30` 秒),卡住不拖垮整个 KBS;
|
||
5. 输出必须是**含 `ok` + `verdict` 两个字段的判定结论** —— 「恰好也是合法 JSON 的
|
||
别的东西」不算结论。
|
||
|
||
另外「芯片签名未验证」在严格模式下**一律拒发**,不是警告。
|
||
|
||
### 探针必须自己验灵敏度
|
||
|
||
「收紧检测 → 误报变多 → 放宽判据 → **假绿**」是同一条曲线上的三个点。改完闸门
|
||
必须用**已知有问题的探针**回归,确认检测还能报出来。
|
||
|
||
本轮就出现过一次**探针假绿**:负向探针输出的 `{"ok":true}` 被「芯片验签」那道闸
|
||
先拦掉 —— 探针测的不是它声称测的闸。修法:让探针伪装成**完整的通过结论**
|
||
(`ok=true` 且 `chip=verified`),只缺 `verdict`,这样它只会被「结论结构校验」挡住。
|
||
再次 sabotage 验证:该探针真实变红。
|
||
|
||
### 真机结果(`192.168.1.102`,海光 CSV)
|
||
|
||
正向 `deploy/tee/real-machine/kbc-attest-e2e.sh` 7/7 全绿:
|
||
|
||
```
|
||
attestation_collect: ok ← guest 从 /dev/csv-guest 采到真实 CSV 报告
|
||
attestation_post: ok ← KBS 验过并签发 token
|
||
key_source=kbs ← 凭 token 才取到密钥
|
||
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
|
||
chip=verified-by:.../csv-verify-attestation.sh
|
||
verdict=结构、会话绑定与芯片签名全部通过
|
||
```
|
||
|
||
**正向通过只说明闸门没把所有人挡在门外**;负向通过才说明闸门**认得谁该放行**。
|
||
负向矩阵见 `docs/TEE_DIRECT_LAUNCH.md`(CSV 6 条 + SNP 6 条,全部真拒在各自关卡)。
|
||
|
||
> ★ 负向判据的唯一性:每条用例的期望正则必须**只命中自己那份日志**。
|
||
> 判据里留「兜底分支」(`|X`、`TCB` 这类泛化单词)就等于退化成「有没有被拒」,
|
||
> 换个原因被拒也会判通过 —— 这是比「没测」更隐蔽的假绿。
|
||
> 实测踩过:`badsite` 写成 `站点|site|绑定不一致`,前两个词 KBS 文案里根本不存在。
|
||
|
||
### 边界(这条链还没做到什么)
|
||
|
||
- **SNP 报告采集与芯片验签已于 2026-11-07 补齐**(见下节「AMD SNP 侧」),
|
||
本条**已过时**。SNP 侧现在也是端到端跑通的,不再只覆盖 CSV 路径。
|
||
- **token 无状态化**:`v1.<session>.<digest[:32]>.<expires>.<mac[:32]>`,
|
||
HMAC-SHA256 + 常量时间比较,重启不失效、可跨实例(不再是进程内 dict)。
|
||
- **`MPC_KBS_TOKEN_KEY` 缺省 → KBS 拒绝启动**(缺密钥就既签不出 token
|
||
也验不了 token,这是有意的 fail-closed)。演练用每次运行随机生成的临时密钥。
|
||
- **KBS 内建 TLS**:TLS 1.2+,无证书拒绝启动。明文 HTTP 模式仍保留给演练。
|
||
- **`mpc tee attest-mkbundle` 造的是合成证明包**,过不了芯片验签 —— 只能自测用。
|
||
|
||
## AMD SNP 侧(2026-11-07 补齐,`192.168.1.7`)
|
||
|
||
CSV 的报告自带签名与完整证书链(hrk→hsk→cek→pek),官方工具一把验完。
|
||
SNP 报告**不带证书链** —— 只有一颗 ECDSA P-384 签名和 CHIP_ID,
|
||
证书链必须另行向 **AMD KDS** 取。所以 SNP 侧多了一条「取证 → 验签」链路。
|
||
|
||
### ★ AMD ABI 三个硬事实(权威出处:`virtee/sev`)
|
||
|
||
| # | 事实 | 踩错的症状 |
|
||
|---|---|---|
|
||
| 1 | 签名布局 = `r[72] + s[72]`,各为**小端标量**(`ecdsa/mod.rs`:`BigNum::from_le`) | 按 WebCrypto 的 48+48 大端切 → 全部验不过 |
|
||
| 2 | 被签名区间 = `report[0 : 0x2A0]`("bytes 0 to 0x29F inclusive") | 签错区间 → 验不过 |
|
||
| 3 | KDS 的 SPL 来自报告的 **`current_tcb`@0x038**,legacy 布局 `[bl,tee,0,0,0,0,snp,ucode]` | 推错 SPL → 取到别的 VCEK |
|
||
|
||
第 1 条是本轮最大的坑:38/144/16 个候选 VCEK 全失败,根因就是按浏览器
|
||
WebCrypto 的格式猜布局 —— **那不是 AMD ABI 的原生布局**。
|
||
|
||
### ★ KDS 的 SPL 必须是十进制两位
|
||
|
||
```
|
||
GET /vcek/v1/{product}/{hwID}?blSPL=04&teeSPL=00&snpSPL=22&ucodeSPL=213
|
||
```
|
||
|
||
- `hwID` = 报告 `CHIP_ID`(@0x1A0 起 64 字节)的**十六进制串**(128 字符);
|
||
- **SPL 参数用十进制两位**(官方 `{:02}`)。传十六进制 → **KDS 返回 400**。
|
||
同一个 URL 里两种进制,别弄反。
|
||
|
||
真机实测 `current_tcb` = `04 00 00 00 00 00 16 d5`
|
||
→ blSPL=4 / teeSPL=0 / snpSPL=22 / ucodeSPL=213。
|
||
验签算法:**ECDSA P-384 + SHA-384**。
|
||
|
||
### 实现与闸门
|
||
|
||
- `deploy/tee/real-machine/snp-verify-attestation.sh` —— 固化成框架
|
||
`ExternalVerifier` 契约;联网取到的证书**缓存回 chain-dir**,可离线复用。
|
||
- `deploy/tee/real-machine/selftest-snp-verify.py` —— 离线自测
|
||
**正向 1 + 负向 8**(篡改 report_data / measurement / 签名 / 截断报告 /
|
||
篡改 CHIP_ID / 缺 VCEK / 缺 ARK / ARK-ASK 换位)。CI 第 10 条即此。
|
||
- `deploy/tee/real-machine/fixtures/snp/` —— 真机报告 + ARK/ASK/VCEK,
|
||
全是 AMD **公开发布的信任材料,不含私钥**。
|
||
|
||
### 真机端到端结果(7/7 全绿)
|
||
|
||
```
|
||
attestation_collect: platform=snp
|
||
attestation_collect: ok ← guest 从 /dev/sev-guest 采到真实 SNP 报告
|
||
attestation_post: ok ← KBS 验过(含芯片签名)并签发 token
|
||
key_source=kbs ← 凭 token 才取到密钥
|
||
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
|
||
chip=verified-by:.../snp-verify-attestation.sh
|
||
verdict=结构、会话绑定与芯片签名全部通过
|
||
```
|
||
|
||
至此 **SNP 与 CSV 两条平台的「先验证明才给密钥」都已在真机双向跑通**,
|
||
两端用的是**同一份** Rust 判定代码。
|
||
|
||
### ★ 本轮最迷惑的一个坑:guest 成功了,但采集端一行日志都收不到
|
||
|
||
e2e 脚本 4 条判据全红,而 KBS 日志里明明是 `attestation 200` +
|
||
三个资源 `200` —— **guest 其实早已成功**。
|
||
|
||
两个叠加的原因:
|
||
|
||
1. **`/dev/console` 在 initramfs 里是普通文件**。内核 exec `/init` 时把
|
||
fd 0/1/2 接到它,于是 init 的所有 `echo` 写进了那个普通文件。
|
||
内核 printk 走 console driver 不受影响 → **内核日志正常、init 日志全无**,
|
||
看起来像「init 没跑起来」。
|
||
2. **qemu 的 `-nographic` + `-serial stdio` 抢同一个 stdio**
|
||
(框架 argv 里两者并存)→ 两个前端抢一个 stdio。
|
||
|
||
**诊断钥匙**:`die()` 里是 `echo "MPC_FAIL:" > /dev/console` ——
|
||
它**重新打开**了 `/dev/console`,拿到真字符设备,所以**能看到**;
|
||
而 init 的 `echo` 走**继承来的 fd 1**,指向旧文件,**看不到**。
|
||
这个「die() 能看到、正常输出看不到」的矛盾,一眼就指向 fd 绑错了。
|
||
|
||
修法(都不动框架的启动规格):
|
||
|
||
- `deploy/tee/guest/init.sh` 开头确保 `/dev/console` 是真字符设备(5:1),
|
||
然后 **`exec > /dev/console 2>&1`** 重新绑定 stdout
|
||
(内核绑的是 exec 之前那一刻的 fd,光换文件不够)。
|
||
- `deploy/tee/real-machine/run-guest.py` 新增 `MPC_TEE_SERIAL_LOG`,
|
||
串口换 **chardev file 后端**落盘,采集端读文件。
|
||
|
||
**教训**:「采集端什么都没收到」≠「被测对象没跑」。先看**另一侧的日志**
|
||
(KBS 侧)确认对象状态,再倒推采集链路 —— 否则会把「采集坏了」
|
||
误判成「功能没实现」。
|
||
|
||
### 框架侧补的一处真实缺口
|
||
|
||
`tee plan` 必须告诉 guest **用哪个平台采证明**:guest init 从内核命令行读
|
||
`mpc.tee.platform`,缺省猜 `csv` → AMD 机器上表现为
|
||
`打开 /dev/csv-guest 失败`(症状像驱动问题,实际是启动参数少一项)。
|
||
已在 `crates/mpc-tee/src/schedule.rs::admit()` 追加该参数,并加回归测试
|
||
`launch_spec_tells_guest_which_platform_to_collect_from` 钉死防串台。
|
||
|
||
## 真机跑通记要(2026-11-06 后续,`192.168.1.102`)
|
||
|
||
三个此前只存在于纸面的环节现在有真机证据了:
|
||
|
||
- **`build → verify → pack` 三步在真机跑通**,`manifest_digest` 同时是
|
||
`SessionBinding.code_measurement`。guest init 先逐层校验 digest,再核对
|
||
cmdline 里的 manifest,两者都过才启动 mpc。
|
||
- **base 层不允许含密钥物料**:`oci-image.py build` 会扫 base rootfs 里的
|
||
`psk` / `seed` / `root-key` 等文件,命中即 `sys.exit(3)` —— **宁可误报也不放过**。
|
||
真机上验证过:base 里放 `psk`/`seed` 时构建直接拒绝(rc=3)。
|
||
- **在线 KBC 真机跑通**:`key_source=kbs`(密钥由 KBS 按会话下发,镜像里没有明文)。
|
||
|
||
打包成 initrd 时踩到的三个坑(详见 `docs/TEE_DIRECT_LAUNCH.md` 同节):
|
||
|
||
1. `tar_from_files` 把 `init` 打成**目录** → `Failed to execute /init (error -13)`;
|
||
2. `cpio_newc` 把设备节点写成**普通文件** → guest 没有控制台,init 输出全丢;
|
||
3. newc 的 `rdevmajor/rdevminor` 字段填错(同一个 rdev 填了两遍)。
|
||
|
||
这三类 bug 的共同特征:**构建与校验全绿,但产物在真机上不能用**。
|
||
镜像流水线必须以真机 direct boot 收尾,不能只看 `verified=ok`。
|
||
|
||
## ★ 完整性链的真 bug(2026-11-07)
|
||
|
||
上面三个坑修完后,**负向矩阵**又挖出一个更根本的问题:`layers.sha256`
|
||
覆盖的是 `etc/mpc-tee/oci/blobs/` 下的**惰性证据副本**,而真正被执行的
|
||
`/init`、`/mpc` 是解层后合成的**活内容**,根本不在校验范围内。
|
||
|
||
真机实测:把 initrd 里的 `/mpc` 改掉一个字节 → guest 照样打印
|
||
`oci_layers: verified`,一路跑到 KBS 取密钥。
|
||
|
||
**仍然是同一个病根**:构建与校验全绿,但那份「全绿」证明的东西与真正被执行的
|
||
东西无关。
|
||
|
||
修复后信任根单一、逐跳推导:
|
||
|
||
```
|
||
cmdline 的 mpc.tee.manifest (PIN,= OCI manifest digest)
|
||
→ sha256(/etc/mpc-tee/oci/manifest.json)
|
||
→ manifest.annotations: mpc.tee.rootfs-files-digest / rootfs-links-digest
|
||
→ sha256(rootfs.sha256) / sha256(rootfs.links)
|
||
→ sha256sum -c → /init /mpc /bin/... 逐个校验
|
||
```
|
||
|
||
框架 pin 的 `code_measurement` 参与 `user_data` 计算 → **这条链的信任根与
|
||
芯片证明是同一个**。
|
||
|
||
实现上有个刻意选择:`rootfs_state_from_layers()` **直接从各层 tar 字节**算
|
||
活 rootfs 的文件级状态,不解包。原因有二:① 解包要 mknod 设备节点(要 root),
|
||
本地 macOS 上跑不了;② 更要紧的是**解包再扫 = 两份实现**,build 与 pack 一旦
|
||
理解分叉,清单就与产物对不上,而这种不一致只会在真机上表现为「校验莫名失败」。
|
||
直接从层内容算,两边共用同一函数,天然一致。
|
||
|
||
回归测试:`deploy/tee/oci/selftest-chain.py`(本地可跑,`python3` 直接执行)。
|
||
|
||
## ★ 同源病根的第二个面:流水线自证(2026-11-07)
|
||
|
||
上一节修的是「guest 校验的到底是不是活内容」。这一节是更靠前的一层:
|
||
**打包出来的 initrd 是不是这次镜像的产物**。
|
||
|
||
真机实测现象:
|
||
|
||
```
|
||
cmdline 的 manifest = 41d93d38… ← 本次 build
|
||
initrd 内嵌的 digest = 33c3bc79… ← 上一轮的 initrd
|
||
```
|
||
|
||
guest 报「manifest 不一致」,看起来像度量校验坏了 —— 实际镜像侧完全正常。
|
||
|
||
三个原因叠加,**每一个单独都足以造成这种错配**:
|
||
|
||
1. `pack ... | grep -v RuntimeWarning` —— 管道退出码取的是 **grep** 的,
|
||
`pack` 失败被静默吞掉(POSIX shell 里 `set -e` 对管道只查最后一条)。
|
||
2. 并发实例共用同一个远端目录 → `image/` 与 `initrd.img` 来自不同轮次。
|
||
**流水线自己发现不了** —— build / verify / pack 每一步单独看都是绿的。
|
||
3. 脚本运行期间被编辑 → bash 按字节偏移重读,注释被当命令执行。
|
||
|
||
修复:`pack` 打完 initrd 后**回读它**,核对内嵌 digest / rootfs 清单 /
|
||
manifest.json 三者,任一不符直接失败并打印 `selfcheck=ok`。
|
||
脚本层另加:独立远端目录 / 网段 / tap、本机 `mkdir` 原子锁
|
||
(**macOS 没有 `flock`**)、pack 的 stderr 不放管道右侧。
|
||
|
||
这与上一节是**同一个病根的两个面**:都是「校验通过 ≠ 校验的是对的东西」。
|
||
所以 `pack` 的自证和 guest 侧的活文件校验**缺一不可** ——
|
||
前者保证「送进 guest 的是这个镜像」,后者保证「guest 跑的是这个镜像里的活内容」。
|