feat(tee): KBS 客户端 + 证明结构校验,OCI 打包与真机编排资产入仓

- mpc-tee 新增 kbs.rs(最小 HTTP/1.1 KBS 客户端 + fail-closed 校验 + KbsKeySource 替代内置 PSK)、verify.rs(SNP 报告结构解析 + 可插拔外部芯片验签器 + verify_attestation 显式区分「芯片签名未验证」)。
- mpc-cli 新增 mpc tee verify / mpc tee kbs-get 子命令。
- catalog.rs 补 verify/kbs 模块到 TEE 直接调度段并加回归断言(清单铁律)。
- deploy/tee 新增 oci/(分层镜像构建)、kbs/(serve stub)、guest/(init)、real-machine/(跨机双 guest 编排);docs/TEE_OCI_PATH.md 记录 Kata 实测复核(仅 AMD 有、海光无且不支持 CSV,不引入)与 e2b 远程调度接口参考。
- 影响:密钥经 KBS 注入(不再内置明文 PSK),证明结论如实区分结构与芯片验签;远程调度走 OCI digest + 框架选节点,不引入 Kata/e2b 依赖。
- 测试:./tools/ci.sh 四道全绿;mpc-tee 单测 73→86。
This commit is contained in:
admin committed 2026-11-06 19:33:53 +08:00
1 parent 783761cb26
commit 5dec915185
16 files changed
+2321 -2

No files matched your search

+115
View File
@@ -0,0 +1,115 @@
# OCI 镜像层与 libkrun 的评估(2026-11-06)
## 结论
**采纳 OCI 作为镜像与分发格式,分两阶段推进;libkrun 暂不进入框架。**
先把三样东西拆开,才能看清它和「框架直接调度 TEE、不走编排层」这条铁律的关系:
| 概念 | 是什么 | 是否属于编排层 |
|---|---|---|
| OCI image spec | 镜像的分层格式 + manifest digest + registry 分发 | 否,只是物料格式 |
| libkrun | 嵌进宿主进程的 VMM 库(Rust/C API,Linux KVM / macOS HVF) | 否,属于执行层 |
| crun `krun` handler / krunvm | 把 OCI 镜像启成 microVM 的启动器 | 否,属于执行层 |
| Kata / Pod / runtimeClass / K8s scheduler | 容器编排与调度 | **是,仍然禁止** |
所以在框架层引入 OCI digest 与可插拔启动后端,不违反铁律;核心 crate 依旧不生成
容器清单、不设运行时类、不依赖集群调度器。
## 事实来源
- 上游 `containers/libkrun`:变体只有 `libkrun`(通用)、`libkrun-sev`(AMD SEV /
SEV-ES / **SEV-SNP** + 远程证明)、`libkrun-tdx`(Intel TDX);设备含 virtio-console /
block / fs / net / vsock / rng,网络有 TSI 与 virtio-net + passt/gvproxy 两种模式。
- 2.0 的 Guest Init Subsystem:静态 musl `init-binary` 作 PID 1,宿主侧 `init-blob`
用 `Builder::from_oci_json()` 吃 OCI spec,通过 virtio-fs overlay 注入 `/init.krun`
与 `/.krun_config.json`;SEV/TDX 路径另有 `mount_tee_block_device()` 把 root 切到块设备。
- 启动速度:`sandbox-bench`(2026-05,裸机 10 次冷启动)中位 libkrun/krunvm **310 ms**、
docker 463 ms、Firecracker 808 ms。这是普通 microVM 的进程冷启动,**不含 SNP 固件
`LAUNCH_*` 流程**。
- 安全模型原文:guest 与 VMM 属同一安全上下文,VMM 可代理宿主资源;
`virtio-fs` 不限制 guest 访问宿主其他目录,`TSI` 让 VMM 成为 guest 的网络代理。
- 真机只读探测(xop 凭据连 `192.168.1.7` / `192.168.1.102`):两台只有
`docker` / `runc` / `containerd`,`libkrun`、`libkrunfw-sev`、`krunvm`、`crun`、
`podman`、`buildah` 全部缺失。内网代码库也没有 libkrun / krunvm / crun 镜像,
分析基于上游公开资料。
## 三项价值对照现状
| 诉求 | 现状痛点 | OCI 带来的 |
|---|---|---|
| 分层打镜像 | 13 MB initrd 手工拼,改一次 `mpc` 整体重建、整体重分发,`measurement` 跟着变 | base / mpc / init 分层,只推变化层;manifest digest 天然可 pin,正好作 `SessionBinding.code_measurement` |
| 远程调度 | scp 分发镜像,无完整性锚点 | registry 按 digest 拉取;**选节点仍在框架**(与 Kuscia 的「框架决策、K8s 执行」一致),把决策交给 scheduler 就退回编排层 |
| 快速启动 | qemu direct boot 秒级 | libkrun 的 VMM 路径确实更快,但 SNP 固件启动度量是硬成本,**真机未实测,不承诺** |
## 四个硬约束
1. **度量边界**:libkrun 默认用 virtio-fs 把 rootfs 从宿主注入 guest,而 SNP 只度量
启动时载入的 guest 页 —— 这些层不在初始度量内。直接拿来跑 `mpc` 会把「代码度量」
这一环掏空。出路:SEV 路径的 TEE block device,或把 manifest / 层 digest 钉进
`user_data` 并在 guest init 逐层校验。本版选后者。
2. **海光 CSV 无对应变体**:CSV 是海光自研(国密、ASID 复用补丁、`HYGONCSV.fd`、
vmmcall 证明、CSV3 kernel-hashes + 秘密注入),没有 rust-vmm 兼容证据。
OCI/libkrun 最多覆盖 AMD,**海光必须保留已跑通的 qemu direct boot**。两个后端只能并列。
3. **现场缺件**:SEV 变体还要 `libkrunfw-sev` + OpenSSL headers;libkrun 2.0 主线
API/ABI 不兼容 1.x 且仍在变,生产要锁 `stable-*`。引入是实打实的装包与验证工作。
4. **TSI 网络**:默认让 VMM 代理 guest socket,跨 guest 的 MPC 通信需改用 virtio-net +
passt/gvproxy,或保留 socket 语义并在策略里显式声明。
## 采纳路线
**阶段一(本版已落地)**:只做镜像格式与度量契约,`deploy/tee/oci/oci-image.py` 用
Python 标准库生成 OCI image layout(不依赖现场缺失的容器运行时),`pack` 按层解包后
仍打成 initrd 交给**已跑通的 qemu 后端**。`measurement = manifest digest`,guest init
逐层校验 digest 并核对 cmdline 里的 manifest 值。AMD / 海光都覆盖,现场无需装新运行时。
**阶段二(评估后再做)**:在 `192.168.1.7` 装 `libkrunfw-sev` + `crun`/`krunvm`,实测
SNP guest 的证明链路与冷启动时间;达标后把 `LaunchSpec` 扩成后端枚举
(`QemuDirect` / `OciMicrovm`),框架层仍保持平台中立。海光继续走 `QemuDirect`。
## Kata 复核(2026-11-06 傍晚)
用户追问「用 Kata 会不会更简单,两台不是都装好了吗」。重新只读探测两台真机(xop
凭据 `tee_amd_7_*` / `tee_hg_102_*`):
| 项 | AMD 节点 192.168.1.7 | 海光节点 192.168.1.102 |
|---|---|---|
| `/opt/kata` | **存在**,含完整安装(15 个二进制,含 `qemu-system-x86_64-snp-experimental`、`containerd-shim-kata-v2`) | 不存在 |
| 挂进 containerd / docker 运行时? | 否(`docker info` Runtimes 仅 `runc`) | 否 |
| 内核 | `6.13.0-snp-guest` | `5.10.134-csv` |
| `/dev/sev` | 有 | 有(CSV 复用 sev 接口) |
结论:**「两台都装了」只对一半** —— 只有 AMD 那台有 Kata 二进制(且没挂进运行时),
海光那台压根没有;而且 Kata 上游只支持 SEV / SEV-ES / SEV-SNP / TDX,**没有海光
CSV**(cbitpos=47、`HYGONCSV.fd`、vmmcall 是海光自研)。102 上我们跑通的 CSV guest
是 **qemu direct boot**,不是 Kata。
会不会更简单?**不会整体更简单**:
1. 只在 AMD 那台有用,海光仍要 direct boot → 没省掉这套,反而多一个后端;
2. Kata 是重依赖(in-guest kata-agent + containerd shim + runtime-rs);
3. 它会接管度量/证明模型(自带 KBC),我们刚钉死的 `SessionBinding` 要迁进去,更复杂;
4. OCI 分层镜像这个真收益,不靠 Kata 也能拿(盖在 direct launch 上)。
**决策**:保持 OCI 打包 + direct launch(阶段一已落地),Kata 不引入;若 `.7` 上有
必须复用的 Kata 资产,可后续作为可选 AMD-only 后端,藏在同一 `LaunchSpec` 抽象后。
## 远程调度:e2b 协议参考
用户提示远程调度可考虑 e2b 协议。采纳为**接口形态参考**,不引入 e2b 依赖:
- e2b 的 spawn-by-spec 模式(提交 sandbox 规格 + 产物挂载 + 结果流回)正好对应本框架
的「框架发 TEE 启动规格(OCI digest + 会话绑定 + 节点约束)→ 选中的节点起加密
guest → 报告/结果回传」;
- 节点选择仍是框架决策(与 Kuscia「框架决策、K8s 执行」一致),不交给外部 scheduler;
- 本版 `mpc tee plan` 已产出 `LaunchSpec`/`qemu_argv`,后续把「按 digest 从 registry
拉 OCI 镜像 + 选节点 + 起 guest」包成 e2b 形态的调度 API 即可,核心 crate 仍零编排字样。
## 边界(别夸大)
- **层 digest 校验 ≠ 芯片度量**:它防的是分发/拉取过程中层被替换。能同时改 initrd 里
`/init` 与校验清单的宿主不在防御范围内;启动镜像的硬件度量要靠 SNP/CSV 证明体系。
- **`deploy/tee/kbs/serve.py` 是演练 stub**:只检查 session 与占位 token,不是 Trustee/KBS,
**不做芯片证明校验**。生产必须换成验证过报告与证书链后才下发密钥的 KBS。
- **框架仍不实现 ECDSA / 证书链验签**:`mpc-tee::verify` 做结构检查与会话绑定复核,
芯片签名交给可插拔的外部验签器;结论里必须显式标注「芯片签名未验证」。
- OCI 层是物料格式,不是调度器;框架不因此获得「远程调度」能力,只获得可校验的
镜像分发锚点。