Files
ssw-mpc/docs/TEE_OCI_PATH.md
T
admin 5dec915185 feat(tee): KBS 客户端 + 证明结构校验,OCI 打包与真机编排资产入仓
- mpc-tee 新增 kbs.rs(最小 HTTP/1.1 KBS 客户端 + fail-closed 校验 + KbsKeySource 替代内置 PSK)、verify.rs(SNP 报告结构解析 + 可插拔外部芯片验签器 + verify_attestation 显式区分「芯片签名未验证」)。
- mpc-cli 新增 mpc tee verify / mpc tee kbs-get 子命令。
- catalog.rs 补 verify/kbs 模块到 TEE 直接调度段并加回归断言(清单铁律)。
- deploy/tee 新增 oci/(分层镜像构建)、kbs/(serve stub)、guest/(init)、real-machine/(跨机双 guest 编排);docs/TEE_OCI_PATH.md 记录 Kata 实测复核(仅 AMD 有、海光无且不支持 CSV,不引入)与 e2b 远程调度接口参考。
- 影响:密钥经 KBS 注入(不再内置明文 PSK),证明结论如实区分结构与芯片验签;远程调度走 OCI digest + 框架选节点,不引入 Kata/e2b 依赖。
- 测试:./tools/ci.sh 四道全绿;mpc-tee 单测 73→86。
2026-11-06 19:33:53 +08:00

116 lines
7.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# OCI 镜像层与 libkrun 的评估(2026-11-06)
## 结论
**采纳 OCI 作为镜像与分发格式,分两阶段推进;libkrun 暂不进入框架。**
先把三样东西拆开,才能看清它和「框架直接调度 TEE、不走编排层」这条铁律的关系:
| 概念 | 是什么 | 是否属于编排层 |
|---|---|---|
| OCI image spec | 镜像的分层格式 + manifest digest + registry 分发 | 否,只是物料格式 |
| libkrun | 嵌进宿主进程的 VMM 库(Rust/C API,Linux KVM / macOS HVF) | 否,属于执行层 |
| crun `krun` handler / krunvm | 把 OCI 镜像启成 microVM 的启动器 | 否,属于执行层 |
| Kata / Pod / runtimeClass / K8s scheduler | 容器编排与调度 | **是,仍然禁止** |
所以在框架层引入 OCI digest 与可插拔启动后端,不违反铁律;核心 crate 依旧不生成
容器清单、不设运行时类、不依赖集群调度器。
## 事实来源
- 上游 `containers/libkrun`:变体只有 `libkrun`(通用)、`libkrun-sev`(AMD SEV /
SEV-ES / **SEV-SNP** + 远程证明)、`libkrun-tdx`(Intel TDX);设备含 virtio-console /
block / fs / net / vsock / rng,网络有 TSI 与 virtio-net + passt/gvproxy 两种模式。
- 2.0 的 Guest Init Subsystem:静态 musl `init-binary` 作 PID 1,宿主侧 `init-blob`
用 `Builder::from_oci_json()` 吃 OCI spec,通过 virtio-fs overlay 注入 `/init.krun`
与 `/.krun_config.json`;SEV/TDX 路径另有 `mount_tee_block_device()` 把 root 切到块设备。
- 启动速度:`sandbox-bench`(2026-05,裸机 10 次冷启动)中位 libkrun/krunvm **310 ms**、
docker 463 ms、Firecracker 808 ms。这是普通 microVM 的进程冷启动,**不含 SNP 固件
`LAUNCH_*` 流程**。
- 安全模型原文:guest 与 VMM 属同一安全上下文,VMM 可代理宿主资源;
`virtio-fs` 不限制 guest 访问宿主其他目录,`TSI` 让 VMM 成为 guest 的网络代理。
- 真机只读探测(xop 凭据连 `192.168.1.7` / `192.168.1.102`):两台只有
`docker` / `runc` / `containerd`,`libkrun`、`libkrunfw-sev`、`krunvm`、`crun`、
`podman`、`buildah` 全部缺失。内网代码库也没有 libkrun / krunvm / crun 镜像,
分析基于上游公开资料。
## 三项价值对照现状
| 诉求 | 现状痛点 | OCI 带来的 |
|---|---|---|
| 分层打镜像 | 13 MB initrd 手工拼,改一次 `mpc` 整体重建、整体重分发,`measurement` 跟着变 | base / mpc / init 分层,只推变化层;manifest digest 天然可 pin,正好作 `SessionBinding.code_measurement` |
| 远程调度 | scp 分发镜像,无完整性锚点 | registry 按 digest 拉取;**选节点仍在框架**(与 Kuscia 的「框架决策、K8s 执行」一致),把决策交给 scheduler 就退回编排层 |
| 快速启动 | qemu direct boot 秒级 | libkrun 的 VMM 路径确实更快,但 SNP 固件启动度量是硬成本,**真机未实测,不承诺** |
## 四个硬约束
1. **度量边界**:libkrun 默认用 virtio-fs 把 rootfs 从宿主注入 guest,而 SNP 只度量
启动时载入的 guest 页 —— 这些层不在初始度量内。直接拿来跑 `mpc` 会把「代码度量」
这一环掏空。出路:SEV 路径的 TEE block device,或把 manifest / 层 digest 钉进
`user_data` 并在 guest init 逐层校验。本版选后者。
2. **海光 CSV 无对应变体**:CSV 是海光自研(国密、ASID 复用补丁、`HYGONCSV.fd`、
vmmcall 证明、CSV3 kernel-hashes + 秘密注入),没有 rust-vmm 兼容证据。
OCI/libkrun 最多覆盖 AMD,**海光必须保留已跑通的 qemu direct boot**。两个后端只能并列。
3. **现场缺件**:SEV 变体还要 `libkrunfw-sev` + OpenSSL headers;libkrun 2.0 主线
API/ABI 不兼容 1.x 且仍在变,生产要锁 `stable-*`。引入是实打实的装包与验证工作。
4. **TSI 网络**:默认让 VMM 代理 guest socket,跨 guest 的 MPC 通信需改用 virtio-net +
passt/gvproxy,或保留 socket 语义并在策略里显式声明。
## 采纳路线
**阶段一(本版已落地)**:只做镜像格式与度量契约,`deploy/tee/oci/oci-image.py` 用
Python 标准库生成 OCI image layout(不依赖现场缺失的容器运行时),`pack` 按层解包后
仍打成 initrd 交给**已跑通的 qemu 后端**。`measurement = manifest digest`,guest init
逐层校验 digest 并核对 cmdline 里的 manifest 值。AMD / 海光都覆盖,现场无需装新运行时。
**阶段二(评估后再做)**:在 `192.168.1.7` 装 `libkrunfw-sev` + `crun`/`krunvm`,实测
SNP guest 的证明链路与冷启动时间;达标后把 `LaunchSpec` 扩成后端枚举
(`QemuDirect` / `OciMicrovm`),框架层仍保持平台中立。海光继续走 `QemuDirect`。
## Kata 复核(2026-11-06 傍晚)
用户追问「用 Kata 会不会更简单,两台不是都装好了吗」。重新只读探测两台真机(xop
凭据 `tee_amd_7_*` / `tee_hg_102_*`):
| 项 | AMD 节点 192.168.1.7 | 海光节点 192.168.1.102 |
|---|---|---|
| `/opt/kata` | **存在**,含完整安装(15 个二进制,含 `qemu-system-x86_64-snp-experimental`、`containerd-shim-kata-v2`) | 不存在 |
| 挂进 containerd / docker 运行时? | 否(`docker info` Runtimes 仅 `runc`) | 否 |
| 内核 | `6.13.0-snp-guest` | `5.10.134-csv` |
| `/dev/sev` | 有 | 有(CSV 复用 sev 接口) |
结论:**「两台都装了」只对一半** —— 只有 AMD 那台有 Kata 二进制(且没挂进运行时),
海光那台压根没有;而且 Kata 上游只支持 SEV / SEV-ES / SEV-SNP / TDX,**没有海光
CSV**(cbitpos=47、`HYGONCSV.fd`、vmmcall 是海光自研)。102 上我们跑通的 CSV guest
是 **qemu direct boot**,不是 Kata。
会不会更简单?**不会整体更简单**:
1. 只在 AMD 那台有用,海光仍要 direct boot → 没省掉这套,反而多一个后端;
2. Kata 是重依赖(in-guest kata-agent + containerd shim + runtime-rs);
3. 它会接管度量/证明模型(自带 KBC),我们刚钉死的 `SessionBinding` 要迁进去,更复杂;
4. OCI 分层镜像这个真收益,不靠 Kata 也能拿(盖在 direct launch 上)。
**决策**:保持 OCI 打包 + direct launch(阶段一已落地),Kata 不引入;若 `.7` 上有
必须复用的 Kata 资产,可后续作为可选 AMD-only 后端,藏在同一 `LaunchSpec` 抽象后。
## 远程调度:e2b 协议参考
用户提示远程调度可考虑 e2b 协议。采纳为**接口形态参考**,不引入 e2b 依赖:
- e2b 的 spawn-by-spec 模式(提交 sandbox 规格 + 产物挂载 + 结果流回)正好对应本框架
的「框架发 TEE 启动规格(OCI digest + 会话绑定 + 节点约束)→ 选中的节点起加密
guest → 报告/结果回传」;
- 节点选择仍是框架决策(与 Kuscia「框架决策、K8s 执行」一致),不交给外部 scheduler;
- 本版 `mpc tee plan` 已产出 `LaunchSpec`/`qemu_argv`,后续把「按 digest 从 registry
拉 OCI 镜像 + 选节点 + 起 guest」包成 e2b 形态的调度 API 即可,核心 crate 仍零编排字样。
## 边界(别夸大)
- **层 digest 校验 ≠ 芯片度量**:它防的是分发/拉取过程中层被替换。能同时改 initrd 里
`/init` 与校验清单的宿主不在防御范围内;启动镜像的硬件度量要靠 SNP/CSV 证明体系。
- **`deploy/tee/kbs/serve.py` 是演练 stub**:只检查 session 与占位 token,不是 Trustee/KBS,
**不做芯片证明校验**。生产必须换成验证过报告与证书链后才下发密钥的 KBS。
- **框架仍不实现 ECDSA / 证书链验签**:`mpc-tee::verify` 做结构检查与会话绑定复核,
芯片签名交给可插拔的外部验签器;结论里必须显式标注「芯片签名未验证」。
- OCI 层是物料格式,不是调度器;框架不因此获得「远程调度」能力,只获得可校验的
镜像分发锚点。