- mpc-tee 新增 kbs.rs(最小 HTTP/1.1 KBS 客户端 + fail-closed 校验 + KbsKeySource 替代内置 PSK)、verify.rs(SNP 报告结构解析 + 可插拔外部芯片验签器 + verify_attestation 显式区分「芯片签名未验证」)。 - mpc-cli 新增 mpc tee verify / mpc tee kbs-get 子命令。 - catalog.rs 补 verify/kbs 模块到 TEE 直接调度段并加回归断言(清单铁律)。 - deploy/tee 新增 oci/(分层镜像构建)、kbs/(serve stub)、guest/(init)、real-machine/(跨机双 guest 编排);docs/TEE_OCI_PATH.md 记录 Kata 实测复核(仅 AMD 有、海光无且不支持 CSV,不引入)与 e2b 远程调度接口参考。 - 影响:密钥经 KBS 注入(不再内置明文 PSK),证明结论如实区分结构与芯片验签;远程调度走 OCI digest + 框架选节点,不引入 Kata/e2b 依赖。 - 测试:./tools/ci.sh 四道全绿;mpc-tee 单测 73→86。
7.8 KiB
OCI 镜像层与 libkrun 的评估(2026-11-06)
结论
采纳 OCI 作为镜像与分发格式,分两阶段推进;libkrun 暂不进入框架。
先把三样东西拆开,才能看清它和「框架直接调度 TEE、不走编排层」这条铁律的关系:
| 概念 | 是什么 | 是否属于编排层 |
|---|---|---|
| OCI image spec | 镜像的分层格式 + manifest digest + registry 分发 | 否,只是物料格式 |
| libkrun | 嵌进宿主进程的 VMM 库(Rust/C API,Linux KVM / macOS HVF) | 否,属于执行层 |
crun krun handler / krunvm |
把 OCI 镜像启成 microVM 的启动器 | 否,属于执行层 |
| Kata / Pod / runtimeClass / K8s scheduler | 容器编排与调度 | 是,仍然禁止 |
所以在框架层引入 OCI digest 与可插拔启动后端,不违反铁律;核心 crate 依旧不生成 容器清单、不设运行时类、不依赖集群调度器。
事实来源
- 上游
containers/libkrun:变体只有libkrun(通用)、libkrun-sev(AMD SEV / SEV-ES / SEV-SNP + 远程证明)、libkrun-tdx(Intel TDX);设备含 virtio-console / block / fs / net / vsock / rng,网络有 TSI 与 virtio-net + passt/gvproxy 两种模式。 - 2.0 的 Guest Init Subsystem:静态 musl
init-binary作 PID 1,宿主侧init-blob用Builder::from_oci_json()吃 OCI spec,通过 virtio-fs overlay 注入/init.krun与/.krun_config.json;SEV/TDX 路径另有mount_tee_block_device()把 root 切到块设备。 - 启动速度:
sandbox-bench(2026-05,裸机 10 次冷启动)中位 libkrun/krunvm 310 ms、 docker 463 ms、Firecracker 808 ms。这是普通 microVM 的进程冷启动,不含 SNP 固件LAUNCH_*流程。 - 安全模型原文:guest 与 VMM 属同一安全上下文,VMM 可代理宿主资源;
virtio-fs不限制 guest 访问宿主其他目录,TSI让 VMM 成为 guest 的网络代理。 - 真机只读探测(xop 凭据连
192.168.1.7/192.168.1.102):两台只有docker/runc/containerd,libkrun、libkrunfw-sev、krunvm、crun、podman、buildah全部缺失。内网代码库也没有 libkrun / krunvm / crun 镜像, 分析基于上游公开资料。
三项价值对照现状
| 诉求 | 现状痛点 | OCI 带来的 |
|---|---|---|
| 分层打镜像 | 13 MB initrd 手工拼,改一次 mpc 整体重建、整体重分发,measurement 跟着变 |
base / mpc / init 分层,只推变化层;manifest digest 天然可 pin,正好作 SessionBinding.code_measurement |
| 远程调度 | scp 分发镜像,无完整性锚点 | registry 按 digest 拉取;选节点仍在框架(与 Kuscia 的「框架决策、K8s 执行」一致),把决策交给 scheduler 就退回编排层 |
| 快速启动 | qemu direct boot 秒级 | libkrun 的 VMM 路径确实更快,但 SNP 固件启动度量是硬成本,真机未实测,不承诺 |
四个硬约束
- 度量边界:libkrun 默认用 virtio-fs 把 rootfs 从宿主注入 guest,而 SNP 只度量
启动时载入的 guest 页 —— 这些层不在初始度量内。直接拿来跑
mpc会把「代码度量」 这一环掏空。出路:SEV 路径的 TEE block device,或把 manifest / 层 digest 钉进user_data并在 guest init 逐层校验。本版选后者。 - 海光 CSV 无对应变体:CSV 是海光自研(国密、ASID 复用补丁、
HYGONCSV.fd、 vmmcall 证明、CSV3 kernel-hashes + 秘密注入),没有 rust-vmm 兼容证据。 OCI/libkrun 最多覆盖 AMD,海光必须保留已跑通的 qemu direct boot。两个后端只能并列。 - 现场缺件:SEV 变体还要
libkrunfw-sev+ OpenSSL headers;libkrun 2.0 主线 API/ABI 不兼容 1.x 且仍在变,生产要锁stable-*。引入是实打实的装包与验证工作。 - TSI 网络:默认让 VMM 代理 guest socket,跨 guest 的 MPC 通信需改用 virtio-net + passt/gvproxy,或保留 socket 语义并在策略里显式声明。
采纳路线
阶段一(本版已落地):只做镜像格式与度量契约,deploy/tee/oci/oci-image.py 用
Python 标准库生成 OCI image layout(不依赖现场缺失的容器运行时),pack 按层解包后
仍打成 initrd 交给已跑通的 qemu 后端。measurement = manifest digest,guest init
逐层校验 digest 并核对 cmdline 里的 manifest 值。AMD / 海光都覆盖,现场无需装新运行时。
阶段二(评估后再做):在 192.168.1.7 装 libkrunfw-sev + crun/krunvm,实测
SNP guest 的证明链路与冷启动时间;达标后把 LaunchSpec 扩成后端枚举
(QemuDirect / OciMicrovm),框架层仍保持平台中立。海光继续走 QemuDirect。
Kata 复核(2026-11-06 傍晚)
用户追问「用 Kata 会不会更简单,两台不是都装好了吗」。重新只读探测两台真机(xop
凭据 tee_amd_7_* / tee_hg_102_*):
| 项 | AMD 节点 192.168.1.7 | 海光节点 192.168.1.102 |
|---|---|---|
/opt/kata |
存在,含完整安装(15 个二进制,含 qemu-system-x86_64-snp-experimental、containerd-shim-kata-v2) |
不存在 |
| 挂进 containerd / docker 运行时? | 否(docker info Runtimes 仅 runc) |
否 |
| 内核 | 6.13.0-snp-guest |
5.10.134-csv |
/dev/sev |
有 | 有(CSV 复用 sev 接口) |
结论:「两台都装了」只对一半 —— 只有 AMD 那台有 Kata 二进制(且没挂进运行时),
海光那台压根没有;而且 Kata 上游只支持 SEV / SEV-ES / SEV-SNP / TDX,没有海光
CSV(cbitpos=47、HYGONCSV.fd、vmmcall 是海光自研)。102 上我们跑通的 CSV guest
是 qemu direct boot,不是 Kata。
会不会更简单?不会整体更简单:
- 只在 AMD 那台有用,海光仍要 direct boot → 没省掉这套,反而多一个后端;
- Kata 是重依赖(in-guest kata-agent + containerd shim + runtime-rs);
- 它会接管度量/证明模型(自带 KBC),我们刚钉死的
SessionBinding要迁进去,更复杂; - OCI 分层镜像这个真收益,不靠 Kata 也能拿(盖在 direct launch 上)。
决策:保持 OCI 打包 + direct launch(阶段一已落地),Kata 不引入;若 .7 上有
必须复用的 Kata 资产,可后续作为可选 AMD-only 后端,藏在同一 LaunchSpec 抽象后。
远程调度:e2b 协议参考
用户提示远程调度可考虑 e2b 协议。采纳为接口形态参考,不引入 e2b 依赖:
- e2b 的 spawn-by-spec 模式(提交 sandbox 规格 + 产物挂载 + 结果流回)正好对应本框架 的「框架发 TEE 启动规格(OCI digest + 会话绑定 + 节点约束)→ 选中的节点起加密 guest → 报告/结果回传」;
- 节点选择仍是框架决策(与 Kuscia「框架决策、K8s 执行」一致),不交给外部 scheduler;
- 本版
mpc tee plan已产出LaunchSpec/qemu_argv,后续把「按 digest 从 registry 拉 OCI 镜像 + 选节点 + 起 guest」包成 e2b 形态的调度 API 即可,核心 crate 仍零编排字样。
边界(别夸大)
- 层 digest 校验 ≠ 芯片度量:它防的是分发/拉取过程中层被替换。能同时改 initrd 里
/init与校验清单的宿主不在防御范围内;启动镜像的硬件度量要靠 SNP/CSV 证明体系。 deploy/tee/kbs/serve.py是演练 stub:只检查 session 与占位 token,不是 Trustee/KBS, 不做芯片证明校验。生产必须换成验证过报告与证书链后才下发密钥的 KBS。- 框架仍不实现 ECDSA / 证书链验签:
mpc-tee::verify做结构检查与会话绑定复核, 芯片签名交给可插拔的外部验签器;结论里必须显式标注「芯片签名未验证」。 - OCI 层是物料格式,不是调度器;框架不因此获得「远程调度」能力,只获得可校验的 镜像分发锚点。