Files
ssw-mpc/docs/TEE_OCI_PATH.md
T
admin 5dec915185 feat(tee): KBS 客户端 + 证明结构校验,OCI 打包与真机编排资产入仓
- mpc-tee 新增 kbs.rs(最小 HTTP/1.1 KBS 客户端 + fail-closed 校验 + KbsKeySource 替代内置 PSK)、verify.rs(SNP 报告结构解析 + 可插拔外部芯片验签器 + verify_attestation 显式区分「芯片签名未验证」)。
- mpc-cli 新增 mpc tee verify / mpc tee kbs-get 子命令。
- catalog.rs 补 verify/kbs 模块到 TEE 直接调度段并加回归断言(清单铁律)。
- deploy/tee 新增 oci/(分层镜像构建)、kbs/(serve stub)、guest/(init)、real-machine/(跨机双 guest 编排);docs/TEE_OCI_PATH.md 记录 Kata 实测复核(仅 AMD 有、海光无且不支持 CSV,不引入)与 e2b 远程调度接口参考。
- 影响:密钥经 KBS 注入(不再内置明文 PSK),证明结论如实区分结构与芯片验签;远程调度走 OCI digest + 框架选节点,不引入 Kata/e2b 依赖。
- 测试:./tools/ci.sh 四道全绿;mpc-tee 单测 73→86。
2026-11-06 19:33:53 +08:00

7.8 KiB
Raw Blame History

OCI 镜像层与 libkrun 的评估(2026-11-06)

结论

采纳 OCI 作为镜像与分发格式,分两阶段推进;libkrun 暂不进入框架。

先把三样东西拆开,才能看清它和「框架直接调度 TEE、不走编排层」这条铁律的关系:

概念 是什么 是否属于编排层
OCI image spec 镜像的分层格式 + manifest digest + registry 分发 否,只是物料格式
libkrun 嵌进宿主进程的 VMM 库(Rust/C API,Linux KVM / macOS HVF) 否,属于执行层
crun krun handler / krunvm 把 OCI 镜像启成 microVM 的启动器 否,属于执行层
Kata / Pod / runtimeClass / K8s scheduler 容器编排与调度 是,仍然禁止

所以在框架层引入 OCI digest 与可插拔启动后端,不违反铁律;核心 crate 依旧不生成 容器清单、不设运行时类、不依赖集群调度器。

事实来源

  • 上游 containers/libkrun:变体只有 libkrun(通用)、libkrun-sev(AMD SEV / SEV-ES / SEV-SNP + 远程证明)、libkrun-tdx(Intel TDX);设备含 virtio-console / block / fs / net / vsock / rng,网络有 TSI 与 virtio-net + passt/gvproxy 两种模式。
  • 2.0 的 Guest Init Subsystem:静态 musl init-binary 作 PID 1,宿主侧 init-blob 用 Builder::from_oci_json() 吃 OCI spec,通过 virtio-fs overlay 注入 /init.krun 与 /.krun_config.json;SEV/TDX 路径另有 mount_tee_block_device() 把 root 切到块设备。
  • 启动速度:sandbox-bench(2026-05,裸机 10 次冷启动)中位 libkrun/krunvm 310 ms、 docker 463 ms、Firecracker 808 ms。这是普通 microVM 的进程冷启动,不含 SNP 固件 LAUNCH_* 流程。
  • 安全模型原文:guest 与 VMM 属同一安全上下文,VMM 可代理宿主资源; virtio-fs 不限制 guest 访问宿主其他目录,TSI 让 VMM 成为 guest 的网络代理。
  • 真机只读探测(xop 凭据连 192.168.1.7 / 192.168.1.102):两台只有 docker / runc / containerd,libkrun、libkrunfw-sev、krunvm、crun、 podman、buildah 全部缺失。内网代码库也没有 libkrun / krunvm / crun 镜像, 分析基于上游公开资料。

三项价值对照现状

诉求 现状痛点 OCI 带来的
分层打镜像 13 MB initrd 手工拼,改一次 mpc 整体重建、整体重分发,measurement 跟着变 base / mpc / init 分层,只推变化层;manifest digest 天然可 pin,正好作 SessionBinding.code_measurement
远程调度 scp 分发镜像,无完整性锚点 registry 按 digest 拉取;选节点仍在框架(与 Kuscia 的「框架决策、K8s 执行」一致),把决策交给 scheduler 就退回编排层
快速启动 qemu direct boot 秒级 libkrun 的 VMM 路径确实更快,但 SNP 固件启动度量是硬成本,真机未实测,不承诺

四个硬约束

  1. 度量边界:libkrun 默认用 virtio-fs 把 rootfs 从宿主注入 guest,而 SNP 只度量 启动时载入的 guest 页 —— 这些层不在初始度量内。直接拿来跑 mpc 会把「代码度量」 这一环掏空。出路:SEV 路径的 TEE block device,或把 manifest / 层 digest 钉进 user_data 并在 guest init 逐层校验。本版选后者。
  2. 海光 CSV 无对应变体:CSV 是海光自研(国密、ASID 复用补丁、HYGONCSV.fd、 vmmcall 证明、CSV3 kernel-hashes + 秘密注入),没有 rust-vmm 兼容证据。 OCI/libkrun 最多覆盖 AMD,海光必须保留已跑通的 qemu direct boot。两个后端只能并列。
  3. 现场缺件:SEV 变体还要 libkrunfw-sev + OpenSSL headers;libkrun 2.0 主线 API/ABI 不兼容 1.x 且仍在变,生产要锁 stable-*。引入是实打实的装包与验证工作。
  4. TSI 网络:默认让 VMM 代理 guest socket,跨 guest 的 MPC 通信需改用 virtio-net + passt/gvproxy,或保留 socket 语义并在策略里显式声明。

采纳路线

阶段一(本版已落地):只做镜像格式与度量契约,deploy/tee/oci/oci-image.py 用 Python 标准库生成 OCI image layout(不依赖现场缺失的容器运行时),pack 按层解包后 仍打成 initrd 交给已跑通的 qemu 后端。measurement = manifest digest,guest init 逐层校验 digest 并核对 cmdline 里的 manifest 值。AMD / 海光都覆盖,现场无需装新运行时。

阶段二(评估后再做):在 192.168.1.7 装 libkrunfw-sev + crun/krunvm,实测 SNP guest 的证明链路与冷启动时间;达标后把 LaunchSpec 扩成后端枚举 (QemuDirect / OciMicrovm),框架层仍保持平台中立。海光继续走 QemuDirect。

Kata 复核(2026-11-06 傍晚)

用户追问「用 Kata 会不会更简单,两台不是都装好了吗」。重新只读探测两台真机(xop 凭据 tee_amd_7_* / tee_hg_102_*):

项 AMD 节点 192.168.1.7 海光节点 192.168.1.102
/opt/kata 存在,含完整安装(15 个二进制,含 qemu-system-x86_64-snp-experimental、containerd-shim-kata-v2) 不存在
挂进 containerd / docker 运行时? 否(docker info Runtimes 仅 runc) 否
内核 6.13.0-snp-guest 5.10.134-csv
/dev/sev 有 有(CSV 复用 sev 接口)

结论:「两台都装了」只对一半 —— 只有 AMD 那台有 Kata 二进制(且没挂进运行时), 海光那台压根没有;而且 Kata 上游只支持 SEV / SEV-ES / SEV-SNP / TDX,没有海光 CSV(cbitpos=47、HYGONCSV.fd、vmmcall 是海光自研)。102 上我们跑通的 CSV guest 是 qemu direct boot,不是 Kata。

会不会更简单?不会整体更简单:

  1. 只在 AMD 那台有用,海光仍要 direct boot → 没省掉这套,反而多一个后端;
  2. Kata 是重依赖(in-guest kata-agent + containerd shim + runtime-rs);
  3. 它会接管度量/证明模型(自带 KBC),我们刚钉死的 SessionBinding 要迁进去,更复杂;
  4. OCI 分层镜像这个真收益,不靠 Kata 也能拿(盖在 direct launch 上)。

决策:保持 OCI 打包 + direct launch(阶段一已落地),Kata 不引入;若 .7 上有 必须复用的 Kata 资产,可后续作为可选 AMD-only 后端,藏在同一 LaunchSpec 抽象后。

远程调度:e2b 协议参考

用户提示远程调度可考虑 e2b 协议。采纳为接口形态参考,不引入 e2b 依赖:

  • e2b 的 spawn-by-spec 模式(提交 sandbox 规格 + 产物挂载 + 结果流回)正好对应本框架 的「框架发 TEE 启动规格(OCI digest + 会话绑定 + 节点约束)→ 选中的节点起加密 guest → 报告/结果回传」;
  • 节点选择仍是框架决策(与 Kuscia「框架决策、K8s 执行」一致),不交给外部 scheduler;
  • 本版 mpc tee plan 已产出 LaunchSpec/qemu_argv,后续把「按 digest 从 registry 拉 OCI 镜像 + 选节点 + 起 guest」包成 e2b 形态的调度 API 即可,核心 crate 仍零编排字样。

边界(别夸大)

  • 层 digest 校验 ≠ 芯片度量:它防的是分发/拉取过程中层被替换。能同时改 initrd 里 /init 与校验清单的宿主不在防御范围内;启动镜像的硬件度量要靠 SNP/CSV 证明体系。
  • deploy/tee/kbs/serve.py 是演练 stub:只检查 session 与占位 token,不是 Trustee/KBS, 不做芯片证明校验。生产必须换成验证过报告与证书链后才下发密钥的 KBS。
  • 框架仍不实现 ECDSA / 证书链验签:mpc-tee::verify 做结构检查与会话绑定复核, 芯片签名交给可插拔的外部验签器;结论里必须显式标注「芯片签名未验证」。
  • OCI 层是物料格式,不是调度器;框架不因此获得「远程调度」能力,只获得可校验的 镜像分发锚点。