Files
ssw-mpc/docs/TEE_DIRECT_LAUNCH.md
T
admin 783761cb26 feat(tee): 框架直接调度 AMD SEV-SNP / 海光 CSV,真机端到端跑通
mpc-tee 新增 platform/session/schedule(no_std) 与 guest(std):平台能力表、会话绑定证明、fail-closed 准入、qemu LaunchSpec、guest 内 Tee 实现。CLI 加 tee paths / tee plan,catalog 与 domain 同步清单与常量(非 breaking)。deploy/tee 提供宿主预检与直接启动脚本,docs/TEE_DIRECT_LAUNCH.md 记录分层与真机真值。真机校正:confidential-guest-support、kernel-hashes=on + pflash 固件(CSV)、cbitpos 51/47、console=ttyS0。影响:TEE 调度不经容器编排层;SNP/CSV guest 跨物理机密文会话已实测通过。
2026-11-06 18:42:27 +08:00

12 KiB
Raw Blame History

TEE 直接调度:AMD SEV-SNP / 海光 CSV

结论

ssw-mpc 不经过容器编排层调度 TEE。框架自己判断「这台节点够不够格跑这一轮 计算」,输出一份平台中立的 LaunchSpec,由部署侧直接启动 guest,把 mpc 进程作为 guest 内原生负载运行。

参考隐语 Kuscia 的分层可以看得更清楚:它把 TEE 放在引擎层 (TrustedFlow 与 SecretFlow / SCQL 平级),框架层只负责跨域网络、任务编排、 数据源与多引擎接入;安全运行时则被明确归为「隔离动态逻辑算子的沙箱」, 与 TEE 不是一层。把运行时类 / 注解 / 启动参数写进计算框架的 HAL, 等于把部署适配层上移成框架抽象 —— 换裸机、换 qemu 构建、换 TDX 都得改核心。

更实质的问题在证明:只把容器塞进加密 VM,得到的结论是「有个 SNP guest 在跑」; 而 MPC 要验证的是「对面这份二进制,正在用这把会话公钥,参与这一轮计算」。 这一层由会话绑定证明补齐,见下文。

分层

框架层  mpc-cli / mpc-orch          任务与参与方编排
        mpc-tee::platform          平台能力表(guest policy / KBC / 证明通道 / qemu 语法)
        mpc-tee::session           证明与 MPC 会话的 64 字节绑定
        mpc-tee::schedule          TeeRequirement / TeeNode / fail-closed 准入 / LaunchSpec
                 │  平台中立的启动规格
执行层  deploy/tee/preflight.sh     宿主能力实测
        deploy/tee/launch.sh       按 argv 直接 exec qemu
                 │  qemu -append 带 user_data
硬件层  AMD SEV-SNP guest          /dev/sev-guest + 在线 cc_kbc
        海光 CSV guest              vmmcall / ioctl + 离线 offline_fs_kbc
                 │
guest   mpc-tee::guest::GuestTee   读回报告与根密钥,实现 Tee trait

框架层三个新模块都是 no_std(只用 alloc):TA 侧也要能算出同一份绑定值。 guest.rs 是唯一需要 std 的模块(读文件、取熵),已用 #[cfg(feature = "std")] 隔离。

为什么不"只是启动了加密虚拟机"

芯片报告的 user_data / report_data 是 64 字节定长。框架把它拆成两段各 32 字节, 分别用不同的域分隔常量(mpc/tee/session/bind/v1 与 mpc/tee/session/attest/v1):

  • 前半段:SHA256(标签 ‖ 会话标识 ‖ site ‖ 会话公钥)
  • 后半段:SHA256(标签 ‖ 代码度量 ‖ 平台标签 ‖ TCB)

启动时这个值随内核参数钉进 guest;guest 内证明代理用它生成报告; GuestTee::attest 会从 /proc/cmdline 读回来复核,不一致就拒绝。 验证方用 verify_bound_attestation 重算并定长比较,拒绝重放报告。

框架不做芯片验签。VCEK ← ASK ← ARK 证书链、CSV 报告签名、TCB 语义由 验证方 / KBS 核验;verify_bound_attestation 返回 Ok 只表示「结构和绑定对得上」, 不等于硬件证明已通过。GuestTee::sign 是由 KBC 注入根密钥派生的认证标签, 也不是芯片设备密钥签名 —— 需要芯片签名的审计锚点应直接取证明报告。

fail-closed 准入清单

mpc_tee::schedule::admit 任一不满足即 Err(TeeError::AdmissionDenied), 没有降级通过分支:

  1. 平台有直接启动规格、且与节点平台一致;
  2. /dev/sev 存在;qemu、固件、guest 内核 + initrd 均已通过宿主预检;
  3. 四类启动路径都给出且不含空白(argv 是数组,不经 shell);
  4. 节点 TCB 不低于 --min-tcb;
  5. 会话已建立、镜像度量已 pin,且与会话绑定里的度量一致;
  6. 额外指定的 --pin 与节点度量一致;
  7. KBC 模式与要求、与平台默认一致;在线模式要求 KBS 可达且有端点;
  8. 证明所需的 64 字节绑定值由 SessionBinding 统一计算。

少任意一项的表现是拒绝出规格,而不是「先跑起来再说」。这一点很重要: 设备缺失、度量未 pin、KBS 连不上,实际症状都是「guest 起来了但密钥拿不到 / 证明对不上」,上层却以为自己在 TEE 里。

两条路径对照

项 AMD SEV-SNP 海光 CSV
宿主设备 /dev/sev(SNP ASID 池) /dev/sev(sev=1 sev_es=1)
qemu 版本 / 对象 9.1.2 / sev-snp-guest 6.2.0 / sev-guest
内存加密参数 confidential-guest-support memory-encryption
C-bit 位置(cbitpos) 51 47(写 51 会被 KVM 直接拒绝)
direct boot 度量 kernel-hashes=on 必需 kernel-hashes=on(缺了会在 LAUNCH_MEASURE 报误导性错误)
固件加载 -bios 必须 -drive if=pflash,...(否则 kernel-hashes=on 让 qemu 6.2 断言崩溃)
guest policy 0x30000 CSV2 = 7、CSV3 = 71、DCU = 3
vCPU 模型 host host(CSV3 为 Dhyana)
默认配额 1 vCPU / 2048 MiB 4 vCPU / 2048 MiB(DCU 16384 MiB)
证明通道 guest 内 /dev/sev-guest guest 内 vmmcall / ioctl 原生接口
密钥代理 在线 cc_kbc,KBS 与计算节点同机 :8080 离线 offline_fs_kbc,initrd 内置
是否需要 guest 网络 需要(访问 KBS) 不需要

参数来自 2026-11-06 两台真机实测(192.168.1.7 / 192.168.1.102), 不是照抄部署文档:实测这台海光是 CSV2(policy 7),另有 DCU 变体(policy 3); 在线 Trustee 与 AMD 计算节点同机;两台都没有平台级节点标签, 所以调度依据全部来自宿主预检,不依赖集群标签。

海光 CSV 的 policy 在平台配置里是十进制 3 / 7 / 71,框架生成 qemu 参数时 写成十六进制 0x3 / 0x7 / 0x47,数值相同。

参数消融结论(真机 9 个 case):CSV direct boot 的唯一必需组合是 kernel-hashes=on + 固件以 pflash 加载。-machine 用 memory-encryption 还是 confidential-guest-support、reduced-phys-bits 取 1 还是 5、 CPU / SMP 配额、以及两个同 md5 的 kernel 文件名,都不影响启动。 框架只固化这组必需条件,不照抄某套现成运行时的全部参数。

CLI

mpc tee paths                       # 列内置平台规格
mpc tee plan --node FILE \
  --session-id <64hex> --pubkey <64hex> \
  [--min-tcb N] [--variant csv3] [--kbc online] [--pin <64hex>] [--argv] [--demo]
  • --node 是 deploy/tee/preflight.sh 产出的行式节点描述;
  • --argv 同时给「给人看的一行」和 argv_json(JSON 数组,保留参数边界);
  • --demo 用固定示例会话值离线演练,会明确警告不能上生产。

qemu_argv() 返回 argv 数组:-append 的内核参数含空格,必须作为一个 参数整体传给 execvp。deploy/tee/launch.sh 用的就是 argv_json, 不要拿文本模式那一行去跑 shell。

与可信度方案的关系

TrustPlan(L0–L3)判断「这一轮靠什么保证安全」,本层判断「这台节点配不配跑」。 L2 的互验前提除了 attested = true 与 min_tcb,现在还必须有 SessionBinding 的会话绑定证明:互验的是本轮会话,不是某份陈年报告。 芯片验签仍由验证方完成,框架不越界。

验证与边界

  • 单元测试覆盖:平台能力表、policy 与代际匹配、KBC 参数、64 字节绑定的 确定性与输入敏感性、重放拒绝、所有准入拒绝项、qemu argv 语法、 TeeNode::parse 行号报错、guest 侧 seal/unseal 与证明复核、catalog 签名回归。
  • 闸门:./tools/ci.sh,另补 cargo build -p mpc-tee --no-default-features。
  • 真机可验证到:预检 → 准入 → argv 生成 → 直接启动加密 guest → guest 内计算 → 跨 guest 结果还原。

真机端到端验证(2026-11-06,两台 TEE 节点)

用 x86_64-unknown-linux-musl 交叉编译出 4.1 MB 静态 mpc(zig objcopy 去符号), 经 xop 凭据分发到 192.168.1.7 / 192.168.1.102,两台摘要一致、selftest 全绿。

① 两台宿主之间的跨机隐私计算(PSK 双向认证 + ChaCha20-Poly1305 全链路加密):

计算 输入 结果
mpc node alice 1,2,3 / bob 4,5,6 双方还原 35.000000,分片交换 + 密文乘法
mpc psi alice 1..5 / bob 3..7 双方交集 3,4,5
mpc lr-vertical 6 行 × 2 列,bob 持标签 PSI 对齐 6 行 → 特征拼接 → y 分片 → 20 轮密态训练,双方权重逐位一致

② 加密 guest 内跑 mpc:手工构造 13 MB 最小 initrd(现成 alpine rootfs + mpc + 自定义 /init),由 mpc tee plan --argv 直接生成 qemu argv 启动。SNP guest 实测: 内核 6.12.36、/dev/sev-guest 存在、内核报 Memory encryption is active and system is using DMA bounce buffers、guest 内 mpc selfcheck / selftest 全绿; /proc/cmdline 里的 mpc.tee.user_data 与框架 SessionBinding 算出的 128 位十六进制 完全一致,换二进制后该值后半段随之变化 —— 会话绑定确实把代码度量算了进去。

两个独立 SNP guest 用 qemu socket netdev 做二层直连(10.0.0.1 / 10.0.0.2), 跨 VM 跑通一次完整密文会话:双方都输出 35.000000、分片交换与还原完成。

③ 跨物理机双加密 guest 完成一次隐私计算(最终闭环): AMD SNP guest(alice,192.168.1.7)与海光 CSV guest(bob,192.168.1.102) 各由框架原生 argv 启动(24 个参数,部署层只补 socket netdev,无任何参数覆盖)。 两侧 guest 内 mpc selftest 全绿、/proc/cmdline 的 mpc.tee.user_data 与 SessionBinding 一致,带 PSK 的密文会话完成分片交换与还原, 双方都输出 35.000000。

CSV 的根因:不是固件被占用

上一轮曾把海光 LAUNCH_MEASURE fw_error=24 'Platform is already owned' 归为 「SEV 固件平台状态、不能动」,这是错误结论。反证是同机已有的 CSV guest 能正常起 (PSP 状态 INIT → WORKING、guests=1)。抓它的 qemu 命令行做逐项差分, 再用 9 个 case 做参数消融,钉死根因:

组合 结果
kernel-hashes=on + pflash 固件 guest 正常启动
缺 kernel-hashes OVMF 不认 direct boot、转找 GRUB(failed to load Boot0002),最终 LAUNCH_MEASURE fw_error=24
有 kernel-hashes 但固件用 -bios qemu 6.2 断言崩溃 pc_system_ovmf_table_find: Assertion 'ovmf_flash_parsed' failed

fw_error=24 那句 "Platform is already owned" 是 qemu 6.2 把 errno 当固件错误码 查表产生的误导性字符串,不代表平台被占用;不需要、也不应在真机做固件重置。 唯一必需的条件就是 kernel-hashes=on + pflash 固件;-machine 属性名、 reduced-phys-bits(1 / 5)、CPU / SMP 配额、两个同 md5 的 kernel 文件名都不影响启动。

真机反过来校正了框架的 5 处:confidential-guest-support(原写 conf-guest-support,qemu 9.1.2 不认)、两条路径 direct boot 都必须 kernel-hashes=on(原注释误写「CSV 不认这个属性」,正是误判源头)、 海光固件必须 pflash 加载(新增 PlatformProfile.firmware_pflash)、 AMD profile 必须带 console=ttyS0、cbitpos 按平台区分(51 / 47)。 另外真机自带的静态 qemu 未编译 slirp,-netdev user 不可用,跨 guest 链路改由 部署层注入 socket netdev —— 核心 crate 不写死任何宿主网络后端。

仍未交付:自定义 guest initrd 的构建流水线(本次是手工构造)、证明代理的芯片签名实现、 KBS 资源下发协议、证书链验签器。本次 guest 的 PSK 内置在 initrd 里(测试用), 生产必须走 KBC 注入。因此准确说法是:AMD SNP 与海光 CSV 两条路径的直接启动 与跨机密文会话均已端到端跑通;芯片验签、KBC 密钥下发、镜像构建流水线 仍在生产化之外。