mpc-tee 新增 platform/session/schedule(no_std) 与 guest(std):平台能力表、会话绑定证明、fail-closed 准入、qemu LaunchSpec、guest 内 Tee 实现。CLI 加 tee paths / tee plan,catalog 与 domain 同步清单与常量(非 breaking)。deploy/tee 提供宿主预检与直接启动脚本,docs/TEE_DIRECT_LAUNCH.md 记录分层与真机真值。真机校正:confidential-guest-support、kernel-hashes=on + pflash 固件(CSV)、cbitpos 51/47、console=ttyS0。影响:TEE 调度不经容器编排层;SNP/CSV guest 跨物理机密文会话已实测通过。
12 KiB
TEE 直接调度:AMD SEV-SNP / 海光 CSV
结论
ssw-mpc 不经过容器编排层调度 TEE。框架自己判断「这台节点够不够格跑这一轮
计算」,输出一份平台中立的 LaunchSpec,由部署侧直接启动 guest,把 mpc
进程作为 guest 内原生负载运行。
参考隐语 Kuscia 的分层可以看得更清楚:它把 TEE 放在引擎层 (TrustedFlow 与 SecretFlow / SCQL 平级),框架层只负责跨域网络、任务编排、 数据源与多引擎接入;安全运行时则被明确归为「隔离动态逻辑算子的沙箱」, 与 TEE 不是一层。把运行时类 / 注解 / 启动参数写进计算框架的 HAL, 等于把部署适配层上移成框架抽象 —— 换裸机、换 qemu 构建、换 TDX 都得改核心。
更实质的问题在证明:只把容器塞进加密 VM,得到的结论是「有个 SNP guest 在跑」; 而 MPC 要验证的是「对面这份二进制,正在用这把会话公钥,参与这一轮计算」。 这一层由会话绑定证明补齐,见下文。
分层
框架层 mpc-cli / mpc-orch 任务与参与方编排
mpc-tee::platform 平台能力表(guest policy / KBC / 证明通道 / qemu 语法)
mpc-tee::session 证明与 MPC 会话的 64 字节绑定
mpc-tee::schedule TeeRequirement / TeeNode / fail-closed 准入 / LaunchSpec
│ 平台中立的启动规格
执行层 deploy/tee/preflight.sh 宿主能力实测
deploy/tee/launch.sh 按 argv 直接 exec qemu
│ qemu -append 带 user_data
硬件层 AMD SEV-SNP guest /dev/sev-guest + 在线 cc_kbc
海光 CSV guest vmmcall / ioctl + 离线 offline_fs_kbc
│
guest mpc-tee::guest::GuestTee 读回报告与根密钥,实现 Tee trait
框架层三个新模块都是 no_std(只用 alloc):TA 侧也要能算出同一份绑定值。
guest.rs 是唯一需要 std 的模块(读文件、取熵),已用 #[cfg(feature = "std")] 隔离。
为什么不"只是启动了加密虚拟机"
芯片报告的 user_data / report_data 是 64 字节定长。框架把它拆成两段各 32 字节,
分别用不同的域分隔常量(mpc/tee/session/bind/v1 与 mpc/tee/session/attest/v1):
- 前半段:
SHA256(标签 ‖ 会话标识 ‖ site ‖ 会话公钥) - 后半段:
SHA256(标签 ‖ 代码度量 ‖ 平台标签 ‖ TCB)
启动时这个值随内核参数钉进 guest;guest 内证明代理用它生成报告;
GuestTee::attest 会从 /proc/cmdline 读回来复核,不一致就拒绝。
验证方用 verify_bound_attestation 重算并定长比较,拒绝重放报告。
框架不做芯片验签。VCEK ← ASK ← ARK 证书链、CSV 报告签名、TCB 语义由
验证方 / KBS 核验;verify_bound_attestation 返回 Ok 只表示「结构和绑定对得上」,
不等于硬件证明已通过。GuestTee::sign 是由 KBC 注入根密钥派生的认证标签,
也不是芯片设备密钥签名 —— 需要芯片签名的审计锚点应直接取证明报告。
fail-closed 准入清单
mpc_tee::schedule::admit 任一不满足即 Err(TeeError::AdmissionDenied),
没有降级通过分支:
- 平台有直接启动规格、且与节点平台一致;
/dev/sev存在;qemu、固件、guest 内核 + initrd 均已通过宿主预检;- 四类启动路径都给出且不含空白(argv 是数组,不经 shell);
- 节点 TCB 不低于
--min-tcb; - 会话已建立、镜像度量已 pin,且与会话绑定里的度量一致;
- 额外指定的
--pin与节点度量一致; - KBC 模式与要求、与平台默认一致;在线模式要求 KBS 可达且有端点;
- 证明所需的 64 字节绑定值由
SessionBinding统一计算。
少任意一项的表现是拒绝出规格,而不是「先跑起来再说」。这一点很重要: 设备缺失、度量未 pin、KBS 连不上,实际症状都是「guest 起来了但密钥拿不到 / 证明对不上」,上层却以为自己在 TEE 里。
两条路径对照
| 项 | AMD SEV-SNP | 海光 CSV |
|---|---|---|
| 宿主设备 | /dev/sev(SNP ASID 池) |
/dev/sev(sev=1 sev_es=1) |
| qemu 版本 / 对象 | 9.1.2 / sev-snp-guest |
6.2.0 / sev-guest |
| 内存加密参数 | confidential-guest-support |
memory-encryption |
C-bit 位置(cbitpos) |
51 | 47(写 51 会被 KVM 直接拒绝) |
| direct boot 度量 | kernel-hashes=on |
必需 kernel-hashes=on(缺了会在 LAUNCH_MEASURE 报误导性错误) |
| 固件加载 | -bios |
必须 -drive if=pflash,...(否则 kernel-hashes=on 让 qemu 6.2 断言崩溃) |
| guest policy | 0x30000 |
CSV2 = 7、CSV3 = 71、DCU = 3 |
| vCPU 模型 | host |
host(CSV3 为 Dhyana) |
| 默认配额 | 1 vCPU / 2048 MiB | 4 vCPU / 2048 MiB(DCU 16384 MiB) |
| 证明通道 | guest 内 /dev/sev-guest |
guest 内 vmmcall / ioctl 原生接口 |
| 密钥代理 | 在线 cc_kbc,KBS 与计算节点同机 :8080 |
离线 offline_fs_kbc,initrd 内置 |
| 是否需要 guest 网络 | 需要(访问 KBS) | 不需要 |
参数来自 2026-11-06 两台真机实测(192.168.1.7 / 192.168.1.102),
不是照抄部署文档:实测这台海光是 CSV2(policy 7),另有 DCU 变体(policy 3);
在线 Trustee 与 AMD 计算节点同机;两台都没有平台级节点标签,
所以调度依据全部来自宿主预检,不依赖集群标签。
海光 CSV 的 policy 在平台配置里是十进制 3 / 7 / 71,框架生成 qemu 参数时
写成十六进制 0x3 / 0x7 / 0x47,数值相同。
参数消融结论(真机 9 个 case):CSV direct boot 的唯一必需组合是
kernel-hashes=on + 固件以 pflash 加载。-machine 用 memory-encryption
还是 confidential-guest-support、reduced-phys-bits 取 1 还是 5、
CPU / SMP 配额、以及两个同 md5 的 kernel 文件名,都不影响启动。
框架只固化这组必需条件,不照抄某套现成运行时的全部参数。
CLI
mpc tee paths # 列内置平台规格
mpc tee plan --node FILE \
--session-id <64hex> --pubkey <64hex> \
[--min-tcb N] [--variant csv3] [--kbc online] [--pin <64hex>] [--argv] [--demo]
--node是deploy/tee/preflight.sh产出的行式节点描述;--argv同时给「给人看的一行」和argv_json(JSON 数组,保留参数边界);--demo用固定示例会话值离线演练,会明确警告不能上生产。
qemu_argv() 返回 argv 数组:-append 的内核参数含空格,必须作为一个
参数整体传给 execvp。deploy/tee/launch.sh 用的就是 argv_json,
不要拿文本模式那一行去跑 shell。
与可信度方案的关系
TrustPlan(L0–L3)判断「这一轮靠什么保证安全」,本层判断「这台节点配不配跑」。
L2 的互验前提除了 attested = true 与 min_tcb,现在还必须有
SessionBinding 的会话绑定证明:互验的是本轮会话,不是某份陈年报告。
芯片验签仍由验证方完成,框架不越界。
验证与边界
- 单元测试覆盖:平台能力表、policy 与代际匹配、KBC 参数、64 字节绑定的
确定性与输入敏感性、重放拒绝、所有准入拒绝项、qemu argv 语法、
TeeNode::parse行号报错、guest 侧 seal/unseal 与证明复核、catalog 签名回归。 - 闸门:
./tools/ci.sh,另补cargo build -p mpc-tee --no-default-features。 - 真机可验证到:预检 → 准入 → argv 生成 → 直接启动加密 guest → guest 内计算 → 跨 guest 结果还原。
真机端到端验证(2026-11-06,两台 TEE 节点)
用 x86_64-unknown-linux-musl 交叉编译出 4.1 MB 静态 mpc(zig objcopy 去符号),
经 xop 凭据分发到 192.168.1.7 / 192.168.1.102,两台摘要一致、selftest 全绿。
① 两台宿主之间的跨机隐私计算(PSK 双向认证 + ChaCha20-Poly1305 全链路加密):
| 计算 | 输入 | 结果 |
|---|---|---|
mpc node |
alice 1,2,3 / bob 4,5,6 |
双方还原 35.000000,分片交换 + 密文乘法 |
mpc psi |
alice 1..5 / bob 3..7 |
双方交集 3,4,5 |
mpc lr-vertical |
6 行 × 2 列,bob 持标签 | PSI 对齐 6 行 → 特征拼接 → y 分片 → 20 轮密态训练,双方权重逐位一致 |
② 加密 guest 内跑 mpc:手工构造 13 MB 最小 initrd(现成 alpine rootfs + mpc +
自定义 /init),由 mpc tee plan --argv 直接生成 qemu argv 启动。SNP guest 实测:
内核 6.12.36、/dev/sev-guest 存在、内核报 Memory encryption is active and system is using DMA bounce buffers、guest 内 mpc selfcheck / selftest 全绿;
/proc/cmdline 里的 mpc.tee.user_data 与框架 SessionBinding 算出的 128 位十六进制
完全一致,换二进制后该值后半段随之变化 —— 会话绑定确实把代码度量算了进去。
两个独立 SNP guest 用 qemu socket netdev 做二层直连(10.0.0.1 / 10.0.0.2),
跨 VM 跑通一次完整密文会话:双方都输出 35.000000、分片交换与还原完成。
③ 跨物理机双加密 guest 完成一次隐私计算(最终闭环):
AMD SNP guest(alice,192.168.1.7)与海光 CSV guest(bob,192.168.1.102)
各由框架原生 argv 启动(24 个参数,部署层只补 socket netdev,无任何参数覆盖)。
两侧 guest 内 mpc selftest 全绿、/proc/cmdline 的 mpc.tee.user_data 与
SessionBinding 一致,带 PSK 的密文会话完成分片交换与还原,
双方都输出 35.000000。
CSV 的根因:不是固件被占用
上一轮曾把海光 LAUNCH_MEASURE fw_error=24 'Platform is already owned' 归为
「SEV 固件平台状态、不能动」,这是错误结论。反证是同机已有的 CSV guest 能正常起
(PSP 状态 INIT → WORKING、guests=1)。抓它的 qemu 命令行做逐项差分,
再用 9 个 case 做参数消融,钉死根因:
| 组合 | 结果 |
|---|---|
kernel-hashes=on + pflash 固件 |
guest 正常启动 |
缺 kernel-hashes |
OVMF 不认 direct boot、转找 GRUB(failed to load Boot0002),最终 LAUNCH_MEASURE fw_error=24 |
有 kernel-hashes 但固件用 -bios |
qemu 6.2 断言崩溃 pc_system_ovmf_table_find: Assertion 'ovmf_flash_parsed' failed |
fw_error=24 那句 "Platform is already owned" 是 qemu 6.2 把 errno 当固件错误码
查表产生的误导性字符串,不代表平台被占用;不需要、也不应在真机做固件重置。
唯一必需的条件就是 kernel-hashes=on + pflash 固件;-machine 属性名、
reduced-phys-bits(1 / 5)、CPU / SMP 配额、两个同 md5 的 kernel 文件名都不影响启动。
真机反过来校正了框架的 5 处:confidential-guest-support(原写
conf-guest-support,qemu 9.1.2 不认)、两条路径 direct boot 都必须
kernel-hashes=on(原注释误写「CSV 不认这个属性」,正是误判源头)、
海光固件必须 pflash 加载(新增 PlatformProfile.firmware_pflash)、
AMD profile 必须带 console=ttyS0、cbitpos 按平台区分(51 / 47)。
另外真机自带的静态 qemu 未编译 slirp,-netdev user 不可用,跨 guest 链路改由
部署层注入 socket netdev —— 核心 crate 不写死任何宿主网络后端。
仍未交付:自定义 guest initrd 的构建流水线(本次是手工构造)、证明代理的芯片签名实现、 KBS 资源下发协议、证书链验签器。本次 guest 的 PSK 内置在 initrd 里(测试用), 生产必须走 KBC 注入。因此准确说法是:AMD SNP 与海光 CSV 两条路径的直接启动 与跨机密文会话均已端到端跑通;芯片验签、KBC 密钥下发、镜像构建流水线 仍在生产化之外。