Files
ssw-mpc/deploy/tee/README.md
T
admin 783761cb26 feat(tee): 框架直接调度 AMD SEV-SNP / 海光 CSV,真机端到端跑通
mpc-tee 新增 platform/session/schedule(no_std) 与 guest(std):平台能力表、会话绑定证明、fail-closed 准入、qemu LaunchSpec、guest 内 Tee 实现。CLI 加 tee paths / tee plan,catalog 与 domain 同步清单与常量(非 breaking)。deploy/tee 提供宿主预检与直接启动脚本,docs/TEE_DIRECT_LAUNCH.md 记录分层与真机真值。真机校正:confidential-guest-support、kernel-hashes=on + pflash 固件(CSV)、cbitpos 51/47、console=ttyS0。影响:TEE 调度不经容器编排层;SNP/CSV guest 跨物理机密文会话已实测通过。
2026-11-06 18:42:27 +08:00

142 lines
7.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# TEE 直接调度:宿主预检与启动
这一目录是 **ssw-mpc 直接启动 AMD SEV-SNP / 海光 CSV guest** 的部署侧资产。
框架(`mpc-tee`)只做判定,`mpc tee plan` 输出平台中立的 `LaunchSpec`;
这里负责把宿主实测能力填进节点描述,并按规格直接执行 qemu。
**全链路不生成容器清单、不设置运行时类、不依赖任何集群调度器。**
## 三段流程
```text
preflight.sh → <site>.node 宿主只读预检,产出节点能力描述
mpc tee plan → LaunchSpec fail-closed 准入 + 会话绑定证明 + qemu argv
launch.sh → qemu guest 按 argv_json 直接 exec,guest 内原生跑 mpc
```
## 文件
| 文件 | 作用 |
|---|---|
| `preflight.sh` | 在宿主上检查 `/dev/sev`、qemu、固件、guest 内核/initrd、KBS 可达性,输出节点描述 |
| `launch.sh` | 调 `mpc tee plan --argv`,解析 `argv_json` 后用 `execvp` 直接启动 qemu;`--dry-run` 只打印参数 |
| `nodes/amd-sev-snp.node.example` | AMD 侧节点描述模板(占位值) |
| `nodes/hygon-csv2.node.example` | 海光 CSV2 侧节点描述模板(占位值) |
## 用法
```bash
# 1) 宿主预检(在 TEE 节点上跑;路径用环境变量覆盖)
MPC_TEE_QEMU=/path/to/qemu-system-x86_64 \
MPC_TEE_FIRMWARE=/path/to/AMDSEV.fd \
MPC_TEE_KERNEL=/path/to/vmlinuz \
MPC_TEE_INITRD=/path/to/initrd.img \
deploy/tee/preflight.sh \
--platform sev-snp --site alice --host 192.168.1.7 --tcb 5 \
--measurement <已签名镜像的 64 位十六进制度量> > alice.node
# 2) 只看准入结论(离线演练用 --demo,会明确警告)
./target/debug/mpc tee plan --node alice.node --demo --min-tcb 3 --argv
# 3) 真正启动(必须带本轮会话值)
deploy/tee/launch.sh --node alice.node \
--session-id <64hex> --pubkey <64hex> --min-tcb 3
# 只打印 argv 不启动
deploy/tee/launch.sh --node alice.node --demo --dry-run
```
`--measurement` 不给时预检脚本写全零,准入会拒绝 —— 这是刻意的:
不知道镜像是哪一份,就不该启动。`--demo` 只用于离线计划演练,不能上生产。
## 节点描述字段
行式 `key=value`,`#` 注释,报错带行号。`*_present` 位全部默认 `false`,
写 `true` 的含义是「宿主上实测存在」,不是「应该存在」。
| key | 说明 |
|---|---|
| `site` / `host` / `kind` / `tcb` | 参与方标识、平台(`sev-snp` / `hygon-csv`)、TCB |
| `device_present` | `/dev/sev` 是否存在 |
| `qemu_present` / `firmware_present` | qemu 与固件是否存在 |
| `image_present` | guest 内核与 initrd 是否都已检出 |
| `kbc` | `online`(`cc_kbc`)/ `offline`(`offline_fs_kbc`) |
| `kbs_reachable` | 在线模式下 KBS 端点是否可达;离线不要求 |
| `measurement` | 已签名 guest 镜像的 SHA-256(64 位十六进制) |
| `qemu` / `firmware` / `kernel` / `initrd` | 启动物料路径,由部署侧注入,框架不写死 |
## guest init 契约
`LaunchSpec.kernel_params` 会带入:
```text
mpc.tee.user_data=<128 hex> 本轮会话绑定值,证明代理必须用它生成报告
mpc.tee.site=<site> 本方标识
agent.aa_kbc_params=... guest 内证明代理的密钥来源
```
guest 内的证明代理读 `/proc/cmdline` 取 `user_data`,调芯片接口生成报告,
再由 KBC 解出根密钥。建议落盘到以下路径(`GuestTee` 构造时传入一致的值即可改):
```text
/run/mpc-tee/report.bin 芯片报告原文(非空)
/run/mpc-tee/certs/0.bin ... 证书链,按序(CSV 可为空)
/run/mpc-tee/root-key.hex 64 位十六进制根密钥
```
对应的框架接入是 `mpc_tee::guest::{FileAttestationSource, HexFileKeySource, GuestTee}`。
注意:`GuestTee::attest` 会先核对 `/proc/cmdline` 里的绑定值与本次调用一致,
不一致就拒绝 —— 换一轮会话必须重启 guest,不能复用旧报告。
## 真机实测参数(2026-11-06)
| 项 | AMD `192.168.1.7` | 海光 `192.168.1.102` |
|---|---|---|
| CPU / 宿主内核 | EPYC 7203 / `6.13.0-snp-guest-*` | Hygon C86 7255 / `5.10.134-csv` |
| 设备能力 | `/dev/sev`,SEV-SNP API 1.55,ASID 1–99 | `/dev/sev`,`sev=1 sev_es=1` |
| qemu | 9.1.2 | 6.2.0 |
| qemu 对象 / 挂载参数 | `sev-snp-guest` / `confidential-guest-support` | `sev-guest` / `memory-encryption` |
| C-bit 位置 | 51 | **47**(真机实测,写 51 被 KVM 拒绝) |
| direct boot 度量 | `kernel-hashes=on` | **必需** `kernel-hashes=on` |
| 固件加载 | `-bios` | **必须 `-drive if=pflash,...`** |
| guest policy | `0x30000` | CSV2 = 7、CSV3 = 71、DCU = 3 |
| vCPU 模型 | `host` | `host`(CSV3 为 `Dhyana`) |
| 配额 | 1 vCPU / 2048 MiB | 4 vCPU / 2048 MiB(DCU 16384 MiB) |
| 证明通道 | guest 内 `/dev/sev-guest` | guest 内 vmmcall / ioctl 原生接口 |
| 密钥代理 | 在线 `cc_kbc`,KBS `192.168.1.7:8080` | 离线 `offline_fs_kbc`,initrd 内置 |
policy 在平台配置里按十进制写(3 / 7 / 71),框架生成 qemu 参数时用十六进制
(`0x3` / `0x7` / `0x47`),数值相同。qemu 9 与 6.2 的内存加密参数名不同,
已由 `PlatformProfile` 区分,换 qemu 版本时要复核这一项。
**两条路径 direct boot 都要 `kernel-hashes=on`**;海光还要求固件以 pflash 加载,
这两项由 `PlatformProfile.firmware_pflash` 与 `qemu_argv()` 自动生成,
部署侧只提供固件文件路径。真机消融证明缺任一项都会启动失败:
缺 `kernel-hashes` 时 OVMF 不认 direct boot、转去找 GRUB,最终在
`LAUNCH_MEASURE` 报 `fw_error=24 'Platform is already owned'`;
有 `kernel-hashes` 却用 `-bios` 时 qemu 6.2 在 OVMF flash 表上断言崩溃。
**那个「平台已被占用」是 qemu 6.2 把 errno 当固件错误码查表产生的误导性字符串,
不代表平台被占用,不需要做固件重置。**
## 能力边界
**本版已交付**:宿主预检、fail-closed 准入、会话绑定证明、guest 内 `Tee` 实现、
qemu argv 生成与执行脚本、CLI 与清单回归测试;**真机 AMD SNP / 海光 CSV 两条路径
均已端到端启动,并完成跨物理机双加密 guest 的密文会话**(双方 `35.000000`,
详见 `docs/TEE_DIRECT_LAUNCH.md`)。
**本版未交付**:自定义 guest initrd 的构建流水线(真机验证时是手工构造)、
证明代理的芯片签名实现、KBS 资源下发协议、证书链验签器。它们属于 guest 镜像
与验证方职责,框架只定义契约、搬运报告并绑定会话。
**真机结论更正**:曾把 CSV 的 `LAUNCH_MEASURE fw_error=24 'Platform is already owned'`
误判为固件平台状态。真机参数消融证明真正原因是缺 `kernel-hashes=on`,
且固件必须 pflash 加载;那句报错是 qemu 6.2 把 errno 当固件错误码查表的
误导性字符串,**不是平台被占用、不需要固件重置**。修正后 CSV guest 正常启动,
`mpc selftest` 全绿、跨机计算闭环(详见设计文档)。
**宿主网络后端**:真机自带的静态 qemu 没编 slirp,`-netdev user` 直接报
`network backend 'user' is not compiled into this binary`。真机验证用
`-netdev socket,...` 把两个 guest 二层直连;这类宿主相关参数一律由部署层注入,
不写进核心 crate。