mpc-tee 新增 platform/session/schedule(no_std) 与 guest(std):平台能力表、会话绑定证明、fail-closed 准入、qemu LaunchSpec、guest 内 Tee 实现。CLI 加 tee paths / tee plan,catalog 与 domain 同步清单与常量(非 breaking)。deploy/tee 提供宿主预检与直接启动脚本,docs/TEE_DIRECT_LAUNCH.md 记录分层与真机真值。真机校正:confidential-guest-support、kernel-hashes=on + pflash 固件(CSV)、cbitpos 51/47、console=ttyS0。影响:TEE 调度不经容器编排层;SNP/CSV guest 跨物理机密文会话已实测通过。
142 lines
7.2 KiB
Markdown
142 lines
7.2 KiB
Markdown
# TEE 直接调度:宿主预检与启动
|
||
|
||
这一目录是 **ssw-mpc 直接启动 AMD SEV-SNP / 海光 CSV guest** 的部署侧资产。
|
||
框架(`mpc-tee`)只做判定,`mpc tee plan` 输出平台中立的 `LaunchSpec`;
|
||
这里负责把宿主实测能力填进节点描述,并按规格直接执行 qemu。
|
||
|
||
**全链路不生成容器清单、不设置运行时类、不依赖任何集群调度器。**
|
||
|
||
## 三段流程
|
||
|
||
```text
|
||
preflight.sh → <site>.node 宿主只读预检,产出节点能力描述
|
||
mpc tee plan → LaunchSpec fail-closed 准入 + 会话绑定证明 + qemu argv
|
||
launch.sh → qemu guest 按 argv_json 直接 exec,guest 内原生跑 mpc
|
||
```
|
||
|
||
## 文件
|
||
|
||
| 文件 | 作用 |
|
||
|---|---|
|
||
| `preflight.sh` | 在宿主上检查 `/dev/sev`、qemu、固件、guest 内核/initrd、KBS 可达性,输出节点描述 |
|
||
| `launch.sh` | 调 `mpc tee plan --argv`,解析 `argv_json` 后用 `execvp` 直接启动 qemu;`--dry-run` 只打印参数 |
|
||
| `nodes/amd-sev-snp.node.example` | AMD 侧节点描述模板(占位值) |
|
||
| `nodes/hygon-csv2.node.example` | 海光 CSV2 侧节点描述模板(占位值) |
|
||
|
||
## 用法
|
||
|
||
```bash
|
||
# 1) 宿主预检(在 TEE 节点上跑;路径用环境变量覆盖)
|
||
MPC_TEE_QEMU=/path/to/qemu-system-x86_64 \
|
||
MPC_TEE_FIRMWARE=/path/to/AMDSEV.fd \
|
||
MPC_TEE_KERNEL=/path/to/vmlinuz \
|
||
MPC_TEE_INITRD=/path/to/initrd.img \
|
||
deploy/tee/preflight.sh \
|
||
--platform sev-snp --site alice --host 192.168.1.7 --tcb 5 \
|
||
--measurement <已签名镜像的 64 位十六进制度量> > alice.node
|
||
|
||
# 2) 只看准入结论(离线演练用 --demo,会明确警告)
|
||
./target/debug/mpc tee plan --node alice.node --demo --min-tcb 3 --argv
|
||
|
||
# 3) 真正启动(必须带本轮会话值)
|
||
deploy/tee/launch.sh --node alice.node \
|
||
--session-id <64hex> --pubkey <64hex> --min-tcb 3
|
||
|
||
# 只打印 argv 不启动
|
||
deploy/tee/launch.sh --node alice.node --demo --dry-run
|
||
```
|
||
|
||
`--measurement` 不给时预检脚本写全零,准入会拒绝 —— 这是刻意的:
|
||
不知道镜像是哪一份,就不该启动。`--demo` 只用于离线计划演练,不能上生产。
|
||
|
||
## 节点描述字段
|
||
|
||
行式 `key=value`,`#` 注释,报错带行号。`*_present` 位全部默认 `false`,
|
||
写 `true` 的含义是「宿主上实测存在」,不是「应该存在」。
|
||
|
||
| key | 说明 |
|
||
|---|---|
|
||
| `site` / `host` / `kind` / `tcb` | 参与方标识、平台(`sev-snp` / `hygon-csv`)、TCB |
|
||
| `device_present` | `/dev/sev` 是否存在 |
|
||
| `qemu_present` / `firmware_present` | qemu 与固件是否存在 |
|
||
| `image_present` | guest 内核与 initrd 是否都已检出 |
|
||
| `kbc` | `online`(`cc_kbc`)/ `offline`(`offline_fs_kbc`) |
|
||
| `kbs_reachable` | 在线模式下 KBS 端点是否可达;离线不要求 |
|
||
| `measurement` | 已签名 guest 镜像的 SHA-256(64 位十六进制) |
|
||
| `qemu` / `firmware` / `kernel` / `initrd` | 启动物料路径,由部署侧注入,框架不写死 |
|
||
|
||
## guest init 契约
|
||
|
||
`LaunchSpec.kernel_params` 会带入:
|
||
|
||
```text
|
||
mpc.tee.user_data=<128 hex> 本轮会话绑定值,证明代理必须用它生成报告
|
||
mpc.tee.site=<site> 本方标识
|
||
agent.aa_kbc_params=... guest 内证明代理的密钥来源
|
||
```
|
||
|
||
guest 内的证明代理读 `/proc/cmdline` 取 `user_data`,调芯片接口生成报告,
|
||
再由 KBC 解出根密钥。建议落盘到以下路径(`GuestTee` 构造时传入一致的值即可改):
|
||
|
||
```text
|
||
/run/mpc-tee/report.bin 芯片报告原文(非空)
|
||
/run/mpc-tee/certs/0.bin ... 证书链,按序(CSV 可为空)
|
||
/run/mpc-tee/root-key.hex 64 位十六进制根密钥
|
||
```
|
||
|
||
对应的框架接入是 `mpc_tee::guest::{FileAttestationSource, HexFileKeySource, GuestTee}`。
|
||
注意:`GuestTee::attest` 会先核对 `/proc/cmdline` 里的绑定值与本次调用一致,
|
||
不一致就拒绝 —— 换一轮会话必须重启 guest,不能复用旧报告。
|
||
|
||
## 真机实测参数(2026-11-06)
|
||
|
||
| 项 | AMD `192.168.1.7` | 海光 `192.168.1.102` |
|
||
|---|---|---|
|
||
| CPU / 宿主内核 | EPYC 7203 / `6.13.0-snp-guest-*` | Hygon C86 7255 / `5.10.134-csv` |
|
||
| 设备能力 | `/dev/sev`,SEV-SNP API 1.55,ASID 1–99 | `/dev/sev`,`sev=1 sev_es=1` |
|
||
| qemu | 9.1.2 | 6.2.0 |
|
||
| qemu 对象 / 挂载参数 | `sev-snp-guest` / `confidential-guest-support` | `sev-guest` / `memory-encryption` |
|
||
| C-bit 位置 | 51 | **47**(真机实测,写 51 被 KVM 拒绝) |
|
||
| direct boot 度量 | `kernel-hashes=on` | **必需** `kernel-hashes=on` |
|
||
| 固件加载 | `-bios` | **必须 `-drive if=pflash,...`** |
|
||
| guest policy | `0x30000` | CSV2 = 7、CSV3 = 71、DCU = 3 |
|
||
| vCPU 模型 | `host` | `host`(CSV3 为 `Dhyana`) |
|
||
| 配额 | 1 vCPU / 2048 MiB | 4 vCPU / 2048 MiB(DCU 16384 MiB) |
|
||
| 证明通道 | guest 内 `/dev/sev-guest` | guest 内 vmmcall / ioctl 原生接口 |
|
||
| 密钥代理 | 在线 `cc_kbc`,KBS `192.168.1.7:8080` | 离线 `offline_fs_kbc`,initrd 内置 |
|
||
|
||
policy 在平台配置里按十进制写(3 / 7 / 71),框架生成 qemu 参数时用十六进制
|
||
(`0x3` / `0x7` / `0x47`),数值相同。qemu 9 与 6.2 的内存加密参数名不同,
|
||
已由 `PlatformProfile` 区分,换 qemu 版本时要复核这一项。
|
||
|
||
**两条路径 direct boot 都要 `kernel-hashes=on`**;海光还要求固件以 pflash 加载,
|
||
这两项由 `PlatformProfile.firmware_pflash` 与 `qemu_argv()` 自动生成,
|
||
部署侧只提供固件文件路径。真机消融证明缺任一项都会启动失败:
|
||
缺 `kernel-hashes` 时 OVMF 不认 direct boot、转去找 GRUB,最终在
|
||
`LAUNCH_MEASURE` 报 `fw_error=24 'Platform is already owned'`;
|
||
有 `kernel-hashes` 却用 `-bios` 时 qemu 6.2 在 OVMF flash 表上断言崩溃。
|
||
**那个「平台已被占用」是 qemu 6.2 把 errno 当固件错误码查表产生的误导性字符串,
|
||
不代表平台被占用,不需要做固件重置。**
|
||
|
||
## 能力边界
|
||
|
||
**本版已交付**:宿主预检、fail-closed 准入、会话绑定证明、guest 内 `Tee` 实现、
|
||
qemu argv 生成与执行脚本、CLI 与清单回归测试;**真机 AMD SNP / 海光 CSV 两条路径
|
||
均已端到端启动,并完成跨物理机双加密 guest 的密文会话**(双方 `35.000000`,
|
||
详见 `docs/TEE_DIRECT_LAUNCH.md`)。
|
||
|
||
**本版未交付**:自定义 guest initrd 的构建流水线(真机验证时是手工构造)、
|
||
证明代理的芯片签名实现、KBS 资源下发协议、证书链验签器。它们属于 guest 镜像
|
||
与验证方职责,框架只定义契约、搬运报告并绑定会话。
|
||
|
||
**真机结论更正**:曾把 CSV 的 `LAUNCH_MEASURE fw_error=24 'Platform is already owned'`
|
||
误判为固件平台状态。真机参数消融证明真正原因是缺 `kernel-hashes=on`,
|
||
且固件必须 pflash 加载;那句报错是 qemu 6.2 把 errno 当固件错误码查表的
|
||
误导性字符串,**不是平台被占用、不需要固件重置**。修正后 CSV guest 正常启动,
|
||
`mpc selftest` 全绿、跨机计算闭环(详见设计文档)。
|
||
|
||
**宿主网络后端**:真机自带的静态 qemu 没编 slirp,`-netdev user` 直接报
|
||
`network backend 'user' is not compiled into this binary`。真机验证用
|
||
`-netdev socket,...` 把两个 guest 二层直连;这类宿主相关参数一律由部署层注入,
|
||
不写进核心 crate。
|