Files
ssw-mpc/deploy/tee
admin 27cbdc7b42 feat(optee): QEMU 实跑打通第 4/5 条验证,修掉 storage 路径等三个真问题
实证(CubeSandbox,OP-TEE 4.11 真跑):
- 全流程 selftest:OPTEE_VERDICT: PASS(八步全过)
- 第 5 条跨设备:OPTEE_CROSS_DEVICE_OK(解封被拒且原因是 AEAD 认证失败)
- 第 4 条跨重启:OPTEE_RESTART_OK(第二轮 provisioned=true + unseal 成功)
- 破坏实验:去掉 tee-supplicant -f /data/tee ⇒ 第一轮即转红(判据非恒绿)

修掉的三个真问题:
1. tee-supplicant 的 secure storage 默认路径是 /var/lib/tee,不是 /data/tee
   ⇒ 必须显式 -f /data/tee。原先 9p 挂载成功、provision/seal 都成功,
   但宿主 persist 始终是空的 —— 第一轮看不出来,第二轮才暴露
   provisioned=false。文档方案里那句「storage 默认在 /data/tee」是错的,已更正。
2. storage 目录是懒创建的 ⇒ 落点检查必须放在 provision 之后;
   判据升级为「正向标记 MPC_STORAGE_OK + 负向 MPC_STORAGE_EMPTY 配对」
   (只判否定式会恒为真:脚本半路崩掉就不打标记)。
3. guest poweroff 后 QEMU 不退出(Flash device refused suspend)⇒ timeout
   收不住 ⇒ 改后台跑 + 轮询 MARKER_ALL_DONE 收工,200s → 8s。

其他:
- 判据自测 15 → 19 个构造用例(含否定式判据恒为真的陷阱用例)。
- 新增 Zynq-7015 产物基线(sha256 + 精确字节数,只入哈希不入二进制)
  与启动链基线;板上旧 boot_backup.tar.gz 是 2023-05-30 旧版,
  5 个文件哈希全不同,不能用于回滚在役状态。
- TA 签名密钥分级守卫 ta-key-tier.sh 抽成唯一实现,三处入口共用。
2026-11-09 13:20:30 +08:00
..

TEE 直接调度:宿主预检与启动

这一目录是 ssw-mpc 直接启动 AMD SEV-SNP / 海光 CSV guest 的部署侧资产。 框架(mpc-tee)只做判定,mpc tee plan 输出平台中立的 LaunchSpec; 这里负责把宿主实测能力填进节点描述,并按规格直接执行 qemu。

全链路不生成容器清单、不设置运行时类、不依赖任何集群调度器。

三段流程

preflight.sh  →  <site>.node       宿主只读预检,产出节点能力描述
mpc tee plan  →  LaunchSpec        fail-closed 准入 + 会话绑定证明 + qemu argv
launch.sh     →  qemu guest        按 argv_json 直接 exec,guest 内原生跑 mpc

文件

文件 作用
preflight.sh 在宿主上检查 /dev/sev、qemu、固件、guest 内核/initrd、KBS 可达性,输出节点描述
launch.sh 调 mpc tee plan --argv,解析 argv_json 后用 execvp 直接启动 qemu;--dry-run 只打印参数
nodes/amd-sev-snp.node.example AMD 侧节点描述模板(占位值)
nodes/hygon-csv2.node.example 海光 CSV2 侧节点描述模板(占位值)

用法

# 1) 宿主预检(在 TEE 节点上跑;路径用环境变量覆盖)
MPC_TEE_QEMU=/path/to/qemu-system-x86_64 \
MPC_TEE_FIRMWARE=/path/to/AMDSEV.fd \
MPC_TEE_KERNEL=/path/to/vmlinuz \
MPC_TEE_INITRD=/path/to/initrd.img \
  deploy/tee/preflight.sh \
    --platform sev-snp --site alice --host 192.168.1.7 --tcb 5 \
    --measurement <已签名镜像的 64 位十六进制度量> > alice.node

# 2) 只看准入结论(离线演练用 --demo,会明确警告)
./target/debug/mpc tee plan --node alice.node --demo --min-tcb 3 --argv

# 3) 真正启动(必须带本轮会话值)
deploy/tee/launch.sh --node alice.node \
  --session-id <64hex> --pubkey <64hex> --min-tcb 3

# 只打印 argv 不启动
deploy/tee/launch.sh --node alice.node --demo --dry-run

--measurement 不给时预检脚本写全零,准入会拒绝 —— 这是刻意的: 不知道镜像是哪一份,就不该启动。--demo 只用于离线计划演练,不能上生产。

节点描述字段

行式 key=value,# 注释,报错带行号。*_present 位全部默认 false, 写 true 的含义是「宿主上实测存在」,不是「应该存在」。

key 说明
site / host / kind / tcb 参与方标识、平台(sev-snp / hygon-csv)、TCB
device_present /dev/sev 是否存在
qemu_present / firmware_present qemu 与固件是否存在
image_present guest 内核与 initrd 是否都已检出
kbc online(cc_kbc)/ offline(offline_fs_kbc)
kbs_reachable 在线模式下 KBS 端点是否可达;离线不要求
measurement 已签名 guest 镜像的 SHA-256(64 位十六进制)
qemu / firmware / kernel / initrd 启动物料路径,由部署侧注入,框架不写死

guest init 契约

LaunchSpec.kernel_params 会带入:

mpc.tee.user_data=<128 hex>      本轮会话绑定值,证明代理必须用它生成报告
mpc.tee.site=<site>              本方标识
agent.aa_kbc_params=...          guest 内证明代理的密钥来源

guest 内的证明代理读 /proc/cmdline 取 user_data,调芯片接口生成报告, 再由 KBC 解出根密钥。建议落盘到以下路径(GuestTee 构造时传入一致的值即可改):

/run/mpc-tee/report.bin          芯片报告原文(非空)
/run/mpc-tee/certs/0.bin ...    证书链,按序(CSV 可为空)
/run/mpc-tee/root-key.hex       64 位十六进制根密钥

对应的框架接入是 mpc_tee::guest::{FileAttestationSource, HexFileKeySource, GuestTee}。 注意:GuestTee::attest 会先核对 /proc/cmdline 里的绑定值与本次调用一致, 不一致就拒绝 —— 换一轮会话必须重启 guest,不能复用旧报告。

真机实测参数(2026-11-06)

项 AMD 192.168.1.7 海光 192.168.1.102
CPU / 宿主内核 EPYC 7203 / 6.13.0-snp-guest-* Hygon C86 7255 / 5.10.134-csv
设备能力 /dev/sev,SEV-SNP API 1.55,ASID 1–99 /dev/sev,sev=1 sev_es=1
qemu 9.1.2 6.2.0
qemu 对象 / 挂载参数 sev-snp-guest / confidential-guest-support sev-guest / memory-encryption
C-bit 位置 51 47(真机实测,写 51 被 KVM 拒绝)
direct boot 度量 kernel-hashes=on 必需 kernel-hashes=on
固件加载 -bios 必须 -drive if=pflash,...
guest policy 0x30000 CSV2 = 7、CSV3 = 71、DCU = 3
vCPU 模型 host host(CSV3 为 Dhyana)
配额 1 vCPU / 2048 MiB 4 vCPU / 2048 MiB(DCU 16384 MiB)
证明通道 guest 内 /dev/sev-guest guest 内 vmmcall / ioctl 原生接口
密钥代理 在线 cc_kbc,KBS 192.168.1.7:8080 离线 offline_fs_kbc,initrd 内置

policy 在平台配置里按十进制写(3 / 7 / 71),框架生成 qemu 参数时用十六进制 (0x3 / 0x7 / 0x47),数值相同。qemu 9 与 6.2 的内存加密参数名不同, 已由 PlatformProfile 区分,换 qemu 版本时要复核这一项。

两条路径 direct boot 都要 kernel-hashes=on;海光还要求固件以 pflash 加载, 这两项由 PlatformProfile.firmware_pflash 与 qemu_argv() 自动生成, 部署侧只提供固件文件路径。真机消融证明缺任一项都会启动失败: 缺 kernel-hashes 时 OVMF 不认 direct boot、转去找 GRUB,最终在 LAUNCH_MEASURE 报 fw_error=24 'Platform is already owned'; 有 kernel-hashes 却用 -bios 时 qemu 6.2 在 OVMF flash 表上断言崩溃。 那个「平台已被占用」是 qemu 6.2 把 errno 当固件错误码查表产生的误导性字符串, 不代表平台被占用,不需要做固件重置。

能力边界

本版已交付:宿主预检、fail-closed 准入、会话绑定证明、guest 内 Tee 实现、 qemu argv 生成与执行脚本、CLI 与清单回归测试;真机 AMD SNP / 海光 CSV 两条路径 均已端到端启动,并完成跨物理机双加密 guest 的密文会话(双方 35.000000, 详见 docs/TEE_DIRECT_LAUNCH.md)。

本版未交付:自定义 guest initrd 的构建流水线(真机验证时是手工构造)、 证明代理的芯片签名实现、KBS 资源下发协议、证书链验签器。它们属于 guest 镜像 与验证方职责,框架只定义契约、搬运报告并绑定会话。

真机结论更正:曾把 CSV 的 LAUNCH_MEASURE fw_error=24 'Platform is already owned' 误判为固件平台状态。真机参数消融证明真正原因是缺 kernel-hashes=on, 且固件必须 pflash 加载;那句报错是 qemu 6.2 把 errno 当固件错误码查表的 误导性字符串,不是平台被占用、不需要固件重置。修正后 CSV guest 正常启动, mpc selftest 全绿、跨机计算闭环(详见设计文档)。

宿主网络后端:真机自带的静态 qemu 没编 slirp,-netdev user 直接报 network backend 'user' is not compiled into this binary。真机验证用 -netdev socket,... 把两个 guest 二层直连;这类宿主相关参数一律由部署层注入, 不写进核心 crate。