Files
ssw-mpc/deploy/tee
admin 8404517cb3 feat(tee): 芯片证明链与双 guest 密文会话合流,挖出并修掉连接等待窗口不对称
真机(AMD SEV-SNP + 海光 CSV 跨两台物理机)同一次运行里两侧各自完成
attest-collect → attest-post(KBS 芯片验签放行)→ key_source=kbs →
跨物理机密文会话,两侧都还原 value | 35.000000。判据 TEE_PAIR_OK +
TEE_ATTEST_GATE_OK,EXIT=0。负向(度量 pin 不符 ⇒ 403 且拿不到密钥,
恢复后又能拿到)也真绿。

框架层真缺陷(本轮最深的坑):连接等待窗口两侧不对称 ——
被动方(--listen)原来无限等,主动方(--connect)硬编码 50×200ms=10s,
而被动方要先做 SNP 证明验签(联网拉 KDS 证书链,首次可达 90s)才 bind,
必然 Connection refused。症状像网络不通实为窗口配小,且看运气
(KDS 链有缓存时跑绿、缓存失效就必挂)。
修:mpc_node::SESSION_WAIT_BUDGET_SECS=180(两侧同一常量)+
connect_within/accept_within(按时长给预算而非次数×间隔)+
CLI wait_budget()(MPC_SESSION_WAIT_SECS 覆盖,两侧须一致);
accept 不再无限等,能报「等待对端连接超时」而非挂死到看门狗。
3 条守卫测试钉死。

其它真缺口:KBS 缺 --platform(AMD 机拿 csv 判 SNP ⇒ 平台不一致 403)、
KBS 缺 token 密钥(远端生成,经文件读入不落命令行)、手抄 hex 长度
66/65/63(改程序化生成 + assert)、PSK 带换行、证明提交超时 10s < KBS
判定 30s(改 90s;症状 os error 11 EAGAIN 不像超时易误判成 KBS 挂了)、
role=none 误要求数据面网卡(按 ROLE 分支)。

架构结论:两张网卡不能合成一张(socket 二层会话 / tap 三层 KBS);
网卡按 MAC 认不按枚举顺序;两侧各起本机 KBS 不共用;
编排层「等 qemu 端口 LISTEN」是假就绪信号。
证明门控判据独立于会话判据(互不蕴含,合成会一项过掩盖另一项不过)。

主门禁 19 → 20 条(第 20 条 = 证明门控判据自测 10/10)。
2026-11-08 00:20:45 +08:00
..

TEE 直接调度:宿主预检与启动

这一目录是 ssw-mpc 直接启动 AMD SEV-SNP / 海光 CSV guest 的部署侧资产。 框架(mpc-tee)只做判定,mpc tee plan 输出平台中立的 LaunchSpec; 这里负责把宿主实测能力填进节点描述,并按规格直接执行 qemu。

全链路不生成容器清单、不设置运行时类、不依赖任何集群调度器。

三段流程

preflight.sh  →  <site>.node       宿主只读预检,产出节点能力描述
mpc tee plan  →  LaunchSpec        fail-closed 准入 + 会话绑定证明 + qemu argv
launch.sh     →  qemu guest        按 argv_json 直接 exec,guest 内原生跑 mpc

文件

文件 作用
preflight.sh 在宿主上检查 /dev/sev、qemu、固件、guest 内核/initrd、KBS 可达性,输出节点描述
launch.sh 调 mpc tee plan --argv,解析 argv_json 后用 execvp 直接启动 qemu;--dry-run 只打印参数
nodes/amd-sev-snp.node.example AMD 侧节点描述模板(占位值)
nodes/hygon-csv2.node.example 海光 CSV2 侧节点描述模板(占位值)

用法

# 1) 宿主预检(在 TEE 节点上跑;路径用环境变量覆盖)
MPC_TEE_QEMU=/path/to/qemu-system-x86_64 \
MPC_TEE_FIRMWARE=/path/to/AMDSEV.fd \
MPC_TEE_KERNEL=/path/to/vmlinuz \
MPC_TEE_INITRD=/path/to/initrd.img \
  deploy/tee/preflight.sh \
    --platform sev-snp --site alice --host 192.168.1.7 --tcb 5 \
    --measurement <已签名镜像的 64 位十六进制度量> > alice.node

# 2) 只看准入结论(离线演练用 --demo,会明确警告)
./target/debug/mpc tee plan --node alice.node --demo --min-tcb 3 --argv

# 3) 真正启动(必须带本轮会话值)
deploy/tee/launch.sh --node alice.node \
  --session-id <64hex> --pubkey <64hex> --min-tcb 3

# 只打印 argv 不启动
deploy/tee/launch.sh --node alice.node --demo --dry-run

--measurement 不给时预检脚本写全零,准入会拒绝 —— 这是刻意的: 不知道镜像是哪一份,就不该启动。--demo 只用于离线计划演练,不能上生产。

节点描述字段

行式 key=value,# 注释,报错带行号。*_present 位全部默认 false, 写 true 的含义是「宿主上实测存在」,不是「应该存在」。

key 说明
site / host / kind / tcb 参与方标识、平台(sev-snp / hygon-csv)、TCB
device_present /dev/sev 是否存在
qemu_present / firmware_present qemu 与固件是否存在
image_present guest 内核与 initrd 是否都已检出
kbc online(cc_kbc)/ offline(offline_fs_kbc)
kbs_reachable 在线模式下 KBS 端点是否可达;离线不要求
measurement 已签名 guest 镜像的 SHA-256(64 位十六进制)
qemu / firmware / kernel / initrd 启动物料路径,由部署侧注入,框架不写死

guest init 契约

LaunchSpec.kernel_params 会带入:

mpc.tee.user_data=<128 hex>      本轮会话绑定值,证明代理必须用它生成报告
mpc.tee.site=<site>              本方标识
agent.aa_kbc_params=...          guest 内证明代理的密钥来源

guest 内的证明代理读 /proc/cmdline 取 user_data,调芯片接口生成报告, 再由 KBC 解出根密钥。建议落盘到以下路径(GuestTee 构造时传入一致的值即可改):

/run/mpc-tee/report.bin          芯片报告原文(非空)
/run/mpc-tee/certs/0.bin ...    证书链,按序(CSV 可为空)
/run/mpc-tee/root-key.hex       64 位十六进制根密钥

对应的框架接入是 mpc_tee::guest::{FileAttestationSource, HexFileKeySource, GuestTee}。 注意:GuestTee::attest 会先核对 /proc/cmdline 里的绑定值与本次调用一致, 不一致就拒绝 —— 换一轮会话必须重启 guest,不能复用旧报告。

真机实测参数(2026-11-06)

项 AMD 192.168.1.7 海光 192.168.1.102
CPU / 宿主内核 EPYC 7203 / 6.13.0-snp-guest-* Hygon C86 7255 / 5.10.134-csv
设备能力 /dev/sev,SEV-SNP API 1.55,ASID 1–99 /dev/sev,sev=1 sev_es=1
qemu 9.1.2 6.2.0
qemu 对象 / 挂载参数 sev-snp-guest / confidential-guest-support sev-guest / memory-encryption
C-bit 位置 51 47(真机实测,写 51 被 KVM 拒绝)
direct boot 度量 kernel-hashes=on 必需 kernel-hashes=on
固件加载 -bios 必须 -drive if=pflash,...
guest policy 0x30000 CSV2 = 7、CSV3 = 71、DCU = 3
vCPU 模型 host host(CSV3 为 Dhyana)
配额 1 vCPU / 2048 MiB 4 vCPU / 2048 MiB(DCU 16384 MiB)
证明通道 guest 内 /dev/sev-guest guest 内 vmmcall / ioctl 原生接口
密钥代理 在线 cc_kbc,KBS 192.168.1.7:8080 离线 offline_fs_kbc,initrd 内置

policy 在平台配置里按十进制写(3 / 7 / 71),框架生成 qemu 参数时用十六进制 (0x3 / 0x7 / 0x47),数值相同。qemu 9 与 6.2 的内存加密参数名不同, 已由 PlatformProfile 区分,换 qemu 版本时要复核这一项。

两条路径 direct boot 都要 kernel-hashes=on;海光还要求固件以 pflash 加载, 这两项由 PlatformProfile.firmware_pflash 与 qemu_argv() 自动生成, 部署侧只提供固件文件路径。真机消融证明缺任一项都会启动失败: 缺 kernel-hashes 时 OVMF 不认 direct boot、转去找 GRUB,最终在 LAUNCH_MEASURE 报 fw_error=24 'Platform is already owned'; 有 kernel-hashes 却用 -bios 时 qemu 6.2 在 OVMF flash 表上断言崩溃。 那个「平台已被占用」是 qemu 6.2 把 errno 当固件错误码查表产生的误导性字符串, 不代表平台被占用,不需要做固件重置。

能力边界

本版已交付:宿主预检、fail-closed 准入、会话绑定证明、guest 内 Tee 实现、 qemu argv 生成与执行脚本、CLI 与清单回归测试;真机 AMD SNP / 海光 CSV 两条路径 均已端到端启动,并完成跨物理机双加密 guest 的密文会话(双方 35.000000, 详见 docs/TEE_DIRECT_LAUNCH.md)。

本版未交付:自定义 guest initrd 的构建流水线(真机验证时是手工构造)、 证明代理的芯片签名实现、KBS 资源下发协议、证书链验签器。它们属于 guest 镜像 与验证方职责,框架只定义契约、搬运报告并绑定会话。

真机结论更正:曾把 CSV 的 LAUNCH_MEASURE fw_error=24 'Platform is already owned' 误判为固件平台状态。真机参数消融证明真正原因是缺 kernel-hashes=on, 且固件必须 pflash 加载;那句报错是 qemu 6.2 把 errno 当固件错误码查表的 误导性字符串,不是平台被占用、不需要固件重置。修正后 CSV guest 正常启动, mpc selftest 全绿、跨机计算闭环(详见设计文档)。

宿主网络后端:真机自带的静态 qemu 没编 slirp,-netdev user 直接报 network backend 'user' is not compiled into this binary。真机验证用 -netdev socket,... 把两个 guest 二层直连;这类宿主相关参数一律由部署层注入, 不写进核心 crate。