Files
ssw-mpc/deploy/tee/real-machine/README.md
T
admin e839a972c0 feat(tee): 接入 AMD SEV-SNP 芯片验签,双平台「先验证明才给密钥」全部真机跑通
## 改了什么

- **SNP 芯片签名验签闭环**:新增 `snp_collect.rs`(SNP_GET_EXT_REPORT ioctl
  + GHCB 切分)、`snp-verify-attestation.sh`(VCEK 走 AMD KDS)、
  `selftest-snp-verify.py`(正 1 + 负 8),进主闸门第 10 条。
- **框架侧补 `mpc.tee.platform`**:`tee plan` 现在告诉 guest 用哪个平台采证明。
- **KBS 补独立 `--pin`**:`MPC_KBS_PIN` 与 `--measurement` 解耦,缺省回落,
  既有部署行为不变 —— 这是「度量 pin 那一关」唯一能被单独测到的姿势。
- **guest stdout 修复**:init 开头 mknod 真 `/dev/console` + `exec > ... 2>&1`;
  `run-guest.py` 加 `MPC_TEE_SERIAL_LOG` 换 chardev file 落盘。
- **负向矩阵**:新增 `snp-attest-negative.sh`(6 条),判据全部收紧到该关独有文案。
- **KBS 就绪判据**:`kbs-net.sh` 从「进程存活」改成「端口进 LISTEN」。
- **文档**:`TEE_DIRECT_LAUNCH.md` 新增 SNP 整节 + bug 1~9;
  `TEE_OCI_PATH.md` 补 SNP 侧与负向判据唯一性;新增 `INTEGRATION_ANALYSIS.md`
  与 `OPTEE_VERIF_PLAN.md`;`ci.sh` 加 no_std 双守、TA UUID 对拍、SNP 自测。

## 什么影响

- 真机(海光 CSV `192.168.1.102` + AMD SNP `192.168.1.7`)**双向跑通**,
  两端用同一份 Rust 判定代码。
- SNP 正向 e2e 7/7、负向 6/6 全部真拒在各自关卡;`tools/ci.sh` 十条全绿。
- 三处真 bug 已修:guest stdout 全丢(`/dev/console` 是普通文件 +
  `-nographic`/`-serial stdio` 抢 stdio)、`MPC_KBS_PIN` 接口缺口、
  负向判据不唯一(兜底分支导致假绿)。
- 边界不变:`attest-mkbundle` 仍是合成件,过不了芯片验签(仅自测用)。
2026-11-07 12:47:22 +08:00

10 KiB
Raw Blame History

真机复现:AMD SEV-SNP + 海光 CSV 双加密 guest

把 2026-11-06 的临时 /tmp 脚本整理成可复现资产。凭据不入库:SSH 口令由 xop 键名经环境变量注入,PSK / seed / 根密钥由 KBS 下发(或离线演练层), 仓库里只有占位值与示例节点描述。

前置物料

  1. Linux 静态 mpc(macOS 上交叉编译):

    仓库根的 .cargo/config.toml 已经配好 x86_64-unknown-linux-musl 段 (rust-lld + link-self-contained=yes + +crt-static),直接:

    cargo build --release -p mpc-cli --target x86_64-unknown-linux-musl
    # 产物:target/x86_64-unknown-linux-musl/release/mpc(static-pie,约 1.4 MB)
    

    依赖系统有 rust-lld(随 Rust 工具链自带),不需要额外的 musl gcc, 也不需要 zig。若目标机缺 rust-lld,退化路径是 CARGO_TARGET_X86_64_UNKNOWN_LINUX_MUSL_LINKER=x86_64-linux-musl-gcc 加 RUSTFLAGS="-C link-self-contained=no"(否则 zig 的 crt 与 Rust 自带 crt 重复定义 _start)。

  2. base rootfs:现成 alpine rootfs(含 /bin/busybox 与 musl loader)。

  3. OCI 镜像与 initrd:按 ../oci/README.md 跑 build / verify / pack, 记下 measurement=<64hex>。

  4. 节点描述:复制 nodes/*.node.example,把 measurement 换成上一步的 digest, 其余路径按真机 preflight.sh 结果填写。

  5. KBS(可选,在线模式):../kbs/serve.py 只是演练 stub;生产请用带证明校验的 Trustee/KBS。离线演练用 MPC_TEE_KBC=offline_fs_kbc::null, 并在 build 时加 --offline-dir 提供 psk / seed / root-key。

单 guest 自检

export MPC_TEE_MPC_BIN=/path/to/mpc
export MPC_TEE_MANIFEST=<64hex>
export MPC_TEE_KBC=offline_fs_kbc::null
python3 run-guest.py nodes/amd-sev-snp.node.example <64hex-session> <64hex-pubkey> none

role=none 不挂网卡,只验证 guest 内核、mpc selftest 与 OCI 层校验。

双 guest 跨物理机计算

export MPC_TEE_MPC_BIN=/path/to/mpc-linux-x86_64
export MPC_TEE_INITRD=/path/to/mpc-initrd.img
export MPC_TEE_AMD_NODE=nodes/amd-sev-snp.node.example
export MPC_TEE_HYGON_NODE=nodes/hygon-csv2.node.example
export MPC_TEE_MANIFEST=<64hex>
export MPC_TEE_KBC=offline_fs_kbc::null
# 可选:MPC_TEE_AMD_HOST / MPC_TEE_HYGON_HOST / *_USER_KEY / *_PASS_KEY
MPC_TEE_DRY_RUN=1 ./pair-run.sh      # 先看物料与计划,不连机
./pair-run.sh

pair-run.sh 会:分发物料到两台宿主 → 后台起 AMD SNP guest(alice,socket 监听)→ 只读确认端口 LISTEN → 起海光 CSV guest(bob,socket 连接)→ 输出两侧日志尾部。 判定成功的标志是两侧都输出 value | 35.000000,且日志里有 oci_layers: verified、manifest_digest=...、mpc selftest 全部通过。

分层与职责

层 文件 职责
框架 mpc tee plan --argv 平台中立的 qemu argv(含 user_data、kernel-hashes、pflash、cbitpos)
部署 run-guest.py 只补串口 / 角色 / manifest / KBC / socket 网卡 / NUMA,不覆盖框架参数
编排 pair-run.sh 分发物料、起两侧 guest、收日志;调度决策在本地,不在集群
guest ../guest/init.sh 校验 OCI 层 → 取密钥 → 启动 mpc node

证明链路自测(SNP,2026-11-07 补齐)

脚本 作用
snp-verify-attestation.sh SNP 报告芯片验签(VCEK 走 AMD KDS;r[72]+s[72] 小端标量 + report[0:0x2A0])
selftest-snp-verify.py 验签器自测:正 1 + 负 8(篡改 report_data / measurement / 签名 / 截断 等)
snp-attest-matrix.sh 正向端到端:guest 采报告 → KBS 判定 → 凭 token 取密钥(6 条判据)
snp-attest-negative.sh 负向矩阵 6 条:度量 pin / 站点 / TCB / 会话 / 无验签器 / 验签器判失败
kbs-net.sh 起 bridge + tap + KBS 实例;就绪判据是端口进 LISTEN,不是进程存活

run-guest.py 支持 MPC_TEE_SERIAL_LOG=<path>:把串口改到 chardev file。 guest 的 stdout 默认会丢(initramfs 里 /dev/console 是普通文件), 详见 docs/TEE_DIRECT_LAUNCH.md 里那一节。

框架原生 argv 已经过真机校正,不要再加 -machine / sev-guest / 固件 / CPU 的 部署层覆盖;真机上那次 Platform is already owned 的根因是缺 kernel-hashes=on 与 pflash,已修进 PlatformProfile,详见 docs/TEE_DIRECT_LAUNCH.md。

边界

  • 两台真机的静态 qemu 没编 slirp,-netdev user 不可用;跨 guest 链路由部署层 注入 socket netdev,核心 crate 不写死宿主网络后端。
  • 在线 KBS 已是真判定(调 Rust 的 mpc tee attest-check)+ 无状态 token (HMAC-SHA256 + 常量时间比较,重启不失效);MPC_KBS_TOKEN_KEY 缺省时 拒绝启动,MPC_KBS_PIN 不填则回落到 --measurement。 生产仍建议换真 Trustee。
  • pair-run.sh 只起 qemu,不做芯片证明互验;报告验签走 mpc tee verify 的外部验签器。

核对真实 CSV 报告(2548 字节)

真机复核(2026-11-06,192.168.1.102)确认:海光厂商 SDK /opt/hygon/csv/attestation/csv_status.h 里 struct csv_attestation_report 的 sizeof 是 2548 字节,不是 4096(4096 只是 hypercall/mmap 的页大小)。 get-attestation / ioctl-get-attestation 写出的 report.cert 就是 2548 字节; 把报告长度按 4096 做下限会拒掉每一份真实报告。字段偏移: user_data@0x40、measure@0x90(32B SM3)、policy@0xB0、sig1@0xC0(144B)、 pek_cert@0x150、sn@0x974,结构体内无 version 字段。

报告必须在 CSV guest 内取(宿主机没有 /dev/csv-guest,直接跑 get-attestation 会 open /dev/csv-guest failed)。拿到 report.cert 后离线核对:

python3 deploy/tee/real-machine/csv-report-check.py --selftest   # 自检布局常量与解析
python3 deploy/tee/real-machine/csv-report-check.py --report report.cert
python3 deploy/tee/real-machine/csv-report-check.py --report report.cert \
        --user-data <64字节挑战值hex>   # 核对 user_data@0x40 与会话绑定一致

脚本只做布局与 user_data 绑定核对,不验签;sig1 / pek_cert 的签名与 证书链交给厂商 verify-attestation 或 mpc tee verify 的外部验签器。 脚本兼容 Python 3.6(海光节点自带版本),不依赖第三方库。

海光 CSV 真实报告:捕获 → 还原 → 验签(端到端)

这一整套在 192.168.1.102 上实测跑通,产物可复现。

1. 采一份真实报告

./capture-csv-report.sh --mpc /path/to/mpc-linux --out /tmp/csv-report3

做三件事:造一个专门取报告的 initrd → 用框架原生 argv(mpc tee plan --argv) direct boot 一个 CSV guest → 从串口日志里提取报告十六进制还原成 report.cert。 产出 report.cert(2548 字节)、node(节点描述)、plan.json(框架 argv)、 session.env(本次采集用的会话参数,验证脚本从这里读,不靠人手抄)。

2. CSV 字段被 anonce 混淆,必须先还原

厂商 SDK 把 user_data / mnonce / measure / pek_cert / sn 与 anonce 按 u32 数组逐个异或后落盘;anonce@0xBC 本身是原值。 不还原就拿混淆值去比对绑定值,永远对不上,而且报错会指向「疑似重放报告」。

python3 csv-report-restore.py --report report.cert --field user_data --json
python3 csv-report-restore.py --report report.cert --field all
python3 csv-report-restore.py --selftest          # 用真机实测值自检

3. 取报告的 ioctl 契约

报告必须在 CSV guest 内用 ioctl 取(宿主机没有 /dev/csv-guest):

  • GET_ATTESTATION_REPORT = _IOWR('D', 1, struct csv_guest_mem), struct csv_guest_mem { unsigned long va; int size; }
  • 用户态缓冲区 = 整页 4096 字节,前 112 字节是 user_data[64] + mnonce[16] + hash_block[32],hash = SM3(user_data || mnonce)
  • 固件在同一缓冲区就地写回 2548 字节报告 → size 必须 ≥ 2548 (缓冲区只给 112 字节会报 EFAULT/Bad address,它要回写 2548 字节)

厂商 get-attestation 把挑战值写死成 ASCII "user data",报告因此无法与框架 会话绑定对上。csv-attest-request.c 支持自定义挑战值 (--user-data HEX64),并自带 SM3 实现(guest rootfs 无 openssl/sm3.h), 已用 GB/T 32905-2016 两个标准向量验证。

4. 官方验签器:四个坑

csv-verify-attestation.sh 是厂商 verify-attestation 的 wrapper,坑都堵在这里:

坑 现象 处置
退出码恒为 0 失败也返回 0 按 stdout 文本判定
报告路径写死 固定读 ./report.cert 工作目录里放 report.cert
离线证书 fallback 只在自己所在目录 dirname(readlink("/proc/self/exe")) 把二进制复制到工作目录再执行
对截断报告 fail-open 1000 字节截断报告照样打印 "verify success" wrapper 层自卡长度(必须 == 2548)

另:LD_LIBRARY_PATH=/opt/gmssl/lib 会污染 curl(GmSSL 的 libssl 缺 OPENSSL_1_1_1 符号版本),官方工具自带 rpath,不能设这个变量。

5. 端到端

./verify-csv-report-e2e.sh --report-dir /tmp/csv-report3 \
  --mpc /tmp/mpc-linux \
  --verifier /tmp/mpc-tee-tools/csv-verify-attestation.sh \
  [--chain-dir /tmp/csv-chain]

三步:还原 anonce → 官方验签器(芯片签名 + 证书链)→ 框架 mpc tee verify (结构 + 会话绑定 + 芯片签名)。成功输出 E2E_OK。

会话参数默认从 <report-dir>/session.env 读 —— 验证方必须用采集时那一组参数 重算绑定值。手工抄 site / measurement / tcb 是绑定对不上的头号来源,而那个报错 会误导成重放攻击。

mpc tee verify 也支持 --node <节点描述>:site / measurement / tcb / platform 默认全部取自它,与 tee plan 读同一份真相源。