## 改了什么 - **SNP 芯片签名验签闭环**:新增 `snp_collect.rs`(SNP_GET_EXT_REPORT ioctl + GHCB 切分)、`snp-verify-attestation.sh`(VCEK 走 AMD KDS)、 `selftest-snp-verify.py`(正 1 + 负 8),进主闸门第 10 条。 - **框架侧补 `mpc.tee.platform`**:`tee plan` 现在告诉 guest 用哪个平台采证明。 - **KBS 补独立 `--pin`**:`MPC_KBS_PIN` 与 `--measurement` 解耦,缺省回落, 既有部署行为不变 —— 这是「度量 pin 那一关」唯一能被单独测到的姿势。 - **guest stdout 修复**:init 开头 mknod 真 `/dev/console` + `exec > ... 2>&1`; `run-guest.py` 加 `MPC_TEE_SERIAL_LOG` 换 chardev file 落盘。 - **负向矩阵**:新增 `snp-attest-negative.sh`(6 条),判据全部收紧到该关独有文案。 - **KBS 就绪判据**:`kbs-net.sh` 从「进程存活」改成「端口进 LISTEN」。 - **文档**:`TEE_DIRECT_LAUNCH.md` 新增 SNP 整节 + bug 1~9; `TEE_OCI_PATH.md` 补 SNP 侧与负向判据唯一性;新增 `INTEGRATION_ANALYSIS.md` 与 `OPTEE_VERIF_PLAN.md`;`ci.sh` 加 no_std 双守、TA UUID 对拍、SNP 自测。 ## 什么影响 - 真机(海光 CSV `192.168.1.102` + AMD SNP `192.168.1.7`)**双向跑通**, 两端用同一份 Rust 判定代码。 - SNP 正向 e2e 7/7、负向 6/6 全部真拒在各自关卡;`tools/ci.sh` 十条全绿。 - 三处真 bug 已修:guest stdout 全丢(`/dev/console` 是普通文件 + `-nographic`/`-serial stdio` 抢 stdio)、`MPC_KBS_PIN` 接口缺口、 负向判据不唯一(兜底分支导致假绿)。 - 边界不变:`attest-mkbundle` 仍是合成件,过不了芯片验签(仅自测用)。
67 KiB
TEE 直接调度:AMD SEV-SNP / 海光 CSV
结论
ssw-mpc 不经过容器编排层调度 TEE。框架自己判断「这台节点够不够格跑这一轮
计算」,输出一份平台中立的 LaunchSpec,由部署侧直接启动 guest,把 mpc
进程作为 guest 内原生负载运行。
参考隐语 Kuscia 的分层可以看得更清楚:它把 TEE 放在引擎层 (TrustedFlow 与 SecretFlow / SCQL 平级),框架层只负责跨域网络、任务编排、 数据源与多引擎接入;安全运行时则被明确归为「隔离动态逻辑算子的沙箱」, 与 TEE 不是一层。把运行时类 / 注解 / 启动参数写进计算框架的 HAL, 等于把部署适配层上移成框架抽象 —— 换裸机、换 qemu 构建、换 TDX 都得改核心。
更实质的问题在证明:只把容器塞进加密 VM,得到的结论是「有个 SNP guest 在跑」; 而 MPC 要验证的是「对面这份二进制,正在用这把会话公钥,参与这一轮计算」。 这一层由会话绑定证明补齐,见下文。
分层
框架层 mpc-cli / mpc-orch 任务与参与方编排
mpc-tee::platform 平台能力表(guest policy / KBC / 证明通道 / qemu 语法)
mpc-tee::session 证明与 MPC 会话的 64 字节绑定
mpc-tee::schedule TeeRequirement / TeeNode / fail-closed 准入 / LaunchSpec
│ 平台中立的启动规格
执行层 deploy/tee/preflight.sh 宿主能力实测
deploy/tee/launch.sh 按 argv 直接 exec qemu
│ qemu -append 带 user_data
硬件层 AMD SEV-SNP guest /dev/sev-guest + 在线 cc_kbc
海光 CSV guest vmmcall / ioctl + 离线 offline_fs_kbc
│
guest mpc-tee::guest::GuestTee 读回报告与根密钥,实现 Tee trait
框架层三个新模块都是 no_std(只用 alloc):TA 侧也要能算出同一份绑定值。
guest.rs 是唯一需要 std 的模块(读文件、取熵),已用 #[cfg(feature = "std")] 隔离。
为什么不"只是启动了加密虚拟机"
芯片报告的 user_data / report_data 是 64 字节定长。框架把它拆成两段各 32 字节,
分别用不同的域分隔常量(mpc/tee/session/bind/v1 与 mpc/tee/session/attest/v1):
- 前半段:
SHA256(标签 ‖ 会话标识 ‖ site ‖ 会话公钥) - 后半段:
SHA256(标签 ‖ 代码度量 ‖ 平台标签 ‖ TCB)
启动时这个值随内核参数钉进 guest;guest 内证明代理用它生成报告;
GuestTee::attest 会从 /proc/cmdline 读回来复核,不一致就拒绝。
验证方用 verify_bound_attestation 重算并定长比较,拒绝重放报告。
框架不做芯片验签。VCEK ← ASK ← ARK 证书链、CSV 报告签名、TCB 语义由
验证方 / KBS 核验;verify_bound_attestation 返回 Ok 只表示「结构和绑定对得上」,
不等于硬件证明已通过。GuestTee::sign 是由 KBC 注入根密钥派生的认证标签,
也不是芯片设备密钥签名 —— 需要芯片签名的审计锚点应直接取证明报告。
fail-closed 准入清单
mpc_tee::schedule::admit 任一不满足即 Err(TeeError::AdmissionDenied),
没有降级通过分支:
- 平台有直接启动规格、且与节点平台一致;
/dev/sev存在;qemu、固件、guest 内核 + initrd 均已通过宿主预检;- 四类启动路径都给出且不含空白(argv 是数组,不经 shell);
- 节点 TCB 不低于
--min-tcb; - 会话已建立、镜像度量已 pin,且与会话绑定里的度量一致;
- 额外指定的
--pin与节点度量一致; - KBC 模式与要求、与平台默认一致;在线模式要求 KBS 可达且有端点;
- 证明所需的 64 字节绑定值由
SessionBinding统一计算。
少任意一项的表现是拒绝出规格,而不是「先跑起来再说」。这一点很重要: 设备缺失、度量未 pin、KBS 连不上,实际症状都是「guest 起来了但密钥拿不到 / 证明对不上」,上层却以为自己在 TEE 里。
两条路径对照
| 项 | AMD SEV-SNP | 海光 CSV |
|---|---|---|
| 宿主设备 | /dev/sev(SNP ASID 池) |
/dev/sev(sev=1 sev_es=1) |
| qemu 版本 / 对象 | 9.1.2 / sev-snp-guest |
6.2.0 / sev-guest |
| 内存加密参数 | confidential-guest-support |
memory-encryption |
C-bit 位置(cbitpos) |
51 | 47(写 51 会被 KVM 直接拒绝) |
| direct boot 度量 | kernel-hashes=on |
必需 kernel-hashes=on(缺了会在 LAUNCH_MEASURE 报误导性错误) |
| 固件加载 | -bios |
必须 -drive if=pflash,...(否则 kernel-hashes=on 让 qemu 6.2 断言崩溃) |
| guest policy | 0x30000 |
CSV2 = 7、CSV3 = 71、DCU = 3 |
| vCPU 模型 | host |
host(CSV3 为 Dhyana) |
| 默认配额 | 1 vCPU / 2048 MiB | 4 vCPU / 2048 MiB(DCU 16384 MiB) |
| 证明通道 | guest 内 /dev/sev-guest |
guest 内 vmmcall / ioctl 原生接口 |
| 密钥代理 | 在线 cc_kbc,KBS 与计算节点同机 :8080 |
离线 offline_fs_kbc,initrd 内置 |
| 是否需要 guest 网络 | 需要(访问 KBS) | 不需要 |
参数来自 2026-11-06 两台真机实测(192.168.1.7 / 192.168.1.102),
不是照抄部署文档:实测这台海光是 CSV2(policy 7),另有 DCU 变体(policy 3);
在线 Trustee 与 AMD 计算节点同机;两台都没有平台级节点标签,
所以调度依据全部来自宿主预检,不依赖集群标签。
海光 CSV 的 policy 在平台配置里是十进制 3 / 7 / 71,框架生成 qemu 参数时
写成十六进制 0x3 / 0x7 / 0x47,数值相同。
参数消融结论(真机 9 个 case):CSV direct boot 的唯一必需组合是
kernel-hashes=on + 固件以 pflash 加载。-machine 用 memory-encryption
还是 confidential-guest-support、reduced-phys-bits 取 1 还是 5、
CPU / SMP 配额、以及两个同 md5 的 kernel 文件名,都不影响启动。
框架只固化这组必需条件,不照抄某套现成运行时的全部参数。
CLI
mpc tee paths # 列内置平台规格
mpc tee plan --node FILE \
--session-id <64hex> --pubkey <64hex> \
[--min-tcb N] [--variant csv3] [--kbc online] [--pin <64hex>] [--argv] [--demo]
--node是deploy/tee/preflight.sh产出的行式节点描述;--argv同时给「给人看的一行」和argv_json(JSON 数组,保留参数边界);--demo用固定示例会话值离线演练,会明确警告不能上生产。
mpc tee verify --report FILE --node FILE \
--user-data <128hex> --session-id <64hex> --pubkey <64hex> \
[--platform csv] [--tcb N] [--min-tcb N] [--pin <64hex>] \
[--verifier PATH] [--verifier-arg A] [--certs PATH]
tee verify 与 tee plan 必须用同一份 --node:site / measurement / tcb /
platform 都参与 user_data 绑定,手工重填任一项都会导致绑定对不上,而那个报错
(「user_data 与本次会话绑定不一致」)指向重放攻击,会把实现问题误导成安全事件。
给了 --node 后这四项默认全部取自它;节点平台与 --platform 冲突直接拒绝。
芯片签名由 --verifier 指向的外部验签器核验(stdout trim 后为 OK 或以
verified=true 开头视为通过,退出码非 0 视为失败)。结论里严格区分
「芯片签名未验证」与「已验证」——verify_attestation 返回 Ok 不等于硬件证明通过。
qemu_argv() 返回 argv 数组:-append 的内核参数含空格,必须作为一个
参数整体传给 execvp。deploy/tee/launch.sh 用的就是 argv_json,
不要拿文本模式那一行去跑 shell。
与可信度方案的关系
TrustPlan(L0–L3)判断「这一轮靠什么保证安全」,本层判断「这台节点配不配跑」。
L2 的互验前提除了 attested = true 与 min_tcb,现在还必须有
SessionBinding 的会话绑定证明:互验的是本轮会话,不是某份陈年报告。
芯片验签仍由验证方完成,框架不越界。
验证与边界
- 单元测试覆盖:平台能力表、policy 与代际匹配、KBC 参数、64 字节绑定的
确定性与输入敏感性、重放拒绝、所有准入拒绝项、qemu argv 语法、
TeeNode::parse行号报错、guest 侧 seal/unseal 与证明复核、catalog 签名回归。 - 闸门:
./tools/ci.sh,另补cargo build -p mpc-tee --no-default-features。 - 真机可验证到:预检 → 准入 → argv 生成 → 直接启动加密 guest → guest 内计算 → 跨 guest 结果还原。
真机端到端验证(2026-11-06,两台 TEE 节点)
用 x86_64-unknown-linux-musl 交叉编译出 4.1 MB 静态 mpc(zig objcopy 去符号),
经 xop 凭据分发到 192.168.1.7 / 192.168.1.102,两台摘要一致、selftest 全绿。
① 两台宿主之间的跨机隐私计算(PSK 双向认证 + ChaCha20-Poly1305 全链路加密):
| 计算 | 输入 | 结果 |
|---|---|---|
mpc node |
alice 1,2,3 / bob 4,5,6 |
双方还原 35.000000,分片交换 + 密文乘法 |
mpc psi |
alice 1..5 / bob 3..7 |
双方交集 3,4,5 |
mpc lr-vertical |
6 行 × 2 列,bob 持标签 | PSI 对齐 6 行 → 特征拼接 → y 分片 → 20 轮密态训练,双方权重逐位一致 |
② 加密 guest 内跑 mpc:手工构造 13 MB 最小 initrd(现成 alpine rootfs + mpc +
自定义 /init),由 mpc tee plan --argv 直接生成 qemu argv 启动。SNP guest 实测:
内核 6.12.36、/dev/sev-guest 存在、内核报 Memory encryption is active and system is using DMA bounce buffers、guest 内 mpc selfcheck / selftest 全绿;
/proc/cmdline 里的 mpc.tee.user_data 与框架 SessionBinding 算出的 128 位十六进制
完全一致,换二进制后该值后半段随之变化 —— 会话绑定确实把代码度量算了进去。
两个独立 SNP guest 用 qemu socket netdev 做二层直连(10.0.0.1 / 10.0.0.2),
跨 VM 跑通一次完整密文会话:双方都输出 35.000000、分片交换与还原完成。
③ 跨物理机双加密 guest 完成一次隐私计算(最终闭环):
AMD SNP guest(alice,192.168.1.7)与海光 CSV guest(bob,192.168.1.102)
各由框架原生 argv 启动(24 个参数,部署层只补 socket netdev,无任何参数覆盖)。
两侧 guest 内 mpc selftest 全绿、/proc/cmdline 的 mpc.tee.user_data 与
SessionBinding 一致,带 PSK 的密文会话完成分片交换与还原,
双方都输出 35.000000。
CSV 的根因:不是固件被占用
上一轮曾把海光 LAUNCH_MEASURE fw_error=24 'Platform is already owned' 归为
「SEV 固件平台状态、不能动」,这是错误结论。反证是同机已有的 CSV guest 能正常起
(PSP 状态 INIT → WORKING、guests=1)。抓它的 qemu 命令行做逐项差分,
再用 9 个 case 做参数消融,钉死根因:
| 组合 | 结果 |
|---|---|
kernel-hashes=on + pflash 固件 |
guest 正常启动 |
缺 kernel-hashes |
OVMF 不认 direct boot、转找 GRUB(failed to load Boot0002),最终 LAUNCH_MEASURE fw_error=24 |
有 kernel-hashes 但固件用 -bios |
qemu 6.2 断言崩溃 pc_system_ovmf_table_find: Assertion 'ovmf_flash_parsed' failed |
fw_error=24 那句 "Platform is already owned" 是 qemu 6.2 把 errno 当固件错误码
查表产生的误导性字符串,不代表平台被占用;不需要、也不应在真机做固件重置。
唯一必需的条件就是 kernel-hashes=on + pflash 固件;-machine 属性名、
reduced-phys-bits(1 / 5)、CPU / SMP 配额、两个同 md5 的 kernel 文件名都不影响启动。
真机反过来校正了框架的 5 处:confidential-guest-support(原写
conf-guest-support,qemu 9.1.2 不认)、两条路径 direct boot 都必须
kernel-hashes=on(原注释误写「CSV 不认这个属性」,正是误判源头)、
海光固件必须 pflash 加载(新增 PlatformProfile.firmware_pflash)、
AMD profile 必须带 console=ttyS0、cbitpos 按平台区分(51 / 47)。
另外真机自带的静态 qemu 未编译 slirp,-netdev user 不可用,跨 guest 链路改由
部署层注入 socket netdev —— 核心 crate 不写死任何宿主网络后端。
海光 CSV = 国产版 SEV:证明原语通用,字节布局独立
上一轮把 HygonCsv 在 verify.rs 里丢进「报告长度≥64 即过」的兜底分支,是
过度保守的误判——和「CSV 不认 kernel-hashes」同源。事实是:海光 CSV 派生自
AMD SEV/SEV-ES,与 SNP 共享同一套证明绑定原语(64 字节 user_data 必须等于
会话绑定值、launch measurement、固件签名),只是固件报告的字节布局并不兼容:
| 字段 | AMD SEV-SNP | 海光 CSV(固件报告) |
|---|---|---|
| 报告总长 | 1184 字节 | 2548 字节(结构体;hypercall 页为 4096) |
user_data/report_data 偏移 / 长度 |
0x50 / 64B | 0x40 / 64B |
| launch measurement 偏移 / 长度 | 0x90 / 48B SHA-384 | 0x90 / 32B SM3 |
| 签名字段偏移 / 长度 | 0x2A0 / 512B | 0xC0 / 144B |
因此 verify.rs 把解析逻辑泛化成布局参数化的 [parse_sev_like_report],SNP 与 CSV
共用同一套代码,各自带自己的 ReportLayout——既落实「能力通用」,又不把 SNP 的
字节偏移错套到 CSV 上。HygonCsv 现在按 CSV 固件报告布局真实解析、并校验 user_data
与会话绑定一致,不再走兜底。
已在
192.168.1.102用海光厂商 SDK 实测确认(不是只靠开源参考):头文件/opt/hygon/csv/attestation/csv_status.h的struct csv_attestation_report经本机 gcc 编译offsetof/sizeof得到——user_pubkey_digest@0x00、vm_id@0x20、vm_version@0x30、user_data@0x40、mnonce@0x80、measure@0x90(32B SM3)、policy@0xB0、sig1@0xC0(144B)、pek_cert@0x150、sizeof=2548,且结构体内 无version字段。这次复核抓到一个真 bug:verify.rs原先把报告总长写成 4096 (那是 hypercall/mmap 的页大小,不是报告长度),会让每一份真实 CSV 报告被长度下限 直接拒掉;已改为 2548 并加回归测试钉死。开源参考inclavare-containers/rats-tls的csv.h仅作交叉印证。签名算法 / ECC 曲线语义仍由验签器按芯片规范负责。
已交付:AMD SNP 与海光 CSV 两份固件报告的结构校验已统一实现(布局参数化、
共用解析逻辑),CSV 不再走兜底;CSV 布局已在真机用厂商 SDK 编译器确认(2548 字节),
verify_attestation 对两平台都如实区分「结构与绑定通过 / 芯片签名未验证」。
mpc tee verify / mpc tee kbs-get 已可调用;KBS 最小客户端与 OCI 分层镜像构建
(deploy/tee/{kbs,oci})已入仓。
仍未交付(如实标注):
- OCI 打包 + KBS 注入链路代码已就位,但尚未在两台真机端到端复跑。
真实 CSV 报告捕获 + 芯片验签闭环(2026-11-06 后续,192.168.1.102)
上一节列的两条「仍未交付」已在同日做掉,实测结论如下。
① CSV 报告字段被 anonce 异或混淆 —— 不还原就永远对不上
这是本轮最关键的框架级发现。厂商 SDK csv_sdk/csv_status.c 第 762–781 行的还原写法是
按 u32 数组逐个异或:
((uint32_t *)g_user_data)[i] = ((uint32_t *)report.user_data)[i] ^ report.anonce;
((uint32_t *)g_mnonce)[i] = ((uint32_t *)report.mnonce)[i] ^ report.anonce;
((uint32_t *)g_measure)[i] = ((uint32_t *)report.measure.block)[i] ^ report.anonce;
((uint32_t *)&g_pek_cert)[i] = ((uint32_t *)&report.pek_cert)[i] ^ report.anonce;
((uint32_t *)g_chip_id)[i] = ((uint32_t *)report.sn)[i] ^ report.anonce;
| 字段 | 偏移 | 是否被混淆 |
|---|---|---|
user_data |
0x40 (64B) | 是 |
mnonce |
0x80 (16B) | 是 |
measure |
0x90 (32B) | 是 |
pek_cert |
0x150 (2084B) | 是 |
sn |
0x974 (64B) | 是 |
policy / sig_usage / sig_algo |
0xB0 / 0xB4 / 0xB8 | 否 |
anonce |
0xBC (4B) | 否(混淆密钥本身是原值) |
sig1 |
0xC0 (144B) | 否 |
框架侧已实现还原(mpc_tee::verify::deobfuscate_csv_field,按 u32 数组异或,
长度非 4 的倍数直接报错而非尽力补齐)。真机实测:anonce = c96e190d 时报告里
user_data 的混淆值是 786a0bbb2d7d0fbd6c…,还原后是 757365722064617461
(ASCII "user data"),与官方验签器打印的 userdata 完全一致。
不做还原的后果:框架拿混淆值与绑定值逐字节比,永远对不上,而且报错是 「user_data 与本次会话绑定不一致(可能是重放报告)」——把一个实现 bug 报成攻击迹象,排查方向会被彻底带偏。
② 取报告的 ioctl 契约
真实报告必须在 CSV guest 内用 ioctl 取(.102 宿主没有 /dev/csv-guest):
- 设备
/dev/csv-guest(misc device, mode 0777) - cmd
GET_ATTESTATION_REPORT = _IOWR('D', 1, struct csv_guest_mem) struct csv_guest_mem { unsigned long va; int size; }- 用户态缓冲区 = 整页 4096 字节,前 112 字节布局
user_data[64] + mnonce[16] + hash_block[32] hash = SM3(user_data[64] || mnonce[16])- 固件在同一缓冲区就地写回 2548 字节完整报告 →
size必须 ≥ 2548(厂商用PAGE_SIZE)
坑:缓冲区只给 112 字节会让驱动 copy_to_user 报 EFAULT(Bad address)——
它要回写的是 2548 字节,不是 112。
厂商 get-attestation 把挑战值写死成 ASCII "user data",报告因此无法与框架会话
绑定对上。仓库新增 deploy/tee/real-machine/csv-attest-request.c 支持自定义挑战值
(--user-data HEX64),并自带 SM3 实现(guest rootfs 无 openssl/sm3.h),
已用 GB/T 32905-2016 两个标准向量验证。
③ 官方验签器的四个坑
海光官方 verify-attestation 的行为与文档不一致,仓库用
deploy/tee/real-machine/csv-verify-attestation.sh 包了一层:
| 坑 | 现象 | 处置 |
|---|---|---|
| 退出码恒为 0 | 验签失败也返回 0 | 按 stdout 文本判定,不看退出码 |
| 报告路径写死 | 固定读 ./report.cert |
在工作目录里放 report.cert |
| 离线证书 fallback 只在自己所在目录 | dirname(readlink("/proc/self/exe")) |
把二进制复制到工作目录再执行 |
| 对截断报告 fail-open | 1000 字节截断报告照样打印 "verify success"(签名覆盖的 userdata/mnonce/measure 未被截掉,但 pek_cert@0x150 已被截掉,结构已不完整) |
wrapper 层自卡长度(必须 == 2548) |
另有一处环境陷阱:LD_LIBRARY_PATH=/opt/gmssl/lib 会让 curl/libcurl 抢先加载
GmSSL 的 libssl(缺 OPENSSL_1_1_1 符号版本),导致证书下载全部失败。
官方验签器自身已带 rpath,不能设 LD_LIBRARY_PATH。
④ 端到端闭环(真机实测)
deploy/tee/real-machine/verify-csv-report-e2e.sh 三步走完:
===== 1. 还原 anonce 混淆 =====
还原后的 user_data = 4c84440cbcddb4b9fad2c2a6744c22ab5c9c0188c6a6e566d1ffc537be0f62e93b5bad450c586956d1c6f5da7ac65071aeae308b6adaf3028f8de847854811cc
===== 2. 官方验签器(芯片签名 + 证书链) =====
verified=true verifier=hygon-verify-attestation chain=on
===== 3. 框架 mpc tee verify(结构 + 会话绑定 + 芯片签名) =====
{"kind":"table","title":"证明校验结论","header":["key","value"],"rows":[
["structure_ok","true"],["bound_ok","true"],
["chip","已验证(/tmp/mpc-tee-tools/csv-verify-attestation.sh)"],
["verdict","结构与会话绑定通过,外部验签器 … 判定芯片签名通过"]]}
E2E_OK: 真实 CSV 报告的芯片签名已由官方验签器验证,框架校验通过
证书链走全链(hrk → hsk → cek → pek),官方输出
validata cert chain successful。
负向矩阵(真机实测,全部 fail-closed):
| 场景 | wrapper rc | 框架 rc | 判定依据 |
|---|---|---|---|
| 真实报告 | 0 | 0 | 通过 |
篡改 user_data(@0x40) |
1 | 1 | verify report fail / 「CSV user_data 与会话绑定的 user_data 不一致」 |
| 截断到 1000 字节 | 1 | — | verify-failed: 报告长度 1000 != 2548 |
篡改 sig1(@0xC0) |
1 | — | verify report fail |
⑤ 一个真实 CLI bug:--report 参数撞名
全局 --report text|json 与 mpc tee verify --report <文件路径> 同名,
全局参数先解析 → tee verify 永远拿不到文件路径(真机表现为
--report 只认 text / json,得到 "report.cert")。
已修为上下文感知:仅当命令是 tee verify 时,非格式值的 --report 才当文件路径。
��� 第二个真实 CLI bug:绑定参数必须与启动同源
user_data 第二段哈希绑的是「度量 + 平台标签 + TCB」,TCB 来自节点描述。
启动方 tee plan 用 node 里的 tcb=3 算绑定值,验证方 tee verify 的 --tcb
默认却是 0 → 期望值必然对不上 → 报「user_data 与本次会话绑定不一致(可能是重放报告)」。
手工重填 site / measurement / tcb 是绑定对不上的头号来源。
已给 mpc tee verify 加 --node:site / measurement / tcb / platform 默认全部取自
节点描述,与 tee plan 读同一份真相源;节点平台与 --platform 冲突直接拒绝。
采集脚本会把本次会话参数落成 session.env,验证脚本从那里读,不靠人手抄。
因此准确说法是:AMD SNP 与海光 CSV 两条路径的直接启动、跨机密文会话、 真实 CSV 报告捕获、芯片签名与证书链验证均已端到端跑通; OCI 镜像流水线与 KBC 在线密钥下发已在 2026-11-06 后续补齐,见下一节。
OCI 镜像流水线 + KBC 在线密钥下发(2026-11-06 补齐,192.168.1.102)
这一节交付两件此前欠着的事:
- OCI 镜像流水线真机复跑:
build → verify → pack三步在真机跑通, OCI manifest digest 作SessionBinding.code_measurement。 - PSK / seed / root-key 不再内置在 initrd 里,改由 guest 内
mpc tee kbs-get按会话从宿主 KBS 取回(在线 KBC)。
复现资产(都在 deploy/tee/,不再散在 /tmp):
| 资产 | 作用 |
|---|---|
oci/oci-image.py |
OCI image layout 构建 / 校验 / 打包成 initrd |
kbs/serve.py |
KBS 资源下发(2026-11-07 起会校验芯片证明,见「★ 先验证明,才给密钥」) |
kbs/selftest-kbs.py |
KBS 本地自测(19 组,含「伪判定结论」「判定器不是判定器」等探针) |
real-machine/kbs-net.sh |
宿主侧 tap + bridge + 起 KBS(up / down / status) |
real-machine/kbc-e2e.sh |
正向:OCI 流水线 + 在线 KBC 全链路 |
real-machine/kbc-negative.sh |
负向:5 条 fail-closed 矩阵 |
real-machine/kbc-attest-e2e.sh |
正向:真芯片证明 → KBS 校验(含芯片签名)→ 才下发密钥 |
real-machine/kbc-attest-negative.sh |
负向:证明门控 6 条 fail-closed 矩阵 |
guest/syntax-check.sh |
guest init 的 ash 语法闸门(bash -n 通过不算数) |
出网链路:tap + bridge(不是 slirp)
海光真机跑的是 kata-static 裁剪版 qemu,-netdev help 的后端列表里
没有 user(slirp):
$ /opt/confidential-containers/bin/qemu-system-x86_64 -netdev user,id=n0
qemu-system-x86_64: -netdev user,id=n0: Parameter 'type' expects a netdev backend type
系统 qemu(/usr/bin/qemu-system-x86_64)有 slirp,但它跑不了 CSV 机密 guest
(CSV 的 vmmcall 依赖 kata-static 的构建选项)。两条路都堵死 → guest 访问
宿主 KBS 只能靠 tap 进宿主网段。
于是:
- 宿主建 bridge
mpcbr0(10.99.0.1/24)+ tapmpctap0; - KBS stub 绑 bridge 的地址(不是
127.0.0.1—— guest 够不到); - guest 拿
10.99.0.2/24,同网段直连,全程无 NAT。
两个必须的细节:
-netdev tap,...,script=no:qemu 默认会跑/etc/qemu-ifup去配 tap, 真机上没有该脚本 →network script .../qemu-ifup failed with status 256, 直接起不来。tap 已由kbs-net.sh建好并挂进 bridge,qemu 只要复用。- tap 每次重建:上一轮 qemu 还占着它时,下一轮报
could not configure /dev/net/tun (mpctap0): Device or resource busy。
框架侧的两处语义拆分
PlatformProfile.kbc 原先是「平台只支持一种 KBC 模式」的硬编码
(CSV 固定 Offline、SNP 固定 Online),于是 admit() 里
node.kbc != profile.kbc 直接把 CSV 的在线 KBC 拒掉了 —— 框架层根本走不了
「密钥由 KBS 下发」。现已拆成两个概念:
allowed_kbc:该平台支持哪些模式(SNP / CSV 都是[Online, Offline]);kbc:该平台的缺省模式。
kbs_endpoint 也不再是平台内置常量(CSV 没有内置缺省端点),改由节点描述
kbs_endpoint= 给出,现场部署事实与代码分离。
端到端结果(真机实测)
===== 3. OCI 镜像流水线 =====
manifest_digest=e698959bbae58919a63ad54ccdf9eddcff3cc024ba83c8328269df933845028f
measurement=e698959bbae58919a63ad54ccdf9eddcff3cc024ba83c8328269df933845028f
layers=3 verified=ok
===== guest 内 =====
oci_layers: verified
manifest_digest=e698959bbae58919a63ad54ccdf9eddcff3cc024ba83c8328269df933845028f
kbs_endpoint=10.99.0.1:18080
key_source=kbs
===== MPC TEE GUEST DONE =====
KBC_E2E_OK: guest 内密钥由 KBS 按会话下发;OCI 层校验与度量 pin 均通过
关键点:key_source=kbs 而不是 key_source=offline-demo ——
镜像里没有 PSK/seed/root-key 的明文,密钥是本轮会话向 KBS 现取的。
2026-11-07 复跑确认(脚本定稿后重跑,EXIT=0):链路完整跑通 —— guest 内
oci_layers: verified → key_source=kbs → ===== MPC TEE GUEST DONE =====。
负向矩阵(kbc-negative.sh,全部 fail-closed)
判据是 guest 串口上出现 MPC_FAIL: 标记,且没有出现 key_source=kbs。
(不用 FATAL 做判据:串口是单通道,内核 panic 日志会插进 init 的输出中间,
把长消息从中间截断;关键标识因此放在独立短行的开头。)
| 负向 | 期望 | 结果 |
|---|---|---|
| KBS 认的是别的会话 id | 403 → fail-closed | ✅ |
| KBS 端口不可达 | 连不上 → fail-closed | ✅ |
| cmdline 的 manifest 与镜像内不一致 | 度量 pin 失败 → fail-closed | ✅ |
活文件 /mpc 被篡改 |
逐文件 digest 不符 → 点名 mpc | ✅ |
| KBS 资源缺失(只有 psk 没有 seed) | 取料失败 → fail-closed | ✅ |
★ 运行期完整性链(2026-11-07 补,框架级修复)
问题:原先 guest 只校验 layers.sha256 —— 而那份清单覆盖的是
/etc/mpc-tee/oci/blobs/ 下的惰性证据副本。真正被执行的 /init、/mpc
是解层之后合成出来的活内容,根本不在校验范围内。
真机实测:把 initrd 里的 /mpc 改掉一个字节 → guest 照样打印
oci_layers: verified,一路跑到 KBS 取密钥。
这正是「构建校验全绿、产物真机不能用」的根因:build / verify / pack 三步全过,但那份「全绿」证明的东西与真正被执行的东西无关。
修复:信任根单一,逐跳推导到活文件。
cmdline 的 mpc.tee.manifest (PIN,= OCI manifest digest)
→ sha256(/etc/mpc-tee/oci/manifest.json)
→ manifest.annotations: mpc.tee.rootfs-files-digest / rootfs-links-digest
→ sha256(rootfs.sha256) / sha256(rootfs.links)
→ sha256sum -c → /init /mpc /bin/... 逐个校验
关键点:框架 pin 的 code_measurement(= manifest digest)参与 user_data
计算 → 这条链的信任根与芯片证明是同一个,链能闭合。
实现要点:
oci-image.py:rootfs_state_from_layers()直接从各层 tar 字节算活 rootfs 的文件级状态(不解包 → 本地 macOS 也能跑,且 build / pack 共用 同一函数,两边理解不会分叉)。build 时把两个锚点写进 manifest.annotations; pack 时重算并交叉核对锚点,不一致直接拒绝打包。init.sh第 2.1~2.6 步:先验证据副本,再验锚点,再逐个验活文件; 失败时报出具体是哪个文件(MPC_FAIL_FILE:),只说「校验失败」 等于没排查价值。- 回归:
deploy/tee/oci/selftest-chain.py(本地可跑)。它第 5 条明确断言 「旧口径对/mpc篡改完全无感」—— 免得以后有人觉得多此一举把新链删掉。
★ 流水线自证:打包完必须回读 initrd(2026-11-07 补)
运行期完整性链解决了「guest 校验的是不是活内容」,但还有一层更靠前的 问题:打包出来的 initrd 是不是这次镜像的产物。
真机实测踩到的现象:
cmdline 的 manifest = 41d93d38… ← 节点描述(本次 build 的)
initrd 内嵌的 digest = 33c3bc79… ← 上一轮的 initrd
guest 报「cmdline 的 manifest digest 与镜像不一致」,看起来像度量校验坏了, 排查方向被完全带偏 —— 实际上镜像侧完全正常。
三个原因叠在一起:
- 管道吞掉退出码。
pack ... | grep -v RuntimeWarning里, 管道的退出码取的是最后一条命令(grep)的,pack自己失败也看不出来。set -e对管道只查最后一条 —— 这条在 POSIX shell 里就是这样,不是 bash 的锅。 - 并发实例共用同一个远端目录。
/tmp/mpc-tee-run下的image/与initrd.img来自不同轮次 → 错配。流水线自己发现不了这种错配, 因为 build/verify/pack 每一步单独看都是绿的。 - 脚本运行期间被编辑。bash 按字节偏移重读正在执行的脚本,
偏移一错位就把注释当命令执行了(实测报
line 239: ��是节点描述里的: command not found)。 —— 所以「跑测试的同时改脚本」是禁止的,改完必须重跑。
修复(两道防线):
oci-image.py pack打完 initrd 后回读它,核对三件事: 内嵌etc/mpc-tee/manifest.digest== 本次 manifest digest、 内嵌rootfs.sha256/rootfs.links== 本次算出的清单、 内嵌manifest.json的 sha256 == PIN。任一不符直接return 1, 并打印selfcheck=ok作为成功标记。- 脚本层:pack 的 stderr 收进文件再
cat,不放在管道右侧; 负向与正向用独立的远端目录 / 网段 / tap;本机加mkdir原子锁 (macOS 没有flock,Linux util-linux 专有)。
python3 oci-image.py pack --image ... --out ... \
> pack.log 2> pack.err || { echo PACK_FAILED; cat pack.err; exit 1; }
grep -v RuntimeWarning pack.err || true
cat pack.log
grep -q 'selfcheck=ok' pack.log || { echo PACK_SELFCHECK_MISSING; exit 1; }
这一轮踩到的真 bug(都在真机才暴露)
第一组(2026-11-06,OCI 流水线 + KBC 下发):
tar_from_files把init打成目录。判据写的是content is None → 目录, 而("init", args.init, None, 0o755)的src是文件路径、content是 None → 被打成 0755 的目录。真机表现:Run /init as init process→Failed to execute /init (error -13)(EACCES)。- cpio 把设备节点写成普通文件。
cpio_newc的emit只分「目录 / 链接 / 其他」,设备节点落进「其他」→mode |= S_IFREG。真机表现:/dev/console是 0600 的普通文件 → guest 没有控制台,init 的输出全丢,只看到内核 那句Run /init as init process之后直接 halt。 - newc 的设备号字段填错。
fields = [..., 0, 0, rdev, rdev, ...]把同一个 rdev 填了两遍;正确是devmajor=0, devminor=0, rdevmajor, rdevminor。 - scheme 拼重了。
KbcMode::kernel_param硬编http://,而调用方给的 已经是http://...→ 真机上cc_kbc::http://http://10.99.0.1:18080, guest 拿到一个解析不了的地址。已归一化(带不带 scheme 都接受),并加回归测试。 - 网络配置排在 KBC 取料之后。取料动作本身依赖网络,guest 还没配 IP 就 去连 KBS → 报「连 KBS 失败: Network unreachable」,看起来像 KBS 不可达, 实际是本机网卡还没起来。现在网卡配置是 init 的第 1 步。
第二组(2026-11-07,完整性链 + 负向矩阵):
- ★ 完整性链只覆盖证据副本(见上节,框架级设计缺陷)。
- guest init 必须用 ash 校验语法,
bash -n通过不算数。真机实测/init: line 175: syntax error: unexpected "do" (expecting ")")—— 起因是 POSIX sh 不允许复合命令(while/for)作为管道元素,bash 宽容地接受了$((... | while read; do ... done)),ash 直接语法错。 检查手段已固化为deploy/tee/real-machine/guest-syntax-check.sh: 宿主(glibc)跑不了 alpine 的 busybox(musl 动态链接),解法是 先把 initrd 解包,再用解出来的 musl loader 跑解出来的 busybox, 完全模拟 guest 内解析环境。 - 篡改脚本误伤 init 源码。旧脚本在 initrd 里搜字符串
manifest.digest改其后第一个十六进制字符,而这个字符串第一次出现在/init的源码里 → 被改坏的是 init 脚本本身,guest 报syntax error—— 测出来的是 init 语法,不是完整性校验。新tamper-initrd.py改为精确解析 newc cpio, 找到目标文件的数据区改一个字节,init 脚本本身完好。 halt -f不刷 stdout。fail-closed 时立刻断电,串口上只剩内核一句Attempted to kill init! exitcode=0x00000200,看不出是哪一步拦下的。 改用统一die():消息落fatal.log+ 串口打MPC_FAIL:标记 +exit 1。- 串口是单通道,内核 panic 日志会截断 init 的输出。实测
FATAL: 活 rootfs 文件 digest 与声明[内核日志] 1.642489] Kernel panic ...—— 关键信息(哪个文件对不上)正好落在被截掉的那段里。解法: 消息完整落盘fatal.log,串口只打独立短行的标记。
第三组(2026-11-07,流水线自证 + 脚本卫生):
- ★ pack 的失败被管道吞掉(见上节)。
pack ... | grep取的是 grep 的 退出码,旧 initrd 被当成新产物继续用。已改为 pack 后回读 initrd 自证。 - ★ 并发实例共用远端目录 →
image/与initrd.img来自不同轮次, 流水线自己发现不了。已隔离目录/网段/tap,并加本机原子锁。 - ★ bash 会按字节偏移重读正在执行的脚本。在脚本运行期间编辑它, 偏移错位后把注释当命令执行。所以「跑测试时改脚本」是禁止的。
- ★ macOS 没有
flock。本想用它做互斥,结果flock: command not found—— 改用mkdir原子锁(跨平台、原生)。 - ★
$VAR后紧跟全角括号 → 变量名被并进去。本轮在 guest 的init.sh里命中一处:die "…不符($LINK_BAD)"→ ash 读成变量名LINK_BAD)→ 符号链接校验路径直接崩。症状是「校验莫名失败」, 排查方向完全被带偏。已加闸门deploy/tee/real-machine/lint-shell-vars.py并接进tools/ci.sh(第 5 条)。 - ★ 双引号字符串内部的反引号会被当命令替换执行。
remote_script "..."把整段脚本放进双引号里,注释里的反引号也不安全 —— 在注释里写`pack ... | grep`,bash 会去执行pack,报pack: command not found,而且整行注释被吃掉,紧接着的真正命令错位。 同一闸门现在也查这一类;它当场又抓出一处遗留 (csv-verify-attestation.sh里OPENSSL_1_1_1那行)。 - ★ 「跑测试的同时改脚本」= 制造假故障。bash 按字节偏移重读正在
执行的脚本,编辑后偏移一错位,注释就被当命令执行
(实测
line 213: 网络后端由: command not found,最后连引号都不配对)。 改完必须重跑 —— 这条是操作纪律,代码挡不住。 - ★ body 里的未转义双引号会提前闭合外层串。
remote_script的 body 是$2单参数,所以 body 内任何未转义的双引号都会把整段脚本按 shell 词法 切成多个参数。切分点两侧没有空格时看起来「没事」(这正是它能潜伏 很久的原因),一旦内层文本含空格,remote_script拿到的就是错的$2 $3,远端跑的是完全不同的脚本。修法:转义\"或用中文引号「」。 闸门lint-shell-vars.py收敛时当场抓出遗留一处:kbc-negative.sh的pkill -f "qemu-system-x86_64.*$TAP"。 - ★ 「我自己的闸门也要有探针」。重写
lint-shell-vars.py时一度把 「闭合点」判定逻辑写丢了,闸门立刻变成假绿(LINT_OK但什么都不查)。 判据:「收紧检测 → 误报变多 → 放宽判据 → 假绿」是同一条曲线上的 三个点,必须用已知有问题的探针回归确认三类检测都还能报出来。 现已固化为lint-shell-vars.py的三类探针(/tmp/lintprobe那组)。
另外两个「看起来像 bug 的 bug」也记一下:
kbs-net.sh找不到 serve.py:脚本在仓库里的相对路径是../kbs/serve.py, 真机上被平铺到同一目录 → 两种布局都要支持。- macOS 的
cut -c遇多字节报Illegal byte sequence→ 要加LC_ALL=C。
闸门的判据设计(lint-shell-vars.py)
第三类(双引号提前闭合)的判据一开始写成「所有跨行双引号串的闭合点必须在行首」,
结果 11 处误报 —— 因为 argv_json="$(printf ... | python3 -c '...')" 这类
合法写法也被判错了。
正确判据是「body 位」:开引号位于行尾(该行开引号之后没有别的内容)的串,
才是 remote_script 的脚本 body。其它双引号串的闭合点在行中是正常的。
配套还要按 bash 词法规则跳过 $( ) 与反引号 —— 它们是新的引号上下文,
里面的双引号不会闭合外层串。所以 echo \"$(date)\" 是合法的,不该报。
扫描器按这个判据重写后:11 处误报 → 2 处真命中(其中 1 处是合法的本地
重定向 > "$LOG" 2>&1,据此放宽收尾判据;另 1 处是真 bug,见真 bug 18)。
边界(说清楚没做什么)
⚠️ 本节是旧版边界(2026-11-06)。「KBS 不做芯片证明校验」与 「guest token 只是占位值」这两条已在 2026-11-07 补齐 —— 见下文「★ 先验证明,才给密钥」。当前边界见那一节末尾。
- KBS 是演练 stub,不做芯片证明校验。生产必须换成带远程证明校验的
KBS:由它验证 SNP/CSV 报告、证书链与 measurement 之后才下发密钥。
框架的
KbsKeySource只是把 token 原样带给服务端,不假装这层已安全。 - guest 内的证明代理 token 目前只有占位值(
offline-demo),KBS 侧在--strict模式下会拒绝它。真实 token 要由 guest 内证明代理写入/run/mpc-tee/attestation.token。 - 明文 HTTP:生产环境 KBS 前面应有 TLS 终止,或改用带证明校验的 KBS。
- 运行期完整性链防的是「分发/拉取过程中活文件被替换」。能同时改掉
initrd 里
/init与清单的宿主不在防御范围内 —— 那需要芯片对初始页的 launch measurement 参与判定(框架侧目前只做存在性检查,语义由芯片规范 定义,两种 measurement 不可混用,见crates/mpc-tee/src/verify.rs)。
★ 先验证明,才给密钥(2026-11-07 补齐)
为什么这是必须补的那一半
上一轮的 KBS 只是「查一下 session 就发」:
GET /kbs/v0/resource/mpc/psk/<session> + MPC-Tee-Session: <session>
+ MPC-Tee-Attestation: offline-demo
也就是说:只要能连到 KBS 并知道会话 id,就能拿到密钥。它不是密钥服务,
是个文件服务器。guest 里的「证明代理 token」也只是占位值 offline-demo ——
框架层看起来有远程证明的形状,底下却没有任何东西验证它。
这一轮把顺序倒过来:
guest 向芯片要报告(CSV ioctl / SNP ioctl)
→ 打包成证明包(bundle)
→ POST /kbs/v0/attestation 给 KBS
→ KBS 调用「与验证方同一份」Rust 代码校验(mpc tee attest-check)
→ 通过才签发 token(绑定 session + bundle digest,有 TTL)
→ 凭 token 调 /kbs/v0/resource/<repo>/<kind>/<tag> 取 PSK/seed/root-key
判定口径只有一份
KBS 是 Python 写的,但证明判定不重写。 它调用 mpc tee attest-check
(Rust),Python 只搬运字节 + 看退出码:
| 退出码 | 含义 |
|---|---|
0 |
通过(结构 + 绑定 + 度量 pin + TCB + 芯片签名) |
1 |
不通过(verdict 字段说明原因) |
2 |
用法错误(参数缺失、文件读不到) |
这样 KBS 与审计端不可能出现两份口径。上一轮踩过的坑就在这里: 生成端自检与审计端判定不一致时,「一致地判不通过」会被误读成「模型不稳定」, 「一致地判通过」则是虚假安全感。
判定五关(全部 fail-closed)
crates/mpc-tee/src/bundle.rs 的 verify_bundle():
- 平台一致 + 按布局解析报告 —— CSV 2548B / SNP 1184B,布局参数化独立。
- 重算绑定值与报告内
user_data比对 —— 挡重放。绑定值 =sha256(domain ‖ measurement ‖ platform_tag ‖ tcb)。 同时比对证明包自称的user_data。 - 度量 pin 一致 + 已 pin —— 跑的不是被批准的那份镜像。
- TCB 门槛(
--min-tcb)—— 只做准入比较。 - 芯片签名 —— 交给外部验签器(海光官方
verify-attestation, 经仓库里的 wrappercsv-verify-attestation.sh转成框架契约)。
★ --tcb 与 --min-tcb 不是一回事
--tcb= 节点实际 TCB,参与绑定值计算;--min-tcb= TCB 门槛,只做准入比较。
漏传 --tcb → 重算绑定值用 tcb=0 → 与生成侧(tcb=3)对不上 →
报「user_data 与本次会话绑定不一致」。这是把参数漏填报成重放攻击的
误导性结论 —— 真机上排查方向会被完全带偏。绑定参数必须与启动同源
(tee plan / tee verify / KBS 三处都用同一个 --node 描述)。
证明包格式(MPCBUNDLE1)
自定长分段二进制(不用 JSON —— base64 编码本身就是个错误面):
魔数 "MPCBUNDLE1\0" (11B) | version | platform | reserved | flags
| report_len u32 | cert_count u32 | user_data_len u32
| report | cert_count × (u32 len + bytes) | user_data (64B)
from_bytes 逐项核对长度字段与实际字节数 —— 多一个字节、少一个字节都拒。
真机端到端结果(192.168.1.102,2026-11-07)
脚本:deploy/tee/real-machine/kbc-attest-e2e.sh
attestation_collect: ok ← guest 从 /dev/csv-guest 采到真实 CSV 报告
attestation_post: ok ← KBS 验过并签发 token
key_source=kbs ← 凭 token 才取到密钥
===== MPC TEE GUEST DONE =====
KBS 侧判定结论(这是关键证据,不能只看 guest 说拿到了密钥):
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
chip=verified-by:/tmp/mpc-tee-tools/csv-verify-attestation.sh
verdict=结构、会话绑定与芯片签名全部通过
chip=verified-by:* 才是「芯片真的签过名」的判据。少了这一条,
「结构 + 绑定过了」会被误当成「芯片签过名了」。
负向矩阵(kbc-attest-negative.sh,6 条全部 fail-closed)
负向不去改 guest 内部(那测的是 guest 的健壮性),而是改宿主侧 KBS 的 判定参数 —— 这正是现实里会被配错、被篡改、被环境漂移影响的维度:
| # | 负向 | 改的是哪一维 |
|---|---|---|
| 1 | 度量 pin 不符 | KBS 认的镜像不是 guest 实际跑的那个 |
| 2 | 站点不符 | KBS 认的站点不是 guest 声明的站点 |
| 3 | TCB 低于门槛 | guest 的 TCB 没达到准入要求 |
| 4 | 会话 id 不符 | 拿的是别的会话的密钥 |
| 5 | 无芯片验签器 | 严格模式下没有验签器就一律拒 |
| 6 | 验签器判失败 | 芯片签名没过(验签器坏了 / 报告被改) |
判据:必须拿不到密钥,且必须留下拒绝痕迹(不能被静默吞掉)。
★ 这一轮踩到的真 bug
- GNU coreutils
tee冒充判定器:判定命令拼成[mpc, "tee", "attest-check", ...]。mpc一旦为空或拼错,tee就落到 argv[0] 上 —— 执行的是系统tee,它把每个非选项参数都当文件名创建 (实测在仓库根目录撒了 15 个垃圾文件),而且成功退出。 危险在于「输出是空的但退出码是 0」→ 若判定退化成「不报错就算过」就是假绿。 堵法五道闸:启动时校验--mpc是存在的可执行文件 / 判定在独立工作目录 里跑(副作用隔离)/stdin=DEVNULL(否则tee等 stdin 到 EOF 挂死)/ 判定超时上限 / 输出必须是含ok+verdict的判定结论(缺一即拒)。 --verifier-arg --chain-dir X被 argparse 吞掉:以-开头的值会被 当成下一个选项,报expected one argument。证书链目录这类「路径」参数 必须有独立的选项名。- tap 名两处各记一份:
kbs-net.sh建 tap 用MPC_KBS_TAP, qemu 挂 tap 用MPC_TEE_TAP。忘了同步 → guest 挂在一个 tap、KBS 挂在 另一个 → 症状是「配置全对但 guest 连不上」(TCP connect 超时), 排查方向容易被带到「协议实现」上。现在guest-role.sh让后者兜底前者。 - guest 发起网络请求时 carrier 未必就绪:
ip link set up之后link becomes ready可能还没来(真机日志里它出现在 POST 之后), 于是attest-post报Operation timed out (os error 110)。这是竞态, 表现为「偶发失败」。现在 guest 显式等LOWER_UP(最多 10 秒), 等不到就报「链路未就绪」而不是一个语焉不详的超时。 - 跨目标编译是闸门盲区:CI 平时在宿主(macOS)上编译,而 guest 用的
是
x86_64-unknown-linux-musl静态产物。collect.rs里的 CSV ioctl 采集代码是#[cfg(target_os = "linux")]专属的 —— 宿主目标下整段被 排除,宿主编译再干净也发现不了它的unused import。现在 CI 多了 一条跨目标零告警闸门。 - KBS 日志是 0 字节:stderr 被重定向到文件时 Python 改成全缓冲,
进程还在跑时日志文件是空的 —— 看着像「什么都没发生」。现在显式 flush,
而且判定结论(含
chip)必须落日志,事后能核对。
边界(这一轮说清楚没做什么)
- SNP 报告采集与芯片验签已于 2026-11-07 补齐(见下一节「AMD SEV-SNP 芯片签名验签闭环」),本节原先「SNP 报告采集未实现」的说明已过时。 仍属边界的是:SNP 侧的证书链(ARK/ASK/VCEK)依赖 AMD KDS 在线取证 或本地缓存,缺 VCEK 时验签器显式报「未验证」,KBS 严格模式一律拒发。
- KBS 仍是单进程演练服务:token 登记簿在进程内 dict 里, 生产必须换成共享存储(多实例 / 重启后 token 就没了)。
MPC_KBS_TOKEN_KEY生产必须给真随机密钥:缺省时 token 退化为digest(仅演练)。- 明文 HTTP:KBS 前面应有 TLS 终止,或换成带证明校验的正式 KBS。
attest-mkbundle是合成件:签名字段是常量填充,能过结构 + 绑定, 过不了芯片验签。它的唯一用途是让正向路径在没有真机时也能被自动化 测试覆盖(否则只测了拒绝路径,「通过之后真的会签发 token 并下发密钥」 这条路从未被验证过)。真机验证必须用attest-collect。- guest 逃生口:cmdline 的
mpc.tee.token仍是演练注入通道。 KBS 严格模式下这个 token 照样要过 KBS 自己的登记簿核对 —— 但生产部署不应再提供这个参数。
AMD SEV-SNP 芯片签名验签闭环(2026-11-07,192.168.1.7)
上一节把「先验证明,才给密钥」的骨架在海光 CSV 上跑通了。SNP 侧此前
只有 CSV 那条路;本节把同一套判定口径在 AMD SNP 上也真机跑通 —— 差别只在
「芯片签名怎么验」:CSV 有海光官方 verify-attestation,SNP 没有等价物,
得自己按 AMD 的 ABI 与 KDS 协议做。
为什么 SNP 侧不能直接复用 CSV 的验签器
CSV 的报告自带签名与完整证书链(hrk→hsk→cek→pek),官方工具能一把验完。 SNP 报告不带证书链 —— 只有一颗 ECDSA P-384 签名和 CHIP_ID, 证书链必须另行向 AMD KDS 取(用 CHIP_ID + TCB 版本拼 URL)。 所以 SNP 侧多了一整条「取证 → 验签」链路。
★ AMD ABI 三个硬事实(踩坑代价:38/144/16 个候选 VCEK 全失败)
这三个事实都来自 AMD 的权威实现(virtee/sev),
不是从浏览器 WebCrypto 的用法推出来的 —— 这是本轮最大的坑:
| # | 事实 | 权威出处 | 踩错的症状 |
|---|---|---|---|
| 1 | 签名布局 = r[72] + s[72],各为小端标量 |
virtee/sev src/certs/snp/ecdsa/mod.rs:pub struct Signature { r: [u8; 72], s: [u8; 72] },OpenSSL 路径 bn::BigNum::from_le(&value.r) |
按 WebCrypto 的 48+48 大端切 → 全部验不过 |
| 2 | 被签名区间 = report[0 : 0x2A0]("bytes 0 to 0x29F inclusive") |
virtee/sev src/firmware/guest/types/snp.rs |
签错区间 → 验不过 |
| 3 | KDS 的 SPL 参数来自报告的 current_tcb@0x038,不是 committed_tcb |
virtee/sev src/firmware/host/types/snp.rs:from_legacy_bytes → [bootloader, tee, 0,0,0,0, snp, microcode] |
推错 SPL → KDS 返回别的 VCEK 或 404 |
第 3 条的 8 字节 legacy 布局是 [bl, tee, 0, 0, 0, 0, snp, ucode] ——
不是「8 字节一段、byte4 是 current_svn」那种表布局。
真机实测值:current_tcb = 04 00 00 00 00 00 16 d5
→ blSPL=4, teeSPL=0, snpSPL=22, ucodeSPL=213。
★ KDS 的 SPL 必须是十进制两位
AMD KDS 端点(Publication #57230 Rev 1.00):
GET /vcek/v1/{product}/cert_chain → ARK + ASK(PEM 栈,ASK 在前)
GET /vcek/v1/{product}/crl → CRL(DER)
GET /vcek/v1/{product}/{hwID}?{spl} → VCEK(DER)
hwID= 报告CHIP_ID(@0x1A0 起 64 字节)的十六进制串(128 字符)。- SPL 参数用十进制两位(官方
{:02}格式):blSPL=04&teeSPL=00&snpSPL=22&ucodeSPL=213。 传十六进制(snpSPL=16&ucodeSPL=d5)→ KDS 返回 400 Bad Request。 这与 hwID 的 128 个十六进制字符正好相反 —— 同一个 URL 里两种进制。
SPL → VCEK 扩展 OID 的映射(实测确认):3.1=blSPL、3.2=teeSPL、
3.3=snpSPL、3.8=ucodeSPL、1.2=productName(如 Milan-B0)、
1.4=CHIP_ID(与报告逐字节一致)。
验签算法:ECDSA P-384(secp384r1)+ SHA-384。
实现
deploy/tee/real-machine/snp-verify-attestation.sh—— 把「从报告推 SPL → 取 KDS 证书 → 验链 → ECDSA 验签」固化成框架ExternalVerifier契约 (stdout 以verified=true开头 / 退出码非 0 即失败)。 联网取到的证书会缓存回 chain-dir,下次可离线复用。deploy/tee/real-machine/selftest-snp-verify.py—— 离线自测: 正向 1 条 + 负向 8 条(篡改 report_data / measurement / 签名 / 截断报告 / 篡改 CHIP_ID / 缺 VCEK / 缺 ARK / ARK-ASK 换位)。 判据:rc != 0 and "verified=true" not in out。deploy/tee/real-machine/fixtures/snp/—— 真机报告(1184B)+ ARK/ASK/VCEK。 全是 AMD 公开发布的信任材料,不含私钥,入库安全。- CI 第 10 条即这条自测(
tools/ci.sh)。闸门有效性用 sabotage 验证过: 把验签器改成「签名验签失败也放行」→ 4 条签名类负向立刻变红。
框架侧的一处真实缺口:tee plan 必须告诉 guest 用哪个平台采证明
guest init 从内核命令行读 mpc.tee.platform,缺省猜 csv。
在 AMD 机器上表现为 打开 /dev/csv-guest 失败: No such file or directory ——
症状像设备/驱动问题,实际是启动参数少了一项。
修法:crates/mpc-tee/src/schedule.rs::admit() 追加
mpc.tee.platform=<snp|csv|...>,并加回归测试
launch_spec_tells_guest_which_platform_to_collect_from 钉死(防串台)。
★ 真机端到端结果(192.168.1.7,2026-11-07)
脚本:deploy/tee/real-machine/snp-attest-matrix.sh(正向)+
snp-attest-negative.sh(负向 6 条)。
iface=eth0
attestation_collect: platform=snp
attestation_collect: ok ← guest 从 /dev/sev-guest 采到真实 SNP 报告
attestation_post: ok ← KBS 验过并签发 token
key_source=kbs ← 凭 token 才取到密钥
===== MPC TEE GUEST DONE =====
KBS 侧判定结论(关键证据):
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
chip=verified-by:/tmp/mpc-snp-tools/snp-verify-attestation.sh
verdict=结构、会话绑定与芯片签名全部通过
[kbs] "POST /kbs/v0/attestation HTTP/1.1" 200
[kbs] "GET /kbs/v0/resource/mpc/{psk,seed,root-key}/<session>" 200
至此 SNP 与 CSV 两条平台的「先验证明才给密钥」都已在真机双向跑通,
且两端用的是同一份 Rust 判定代码(mpc tee attest-check)。
负向矩阵最终结果(snp-attest-negative.sh,6/6)
判据收紧到「只匹配该关独有文案」之后重跑,6 条全部真拒在各自的关卡上:
| 用例 | KBS 拒绝文案(判据) |
|---|---|
| 度量 pin 不符 | 代码度量与准入时 pin 的值不一致 |
| 站点不符 | 报告里的 user_data 与本次会话绑定不一致 |
| TCB 低于门槛 | 节点 TCB 低于门槛 |
| 会话 id 不符 | session mismatch |
| 无芯片验签器 | attestation 未经芯片验签,严格模式拒绝 |
| 验签器判失败 | 外部验签器拒绝: 外部验签器退出码 Some(1) |
SNP_ATTEST_NEGATIVE_OK: 6 条负向全部被拒(证明门控 fail-closed)
六条判据经交叉匹配自检:每条正则只命中自己那份日志,零误命中。
★ 这一轮踩到的真 bug(框架级,值得单列)
1. ★★ guest 的 stdout 会整个消失,而 guest 其实早已成功
这是本轮最迷惑的一个坑:guest 完全成功,但采集端一行日志都收不到。
现象:e2e 脚本 4 条判据全红,但 KBS 日志里明明是
[kbs] "POST /kbs/v0/attestation HTTP/1.1" 200
[kbs] "GET /kbs/v0/resource/mpc/psk/..." 200
真因是两个叠加的问题:
问题 A —— /dev/console 在 initramfs 里是普通文件。
内核 exec /init 时会把 fd 0/1/2 接到 initramfs 里的 /dev/console。
而打包 initrd 时字符设备退化成了普通文件(oci-image.py 的注释里
早就记着这个坑,但当时只影响「guest 没有控制台」,没意识到会静默)。
于是 init 的所有 echo 被写进那个普通文件里 —— 串口上一行都看不到。
内核自己的 printk 走 console driver,不受影响,所以内核日志正常、init
日志全无,看起来像「init 没跑起来」。
问题 B —— qemu 的 -nographic + -serial stdio 抢同一个 stdio。
框架 argv(crates/mpc-tee/src/schedule.rs::qemu_argv)里这两个并存:
-nographic 自己就把默认串口接到 stdio(mon:stdio),两个前端抢一个 stdio,
qemu 只把其中一个接上。
两个问题叠加的诊断钥匙:die() 里是
echo "MPC_FAIL: $1" > /dev/console —— 它重新打开了 /dev/console,
拿到的是真字符设备,所以能看到;而 init 的 echo 走的是继承来的 fd 1,
指向 exec 之前那个普通文件,看不到。
这个「die() 能看到、正常输出看不到」的矛盾,一眼就能定位到 fd 指向错了。
修法(都在部署层 / guest 侧,不改框架的启动规格):
deploy/tee/guest/init.sh开头:确保/dev/console是真的字符设备 (5:1)—— devtmpfs 挂得上就用它,挂不上就自己mknod; 然后exec > /dev/console 2>&1重新绑定 stdout。 (内核绑的是 exec 之前那一刻的 fd,光把文件换成设备节点不够, 已打开的 fd 1 不会自动切换。)deploy/tee/real-machine/run-guest.py:新增MPC_TEE_SERIAL_LOG, 把串口换成 chardev file 后端落盘,采集端读文件。 (框架的-nographic+-serial stdio本身是标准写法,交互式场景仍然适用, 所以不动框架,只在部署层换采集形态。)
教训:「采集端什么都没收到」不等于「被测对象没跑」。 先去看另一侧的日志(KBS 侧),确认对象状态,再倒推采集链路 —— 否则会把「采集坏了」误判成「功能没实现」。
2. ★ mpc.tee.platform 缺失(见上节)
3. ★ snp-verify-attestation.sh 里 bash 的 process substitution 不稳
read -r A B C D <<EOF $(od ... | awk ...) EOF 这种「process substitution +
heredoc + pipeline」的组合在 bash 里表现不稳(报「无法从报告解析 current_tcb」)。
改成 heredoc + awk 直接取字段后就稳了。
4. ★ awk 拆 PEM 栈在 macOS 上语法错
awk: syntax error at source line 1。改成 python3 拆(脚本后面拆签名本来
就要 python3),并把 python3 存在性检查提前到联网取链之前 ——
否则会先联网取了证书,才在拆解时炸掉。
5. ★ 验签器参数被 argparse 吞掉(又一次)
--verifier-arg --chain-dir /tmp/snp-chain → argparse 见到以 - 开头的值
会当成下一个选项,报 expected one argument。
用框架已有的独立选项 --chain-dir 解决。
(这是本项目第二次踩同一个坑 —— 路径类参数必须有独立选项名。)
6. ★ KBS 缺 token 密钥 → 拒启动(这是设计,不是缺陷)
真机 e2e 报 未配置 token 密钥 拒绝启动。这是有意的 fail-closed:
没有密钥就既签不出 token 也验不了 token。演练用一个每次运行随机生成
的临时密钥,只在起 KBS 那一次远端命令里以环境变量注入 —— 不落盘、不入库。
7. ★★ 负向矩阵第一轮「6/6 全绿」其实是假绿
第一轮跑完 6 条负向,脚本报 SNP_ATTEST_NEGATIVE_OK: 6 条负向全部被拒。
但逐条核对拒绝原因后发现,只有 4 条测到了它声称测的闸:
| # | 用例 | 实际拒绝原因 | 测到目标闸? |
|---|---|---|---|
| 1 | 度量 pin 不符 | Connection refused |
❌ 假绿 |
| 2 | 站点不符 | user_data 与本次会话绑定不一致 |
⚠️ 是站点维度的拒绝,但文案不直观 |
| 3 | TCB 低于门槛 | 节点 TCB 低于门槛 |
✅ |
| 4 | 会话 id 不符 | session mismatch |
✅ |
| 5 | 无芯片验签器 | attestation 未经芯片验签,严格模式拒绝 |
✅ |
| 6 | 验签器判失败 | Connection refused |
❌ 假绿 |
根因是两个:
- 判据只问「有没有拒绝痕迹」,不问「拒的是哪一维」。
Connection refused也是一种拒绝 —— 它甚至比判定拒绝更「硬」, 但它跟被测的闸毫无关系。只要判据写成「有 MPC_FAIL 就算过」, 任何原因导致的失败都会算成通过。 run_case用|| true吞掉了 KBS 启动失败, 而kbs-net.sh的就绪判据是「进程还活着」(kill -0)+sleep 1—— 不是「端口真的在监听」。旧 KBS 还没释放 socket 时新实例 bind 失败退出, guest 连过去就是Connection refused。
修法:
kbs-net.sh:起新实例前等旧端口真正释放;就绪判据改成 端口进入 LISTEN(ss -ltn),而不是进程存活。- 负向脚本:KBS 启动失败直接判该用例无效(不再
|| true); 判据加两条硬约束 —— ① 出现Connection refused/ 连 KBS 超时 → 判假绿(拒的不是被测的闸); ② 每条负向带一个期望的拒绝特征,必须匹配得上。
这是「探针必须验证灵敏度」的又一次应验:同一套判据在 CSV 侧用了很久没出事, 搬过来就假绿 —— 因为 SNP 侧的 KBS 生命周期更短、端口复用更频繁。 判据的强度必须与被测对象的生命周期匹配。
8. ★ 收紧判据后,第 1 条仍 FAIL —— 挖出一个框架侧的接口缺口
收紧判据后重跑,第 1 条「度量 pin 不符」报:
[FAIL] 度量 pin 不符: 拒绝原因不含期望特征(代码度量|度量.*pin|measurement)
实际拒绝理由是「报告里的 user_data 与本次会话绑定不一致」。
查 crates/mpc-tee/src/bundle.rs 的判定顺序:
1. 结构检查
2. 绑定检查 ← 先撞这里
3. 度量 pin ← 永远到不了
4. TCB 门槛
5. 芯片签名
而 measurement 参与绑定值重算(guest 侧算 user_data 用的就是它)。
于是「KBS 认的 measurement ≠ guest 的 measurement」必然先撞绑定关 ——
第 3 关在 KBS 这条配置下根本测不到。
这不是用例写错,是接口缺口:Rust 侧 mpc tee attest-check 本来就有
独立的 --pin 选项(pinned_measurement),能把「绑定值用的 measurement」
与「准入时批准的度量」分开;而 KBS 只传 --measurement,两个角色被绑死在一个值上。
修法(框架侧的接口补全,不是脚本修补):
deploy/tee/kbs/serve.py:新增MPC_KBS_PIN环境变量, 传给attest-check的--pin;缺省时回落到--measurement, 所以既有部署行为完全不变。deploy/tee/kbs/selftest-kbs.py新增第 27 组自测: 「pin 与 measurement 一致 → 签发 token」+「pin 不符 → 拒」+ 「拒的理由是度量 pin 那一关、不是绑定关」+「不是因绑定不一致被拒」。 判据特意检查拒绝理由,否则「因为别的原因被拒」也会算通过。snp-attest-negative.sh第 1 条改为:measurement 用对的, 只把 pin 换成错的。
sabotage 验证:把 --pin 退化成 --measurement → 该组 2 条立刻变红,
而且暴露了更严重的后果:错的 pin 被放行了,还签发了 token。
这正是「闸门不扫自己 = 假安全感」要防的情形。
教训:「五关都 fail-closed」不等于「五关都能被测到」。 一个关卡如果永远到不了,它在闸门里就是一句空话 —— 看上去有五道锁,实际只有四道。
9. ★★ 6/6 全绿之后逐条核对拒绝理由,发现两条判据「不唯一」
--pin 修完重跑,6 条全绿:
[ok] 度量 pin 不符: 已拒绝(… 403 Forbidden …)
[ok] 站点不符: 已拒绝(… 403 Forbidden …)
…
SNP_ATTEST_NEGATIVE_OK: 6 条负向全部被拒(证明门控 fail-closed)
但「已拒绝」不是判据。 把 6 份 serial 日志里的真实拒绝文案全抓出来对照:
| 用例 | KBS 实际拒绝文案 | 结论 |
|---|---|---|
| badmeasure | 代码度量与准入时 pin 的值不一致 | ✅ 真拒在度量 pin 关 |
| badsite | 报告里的 user_data 与本次会话绑定不一致 | ⚠️ 拒在绑定关 |
| badtcb | 节点 TCB 低于门槛 | ✅ |
| badsession | session mismatch | ✅ |
| noverifier | attestation 未经芯片验签,严格模式拒绝 | ✅ |
| badverifier | 外部验签器拒绝: 外部验签器退出码 Some(1) | ✅ |
两条问题:
(a) badsite 的判据是 站点|site|绑定不一致。
KBS 的拒绝文案里根本没有「站点」或「site」这两个词 —— 前两个分支永远匹配不到,
实际生效的判据只剩兜底那一项。换成任何原因导致的绑定失败(甚至 session 错),
这条都会被判成「通过」。判据不唯一 = 假绿的另一种形态。
从架构上说,这不是用例写错:site 只作为 user_data 第一段的输入
(crates/mpc-tee/src/session.rs:81),没有独立的站点闸 ——
站点不符的唯一可观测形式就是「绑定不一致」。
对比 measurement:它同时是「绑定输入」和「准入 pin」,两个角色本可以分开,
所以才补了 --pin;site 只有一个角色,分不开也不需要分。但判据要把这件事说清楚,
不能靠一个死特征假装测到了独立的闸。
(b) 其余四条判据也偏松:TCB / session / 验签器 这类单词在别的日志里也可能出现。
一条日志只要碰巧包含这个词就过。
修法:判据全部收紧到该关独有的拒绝文案,并加一道判据唯一性自检。
badmeasure 代码度量与准入时 pin
badsite user_data 与本次会话绑定不一致
badtcb 节点 TCB 低于门槛
badsession session mismatch
noverifier 未经芯片验签
badverifier 外部验签器退出码
自检:对每条正则扫全部 6 份日志,只应命中自己那一份。实测:
[ok] badmeasure 唯一命中自身
[ok] badsite 唯一命中自身
[ok] badtcb 唯一命中自身
[ok] badsession 唯一命中自身
[ok] noverifier 唯一命中自身
[ok] badverifier 唯一命中自身
CRITERIA_UNIQUE_OK
教训:负向判据必须只匹配自己那一维的拒绝文案。 判据里任何一个「兜底分支」(
|X、泛化单词),只要它在被测系统的文案里 不存在或会出现于别处,就等于把判据退化成「有没有被拒」—— 而那正是假绿的源头。 加判据要问:这条正则,别的用例的日志会不会也命中? 能命中的就必须收紧,收紧不了就说明这一维在架构上没有独立落点, 那就要在文档里如实写明,而不是留个死特征装样子。
边界(SNP 这一节说清楚没做什么)
- SNP 的证书链要向 AMD KDS 取(或用本地缓存的 ARK/ASK/VCEK)。 环境里没有 VCEK 时验签器显式报「未验证」,KBS 严格模式一律拒发 —— 不会把「没验」当成「验过了」。
- KBS token 无状态化:
v1.<session>.<digest[:32]>.<expires>.<mac[:32]>, HMAC-SHA256 + 常量时间比较,重启不失效、可跨实例(不再是进程内 dict)。 - KBS 内建 TLS:TLS 1.2+,无证书拒绝启动。
- SNP 报告采集已实现(
crates/mpc-tee/src/snp_collect.rs:SNP_GET_EXT_REPORTioctl0xC0205302+ GHCB 切分 + DER 证书链切分), 并已在真机跑通。上一节那句「SNP 报告采集未实现」已过时。