Files
ssw-mpc/docs/TEE_DIRECT_LAUNCH.md
admin c1ae7d7473 docs: 系统性更新项目文档至 2026-11-08 当前状态,新增文档总索引
- 新增 docs/INDEX.md:文档分类(活真相源/专题设计/历史阶段快照)、
  当前状态总览、权威入口表、旧结论对照表、诚实边界与 8 条更新纪律。
- README.md 现状改为「2026-10-30 算子基线 + 2026-11-08 增量」,补齐真机
  TEE、国密链真交易、合约实证、k8s 持久化、22 条门禁与目录树。
- CLAUDE.md 纠正三处失效结论(门禁 20→22 条、3.x eth_ 兼容端点、
  flush 只发规范字节/不宣称能上链),文档章节改为分组索引。
- INTEGRATION_ANALYSIS.md 等历史阶段文档加「当时→当前」状态锚点与对照表,
  保留取证链不改写历史;真机文档第 7/9.4 节指向第 10 节合流结论。
- 修正两处事实错误:k8s README 把本机写成节点 IP、复现文档把
  20200/30300 标反;链复现入口统一指向 deploy/k8s/fisco/README.md。
- 诚实边界保持:软件签名器密评不可过、真 bcos-rpc TLCP 未通、hostd
  执行面仍在真机、OPA 未进 guest、链上撤销与 decision 上链未做。
2026-11-08 19:11:39 +08:00

68 KiB
Raw Permalink Blame History

TEE 直接调度:AMD SEV-SNP / 海光 CSV

结论

ssw-mpc 不经过容器编排层调度 TEE。框架自己判断「这台节点够不够格跑这一轮 计算」,输出一份平台中立的 LaunchSpec,由部署侧直接启动 guest,把 mpc 进程作为 guest 内原生负载运行。

参考隐语 Kuscia 的分层可以看得更清楚:它把 TEE 放在引擎层 (TrustedFlow 与 SecretFlow / SCQL 平级),框架层只负责跨域网络、任务编排、 数据源与多引擎接入;安全运行时则被明确归为「隔离动态逻辑算子的沙箱」, 与 TEE 不是一层。把运行时类 / 注解 / 启动参数写进计算框架的 HAL, 等于把部署适配层上移成框架抽象 —— 换裸机、换 qemu 构建、换 TDX 都得改核心。

更实质的问题在证明:只把容器塞进加密 VM,得到的结论是「有个 SNP guest 在跑」; 而 MPC 要验证的是「对面这份二进制,正在用这把会话公钥,参与这一轮计算」。 这一层由会话绑定证明补齐,见下文。

分层

框架层  mpc-cli / mpc-orch          任务与参与方编排
        mpc-tee::platform          平台能力表(guest policy / KBC / 证明通道 / qemu 语法)
        mpc-tee::session           证明与 MPC 会话的 64 字节绑定
        mpc-tee::schedule          TeeRequirement / TeeNode / fail-closed 准入 / LaunchSpec
                 │  平台中立的启动规格
执行层  deploy/tee/preflight.sh     宿主能力实测
        deploy/tee/launch.sh       按 argv 直接 exec qemu
                 │  qemu -append 带 user_data
硬件层  AMD SEV-SNP guest          /dev/sev-guest + 在线 cc_kbc
        海光 CSV guest              vmmcall / ioctl + 离线 offline_fs_kbc
                 │
guest   mpc-tee::guest::GuestTee   读回报告与根密钥,实现 Tee trait

框架层三个新模块都是 no_std(只用 alloc):TA 侧也要能算出同一份绑定值。 guest.rs 是唯一需要 std 的模块(读文件、取熵),已用 #[cfg(feature = "std")] 隔离。

为什么不"只是启动了加密虚拟机"

芯片报告的 user_data / report_data 是 64 字节定长。框架把它拆成两段各 32 字节, 分别用不同的域分隔常量(mpc/tee/session/bind/v1 与 mpc/tee/session/attest/v1):

  • 前半段:SHA256(标签 ‖ 会话标识 ‖ site ‖ 会话公钥)
  • 后半段:SHA256(标签 ‖ 代码度量 ‖ 平台标签 ‖ TCB)

启动时这个值随内核参数钉进 guest;guest 内证明代理用它生成报告; GuestTee::attest 会从 /proc/cmdline 读回来复核,不一致就拒绝。 验证方用 verify_bound_attestation 重算并定长比较,拒绝重放报告。

框架不做芯片验签。VCEK ← ASK ← ARK 证书链、CSV 报告签名、TCB 语义由 验证方 / KBS 核验;verify_bound_attestation 返回 Ok 只表示「结构和绑定对得上」, 不等于硬件证明已通过。GuestTee::sign 是由 KBC 注入根密钥派生的认证标签, 也不是芯片设备密钥签名 —— 需要芯片签名的审计锚点应直接取证明报告。

fail-closed 准入清单

mpc_tee::schedule::admit 任一不满足即 Err(TeeError::AdmissionDenied), 没有降级通过分支:

  1. 平台有直接启动规格、且与节点平台一致;
  2. /dev/sev 存在;qemu、固件、guest 内核 + initrd 均已通过宿主预检;
  3. 四类启动路径都给出且不含空白(argv 是数组,不经 shell);
  4. 节点 TCB 不低于 --min-tcb;
  5. 会话已建立、镜像度量已 pin,且与会话绑定里的度量一致;
  6. 额外指定的 --pin 与节点度量一致;
  7. KBC 模式与要求、与平台默认一致;在线模式要求 KBS 可达且有端点;
  8. 证明所需的 64 字节绑定值由 SessionBinding 统一计算。

少任意一项的表现是拒绝出规格,而不是「先跑起来再说」。这一点很重要: 设备缺失、度量未 pin、KBS 连不上,实际症状都是「guest 起来了但密钥拿不到 / 证明对不上」,上层却以为自己在 TEE 里。

两条路径对照

项 AMD SEV-SNP 海光 CSV
宿主设备 /dev/sev(SNP ASID 池) /dev/sev(sev=1 sev_es=1)
qemu 版本 / 对象 9.1.2 / sev-snp-guest 6.2.0 / sev-guest
内存加密参数 confidential-guest-support memory-encryption
C-bit 位置(cbitpos) 51 47(写 51 会被 KVM 直接拒绝)
direct boot 度量 kernel-hashes=on 必需 kernel-hashes=on(缺了会在 LAUNCH_MEASURE 报误导性错误)
固件加载 -bios 必须 -drive if=pflash,...(否则 kernel-hashes=on 让 qemu 6.2 断言崩溃)
guest policy 0x30000 CSV2 = 7、CSV3 = 71、DCU = 3
vCPU 模型 host host(CSV3 为 Dhyana)
默认配额 1 vCPU / 2048 MiB 4 vCPU / 2048 MiB(DCU 16384 MiB)
证明通道 guest 内 /dev/sev-guest guest 内 vmmcall / ioctl 原生接口
密钥代理 在线 cc_kbc,KBS 与计算节点同机 :8080 离线 offline_fs_kbc,initrd 内置
是否需要 guest 网络 需要(访问 KBS) 不需要

参数来自 2026-11-06 两台真机实测(192.168.1.7 / 192.168.1.102), 不是照抄部署文档:实测这台海光是 CSV2(policy 7),另有 DCU 变体(policy 3); 在线 Trustee 与 AMD 计算节点同机;两台都没有平台级节点标签, 所以调度依据全部来自宿主预检,不依赖集群标签。

海光 CSV 的 policy 在平台配置里是十进制 3 / 7 / 71,框架生成 qemu 参数时 写成十六进制 0x3 / 0x7 / 0x47,数值相同。

参数消融结论(真机 9 个 case):CSV direct boot 的唯一必需组合是 kernel-hashes=on + 固件以 pflash 加载。-machine 用 memory-encryption 还是 confidential-guest-support、reduced-phys-bits 取 1 还是 5、 CPU / SMP 配额、以及两个同 md5 的 kernel 文件名,都不影响启动。 框架只固化这组必需条件,不照抄某套现成运行时的全部参数。

CLI

mpc tee paths                       # 列内置平台规格
mpc tee plan --node FILE \
  --session-id <64hex> --pubkey <64hex> \
  [--min-tcb N] [--variant csv3] [--kbc online] [--pin <64hex>] [--argv] [--demo]
  • --node 是 deploy/tee/preflight.sh 产出的行式节点描述;
  • --argv 同时给「给人看的一行」和 argv_json(JSON 数组,保留参数边界);
  • --demo 用固定示例会话值离线演练,会明确警告不能上生产。
mpc tee verify --report FILE --node FILE \
  --user-data <128hex> --session-id <64hex> --pubkey <64hex> \
  [--platform csv] [--tcb N] [--min-tcb N] [--pin <64hex>] \
  [--verifier PATH] [--verifier-arg A] [--certs PATH]

tee verify 与 tee plan 必须用同一份 --node:site / measurement / tcb / platform 都参与 user_data 绑定,手工重填任一项都会导致绑定对不上,而那个报错 (「user_data 与本次会话绑定不一致」)指向重放攻击,会把实现问题误导成安全事件。 给了 --node 后这四项默认全部取自它;节点平台与 --platform 冲突直接拒绝。

芯片签名由 --verifier 指向的外部验签器核验(stdout trim 后为 OK 或以 verified=true 开头视为通过,退出码非 0 视为失败)。结论里严格区分 「芯片签名未验证」与「已验证」——verify_attestation 返回 Ok 不等于硬件证明通过。

qemu_argv() 返回 argv 数组:-append 的内核参数含空格,必须作为一个 参数整体传给 execvp。deploy/tee/launch.sh 用的就是 argv_json, 不要拿文本模式那一行去跑 shell。

与可信度方案的关系

TrustPlan(L0–L3)判断「这一轮靠什么保证安全」,本层判断「这台节点配不配跑」。 L2 的互验前提除了 attested = true 与 min_tcb,现在还必须有 SessionBinding 的会话绑定证明:互验的是本轮会话,不是某份陈年报告。 芯片验签仍由验证方完成,框架不越界。

验证与边界

  • 单元测试覆盖:平台能力表、policy 与代际匹配、KBC 参数、64 字节绑定的 确定性与输入敏感性、重放拒绝、所有准入拒绝项、qemu argv 语法、 TeeNode::parse 行号报错、guest 侧 seal/unseal 与证明复核、catalog 签名回归。
  • 闸门:./tools/ci.sh,另补 cargo build -p mpc-tee --no-default-features。
  • 真机可验证到:预检 → 准入 → argv 生成 → 直接启动加密 guest → guest 内计算 → 跨 guest 结果还原。

真机端到端验证(2026-11-06,两台 TEE 节点)

用 x86_64-unknown-linux-musl 交叉编译出 4.1 MB 静态 mpc(zig objcopy 去符号), 经 xop 凭据分发到 192.168.1.7 / 192.168.1.102,两台摘要一致、selftest 全绿。 (★ 该次验证在宿主控制面独立成 crate 之前;现在交叉编译必须加 --no-default-features,否则会试图把 OpenSSL / axum 编进 guest 静态产物, 见 deploy/tee/real-machine/README.md 与主门禁第 4 条。)

① 两台宿主之间的跨机隐私计算(PSK 双向认证 + ChaCha20-Poly1305 全链路加密):

计算 输入 结果
mpc node alice 1,2,3 / bob 4,5,6 双方还原 35.000000,分片交换 + 密文乘法
mpc psi alice 1..5 / bob 3..7 双方交集 3,4,5
mpc lr-vertical 6 行 × 2 列,bob 持标签 PSI 对齐 6 行 → 特征拼接 → y 分片 → 20 轮密态训练,双方权重逐位一致

② 加密 guest 内跑 mpc:手工构造 13 MB 最小 initrd(现成 alpine rootfs + mpc + 自定义 /init),由 mpc tee plan --argv 直接生成 qemu argv 启动。SNP guest 实测: 内核 6.12.36、/dev/sev-guest 存在、内核报 Memory encryption is active and system is using DMA bounce buffers、guest 内 mpc selfcheck / selftest 全绿; /proc/cmdline 里的 mpc.tee.user_data 与框架 SessionBinding 算出的 128 位十六进制 完全一致,换二进制后该值后半段随之变化 —— 会话绑定确实把代码度量算了进去。

两个独立 SNP guest 用 qemu socket netdev 做二层直连(10.0.0.1 / 10.0.0.2), 跨 VM 跑通一次完整密文会话:双方都输出 35.000000、分片交换与还原完成。

③ 跨物理机双加密 guest 完成一次隐私计算(最终闭环): AMD SNP guest(alice,192.168.1.7)与海光 CSV guest(bob,192.168.1.102) 各由框架原生 argv 启动(24 个参数,部署层只补 socket netdev,无任何参数覆盖)。 两侧 guest 内 mpc selftest 全绿、/proc/cmdline 的 mpc.tee.user_data 与 SessionBinding 一致,带 PSK 的密文会话完成分片交换与还原, 双方都输出 35.000000。

CSV 的根因:不是固件被占用

上一轮曾把海光 LAUNCH_MEASURE fw_error=24 'Platform is already owned' 归为 「SEV 固件平台状态、不能动」,这是错误结论。反证是同机已有的 CSV guest 能正常起 (PSP 状态 INIT → WORKING、guests=1)。抓它的 qemu 命令行做逐项差分, 再用 9 个 case 做参数消融,钉死根因:

组合 结果
kernel-hashes=on + pflash 固件 guest 正常启动
缺 kernel-hashes OVMF 不认 direct boot、转找 GRUB(failed to load Boot0002),最终 LAUNCH_MEASURE fw_error=24
有 kernel-hashes 但固件用 -bios qemu 6.2 断言崩溃 pc_system_ovmf_table_find: Assertion 'ovmf_flash_parsed' failed

fw_error=24 那句 "Platform is already owned" 是 qemu 6.2 把 errno 当固件错误码 查表产生的误导性字符串,不代表平台被占用;不需要、也不应在真机做固件重置。 唯一必需的条件就是 kernel-hashes=on + pflash 固件;-machine 属性名、 reduced-phys-bits(1 / 5)、CPU / SMP 配额、两个同 md5 的 kernel 文件名都不影响启动。

真机反过来校正了框架的 5 处:confidential-guest-support(原写 conf-guest-support,qemu 9.1.2 不认)、两条路径 direct boot 都必须 kernel-hashes=on(原注释误写「CSV 不认这个属性」,正是误判源头)、 海光固件必须 pflash 加载(新增 PlatformProfile.firmware_pflash)、 AMD profile 必须带 console=ttyS0、cbitpos 按平台区分(51 / 47)。 另外真机自带的静态 qemu 未编译 slirp,-netdev user 不可用,跨 guest 链路改由 部署层注入 socket netdev —— 核心 crate 不写死任何宿主网络后端。

海光 CSV = 国产版 SEV:证明原语通用,字节布局独立

上一轮把 HygonCsv 在 verify.rs 里丢进「报告长度≥64 即过」的兜底分支,是 过度保守的误判——和「CSV 不认 kernel-hashes」同源。事实是:海光 CSV 派生自 AMD SEV/SEV-ES,与 SNP 共享同一套证明绑定原语(64 字节 user_data 必须等于 会话绑定值、launch measurement、固件签名),只是固件报告的字节布局并不兼容:

字段 AMD SEV-SNP 海光 CSV(固件报告)
报告总长 1184 字节 2548 字节(结构体;hypercall 页为 4096)
user_data/report_data 偏移 / 长度 0x50 / 64B 0x40 / 64B
launch measurement 偏移 / 长度 0x90 / 48B SHA-384 0x90 / 32B SM3
签名字段偏移 / 长度 0x2A0 / 512B 0xC0 / 144B

因此 verify.rs 把解析逻辑泛化成布局参数化的 [parse_sev_like_report],SNP 与 CSV 共用同一套代码,各自带自己的 ReportLayout——既落实「能力通用」,又不把 SNP 的 字节偏移错套到 CSV 上。HygonCsv 现在按 CSV 固件报告布局真实解析、并校验 user_data 与会话绑定一致,不再走兜底。

已在 192.168.1.102 用海光厂商 SDK 实测确认(不是只靠开源参考):头文件 /opt/hygon/csv/attestation/csv_status.h 的 struct csv_attestation_report 经本机 gcc 编译 offsetof/sizeof 得到——user_pubkey_digest@0x00、vm_id@0x20、 vm_version@0x30、user_data@0x40、mnonce@0x80、measure@0x90(32B SM3)、 policy@0xB0、sig1@0xC0(144B)、pek_cert@0x150、sizeof=2548,且结构体内 无 version 字段。这次复核抓到一个真 bug:verify.rs 原先把报告总长写成 4096 (那是 hypercall/mmap 的页大小,不是报告长度),会让每一份真实 CSV 报告被长度下限 直接拒掉;已改为 2548 并加回归测试钉死。开源参考 inclavare-containers/rats-tls 的 csv.h 仅作交叉印证。签名算法 / ECC 曲线语义仍由验签器按芯片规范负责。

已交付:AMD SNP 与海光 CSV 两份固件报告的结构校验已统一实现(布局参数化、 共用解析逻辑),CSV 不再走兜底;CSV 布局已在真机用厂商 SDK 编译器确认(2548 字节), verify_attestation 对两平台都如实区分「结构与绑定通过 / 芯片签名未验证」。 mpc tee verify / mpc tee kbs-get 已可调用;KBS 最小客户端与 OCI 分层镜像构建 (deploy/tee/{kbs,oci})已入仓。

仍未交付(2026-11-06 当时,如实标注):

  • OCI 打包 + KBS 注入链路代码已就位,但尚未在两台真机端到端复跑。

2026-11-08 状态核对:芯片证明采集 → KBS 验签放行 → key_source=kbs → 跨物理密文会话,已在同一次运行里于两台真机跑通(TEE_PAIR_OK + TEE_ATTEST_GATE_OK,两侧还原 35.000000),见 docs/REAL_MACHINE_FINDINGS.md 第 10 节与 deploy/tee/real-machine/tee-pair-attest-e2e.sh。但 OCI 分层镜像 打包这一具体形态仍未在两台真机端到端复跑 ⇒ 本条边界只在「OCI 形态」上继续 成立,不要把它读成「KBS 密钥下发未验证」。下一节「两条仍未交付已在同日 做掉」指的是 2026-11-06 当时的两条,与本节不是同一组。

真实 CSV 报告捕获 + 芯片验签闭环(2026-11-06 后续,192.168.1.102)

上一节列的两条「仍未交付」已在同日做掉,实测结论如下。

① CSV 报告字段被 anonce 异或混淆 —— 不还原就永远对不上

这是本轮最关键的框架级发现。厂商 SDK csv_sdk/csv_status.c 第 762–781 行的还原写法是 按 u32 数组逐个异或:

((uint32_t *)g_user_data)[i] = ((uint32_t *)report.user_data)[i] ^ report.anonce;
((uint32_t *)g_mnonce)[i]  = ((uint32_t *)report.mnonce)[i]  ^ report.anonce;
((uint32_t *)g_measure)[i] = ((uint32_t *)report.measure.block)[i] ^ report.anonce;
((uint32_t *)&g_pek_cert)[i] = ((uint32_t *)&report.pek_cert)[i] ^ report.anonce;
((uint32_t *)g_chip_id)[i] = ((uint32_t *)report.sn)[i] ^ report.anonce;
字段 偏移 是否被混淆
user_data 0x40 (64B) 是
mnonce 0x80 (16B) 是
measure 0x90 (32B) 是
pek_cert 0x150 (2084B) 是
sn 0x974 (64B) 是
policy / sig_usage / sig_algo 0xB0 / 0xB4 / 0xB8 否
anonce 0xBC (4B) 否(混淆密钥本身是原值)
sig1 0xC0 (144B) 否

框架侧已实现还原(mpc_tee::verify::deobfuscate_csv_field,按 u32 数组异或, 长度非 4 的倍数直接报错而非尽力补齐)。真机实测:anonce = c96e190d 时报告里 user_data 的混淆值是 786a0bbb2d7d0fbd6c…,还原后是 757365722064617461 (ASCII "user data"),与官方验签器打印的 userdata 完全一致。

不做还原的后果:框架拿混淆值与绑定值逐字节比,永远对不上,而且报错是 「user_data 与本次会话绑定不一致(可能是重放报告)」——把一个实现 bug 报成攻击迹象,排查方向会被彻底带偏。

② 取报告的 ioctl 契约

真实报告必须在 CSV guest 内用 ioctl 取(.102 宿主没有 /dev/csv-guest):

  • 设备 /dev/csv-guest(misc device, mode 0777)
  • cmd GET_ATTESTATION_REPORT = _IOWR('D', 1, struct csv_guest_mem)
  • struct csv_guest_mem { unsigned long va; int size; }
  • 用户态缓冲区 = 整页 4096 字节,前 112 字节布局 user_data[64] + mnonce[16] + hash_block[32]
  • hash = SM3(user_data[64] || mnonce[16])
  • 固件在同一缓冲区就地写回 2548 字节完整报告 → size 必须 ≥ 2548(厂商用 PAGE_SIZE)

坑:缓冲区只给 112 字节会让驱动 copy_to_user 报 EFAULT(Bad address)—— 它要回写的是 2548 字节,不是 112。

厂商 get-attestation 把挑战值写死成 ASCII "user data",报告因此无法与框架会话 绑定对上。仓库新增 deploy/tee/real-machine/csv-attest-request.c 支持自定义挑战值 (--user-data HEX64),并自带 SM3 实现(guest rootfs 无 openssl/sm3.h), 已用 GB/T 32905-2016 两个标准向量验证。

③ 官方验签器的四个坑

海光官方 verify-attestation 的行为与文档不一致,仓库用 deploy/tee/real-machine/csv-verify-attestation.sh 包了一层:

坑 现象 处置
退出码恒为 0 验签失败也返回 0 按 stdout 文本判定,不看退出码
报告路径写死 固定读 ./report.cert 在工作目录里放 report.cert
离线证书 fallback 只在自己所在目录 dirname(readlink("/proc/self/exe")) 把二进制复制到工作目录再执行
对截断报告 fail-open 1000 字节截断报告照样打印 "verify success"(签名覆盖的 userdata/mnonce/measure 未被截掉,但 pek_cert@0x150 已被截掉,结构已不完整) wrapper 层自卡长度(必须 == 2548)

另有一处环境陷阱:LD_LIBRARY_PATH=/opt/gmssl/lib 会让 curl/libcurl 抢先加载 GmSSL 的 libssl(缺 OPENSSL_1_1_1 符号版本),导致证书下载全部失败。 官方验签器自身已带 rpath,不能设 LD_LIBRARY_PATH。

④ 端到端闭环(真机实测)

deploy/tee/real-machine/verify-csv-report-e2e.sh 三步走完:

===== 1. 还原 anonce 混淆 =====
还原后的 user_data = 4c84440cbcddb4b9fad2c2a6744c22ab5c9c0188c6a6e566d1ffc537be0f62e93b5bad450c586956d1c6f5da7ac65071aeae308b6adaf3028f8de847854811cc

===== 2. 官方验签器(芯片签名 + 证书链) =====
verified=true verifier=hygon-verify-attestation chain=on

===== 3. 框架 mpc tee verify(结构 + 会话绑定 + 芯片签名) =====
{"kind":"table","title":"证明校验结论","header":["key","value"],"rows":[
  ["structure_ok","true"],["bound_ok","true"],
  ["chip","已验证(/tmp/mpc-tee-tools/csv-verify-attestation.sh)"],
  ["verdict","结构与会话绑定通过,外部验签器 … 判定芯片签名通过"]]}

E2E_OK: 真实 CSV 报告的芯片签名已由官方验签器验证,框架校验通过

证书链走全链(hrk → hsk → cek → pek),官方输出 validata cert chain successful。

负向矩阵(真机实测,全部 fail-closed):

场景 wrapper rc 框架 rc 判定依据
真实报告 0 0 通过
篡改 user_data(@0x40) 1 1 verify report fail / 「CSV user_data 与会话绑定的 user_data 不一致」
截断到 1000 字节 1 — verify-failed: 报告长度 1000 != 2548
篡改 sig1(@0xC0) 1 — verify report fail

⑤ 一个真实 CLI bug:--report 参数撞名

全局 --report text|json 与 mpc tee verify --report <文件路径> 同名, 全局参数先解析 → tee verify 永远拿不到文件路径(真机表现为 --report 只认 text / json,得到 "report.cert")。 已修为上下文感知:仅当命令是 tee verify 时,非格式值的 --report 才当文件路径。

⑥ 第二个真实 CLI bug:绑定参数必须与启动同源

user_data 第二段哈希绑的是「度量 + 平台标签 + TCB」,TCB 来自节点描述。 启动方 tee plan 用 node 里的 tcb=3 算绑定值,验证方 tee verify 的 --tcb 默认却是 0 → 期望值必然对不上 → 报「user_data 与本次会话绑定不一致(可能是重放报告)」。 手工重填 site / measurement / tcb 是绑定对不上的头号来源。

已给 mpc tee verify 加 --node:site / measurement / tcb / platform 默认全部取自 节点描述,与 tee plan 读同一份真相源;节点平台与 --platform 冲突直接拒绝。 采集脚本会把本次会话参数落成 session.env,验证脚本从那里读,不靠人手抄。

因此准确说法是:AMD SNP 与海光 CSV 两条路径的直接启动、跨机密文会话、 真实 CSV 报告捕获、芯片签名与证书链验证均已端到端跑通; OCI 镜像流水线与 KBC 在线密钥下发已在 2026-11-06 后续补齐,见下一节。

OCI 镜像流水线 + KBC 在线密钥下发(2026-11-06 补齐,192.168.1.102)

这一节交付两件此前欠着的事:

  1. OCI 镜像流水线真机复跑:build → verify → pack 三步在真机跑通, OCI manifest digest 作 SessionBinding.code_measurement。
  2. PSK / seed / root-key 不再内置在 initrd 里,改由 guest 内 mpc tee kbs-get 按会话从宿主 KBS 取回(在线 KBC)。

复现资产(都在 deploy/tee/,不再散在 /tmp):

资产 作用
oci/oci-image.py OCI image layout 构建 / 校验 / 打包成 initrd
kbs/serve.py KBS 资源下发(2026-11-07 起会校验芯片证明,见「★ 先验证明,才给密钥」)
kbs/selftest-kbs.py KBS 本地自测(19 组,含「伪判定结论」「判定器不是判定器」等探针)
real-machine/kbs-net.sh 宿主侧 tap + bridge + 起 KBS(up / down / status)
real-machine/kbc-e2e.sh 正向:OCI 流水线 + 在线 KBC 全链路
real-machine/kbc-negative.sh 负向:5 条 fail-closed 矩阵
real-machine/kbc-attest-e2e.sh 正向:真芯片证明 → KBS 校验(含芯片签名)→ 才下发密钥
real-machine/kbc-attest-negative.sh 负向:证明门控 6 条 fail-closed 矩阵
guest/syntax-check.sh guest init 的 ash 语法闸门(bash -n 通过不算数)

出网链路:tap + bridge(不是 slirp)

海光真机跑的是 kata-static 裁剪版 qemu,-netdev help 的后端列表里 没有 user(slirp):

$ /opt/confidential-containers/bin/qemu-system-x86_64 -netdev user,id=n0
qemu-system-x86_64: -netdev user,id=n0: Parameter 'type' expects a netdev backend type

系统 qemu(/usr/bin/qemu-system-x86_64)有 slirp,但它跑不了 CSV 机密 guest (CSV 的 vmmcall 依赖 kata-static 的构建选项)。两条路都堵死 → guest 访问 宿主 KBS 只能靠 tap 进宿主网段。

于是:

  • 宿主建 bridge mpcbr0(10.99.0.1/24)+ tap mpctap0;
  • KBS stub 绑 bridge 的地址(不是 127.0.0.1 —— guest 够不到);
  • guest 拿 10.99.0.2/24,同网段直连,全程无 NAT。

两个必须的细节:

  • -netdev tap,...,script=no:qemu 默认会跑 /etc/qemu-ifup 去配 tap, 真机上没有该脚本 → network script .../qemu-ifup failed with status 256, 直接起不来。tap 已由 kbs-net.sh 建好并挂进 bridge,qemu 只要复用。
  • tap 每次重建:上一轮 qemu 还占着它时,下一轮报 could not configure /dev/net/tun (mpctap0): Device or resource busy。

框架侧的两处语义拆分

PlatformProfile.kbc 原先是「平台只支持一种 KBC 模式」的硬编码 (CSV 固定 Offline、SNP 固定 Online),于是 admit() 里 node.kbc != profile.kbc 直接把 CSV 的在线 KBC 拒掉了 —— 框架层根本走不了 「密钥由 KBS 下发」。现已拆成两个概念:

  • allowed_kbc:该平台支持哪些模式(SNP / CSV 都是 [Online, Offline]);
  • kbc:该平台的缺省模式。

kbs_endpoint 也不再是平台内置常量(CSV 没有内置缺省端点),改由节点描述 kbs_endpoint= 给出,现场部署事实与代码分离。

端到端结果(真机实测)

===== 3. OCI 镜像流水线 =====
manifest_digest=e698959bbae58919a63ad54ccdf9eddcff3cc024ba83c8328269df933845028f
measurement=e698959bbae58919a63ad54ccdf9eddcff3cc024ba83c8328269df933845028f
layers=3   verified=ok

===== guest 内 =====
oci_layers: verified
manifest_digest=e698959bbae58919a63ad54ccdf9eddcff3cc024ba83c8328269df933845028f
kbs_endpoint=10.99.0.1:18080
key_source=kbs
===== MPC TEE GUEST DONE =====

KBC_E2E_OK: guest 内密钥由 KBS 按会话下发;OCI 层校验与度量 pin 均通过

关键点:key_source=kbs 而不是 key_source=offline-demo —— 镜像里没有 PSK/seed/root-key 的明文,密钥是本轮会话向 KBS 现取的。

2026-11-07 复跑确认(脚本定稿后重跑,EXIT=0):链路完整跑通 —— guest 内 oci_layers: verified → key_source=kbs → ===== MPC TEE GUEST DONE =====。

负向矩阵(kbc-negative.sh,全部 fail-closed)

判据是 guest 串口上出现 MPC_FAIL: 标记,且没有出现 key_source=kbs。 (不用 FATAL 做判据:串口是单通道,内核 panic 日志会插进 init 的输出中间, 把长消息从中间截断;关键标识因此放在独立短行的开头。)

负向 期望 结果
KBS 认的是别的会话 id 403 → fail-closed ✅
KBS 端口不可达 连不上 → fail-closed ✅
cmdline 的 manifest 与镜像内不一致 度量 pin 失败 → fail-closed ✅
活文件 /mpc 被篡改 逐文件 digest 不符 → 点名 mpc ✅
KBS 资源缺失(只有 psk 没有 seed) 取料失败 → fail-closed ✅

★ 运行期完整性链(2026-11-07 补,框架级修复)

问题:原先 guest 只校验 layers.sha256 —— 而那份清单覆盖的是 /etc/mpc-tee/oci/blobs/ 下的惰性证据副本。真正被执行的 /init、/mpc 是解层之后合成出来的活内容,根本不在校验范围内。

真机实测:把 initrd 里的 /mpc 改掉一个字节 → guest 照样打印 oci_layers: verified,一路跑到 KBS 取密钥。

这正是「构建校验全绿、产物真机不能用」的根因:build / verify / pack 三步全过,但那份「全绿」证明的东西与真正被执行的东西无关。

修复:信任根单一,逐跳推导到活文件。

cmdline 的 mpc.tee.manifest (PIN,= OCI manifest digest)
  → sha256(/etc/mpc-tee/oci/manifest.json)
  → manifest.annotations: mpc.tee.rootfs-files-digest / rootfs-links-digest
  → sha256(rootfs.sha256) / sha256(rootfs.links)
  → sha256sum -c → /init /mpc /bin/... 逐个校验

关键点:框架 pin 的 code_measurement(= manifest digest)参与 user_data 计算 → 这条链的信任根与芯片证明是同一个,链能闭合。

实现要点:

  • oci-image.py:rootfs_state_from_layers() 直接从各层 tar 字节算活 rootfs 的文件级状态(不解包 → 本地 macOS 也能跑,且 build / pack 共用 同一函数,两边理解不会分叉)。build 时把两个锚点写进 manifest.annotations; pack 时重算并交叉核对锚点,不一致直接拒绝打包。
  • init.sh 第 2.1~2.6 步:先验证据副本,再验锚点,再逐个验活文件; 失败时报出具体是哪个文件(MPC_FAIL_FILE:),只说「校验失败」 等于没排查价值。
  • 回归:deploy/tee/oci/selftest-chain.py(本地可跑)。它第 5 条明确断言 「旧口径对 /mpc 篡改完全无感」—— 免得以后有人觉得多此一举把新链删掉。

★ 流水线自证:打包完必须回读 initrd(2026-11-07 补)

运行期完整性链解决了「guest 校验的是不是活内容」,但还有一层更靠前的 问题:打包出来的 initrd 是不是这次镜像的产物。

真机实测踩到的现象:

cmdline 的 manifest = 41d93d38…      ← 节点描述(本次 build 的)
initrd 内嵌的 digest = 33c3bc79…     ← 上一轮的 initrd

guest 报「cmdline 的 manifest digest 与镜像不一致」,看起来像度量校验坏了, 排查方向被完全带偏 —— 实际上镜像侧完全正常。

三个原因叠在一起:

  1. 管道吞掉退出码。pack ... | grep -v RuntimeWarning 里, 管道的退出码取的是最后一条命令(grep)的,pack 自己失败也看不出来。 set -e 对管道只查最后一条 —— 这条在 POSIX shell 里就是这样,不是 bash 的锅。
  2. 并发实例共用同一个远端目录。/tmp/mpc-tee-run 下的 image/ 与 initrd.img 来自不同轮次 → 错配。流水线自己发现不了这种错配, 因为 build/verify/pack 每一步单独看都是绿的。
  3. 脚本运行期间被编辑。bash 按字节偏移重读正在执行的脚本, 偏移一错位就把注释当命令执行了(实测报 line 239: ��是节点描述里的: command not found)。 —— 所以「跑测试的同时改脚本」是禁止的,改完必须重跑。

修复(两道防线):

  • oci-image.py pack 打完 initrd 后回读它,核对三件事: 内嵌 etc/mpc-tee/manifest.digest == 本次 manifest digest、 内嵌 rootfs.sha256 / rootfs.links == 本次算出的清单、 内嵌 manifest.json 的 sha256 == PIN。任一不符直接 return 1, 并打印 selfcheck=ok 作为成功标记。
  • 脚本层:pack 的 stderr 收进文件再 cat,不放在管道右侧; 负向与正向用独立的远端目录 / 网段 / tap;本机加 mkdir 原子锁 (macOS 没有 flock,Linux util-linux 专有)。
python3 oci-image.py pack --image ... --out ... \
  > pack.log 2> pack.err || { echo PACK_FAILED; cat pack.err; exit 1; }
grep -v RuntimeWarning pack.err || true
cat pack.log
grep -q 'selfcheck=ok' pack.log || { echo PACK_SELFCHECK_MISSING; exit 1; }

这一轮踩到的真 bug(都在真机才暴露)

第一组(2026-11-06,OCI 流水线 + KBC 下发):

  1. tar_from_files 把 init 打成目录。判据写的是 content is None → 目录, 而 ("init", args.init, None, 0o755) 的 src 是文件路径、content 是 None → 被打成 0755 的目录。真机表现:Run /init as init process → Failed to execute /init (error -13)(EACCES)。
  2. cpio 把设备节点写成普通文件。cpio_newc 的 emit 只分「目录 / 链接 / 其他」,设备节点落进「其他」→ mode |= S_IFREG。真机表现:/dev/console 是 0600 的普通文件 → guest 没有控制台,init 的输出全丢,只看到内核 那句 Run /init as init process 之后直接 halt。
  3. newc 的设备号字段填错。fields = [..., 0, 0, rdev, rdev, ...] 把同一个 rdev 填了两遍;正确是 devmajor=0, devminor=0, rdevmajor, rdevminor。
  4. scheme 拼重了。KbcMode::kernel_param 硬编 http://,而调用方给的 已经是 http://... → 真机上 cc_kbc::http://http://10.99.0.1:18080, guest 拿到一个解析不了的地址。已归一化(带不带 scheme 都接受),并加回归测试。
  5. 网络配置排在 KBC 取料之后。取料动作本身依赖网络,guest 还没配 IP 就 去连 KBS → 报「连 KBS 失败: Network unreachable」,看起来像 KBS 不可达, 实际是本机网卡还没起来。现在网卡配置是 init 的第 1 步。

第二组(2026-11-07,完整性链 + 负向矩阵):

  1. ★ 完整性链只覆盖证据副本(见上节,框架级设计缺陷)。
  2. guest init 必须用 ash 校验语法,bash -n 通过不算数。真机实测 /init: line 175: syntax error: unexpected "do" (expecting ")") —— 起因是 POSIX sh 不允许复合命令(while/for)作为管道元素,bash 宽容地接受了 $((... | while read; do ... done)),ash 直接语法错。 检查手段已固化为 deploy/tee/real-machine/guest-syntax-check.sh: 宿主(glibc)跑不了 alpine 的 busybox(musl 动态链接),解法是 先把 initrd 解包,再用解出来的 musl loader 跑解出来的 busybox, 完全模拟 guest 内解析环境。
  3. 篡改脚本误伤 init 源码。旧脚本在 initrd 里搜字符串 manifest.digest 改其后第一个十六进制字符,而这个字符串第一次出现在 /init 的源码里 → 被改坏的是 init 脚本本身,guest 报 syntax error —— 测出来的是 init 语法,不是完整性校验。新 tamper-initrd.py 改为精确解析 newc cpio, 找到目标文件的数据区改一个字节,init 脚本本身完好。
  4. halt -f 不刷 stdout。fail-closed 时立刻断电,串口上只剩内核一句 Attempted to kill init! exitcode=0x00000200,看不出是哪一步拦下的。 改用统一 die():消息落 fatal.log + 串口打 MPC_FAIL: 标记 + exit 1。
  5. 串口是单通道,内核 panic 日志会截断 init 的输出。实测 FATAL: 活 rootfs 文件 digest 与声明[内核日志] 1.642489] Kernel panic ... —— 关键信息(哪个文件对不上)正好落在被截掉的那段里。解法: 消息完整落盘 fatal.log,串口只打独立短行的标记。

第三组(2026-11-07,流水线自证 + 脚本卫生):

  1. ★ pack 的失败被管道吞掉(见上节)。pack ... | grep 取的是 grep 的 退出码,旧 initrd 被当成新产物继续用。已改为 pack 后回读 initrd 自证。
  2. ★ 并发实例共用远端目录 → image/ 与 initrd.img 来自不同轮次, 流水线自己发现不了。已隔离目录/网段/tap,并加本机原子锁。
  3. ★ bash 会按字节偏移重读正在执行的脚本。在脚本运行期间编辑它, 偏移错位后把注释当命令执行。所以「跑测试时改脚本」是禁止的。
  4. ★ macOS 没有 flock。本想用它做互斥,结果 flock: command not found —— 改用 mkdir 原子锁(跨平台、原生)。
  5. ★ $VAR 后紧跟全角括号 → 变量名被并进去。本轮在 guest 的 init.sh 里命中一处:die "…不符($LINK_BAD)" → ash 读成变量名 LINK_BAD) → 符号链接校验路径直接崩。症状是「校验莫名失败」, 排查方向完全被带偏。已加闸门 deploy/tee/real-machine/lint-shell-vars.py 并接进 tools/ci.sh(第 5 条)。
  6. ★ 双引号字符串内部的反引号会被当命令替换执行。remote_script "..." 把整段脚本放进双引号里,注释里的反引号也不安全 —— 在注释里写 `pack ... | grep`,bash 会去执行 pack,报 pack: command not found,而且整行注释被吃掉,紧接着的真正命令错位。 同一闸门现在也查这一类;它当场又抓出一处遗留 (csv-verify-attestation.sh 里 OPENSSL_1_1_1 那行)。
  7. ★ 「跑测试的同时改脚本」= 制造假故障。bash 按字节偏移重读正在 执行的脚本,编辑后偏移一错位,注释就被当命令执行 (实测 line 213: 网络后端由: command not found,最后连引号都不配对)。 改完必须重跑 —— 这条是操作纪律,代码挡不住。
  8. ★ body 里的未转义双引号会提前闭合外层串。remote_script 的 body 是 $2 单参数,所以 body 内任何未转义的双引号都会把整段脚本按 shell 词法 切成多个参数。切分点两侧没有空格时看起来「没事」(这正是它能潜伏 很久的原因),一旦内层文本含空格,remote_script 拿到的就是错的 $2 $3,远端跑的是完全不同的脚本。修法:转义 \" 或用中文引号「」。 闸门 lint-shell-vars.py 收敛时当场抓出遗留一处: kbc-negative.sh 的 pkill -f "qemu-system-x86_64.*$TAP"。
  9. ★ 「我自己的闸门也要有探针」。重写 lint-shell-vars.py 时一度把 「闭合点」判定逻辑写丢了,闸门立刻变成假绿(LINT_OK 但什么都不查)。 判据:「收紧检测 → 误报变多 → 放宽判据 → 假绿」是同一条曲线上的 三个点,必须用已知有问题的探针回归确认三类检测都还能报出来。 现已固化为 lint-shell-vars.py 的三类探针(/tmp/lintprobe 那组)。

另外两个「看起来像 bug 的 bug」也记一下:

  • kbs-net.sh 找不到 serve.py:脚本在仓库里的相对路径是 ../kbs/serve.py, 真机上被平铺到同一目录 → 两种布局都要支持。
  • macOS 的 cut -c 遇多字节报 Illegal byte sequence → 要加 LC_ALL=C。

闸门的判据设计(lint-shell-vars.py)

第三类(双引号提前闭合)的判据一开始写成「所有跨行双引号串的闭合点必须在行首」, 结果 11 处误报 —— 因为 argv_json="$(printf ... | python3 -c '...')" 这类 合法写法也被判错了。

正确判据是「body 位」:开引号位于行尾(该行开引号之后没有别的内容)的串, 才是 remote_script 的脚本 body。其它双引号串的闭合点在行中是正常的。

配套还要按 bash 词法规则跳过 $( ) 与反引号 —— 它们是新的引号上下文, 里面的双引号不会闭合外层串。所以 echo \"$(date)\" 是合法的,不该报。

扫描器按这个判据重写后:11 处误报 → 2 处真命中(其中 1 处是合法的本地 重定向 > "$LOG" 2>&1,据此放宽收尾判据;另 1 处是真 bug,见真 bug 18)。

边界(说清楚没做什么)

⚠️ 本节是旧版边界(2026-11-06)。「KBS 不做芯片证明校验」与 「guest token 只是占位值」这两条已在 2026-11-07 补齐 —— 见下文「★ 先验证明,才给密钥」。当前边界见那一节末尾。

  • KBS 是演练 stub,不做芯片证明校验。生产必须换成带远程证明校验的 KBS:由它验证 SNP/CSV 报告、证书链与 measurement 之后才下发密钥。 框架的 KbsKeySource 只是把 token 原样带给服务端,不假装这层已安全。
  • guest 内的证明代理 token 目前只有占位值(offline-demo),KBS 侧在 --strict 模式下会拒绝它。真实 token 要由 guest 内证明代理写入 /run/mpc-tee/attestation.token。
  • 明文 HTTP:生产环境 KBS 前面应有 TLS 终止,或改用带证明校验的 KBS。
  • 运行期完整性链防的是「分发/拉取过程中活文件被替换」。能同时改掉 initrd 里 /init 与清单的宿主不在防御范围内 —— 那需要芯片对初始页的 launch measurement 参与判定(框架侧目前只做存在性检查,语义由芯片规范 定义,两种 measurement 不可混用,见 crates/mpc-tee/src/verify.rs)。

★ 先验证明,才给密钥(2026-11-07 补齐)

为什么这是必须补的那一半

上一轮的 KBS 只是「查一下 session 就发」:

GET /kbs/v0/resource/mpc/psk/<session>   +  MPC-Tee-Session: <session>
                                            +  MPC-Tee-Attestation: offline-demo

也就是说:只要能连到 KBS 并知道会话 id,就能拿到密钥。它不是密钥服务, 是个文件服务器。guest 里的「证明代理 token」也只是占位值 offline-demo —— 框架层看起来有远程证明的形状,底下却没有任何东西验证它。

这一轮把顺序倒过来:

guest 向芯片要报告(CSV ioctl / SNP ioctl)
  → 打包成证明包(bundle)
  → POST /kbs/v0/attestation 给 KBS
  → KBS 调用「与验证方同一份」Rust 代码校验(mpc tee attest-check)
  → 通过才签发 token(绑定 session + bundle digest,有 TTL)
  → 凭 token 调 /kbs/v0/resource/<repo>/<kind>/<tag> 取 PSK/seed/root-key

判定口径只有一份

KBS 是 Python 写的,但证明判定不重写。 它调用 mpc tee attest-check (Rust),Python 只搬运字节 + 看退出码:

退出码 含义
0 通过(结构 + 绑定 + 度量 pin + TCB + 芯片签名)
1 不通过(verdict 字段说明原因)
2 用法错误(参数缺失、文件读不到)

这样 KBS 与审计端不可能出现两份口径。上一轮踩过的坑就在这里: 生成端自检与审计端判定不一致时,「一致地判不通过」会被误读成「模型不稳定」, 「一致地判通过」则是虚假安全感。

判定五关(全部 fail-closed)

crates/mpc-tee/src/bundle.rs 的 verify_bundle():

  1. 平台一致 + 按布局解析报告 —— CSV 2548B / SNP 1184B,布局参数化独立。
  2. 重算绑定值与报告内 user_data 比对 —— 挡重放。绑定值 = sha256(domain ‖ measurement ‖ platform_tag ‖ tcb)。 同时比对证明包自称的 user_data。
  3. 度量 pin 一致 + 已 pin —— 跑的不是被批准的那份镜像。
  4. TCB 门槛(--min-tcb)—— 只做准入比较。
  5. 芯片签名 —— 交给外部验签器(海光官方 verify-attestation, 经仓库里的 wrapper csv-verify-attestation.sh 转成框架契约)。

★ --tcb 与 --min-tcb 不是一回事

  • --tcb = 节点实际 TCB,参与绑定值计算;
  • --min-tcb = TCB 门槛,只做准入比较。

漏传 --tcb → 重算绑定值用 tcb=0 → 与生成侧(tcb=3)对不上 → 报「user_data 与本次会话绑定不一致」。这是把参数漏填报成重放攻击的 误导性结论 —— 真机上排查方向会被完全带偏。绑定参数必须与启动同源 (tee plan / tee verify / KBS 三处都用同一个 --node 描述)。

证明包格式(MPCBUNDLE1)

自定长分段二进制(不用 JSON —— base64 编码本身就是个错误面):

魔数 "MPCBUNDLE1\0" (11B) | version | platform | reserved | flags
| report_len u32 | cert_count u32 | user_data_len u32
| report | cert_count × (u32 len + bytes) | user_data (64B)

from_bytes 逐项核对长度字段与实际字节数 —— 多一个字节、少一个字节都拒。

真机端到端结果(192.168.1.102,2026-11-07)

脚本:deploy/tee/real-machine/kbc-attest-e2e.sh

attestation_collect: ok        ← guest 从 /dev/csv-guest 采到真实 CSV 报告
attestation_post: ok            ← KBS 验过并签发 token
key_source=kbs                  ← 凭 token 才取到密钥
===== MPC TEE GUEST DONE =====

KBS 侧判定结论(这是关键证据,不能只看 guest 说拿到了密钥):

[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
                chip=verified-by:/tmp/mpc-tee-tools/csv-verify-attestation.sh
                verdict=结构、会话绑定与芯片签名全部通过

chip=verified-by:* 才是「芯片真的签过名」的判据。少了这一条, 「结构 + 绑定过了」会被误当成「芯片签过名了」。

负向矩阵(kbc-attest-negative.sh,6 条全部 fail-closed)

负向不去改 guest 内部(那测的是 guest 的健壮性),而是改宿主侧 KBS 的 判定参数 —— 这正是现实里会被配错、被篡改、被环境漂移影响的维度:

# 负向 改的是哪一维
1 度量 pin 不符 KBS 认的镜像不是 guest 实际跑的那个
2 站点不符 KBS 认的站点不是 guest 声明的站点
3 TCB 低于门槛 guest 的 TCB 没达到准入要求
4 会话 id 不符 拿的是别的会话的密钥
5 无芯片验签器 严格模式下没有验签器就一律拒
6 验签器判失败 芯片签名没过(验签器坏了 / 报告被改)

判据:必须拿不到密钥,且必须留下拒绝痕迹(不能被静默吞掉)。

★ 这一轮踩到的真 bug

  • GNU coreutils tee 冒充判定器:判定命令拼成 [mpc, "tee", "attest-check", ...]。mpc 一旦为空或拼错,tee 就落到 argv[0] 上 —— 执行的是系统 tee,它把每个非选项参数都当文件名创建 (实测在仓库根目录撒了 15 个垃圾文件),而且成功退出。 危险在于「输出是空的但退出码是 0」→ 若判定退化成「不报错就算过」就是假绿。 堵法五道闸:启动时校验 --mpc 是存在的可执行文件 / 判定在独立工作目录 里跑(副作用隔离)/ stdin=DEVNULL(否则 tee 等 stdin 到 EOF 挂死)/ 判定超时上限 / 输出必须是含 ok+verdict 的判定结论(缺一即拒)。
  • --verifier-arg --chain-dir X 被 argparse 吞掉:以 - 开头的值会被 当成下一个选项,报 expected one argument。证书链目录这类「路径」参数 必须有独立的选项名。
  • tap 名两处各记一份:kbs-net.sh 建 tap 用 MPC_KBS_TAP, qemu 挂 tap 用 MPC_TEE_TAP。忘了同步 → guest 挂在一个 tap、KBS 挂在 另一个 → 症状是「配置全对但 guest 连不上」(TCP connect 超时), 排查方向容易被带到「协议实现」上。现在 guest-role.sh 让后者兜底前者。
  • guest 发起网络请求时 carrier 未必就绪:ip link set up 之后 link becomes ready 可能还没来(真机日志里它出现在 POST 之后), 于是 attest-post 报 Operation timed out (os error 110)。这是竞态, 表现为「偶发失败」。现在 guest 显式等 LOWER_UP(最多 10 秒), 等不到就报「链路未就绪」而不是一个语焉不详的超时。
  • 跨目标编译是闸门盲区:CI 平时在宿主(macOS)上编译,而 guest 用的 是 x86_64-unknown-linux-musl 静态产物。collect.rs 里的 CSV ioctl 采集代码是 #[cfg(target_os = "linux")] 专属的 —— 宿主目标下整段被 排除,宿主编译再干净也发现不了它的 unused import。现在 CI 多了 一条跨目标零告警闸门。
  • KBS 日志是 0 字节:stderr 被重定向到文件时 Python 改成全缓冲, 进程还在跑时日志文件是空的 —— 看着像「什么都没发生」。现在显式 flush, 而且判定结论(含 chip)必须落日志,事后能核对。

边界(这一轮说清楚没做什么)

  • SNP 报告采集与芯片验签已于 2026-11-07 补齐(见下一节「AMD SEV-SNP 芯片签名验签闭环」),本节原先「SNP 报告采集未实现」的说明已过时。 仍属边界的是:SNP 侧的证书链(ARK/ASK/VCEK)依赖 AMD KDS 在线取证 或本地缓存,缺 VCEK 时验签器显式报「未验证」,KBS 严格模式一律拒发。
  • KBS 仍是单进程演练服务:token 登记簿在进程内 dict 里, 生产必须换成共享存储(多实例 / 重启后 token 就没了)。
  • MPC_KBS_TOKEN_KEY 生产必须给真随机密钥:缺省时 token 退化为 digest(仅演练)。
  • 明文 HTTP:KBS 前面应有 TLS 终止,或换成带证明校验的正式 KBS。
  • attest-mkbundle 是合成件:签名字段是常量填充,能过结构 + 绑定, 过不了芯片验签。它的唯一用途是让正向路径在没有真机时也能被自动化 测试覆盖(否则只测了拒绝路径,「通过之后真的会签发 token 并下发密钥」 这条路从未被验证过)。真机验证必须用 attest-collect。
  • guest 逃生口:cmdline 的 mpc.tee.token 仍是演练注入通道。 KBS 严格模式下这个 token 照样要过 KBS 自己的登记簿核对 —— 但生产部署不应再提供这个参数。

AMD SEV-SNP 芯片签名验签闭环(2026-11-07,192.168.1.7)

上一节把「先验证明,才给密钥」的骨架在海光 CSV 上跑通了。SNP 侧此前 只有 CSV 那条路;本节把同一套判定口径在 AMD SNP 上也真机跑通 —— 差别只在 「芯片签名怎么验」:CSV 有海光官方 verify-attestation,SNP 没有等价物, 得自己按 AMD 的 ABI 与 KDS 协议做。

为什么 SNP 侧不能直接复用 CSV 的验签器

CSV 的报告自带签名与完整证书链(hrk→hsk→cek→pek),官方工具能一把验完。 SNP 报告不带证书链 —— 只有一颗 ECDSA P-384 签名和 CHIP_ID, 证书链必须另行向 AMD KDS 取(用 CHIP_ID + TCB 版本拼 URL)。 所以 SNP 侧多了一整条「取证 → 验签」链路。

★ AMD ABI 三个硬事实(踩坑代价:38/144/16 个候选 VCEK 全失败)

这三个事实都来自 AMD 的权威实现(virtee/sev), 不是从浏览器 WebCrypto 的用法推出来的 —— 这是本轮最大的坑:

# 事实 权威出处 踩错的症状
1 签名布局 = r[72] + s[72],各为小端标量 virtee/sev src/certs/snp/ecdsa/mod.rs:pub struct Signature { r: [u8; 72], s: [u8; 72] },OpenSSL 路径 bn::BigNum::from_le(&value.r) 按 WebCrypto 的 48+48 大端切 → 全部验不过
2 被签名区间 = report[0 : 0x2A0]("bytes 0 to 0x29F inclusive") virtee/sev src/firmware/guest/types/snp.rs 签错区间 → 验不过
3 KDS 的 SPL 参数来自报告的 current_tcb@0x038,不是 committed_tcb virtee/sev src/firmware/host/types/snp.rs:from_legacy_bytes → [bootloader, tee, 0,0,0,0, snp, microcode] 推错 SPL → KDS 返回别的 VCEK 或 404

第 3 条的 8 字节 legacy 布局是 [bl, tee, 0, 0, 0, 0, snp, ucode] —— 不是「8 字节一段、byte4 是 current_svn」那种表布局。 真机实测值:current_tcb = 04 00 00 00 00 00 16 d5 → blSPL=4, teeSPL=0, snpSPL=22, ucodeSPL=213。

★ KDS 的 SPL 必须是十进制两位

AMD KDS 端点(Publication #57230 Rev 1.00):

GET /vcek/v1/{product}/cert_chain        → ARK + ASK(PEM 栈,ASK 在前)
GET /vcek/v1/{product}/crl                → CRL(DER)
GET /vcek/v1/{product}/{hwID}?{spl}       → VCEK(DER)
  • hwID = 报告 CHIP_ID(@0x1A0 起 64 字节)的十六进制串(128 字符)。
  • SPL 参数用十进制两位(官方 {:02} 格式): blSPL=04&teeSPL=00&snpSPL=22&ucodeSPL=213。 传十六进制(snpSPL=16&ucodeSPL=d5)→ KDS 返回 400 Bad Request。 这与 hwID 的 128 个十六进制字符正好相反 —— 同一个 URL 里两种进制。

SPL → VCEK 扩展 OID 的映射(实测确认):3.1=blSPL、3.2=teeSPL、 3.3=snpSPL、3.8=ucodeSPL、1.2=productName(如 Milan-B0)、 1.4=CHIP_ID(与报告逐字节一致)。

验签算法:ECDSA P-384(secp384r1)+ SHA-384。

实现

  • deploy/tee/real-machine/snp-verify-attestation.sh —— 把「从报告推 SPL → 取 KDS 证书 → 验链 → ECDSA 验签」固化成框架 ExternalVerifier 契约 (stdout 以 verified=true 开头 / 退出码非 0 即失败)。 联网取到的证书会缓存回 chain-dir,下次可离线复用。
  • deploy/tee/real-machine/selftest-snp-verify.py —— 离线自测: 正向 1 条 + 负向 8 条(篡改 report_data / measurement / 签名 / 截断报告 / 篡改 CHIP_ID / 缺 VCEK / 缺 ARK / ARK-ASK 换位)。 判据:rc != 0 and "verified=true" not in out。
  • deploy/tee/real-machine/fixtures/snp/ —— 真机报告(1184B)+ ARK/ASK/VCEK。 全是 AMD 公开发布的信任材料,不含私钥,入库安全。
  • CI 第 10 条即这条自测(tools/ci.sh)。闸门有效性用 sabotage 验证过: 把验签器改成「签名验签失败也放行」→ 4 条签名类负向立刻变红。

框架侧的一处真实缺口:tee plan 必须告诉 guest 用哪个平台采证明

guest init 从内核命令行读 mpc.tee.platform,缺省猜 csv。 在 AMD 机器上表现为 打开 /dev/csv-guest 失败: No such file or directory —— 症状像设备/驱动问题,实际是启动参数少了一项。

修法:crates/mpc-tee/src/schedule.rs::admit() 追加 mpc.tee.platform=<snp|csv|...>,并加回归测试 launch_spec_tells_guest_which_platform_to_collect_from 钉死(防串台)。

★ 真机端到端结果(192.168.1.7,2026-11-07)

脚本:deploy/tee/real-machine/snp-attest-matrix.sh(正向)+ snp-attest-negative.sh(负向 6 条)。

iface=eth0
attestation_collect: platform=snp
attestation_collect: ok        ← guest 从 /dev/sev-guest 采到真实 SNP 报告
attestation_post: ok            ← KBS 验过并签发 token
key_source=kbs                  ← 凭 token 才取到密钥
===== MPC TEE GUEST DONE =====

KBS 侧判定结论(关键证据):

[kbs] 判定结论: ok=True structure_ok=True bound_ok=True
                chip=verified-by:/tmp/mpc-snp-tools/snp-verify-attestation.sh
                verdict=结构、会话绑定与芯片签名全部通过
[kbs] "POST /kbs/v0/attestation HTTP/1.1" 200
[kbs] "GET  /kbs/v0/resource/mpc/{psk,seed,root-key}/<session>" 200

至此 SNP 与 CSV 两条平台的「先验证明才给密钥」都已在真机双向跑通, 且两端用的是同一份 Rust 判定代码(mpc tee attest-check)。

负向矩阵最终结果(snp-attest-negative.sh,6/6)

判据收紧到「只匹配该关独有文案」之后重跑,6 条全部真拒在各自的关卡上:

用例 KBS 拒绝文案(判据)
度量 pin 不符 代码度量与准入时 pin 的值不一致
站点不符 报告里的 user_data 与本次会话绑定不一致
TCB 低于门槛 节点 TCB 低于门槛
会话 id 不符 session mismatch
无芯片验签器 attestation 未经芯片验签,严格模式拒绝
验签器判失败 外部验签器拒绝: 外部验签器退出码 Some(1)
SNP_ATTEST_NEGATIVE_OK: 6 条负向全部被拒(证明门控 fail-closed)

六条判据经交叉匹配自检:每条正则只命中自己那份日志,零误命中。

★ 这一轮踩到的真 bug(框架级,值得单列)

1. ★★ guest 的 stdout 会整个消失,而 guest 其实早已成功

这是本轮最迷惑的一个坑:guest 完全成功,但采集端一行日志都收不到。

现象:e2e 脚本 4 条判据全红,但 KBS 日志里明明是

[kbs] "POST /kbs/v0/attestation HTTP/1.1" 200
[kbs] "GET  /kbs/v0/resource/mpc/psk/..." 200

真因是两个叠加的问题:

问题 A —— /dev/console 在 initramfs 里是普通文件。 内核 exec /init 时会把 fd 0/1/2 接到 initramfs 里的 /dev/console。 而打包 initrd 时字符设备退化成了普通文件(oci-image.py 的注释里 早就记着这个坑,但当时只影响「guest 没有控制台」,没意识到会静默)。 于是 init 的所有 echo 被写进那个普通文件里 —— 串口上一行都看不到。 内核自己的 printk 走 console driver,不受影响,所以内核日志正常、init 日志全无,看起来像「init 没跑起来」。

问题 B —— qemu 的 -nographic + -serial stdio 抢同一个 stdio。 框架 argv(crates/mpc-tee/src/schedule.rs::qemu_argv)里这两个并存: -nographic 自己就把默认串口接到 stdio(mon:stdio),两个前端抢一个 stdio, qemu 只把其中一个接上。

两个问题叠加的诊断钥匙:die() 里是 echo "MPC_FAIL: $1" > /dev/console —— 它重新打开了 /dev/console, 拿到的是真字符设备,所以能看到;而 init 的 echo 走的是继承来的 fd 1, 指向 exec 之前那个普通文件,看不到。 这个「die() 能看到、正常输出看不到」的矛盾,一眼就能定位到 fd 指向错了。

修法(都在部署层 / guest 侧,不改框架的启动规格):

  • deploy/tee/guest/init.sh 开头:确保 /dev/console 是真的字符设备 (5:1)—— devtmpfs 挂得上就用它,挂不上就自己 mknod; 然后 exec > /dev/console 2>&1 重新绑定 stdout。 (内核绑的是 exec 之前那一刻的 fd,光把文件换成设备节点不够, 已打开的 fd 1 不会自动切换。)
  • deploy/tee/real-machine/run-guest.py:新增 MPC_TEE_SERIAL_LOG, 把串口换成 chardev file 后端落盘,采集端读文件。 (框架的 -nographic + -serial stdio 本身是标准写法,交互式场景仍然适用, 所以不动框架,只在部署层换采集形态。)

教训:「采集端什么都没收到」不等于「被测对象没跑」。 先去看另一侧的日志(KBS 侧),确认对象状态,再倒推采集链路 —— 否则会把「采集坏了」误判成「功能没实现」。

2. ★ mpc.tee.platform 缺失(见上节)

3. ★ snp-verify-attestation.sh 里 bash 的 process substitution 不稳

read -r A B C D <<EOF $(od ... | awk ...) EOF 这种「process substitution + heredoc + pipeline」的组合在 bash 里表现不稳(报「无法从报告解析 current_tcb」)。 改成 heredoc + awk 直接取字段后就稳了。

4. ★ awk 拆 PEM 栈在 macOS 上语法错

awk: syntax error at source line 1。改成 python3 拆(脚本后面拆签名本来 就要 python3),并把 python3 存在性检查提前到联网取链之前 —— 否则会先联网取了证书,才在拆解时炸掉。

5. ★ 验签器参数被 argparse 吞掉(又一次)

--verifier-arg --chain-dir /tmp/snp-chain → argparse 见到以 - 开头的值 会当成下一个选项,报 expected one argument。 用框架已有的独立选项 --chain-dir 解决。 (这是本项目第二次踩同一个坑 —— 路径类参数必须有独立选项名。)

6. ★ KBS 缺 token 密钥 → 拒启动(这是设计,不是缺陷)

真机 e2e 报 未配置 token 密钥 拒绝启动。这是有意的 fail-closed: 没有密钥就既签不出 token 也验不了 token。演练用一个每次运行随机生成 的临时密钥,只在起 KBS 那一次远端命令里以环境变量注入 —— 不落盘、不入库。

7. ★★ 负向矩阵第一轮「6/6 全绿」其实是假绿

第一轮跑完 6 条负向,脚本报 SNP_ATTEST_NEGATIVE_OK: 6 条负向全部被拒。 但逐条核对拒绝原因后发现,只有 4 条测到了它声称测的闸:

# 用例 实际拒绝原因 测到目标闸?
1 度量 pin 不符 Connection refused ❌ 假绿
2 站点不符 user_data 与本次会话绑定不一致 ⚠️ 是站点维度的拒绝,但文案不直观
3 TCB 低于门槛 节点 TCB 低于门槛 ✅
4 会话 id 不符 session mismatch ✅
5 无芯片验签器 attestation 未经芯片验签,严格模式拒绝 ✅
6 验签器判失败 Connection refused ❌ 假绿

根因是两个:

  1. 判据只问「有没有拒绝痕迹」,不问「拒的是哪一维」。 Connection refused 也是一种拒绝 —— 它甚至比判定拒绝更「硬」, 但它跟被测的闸毫无关系。只要判据写成「有 MPC_FAIL 就算过」, 任何原因导致的失败都会算成通过。
  2. run_case 用 || true 吞掉了 KBS 启动失败, 而 kbs-net.sh 的就绪判据是「进程还活着」(kill -0)+ sleep 1 —— 不是「端口真的在监听」。旧 KBS 还没释放 socket 时新实例 bind 失败退出, guest 连过去就是 Connection refused。

修法:

  • kbs-net.sh:起新实例前等旧端口真正释放;就绪判据改成 端口进入 LISTEN(ss -ltn),而不是进程存活。
  • 负向脚本:KBS 启动失败直接判该用例无效(不再 || true); 判据加两条硬约束 —— ① 出现 Connection refused / 连 KBS 超时 → 判假绿(拒的不是被测的闸); ② 每条负向带一个期望的拒绝特征,必须匹配得上。

这是「探针必须验证灵敏度」的又一次应验:同一套判据在 CSV 侧用了很久没出事, 搬过来就假绿 —— 因为 SNP 侧的 KBS 生命周期更短、端口复用更频繁。 判据的强度必须与被测对象的生命周期匹配。

8. ★ 收紧判据后,第 1 条仍 FAIL —— 挖出一个框架侧的接口缺口

收紧判据后重跑,第 1 条「度量 pin 不符」报:

[FAIL] 度量 pin 不符: 拒绝原因不含期望特征(代码度量|度量.*pin|measurement)

实际拒绝理由是「报告里的 user_data 与本次会话绑定不一致」。

查 crates/mpc-tee/src/bundle.rs 的判定顺序:

1. 结构检查
2. 绑定检查     ← 先撞这里
3. 度量 pin     ← 永远到不了
4. TCB 门槛
5. 芯片签名

而 measurement 参与绑定值重算(guest 侧算 user_data 用的就是它)。 于是「KBS 认的 measurement ≠ guest 的 measurement」必然先撞绑定关 —— 第 3 关在 KBS 这条配置下根本测不到。

这不是用例写错,是接口缺口:Rust 侧 mpc tee attest-check 本来就有 独立的 --pin 选项(pinned_measurement),能把「绑定值用的 measurement」 与「准入时批准的度量」分开;而 KBS 只传 --measurement,两个角色被绑死在一个值上。

修法(框架侧的接口补全,不是脚本修补):

  • deploy/tee/kbs/serve.py:新增 MPC_KBS_PIN 环境变量, 传给 attest-check 的 --pin;缺省时回落到 --measurement, 所以既有部署行为完全不变。
  • deploy/tee/kbs/selftest-kbs.py 新增第 27 组自测: 「pin 与 measurement 一致 → 签发 token」+「pin 不符 → 拒」+ 「拒的理由是度量 pin 那一关、不是绑定关」+「不是因绑定不一致被拒」。 判据特意检查拒绝理由,否则「因为别的原因被拒」也会算通过。
  • snp-attest-negative.sh 第 1 条改为:measurement 用对的, 只把 pin 换成错的。

sabotage 验证:把 --pin 退化成 --measurement → 该组 2 条立刻变红, 而且暴露了更严重的后果:错的 pin 被放行了,还签发了 token。 这正是「闸门不扫自己 = 假安全感」要防的情形。

教训:「五关都 fail-closed」不等于「五关都能被测到」。 一个关卡如果永远到不了,它在闸门里就是一句空话 —— 看上去有五道锁,实际只有四道。

9. ★★ 6/6 全绿之后逐条核对拒绝理由,发现两条判据「不唯一」

--pin 修完重跑,6 条全绿:

[ok] 度量 pin 不符: 已拒绝(… 403 Forbidden …)
[ok] 站点不符:     已拒绝(… 403 Forbidden …)
…
SNP_ATTEST_NEGATIVE_OK: 6 条负向全部被拒(证明门控 fail-closed)

但「已拒绝」不是判据。 把 6 份 serial 日志里的真实拒绝文案全抓出来对照:

用例 KBS 实际拒绝文案 结论
badmeasure 代码度量与准入时 pin 的值不一致 ✅ 真拒在度量 pin 关
badsite 报告里的 user_data 与本次会话绑定不一致 ⚠️ 拒在绑定关
badtcb 节点 TCB 低于门槛 ✅
badsession session mismatch ✅
noverifier attestation 未经芯片验签,严格模式拒绝 ✅
badverifier 外部验签器拒绝: 外部验签器退出码 Some(1) ✅

两条问题:

(a) badsite 的判据是 站点|site|绑定不一致。 KBS 的拒绝文案里根本没有「站点」或「site」这两个词 —— 前两个分支永远匹配不到, 实际生效的判据只剩兜底那一项。换成任何原因导致的绑定失败(甚至 session 错), 这条都会被判成「通过」。判据不唯一 = 假绿的另一种形态。

从架构上说,这不是用例写错:site 只作为 user_data 第一段的输入 (crates/mpc-tee/src/session.rs:81),没有独立的站点闸 —— 站点不符的唯一可观测形式就是「绑定不一致」。 对比 measurement:它同时是「绑定输入」和「准入 pin」,两个角色本可以分开, 所以才补了 --pin;site 只有一个角色,分不开也不需要分。但判据要把这件事说清楚, 不能靠一个死特征假装测到了独立的闸。

(b) 其余四条判据也偏松:TCB / session / 验签器 这类单词在别的日志里也可能出现。 一条日志只要碰巧包含这个词就过。

修法:判据全部收紧到该关独有的拒绝文案,并加一道判据唯一性自检。

badmeasure   代码度量与准入时 pin
badsite      user_data 与本次会话绑定不一致
badtcb       节点 TCB 低于门槛
badsession   session mismatch
noverifier   未经芯片验签
badverifier  外部验签器退出码

自检:对每条正则扫全部 6 份日志,只应命中自己那一份。实测:

  [ok] badmeasure 唯一命中自身
  [ok] badsite    唯一命中自身
  [ok] badtcb     唯一命中自身
  [ok] badsession 唯一命中自身
  [ok] noverifier 唯一命中自身
  [ok] badverifier 唯一命中自身
CRITERIA_UNIQUE_OK

教训:负向判据必须只匹配自己那一维的拒绝文案。 判据里任何一个「兜底分支」(|X、泛化单词),只要它在被测系统的文案里 不存在或会出现于别处,就等于把判据退化成「有没有被拒」—— 而那正是假绿的源头。 加判据要问:这条正则,别的用例的日志会不会也命中? 能命中的就必须收紧,收紧不了就说明这一维在架构上没有独立落点, 那就要在文档里如实写明,而不是留个死特征装样子。

边界(SNP 这一节说清楚没做什么)

  • SNP 的证书链要向 AMD KDS 取(或用本地缓存的 ARK/ASK/VCEK)。 环境里没有 VCEK 时验签器显式报「未验证」,KBS 严格模式一律拒发 —— 不会把「没验」当成「验过了」。
  • KBS token 无状态化:v1.<session>.<digest[:32]>.<expires>.<mac[:32]>, HMAC-SHA256 + 常量时间比较,重启不失效、可跨实例(不再是进程内 dict)。
  • KBS 内建 TLS:TLS 1.2+,无证书拒绝启动。
  • SNP 报告采集已实现(crates/mpc-tee/src/snp_collect.rs: SNP_GET_EXT_REPORT ioctl 0xC0205302 + GHCB 切分 + DER 证书链切分), 并已在真机跑通。上一节那句「SNP 报告采集未实现」已过时。