真机(AMD SEV-SNP + 海光 CSV 跨两台物理机)同一次运行里两侧各自完成 attest-collect → attest-post(KBS 芯片验签放行)→ key_source=kbs → 跨物理机密文会话,两侧都还原 value | 35.000000。判据 TEE_PAIR_OK + TEE_ATTEST_GATE_OK,EXIT=0。负向(度量 pin 不符 ⇒ 403 且拿不到密钥, 恢复后又能拿到)也真绿。 框架层真缺陷(本轮最深的坑):连接等待窗口两侧不对称 —— 被动方(--listen)原来无限等,主动方(--connect)硬编码 50×200ms=10s, 而被动方要先做 SNP 证明验签(联网拉 KDS 证书链,首次可达 90s)才 bind, 必然 Connection refused。症状像网络不通实为窗口配小,且看运气 (KDS 链有缓存时跑绿、缓存失效就必挂)。 修:mpc_node::SESSION_WAIT_BUDGET_SECS=180(两侧同一常量)+ connect_within/accept_within(按时长给预算而非次数×间隔)+ CLI wait_budget()(MPC_SESSION_WAIT_SECS 覆盖,两侧须一致); accept 不再无限等,能报「等待对端连接超时」而非挂死到看门狗。 3 条守卫测试钉死。 其它真缺口:KBS 缺 --platform(AMD 机拿 csv 判 SNP ⇒ 平台不一致 403)、 KBS 缺 token 密钥(远端生成,经文件读入不落命令行)、手抄 hex 长度 66/65/63(改程序化生成 + assert)、PSK 带换行、证明提交超时 10s < KBS 判定 30s(改 90s;症状 os error 11 EAGAIN 不像超时易误判成 KBS 挂了)、 role=none 误要求数据面网卡(按 ROLE 分支)。 架构结论:两张网卡不能合成一张(socket 二层会话 / tap 三层 KBS); 网卡按 MAC 认不按枚举顺序;两侧各起本机 KBS 不共用; 编排层「等 qemu 端口 LISTEN」是假就绪信号。 证明门控判据独立于会话判据(互不蕴含,合成会一项过掩盖另一项不过)。 主门禁 19 → 20 条(第 20 条 = 证明门控判据自测 10/10)。
真机复现:AMD SEV-SNP + 海光 CSV 双加密 guest
把 2026-11-06 的临时 /tmp 脚本整理成可复现资产。凭据不入库:SSH 口令由
xop 键名经环境变量注入,PSK / seed / 根密钥由 KBS 下发(或离线演练层),
仓库里只有占位值与示例节点描述。
前置物料
-
Linux 静态
mpc(macOS 上交叉编译):仓库根的
.cargo/config.toml已经配好x86_64-unknown-linux-musl段 (rust-lld+link-self-contained=yes++crt-static),直接:cargo build --release -p mpc-cli --target x86_64-unknown-linux-musl --no-default-features # 产物:target/x86_64-unknown-linux-musl/release/mpc(static-pie,约 1.3 MB)★
--no-default-features不能省:默认control-plane会把宿主控制面 (mpc-hostd的 axum/tokio/reqwest、mpc-chain的 OpenSSL)编进 guest 静态产物,而openssl-sys找不到 musl 版 libcrypto。musl 目标下开着该 feature 会被main.rs的compile_error!明确拒绝并提示加此参数。 这一份二进制同时被 guest 与宿主 KBS 使用(mpc tee attest-check), 两处要的命令都在main.rs,不依赖控制面。宿主端mpc保持默认 feature。依赖系统有
rust-lld(随 Rust 工具链自带),不需要额外的 musl gcc, 也不需要 zig。若目标机缺rust-lld,退化路径是CARGO_TARGET_X86_64_UNKNOWN_LINUX_MUSL_LINKER=x86_64-linux-musl-gcc加RUSTFLAGS="-C link-self-contained=no"(否则 zig 的 crt 与 Rust 自带 crt 重复定义_start)。 -
base rootfs:现成 alpine rootfs(含
/bin/busybox与 musl loader)。 -
OCI 镜像与 initrd:按
../oci/README.md跑build/verify/pack, 记下measurement=<64hex>。 -
节点描述:复制
nodes/*.node.example,把measurement换成上一步的 digest, 其余路径按真机preflight.sh结果填写。 -
KBS(可选,在线模式):
../kbs/serve.py只是演练 stub;生产请用带证明校验的 Trustee/KBS。离线演练用MPC_TEE_KBC=offline_fs_kbc::null, 并在build时加--offline-dir提供psk/seed/root-key。
单 guest 自检
export MPC_TEE_MPC_BIN=/path/to/mpc
export MPC_TEE_MANIFEST=<64hex>
export MPC_TEE_KBC=offline_fs_kbc::null
python3 run-guest.py nodes/amd-sev-snp.node.example <64hex-session> <64hex-pubkey> none
role=none 不挂网卡,只验证 guest 内核、mpc selftest 与 OCI 层校验。
双 guest 跨物理机计算
export MPC_TEE_MPC_BIN=/path/to/mpc-linux-x86_64
export MPC_TEE_INITRD=/path/to/mpc-initrd.img
export MPC_TEE_AMD_NODE=nodes/amd-sev-snp.node.example
export MPC_TEE_HYGON_NODE=nodes/hygon-csv2.node.example
export MPC_TEE_MANIFEST=<64hex>
export MPC_TEE_KBC=offline_fs_kbc::null
# 可选:MPC_TEE_AMD_HOST / MPC_TEE_HYGON_HOST / *_USER_KEY / *_PASS_KEY
MPC_TEE_DRY_RUN=1 ./pair-run.sh # 先看物料与计划,不连机
./pair-run.sh
★ 一键复现(推荐)
./tee-pair-e2e.sh # 全流程:编译 → OCI → 分发 → 双 guest → 判定
MPC_TEE_DRY_RUN=1 ./tee-pair-e2e.sh # 只跑到 dry-run,不连机
★★ 证明门控版(先验证明才给密钥)
./tee-pair-attest-e2e.sh # 芯片证明链 + 密文会话合流(同一次运行)
./tee-pair-attest-negative.sh # 负向:证明被拒 ⇒ 拿不到密钥;恢复 ⇒ 又能拿到
与 tee-pair-e2e.sh 的区别只有一处,但那一处是安全性质的关键:
tee-pair-e2e.sh |
tee-pair-attest-e2e.sh |
|
|---|---|---|
| 密钥来源 | key_source=offline-demo(内置在 initrd) |
key_source=kbs(KBS 验签通过后下发) |
| 芯片证明 | 没跑 | attest-collect → attest-post → KBS 验签 → 签 token |
| 断言 | 会话跑通 | 会话跑通 且 密钥确系证明后下发 |
2026-11-08 真机实测:两侧 key_source=kbs,判据 TEE_PAIR_OK +
TEE_ATTEST_GATE_OK,EXIT=0。详见 docs/REAL_MACHINE_FINDINGS.md 第 10 节。
★ 两张网卡:跨 guest 会话走 qemu
socket(二层点对点), 访问宿主 KBS 走tap(三层)。不能合成一张卡 —— socket 侧有 IP 但无路由到宿主网段,tap 侧拿不到跨 guest 对端。 网卡按 MAC 认(不按枚举顺序 —— 那个顺序会漂,认错卡就是偶发失败)。
它把散落的步骤串成一条命令:交叉编译 musl 静态 mpc → 导 alpine base
rootfs → oci-image.py build/verify/pack → 用真实 manifest digest 生成
节点描述(替换示例里的 000…0 占位)→ pair-run.sh → 判定。
manifest digest 是从工具输出里解析出来的,不是手抄。
2026-11-07 真机实测:AMD SEV-SNP(192.168.1.7)与海光 CSV(192.168.1.102)
跨两台物理机,各自真加密 VM 内完成密文会话,两侧都还原出
value | 35.000000,判据 TEE_PAIR_OK。详见
docs/REAL_MACHINE_FINDINGS.md 第 9 节。
★ 判定逻辑只有一份
check-pair-verdict.py 是唯一的判定实现,pair-run.sh 与主门禁自测
(tools/selftest-tee-pair-verdict.py,主门禁第 19 条)调的是同一份。
两份实现等于没有门禁。
每条判据都被自测逐条破坏过(验证它能真的把结论推翻):
| 判据 | 说明 |
|---|---|
value | 35.000000 |
密文会话还原结果(写死具体数值,比「任意数字」更严) |
oci_layers: verified |
OCI 运行期完整性链 |
fs_files: verified / fs_links: verified |
活 rootfs 文件 / 符号链接清单 |
manifest_digest=<64hex> |
与本轮 MANIFEST 逐字符比对(不是「有没有这一行」) |
全部通过 |
guest 内 mpc selftest |
MPC TEE GUEST DONE |
guest 完成标记 |
无 MPC_FAIL: |
fail-closed:guest 明确报错时一律判失败 |
pair-run.sh 会:分发物料到两台宿主 → 后台起 AMD SNP guest(alice,socket 监听)→
只读确认端口 LISTEN → 起海光 CSV guest(bob,socket 连接)→ 回传两侧串口日志 →
逐项判定。判定成功的标志是 TEE_PAIR_OK。
★ 三个必须知道的坑
- guest halt 之后 qemu 不退出 —— 前台
ssh起 guest 会永久挂住。 所以起 guest 一律走guest-watch.sh(后台 + 轮询MPC TEE GUEST DONE, 命中即显式 kill qemu)。详见guest-watch.sh的文件头。 - guest 的 stdout 默认会丢 —— 框架 argv 是
-nographic+-serial stdio, 两个前端抢同一个 stdio。env.sh必须注入MPC_TEE_SERIAL_LOG,run-guest.py会把串口换成 chardev file 后端。 - 采集回来的日志会被掩码 —— xop 的密钥泄漏防护把
root误判成密钥片段,rootfs_files: verified变成ro****【xop禁止将密钥泄漏】fs_files: verified。 所以判据只认稳定后缀fs_files/fs_links。
分层与职责
| 层 | 文件 | 职责 |
|---|---|---|
| 框架 | mpc tee plan --argv |
平台中立的 qemu argv(含 user_data、kernel-hashes、pflash、cbitpos) |
| 部署 | run-guest.py |
只补串口 / 角色 / manifest / KBC / socket 网卡 / NUMA,不覆盖框架参数 |
| 编排 | pair-run.sh |
分发物料、起两侧 guest、收串口日志、判定 |
| 看护 | guest-watch.sh |
远端后台起 guest + 轮询完成标记 + 收尾(防 qemu 不退出挂死) |
| 判定 | check-pair-verdict.py |
会话判据的唯一实现(编排与门禁自测共用) |
| 判定 | check-attest-verdict.py |
证明门控判据的唯一实现(与上面分开,见下) |
| 一键 | tee-pair-e2e.sh |
编译 → OCI → 分发 → 双 guest → 判定(离线演练密钥) |
| 一键 | tee-pair-attest-e2e.sh |
同上,但密钥必须经芯片证明后由 KBS 下发 |
| 编排 | pair-attest-run.sh |
证明门控版的编排:双侧各起本机 KBS → 双 guest → 双判据 |
| guest | ../guest/init.sh |
校验 OCI 层 → 取密钥 → 启动 mpc node |
★ 为什么两条判据要分开(不能合成一份):
check-pair-verdict.py判「会话 + 完整性链 + 数据面 MAC 唯一性」,check-attest-verdict.py判「密钥是不是经过芯片证明才发下来的」。 两件事互不蕴含 —— 会话跑成了 ≠ 密钥是证明后给的(离线版就是拿 离线密钥跑通会话的);密钥是证明后给的 ≠ 会话跑成了。 合成一份会出现「一项过掩盖另一项不过」。
证明链路自测(SNP,2026-11-07 补齐)
| 脚本 | 作用 |
|---|---|
snp-verify-attestation.sh |
SNP 报告芯片验签(VCEK 走 AMD KDS;r[72]+s[72] 小端标量 + report[0:0x2A0]) |
selftest-snp-verify.py |
验签器自测:正 1 + 负 8(篡改 report_data / measurement / 签名 / 截断 等) |
snp-attest-matrix.sh |
正向端到端:guest 采报告 → KBS 判定 → 凭 token 取密钥(6 条判据) |
snp-attest-negative.sh |
负向矩阵 6 条:度量 pin / 站点 / TCB / 会话 / 无验签器 / 验签器判失败 |
kbs-net.sh |
起 bridge + tap + KBS 实例;就绪判据是端口进 LISTEN,不是进程存活 |
run-guest.py 支持 MPC_TEE_SERIAL_LOG=<path>:把串口改到 chardev file。
guest 的 stdout 默认会丢(initramfs 里 /dev/console 是普通文件),
详见 docs/TEE_DIRECT_LAUNCH.md 里那一节。
框架原生 argv 已经过真机校正,不要再加 -machine / sev-guest / 固件 / CPU 的
部署层覆盖;真机上那次 Platform is already owned 的根因是缺 kernel-hashes=on
与 pflash,已修进 PlatformProfile,详见 docs/TEE_DIRECT_LAUNCH.md。
边界
- 两台真机的静态 qemu 没编 slirp,
-netdev user不可用;跨 guest 链路由部署层 注入socketnetdev,核心 crate 不写死宿主网络后端。 - 在线 KBS 已是真判定(调 Rust 的
mpc tee attest-check)+ 无状态 token (HMAC-SHA256 + 常量时间比较,重启不失效);MPC_KBS_TOKEN_KEY缺省时 拒绝启动,MPC_KBS_PIN不填则回落到--measurement。 生产仍建议换真 Trustee。 pair-run.sh只起 qemu,不做芯片证明互验;报告验签走mpc tee verify的外部验签器。
核对真实 CSV 报告(2548 字节)
真机复核(2026-11-06,192.168.1.102)确认:海光厂商 SDK
/opt/hygon/csv/attestation/csv_status.h 里 struct csv_attestation_report 的
sizeof 是 2548 字节,不是 4096(4096 只是 hypercall/mmap 的页大小)。
get-attestation / ioctl-get-attestation 写出的 report.cert 就是 2548 字节;
把报告长度按 4096 做下限会拒掉每一份真实报告。字段偏移:
user_data@0x40、measure@0x90(32B SM3)、policy@0xB0、sig1@0xC0(144B)、
pek_cert@0x150、sn@0x974,结构体内无 version 字段。
报告必须在 CSV guest 内取(宿主机没有 /dev/csv-guest,直接跑
get-attestation 会 open /dev/csv-guest failed)。拿到 report.cert 后离线核对:
python3 deploy/tee/real-machine/csv-report-check.py --selftest # 自检布局常量与解析
python3 deploy/tee/real-machine/csv-report-check.py --report report.cert
python3 deploy/tee/real-machine/csv-report-check.py --report report.cert \
--user-data <64字节挑战值hex> # 核对 user_data@0x40 与会话绑定一致
脚本只做布局与 user_data 绑定核对,不验签;sig1 / pek_cert 的签名与
证书链交给厂商 verify-attestation 或 mpc tee verify 的外部验签器。
脚本兼容 Python 3.6(海光节点自带版本),不依赖第三方库。
海光 CSV 真实报告:捕获 → 还原 → 验签(端到端)
这一整套在 192.168.1.102 上实测跑通,产物可复现。
1. 采一份真实报告
./capture-csv-report.sh --mpc /path/to/mpc-linux --out /tmp/csv-report3
做三件事:造一个专门取报告的 initrd → 用框架原生 argv(mpc tee plan --argv)
direct boot 一个 CSV guest → 从串口日志里提取报告十六进制还原成 report.cert。
产出 report.cert(2548 字节)、node(节点描述)、plan.json(框架 argv)、
session.env(本次采集用的会话参数,验证脚本从这里读,不靠人手抄)。
2. CSV 字段被 anonce 混淆,必须先还原
厂商 SDK 把 user_data / mnonce / measure / pek_cert / sn 与 anonce
按 u32 数组逐个异或后落盘;anonce@0xBC 本身是原值。
不还原就拿混淆值去比对绑定值,永远对不上,而且报错会指向「疑似重放报告」。
python3 csv-report-restore.py --report report.cert --field user_data --json
python3 csv-report-restore.py --report report.cert --field all
python3 csv-report-restore.py --selftest # 用真机实测值自检
3. 取报告的 ioctl 契约
报告必须在 CSV guest 内用 ioctl 取(宿主机没有 /dev/csv-guest):
GET_ATTESTATION_REPORT = _IOWR('D', 1, struct csv_guest_mem),struct csv_guest_mem { unsigned long va; int size; }- 用户态缓冲区 = 整页 4096 字节,前 112 字节是
user_data[64] + mnonce[16] + hash_block[32],hash = SM3(user_data || mnonce) - 固件在同一缓冲区就地写回 2548 字节报告 →
size必须 ≥ 2548 (缓冲区只给 112 字节会报EFAULT/Bad address,它要回写 2548 字节)
厂商 get-attestation 把挑战值写死成 ASCII "user data",报告因此无法与框架
会话绑定对上。csv-attest-request.c 支持自定义挑战值
(--user-data HEX64),并自带 SM3 实现(guest rootfs 无 openssl/sm3.h),
已用 GB/T 32905-2016 两个标准向量验证。
4. 官方验签器:四个坑
csv-verify-attestation.sh 是厂商 verify-attestation 的 wrapper,坑都堵在这里:
| 坑 | 现象 | 处置 |
|---|---|---|
| 退出码恒为 0 | 失败也返回 0 | 按 stdout 文本判定 |
| 报告路径写死 | 固定读 ./report.cert |
工作目录里放 report.cert |
| 离线证书 fallback 只在自己所在目录 | dirname(readlink("/proc/self/exe")) |
把二进制复制到工作目录再执行 |
| 对截断报告 fail-open | 1000 字节截断报告照样打印 "verify success" | wrapper 层自卡长度(必须 == 2548) |
另:LD_LIBRARY_PATH=/opt/gmssl/lib 会污染 curl(GmSSL 的 libssl 缺
OPENSSL_1_1_1 符号版本),官方工具自带 rpath,不能设这个变量。
5. 端到端
./verify-csv-report-e2e.sh --report-dir /tmp/csv-report3 \
--mpc /tmp/mpc-linux \
--verifier /tmp/mpc-tee-tools/csv-verify-attestation.sh \
[--chain-dir /tmp/csv-chain]
三步:还原 anonce → 官方验签器(芯片签名 + 证书链)→ 框架 mpc tee verify
(结构 + 会话绑定 + 芯片签名)。成功输出 E2E_OK。
会话参数默认从 <report-dir>/session.env 读 —— 验证方必须用采集时那一组参数
重算绑定值。手工抄 site / measurement / tcb 是绑定对不上的头号来源,而那个报错
会误导成重放攻击。
mpc tee verify也支持--node <节点描述>:site / measurement / tcb / platform 默认全部取自它,与tee plan读同一份真相源。