Files
admin 4a750785f8 feat(cluster): pending 证明超时回收(默认 900 秒,可配可禁用)
- reconciler:可注入时钟 + 唯一判定 pending_timed_out(saturating_sub 防回拨);超时真调 destroy、释放容量、/report 留带原因失败、本轮不重建(下轮按期望态重试)

- 修真 bug:PendingSession.created_at 曾写 now_secs(),与判定时钟分叉 ⇒ 超时永不触发,单测直接抓到

- ControlPlaneConfig / CLI:--pending-timeout SECS(0=显式禁用),默认值只有 DEFAULT_PENDING_TIMEOUT_SECS 一份常量;help 数字由守卫测试对拍

- 新增 8 个构造用例 + 跨文件判据自测 16 条 / 破坏实验 15 条,并入主门禁第 25 条(分母仍 25)

- 文档:ARCH §1.6/§8、FINDINGS §12、README/INDEX/CLAUDE/真机 README/env 样例/MEMORY 同步;HTML 重新生成并校验

- 诚实边界:未做真机验证、真机 musl 产物未更新、超时后下一轮重试不是永久隔离
2026-11-09 21:22:53 +08:00
..

真机复现:AMD SEV-SNP + 海光 CSV 双加密 guest

把 2026-11-06 的临时 /tmp 脚本整理成可复现资产。凭据不入库:SSH 口令由 xop 键名经环境变量注入,PSK / seed / 根密钥由 KBS 下发(或离线演练层), 仓库里只有占位值与示例节点描述。

重跑前先看(2026-11-08 起)

脚本、判据、真机样例都已经在仓库里,别再去 /tmp 翻旧脚本或重新拼参数: 36 个脚本 + nodes/*.node.example(真机 qemu / 固件 / 内核路径 / TCB)

  • fixtures/(真实 CSV 报告 2548B、SNP 报告、两侧证书链、采集时的 session.env)。 前两天「每次从零调整」的根源只有三个:参数散在 5+ 个脚本头部、没有预检、 踩坑结论按探索时间写在 630 行文档里不好按症状查。这三处已补齐:

三步重跑

cd deploy/tee/real-machine
cp real-machines.env.example real-machines.env      # 已 gitignore,按现场改
set -a; . ./real-machines.env; set +a
./preflight-real-machine.sh                        # 一次性报缺:工具 / xop 键 / 参数 / 远端物料
./tee-pair-attest-e2e.sh                           # 一键:编译 → OCI → 双 KBS → 双 guest → 双判据
./tee-pair-attest-negative.sh                      # 负向:证明被拒 ⇒ 拿不到密钥(必须在 e2e 之后)
  • 负向脚本必须在 e2e 之后跑:它复用 e2e 铺到远端 /tmp 的物料,且需要 OCI manifest。2026-11-08 起 MPC_TEE_MANIFEST 自动从 ${MPC_TEE_WORK}/image 用同一份 oci-image.py verify 重算并断言 64 hex,不用手抄; 旧版单独跑会报「缺少 MPC_TEE_MANIFEST」,已修。

  • real-machines.env.example 是参数的唯一集中入口:IP / xop 键名 / MAC / 网段 / 端口 / 超时全在里面,变量名与脚本 ${VAR:-default} 逐字一致。换机器改这一份, 不要逐个脚本 export。凭据只放 xop 键名,不放明文口令。

  • preflight-real-machine.sh 只查环境,不判业务:TEE_PAIR_OK / TEE_ATTEST_GATE_OK 仍只由 check-pair-verdict.py / check-attest-verdict.py 判定。 --skip-remote 离线查、--self-test 用 6 个构造样例逐条破坏参数判据(非恒绿)。 缺环境一律显式 SKIP / FAIL,不静默当通过。

  • 编排层生成的变量(MPC_TEE_MPC_BIN / MPC_TEE_MANIFEST / MPC_KBS_PLATFORM / MPC_KBS_TOKEN_KEY_FILE …)不要手填,见 env 样例 H 段。

集群面:端点公布门禁(2026-11-09 真机实证)

cluster-endpoint-gate-e2e.sh 是第二条一键脚本,管的是「端点能不能给计算面 消费」,不是「两台 guest 能不能通会话」(那条是 tee-pair-attest-e2e.sh)。

cd deploy/tee/real-machine
set -a; . ./real-machines.env; set +a
# 前置:tee-pair-attest-e2e.sh 已把 initrd / 验签器 / KBS 脚本铺到两台真机,
#       且两侧 /tmp/mpc-cluster/mpc 是 host-only musl 产物
./cluster-endpoint-gate-e2e.sh       # 判据 CLUSTER_ENDPOINT_GATE_OK(20 判据)

链路:双节点 hostd 自报 → 控制面非回环监听(共享密钥 + --allow-remote)→ /desired per-session 绑定 → 选址下发 → 真 guest 采证明 → KBS 芯片验签 → 9p 手牌回传原始证明包 → hostd 独立判定 → 对账 → GET /sessions 公布端点。 负向 epg-bad 零外泄 + /report 带原因;收尾清空期望态后端点收回。 两道门都在服务端(脚本只观察,不替它们下结论):is_verified() 管实例去留, publishable(require_chip_sig) 管端点是否外泄(默认要求芯片验签)。

pending 超时回收(离线实证,非真机链路):证明迟迟不落时控制面会真回收 guest、释放容量,并在 /report 留一条带「证明超时未落地」原因的失败;默认 900 秒,mpc control-plane serve --pending-timeout SECS 可调,0 = 显式禁用。 ★ 这是服务端策略,本一键脚本不构造超时场景 ⇒ 未做真机验证; 结论来自 cargo test 的 8 个构造用例 + 主门禁第 25 条 16 条判据 / 15 条破坏实验。 见 docs/REAL_MACHINE_FINDINGS.md §12。

★ 参数见 env 样例 I 段;判据自测 + 破坏实验在主门禁第 25 条 (tools/selftest-cluster-endpoint-gate.py / -break.py,另有 tools/selftest-pending-timeout.py / -break.py 守超时回收的跨文件接线)。 完整结论见 docs/REAL_MACHINE_FINDINGS.md §11 / §12。

症状 → 根因 → 处置(速查)

调环境时按「症状」查这张表,不用通读 docs/REAL_MACHINE_FINDINGS.md:

症状 根因 处置 / 权威位置
Platform is already owned direct boot 缺 kernel-hashes=on 或 pflash(报错具误导性) 框架 PlatformProfile 已修;别在部署层覆盖 -machine / 固件 / CPU。nodes/*.node.example 注释、docs/TEE_DIRECT_LAUNCH.md
os error 11(EAGAIN,像 KBS 挂了) 证明提交超时 10s < KBS 判定超时 30s ATTEST_POST_TIMEOUT_SECS=90;docs/REAL_MACHINE_FINDINGS.md §10.8
KBS 403「平台不一致」 serve.py --platform 缺省 csv,AMD 机拿 csv 判 SNP KBS 显式 --platform;编排层按 PLATFORM_OF_GRP 注入。kbs-net.sh、pair-attest-run.sh
KBS 起不来 / token 无效 token 密钥须在远端生成 MPC_KBS_TOKEN_KEY_FILE 读入,不落命令行。kbs-net.sh:158
会话通了但取不到密钥,或反之 想把 socket(二层)与 tap(三层)合成一张卡 两张卡,不能合成。tee-pair-attest-e2e.sh 文件头
偶发认错网卡 按 /sys/class/net 枚举顺序(= PCI slot 顺序,会漂) 按 MAC 认,认不到就 die。同上
IPv6 duplicate address fe80::... detected 两侧数据面 MAC 相同(同二层域抢地址;会话照样跑通 ⇒ 隐患) 两侧 MAC 必须不同,已有判据。check-pair-verdict.py、env 样例 D/E 段
前台 ssh 永久挂住 guest halt 后 qemu 不退出 起 guest 一律走 guest-watch.sh(后台 + 轮询 MPC TEE GUEST DONE)
串口无输出 / 日志丢 -nographic + -serial stdio 抢 stdio;init 未建 /dev/console MPC_TEE_SERIAL_LOG 换 chardev file;init 用 mknod + exec > /dev/console 2>&1
Connection refused,但宿主端口已 LISTEN 假就绪信号:qemu 一启就 listen,guest 内 bind 要等证明验签完成 证明门控判据必须独立于会话判据。check-attest-verdict.py、§10.6
连接预算耗尽 / 两侧表现不对称 SESSION_WAIT_BUDGET_SECS=180 与 connect_within / accept_within 不对称 两侧对称;看门狗 420 > 180(先看到真原因再被杀)。§10.5、env 样例 C 段
MAC verify failed 永不命中 海光官方 SM2 签名不覆盖 MAC,是死判据 已去掉,别再加回来。docs/REAL_MACHINE_FINDINGS.md §1
ro****【xop...】fs_files: verified xop 密钥防护把 root 误判成密钥片段 判据只认稳定后缀 fs_files / fs_links
open /dev/csv-guest failed 报告必须在 CSV guest 内取,宿主没有该设备 capture-csv-report.sh + csv-attest-request.c(支持自定义挑战值)
截断报告也打印 verify success 官方验签器对截断报告 fail-open wrapper 自卡长度 == 2548 字节。csv-verify-attestation.sh
官方验签器悄悄联网 缺证书时会联网下载 链校验模式强制 unshare -rn 断网。同上、docs/REAL_MACHINE_FINDINGS.md §2
绑定值对不上,报错像「重放攻击」 手工抄 site / measurement / tcb,或没还原 anonce 混淆 用采集时的 session.env 重算;csv-report-restore.py --field all。fixtures/csv/session.env
scp -r 把目录铺平 / 真机冒出 ._* scp -r 语义 + macOS tar 注入 AppleDouble 用 tar 传目录、COPYFILE_DISABLE=1
缺少 MPC_TEE_MANIFEST 负向脚本单独跑,没有 e2e 产物 先跑 ./tee-pair-attest-e2e.sh;2026-11-08 起 manifest 自动重算,别手抄
create 失败: 启动参数覆盖失败: 额外内核参数含空白或控制字符 CLI 把多个 --guest-kernel-param 用空格 join,服务端旧实现对整串判空白 runtime.rs::apply_launch_override() 改 split_whitespace();CLI↔服务端跨端守卫测试
KBS 判定用的是上一轮参数 / 起了新实例却没生效 旧 pidfile 的 KBS 占着端口,端口 LISTEN ≠ 本轮实例在跑 kbs-net.sh 按端口清旧 + 硬等端口释放;start_kbs 验 EPG_KBS_OWNED_OK(pid cmdline 含本轮 --session/--mpc)
guest 没回传证明包(section5_hits=0) 主链路 initrd.img 是旧版,不含 init.sh 第 5 节 oci-image.py build/verify/pack 重建;节点描述 measurement 同步新 manifest digest
can't bind ... 19777: Address already in use guest halt 后 qemu 不退出,遗留进程占 socket 端口 按 ss -ltnp 的 pid 清;禁 pkill -f(远端 cmdline 含该串会自杀)
guest 起来了但证明永远不来,会话一直 pending、机器被占着 早先没有超时回收(只等证据或期望态清空) 现在默认 900 秒超时真回收 + /report 带原因;--pending-timeout SECS(0 = 禁用)。离线实证,未在真机构造超时场景。docs/REAL_MACHINE_FINDINGS.md §12
000 被当成「错密钥被拒」 控制面没起来时 curl 返回 000,000 != 200 假绿 先精确判正确密钥 200,失败即 exit 1
--node-measurement AMD1(度量只剩 4 位) bash $10 是 ${1}0,参数从第 10 个起全错位 一律 ${10}..${18};远端脚本本地重建后 bash -n

/tmp 里那 60+ 个探索脚本怎么办

amd7-kds-*.sh / amd7-vcek-*.sh / amd7-ghcb-*.sh / amd7-clean*.sh 等是 2026-11-07 的探针与清扫过程产物(probe / sweep / dump),不是运行依赖。 它们的结论已经沉淀到 snp-verify-attestation.sh(KDS 取 VCEK 链 + 证书链校验)、 selftest-snp-verify.py、snp-attest-matrix.sh 与 docs/REAL_MACHINE_FINDINGS.md。 不要整批拷进仓库,也不要重跑一遍去「确认」 —— 那正是「从零探索」。 真机报告与证书链的可复现样本已在 fixtures/,可直接喂自测。

机器重启 / 换机后怎么办(2026-11-08 实测核对)

结论先说:远端 /tmp 丢了不影响重跑;/opt 物料在持久根盘,重启后仍在。 真正要防的是「换机 / 重装 / 物料被升级」时没基线可核对。

资源 在哪 重启后 谁负责恢复
运行时物料(mpc / initrd / KBS 脚本 / 证书副本 / 串口日志) 远端 /tmp/mpc-tee-run-attestpair、本机 /tmp/mpc-tee-attest-e2e 可丢;实测 19:45 两台机三个 /tmp 目录全为空 tee-pair-attest-e2e.sh 每次从源码 + alpine:3.18 重新构建并分发
不可再生物料(qemu / OVMF / 内核 / 海光官方验签器 / GmSSL / CSV 证书链) 远端 /opt:AMD /opt/kata 3.7G、海光 /opt/confidential-containers 1.2G + /opt/hygon 在持久根盘(实测 / 是 ext4 / xfs,无独立 /tmp tmpfs)⇒ 重启仍在 仓库没有替代品;机器自带,换机须重装厂商 SDK 并重采基线
本机重建条件 alpine:3.18 镜像、musl target、deploy/tee/oci/oci-image.py、guest/init.sh、fixtures/ 随本机 Docker / Rust 工具链持久 preflight-real-machine.sh 的「本机重建资源」逐项检查,缺一项就 FAIL

重启后只需三步:

./host-materials.sh --verify      # 核对两台真机 /opt 物料 vs 基线(18 条 sha256 + size)
./preflight-real-machine.sh       # 含本机重建条件、xop 键、参数、远端可达
./tee-pair-attest-e2e.sh          # 重新铺远端 /tmp → 双 KBS / 双 guest → 双判据
  • nodes/host-materials.sha256 是入仓基线(AMD 3 条 / 海光 15 条)。 --verify 逐台重算 sha256 比对,缺文件 / 被替换 / 被升级都 FAIL 并打印 diff; --self-test 用 6 个构造样例逐条破坏比对判据(哈希 / 大小 / 缺失 / 多出 / 路径),非恒绿; 还用「篡改清单里一条 hash」做过端到端破坏验证(精确判红,exit=1,diff 指出 AMD qemu)。 ★ 清单本身由 git 保护:改动会出现在 diff 里,不要在仓库外偷改基线。
  • 换机 / 物料升级后:./host-materials.sh --collect 重采基线并提交,同时按现场更新 nodes/*.node.example 的 qemu / 固件 / 内核路径与 real-machines.env.example。
  • ⚠️ 别把 /opt 物料拷进仓库:qemu 单文件 69MB、海光 initrd 78MB,且是厂商 SDK 分发物。 清单只记录路径 / 大小 / 哈希,不搬运二进制。
  • 2026-11-08 19:47 实跑复验:从源码重编 musl mpc → 重新导出 alpine rootfs → 重新打 initrd → 分发 → 双 KBS → 双 guest,TEE_PAIR_OK + TEE_ATTEST_GATE_OK + TEE_PAIR_ATTEST_OK 全绿,两侧还原 35.000000。这证明本机重建链路真的可用,不是只靠远端残留。

前置物料

  1. Linux 静态 mpc(macOS 上交叉编译):

    仓库根的 .cargo/config.toml 已经配好 x86_64-unknown-linux-musl 段 (rust-lld + link-self-contained=yes + +crt-static),直接:

    cargo build --release -p mpc-cli --target x86_64-unknown-linux-musl --no-default-features
    # 产物:target/x86_64-unknown-linux-musl/release/mpc(static-pie,约 1.3 MB)
    

    ★ --no-default-features 不能省:默认 control-plane 会把宿主控制面 (mpc-hostd 的 axum/tokio/reqwest、mpc-chain 的 OpenSSL)编进 guest 静态产物,而 openssl-sys 找不到 musl 版 libcrypto。musl 目标下开着该 feature 会被 main.rs 的 compile_error! 明确拒绝并提示加此参数。 这一份二进制同时被 guest 与宿主 KBS 使用(mpc tee attest-check), 两处要的命令都在 main.rs,不依赖控制面。宿主端 mpc 保持默认 feature。

    依赖系统有 rust-lld(随 Rust 工具链自带),不需要额外的 musl gcc, 也不需要 zig。若目标机缺 rust-lld,退化路径是 CARGO_TARGET_X86_64_UNKNOWN_LINUX_MUSL_LINKER=x86_64-linux-musl-gcc 加 RUSTFLAGS="-C link-self-contained=no"(否则 zig 的 crt 与 Rust 自带 crt 重复定义 _start)。

  2. base rootfs:现成 alpine rootfs(含 /bin/busybox 与 musl loader)。

  3. OCI 镜像与 initrd:按 ../oci/README.md 跑 build / verify / pack, 记下 measurement=<64hex>。

  4. 节点描述:复制 nodes/*.node.example,把 measurement 换成上一步的 digest, 其余路径按真机 preflight.sh 结果填写。

  5. KBS(可选,在线模式):../kbs/serve.py 只是演练 stub;生产请用带证明校验的 Trustee/KBS。离线演练用 MPC_TEE_KBC=offline_fs_kbc::null, 并在 build 时加 --offline-dir 提供 psk / seed / root-key。

单 guest 自检

export MPC_TEE_MPC_BIN=/path/to/mpc
export MPC_TEE_MANIFEST=<64hex>
export MPC_TEE_KBC=offline_fs_kbc::null
python3 run-guest.py nodes/amd-sev-snp.node.example <64hex-session> <64hex-pubkey> none

role=none 不挂网卡,只验证 guest 内核、mpc selftest 与 OCI 层校验。

双 guest 跨物理机计算

export MPC_TEE_MPC_BIN=/path/to/mpc-linux-x86_64
export MPC_TEE_INITRD=/path/to/mpc-initrd.img
export MPC_TEE_AMD_NODE=nodes/amd-sev-snp.node.example
export MPC_TEE_HYGON_NODE=nodes/hygon-csv2.node.example
export MPC_TEE_MANIFEST=<64hex>
export MPC_TEE_KBC=offline_fs_kbc::null
# 可选:MPC_TEE_AMD_HOST / MPC_TEE_HYGON_HOST / *_USER_KEY / *_PASS_KEY
MPC_TEE_DRY_RUN=1 ./pair-run.sh      # 先看物料与计划,不连机
./pair-run.sh

★ 一键复现(推荐)

./tee-pair-e2e.sh                    # 全流程:编译 → OCI → 分发 → 双 guest → 判定
MPC_TEE_DRY_RUN=1 ./tee-pair-e2e.sh  # 只跑到 dry-run,不连机

★★ 证明门控版(先验证明才给密钥)

./tee-pair-attest-e2e.sh        # 芯片证明链 + 密文会话合流(同一次运行)
./tee-pair-attest-negative.sh   # 负向:证明被拒 ⇒ 拿不到密钥;恢复 ⇒ 又能拿到(须在 e2e 之后)

与 tee-pair-e2e.sh 的区别只有一处,但那一处是安全性质的关键:

tee-pair-e2e.sh tee-pair-attest-e2e.sh
密钥来源 key_source=offline-demo(内置在 initrd) key_source=kbs(KBS 验签通过后下发)
芯片证明 没跑 attest-collect → attest-post → KBS 验签 → 签 token
断言 会话跑通 会话跑通 且 密钥确系证明后下发

2026-11-08 真机实测:两侧 key_source=kbs,判据 TEE_PAIR_OK + TEE_ATTEST_GATE_OK,EXIT=0。详见 docs/REAL_MACHINE_FINDINGS.md 第 10 节。

★ 两张网卡:跨 guest 会话走 qemu socket(二层点对点), 访问宿主 KBS 走 tap(三层)。不能合成一张卡 —— socket 侧有 IP 但无路由到宿主网段,tap 侧拿不到跨 guest 对端。 网卡按 MAC 认(不按枚举顺序 —— 那个顺序会漂,认错卡就是偶发失败)。

它把散落的步骤串成一条命令:交叉编译 musl 静态 mpc → 导 alpine base rootfs → oci-image.py build/verify/pack → 用真实 manifest digest 生成 节点描述(替换示例里的 000…0 占位)→ pair-run.sh → 判定。 manifest digest 是从工具输出里解析出来的,不是手抄。

2026-11-07 真机实测:AMD SEV-SNP(192.168.1.7)与海光 CSV(192.168.1.102) 跨两台物理机,各自真加密 VM 内完成密文会话,两侧都还原出 value | 35.000000,判据 TEE_PAIR_OK。详见 docs/REAL_MACHINE_FINDINGS.md 第 9 节。

★ 判定逻辑只有一份

check-pair-verdict.py 是唯一的判定实现,pair-run.sh 与主门禁自测 (tools/selftest-tee-pair-verdict.py,主门禁第 19 条)调的是同一份。 两份实现等于没有门禁。

每条判据都被自测逐条破坏过(验证它能真的把结论推翻):

判据 说明
value | 35.000000 密文会话还原结果(写死具体数值,比「任意数字」更严)
oci_layers: verified OCI 运行期完整性链
fs_files: verified / fs_links: verified 活 rootfs 文件 / 符号链接清单
manifest_digest=<64hex> 与本轮 MANIFEST 逐字符比对(不是「有没有这一行」)
全部通过 guest 内 mpc selftest
MPC TEE GUEST DONE guest 完成标记
无 MPC_FAIL: fail-closed:guest 明确报错时一律判失败

pair-run.sh 会:分发物料到两台宿主 → 后台起 AMD SNP guest(alice,socket 监听)→ 只读确认端口 LISTEN → 起海光 CSV guest(bob,socket 连接)→ 回传两侧串口日志 → 逐项判定。判定成功的标志是 TEE_PAIR_OK。

★ 三个必须知道的坑

  1. guest halt 之后 qemu 不退出 —— 前台 ssh 起 guest 会永久挂住。 所以起 guest 一律走 guest-watch.sh(后台 + 轮询 MPC TEE GUEST DONE, 命中即显式 kill qemu)。详见 guest-watch.sh 的文件头。
  2. guest 的 stdout 默认会丢 —— 框架 argv 是 -nographic + -serial stdio, 两个前端抢同一个 stdio。env.sh 必须注入 MPC_TEE_SERIAL_LOG, run-guest.py 会把串口换成 chardev file 后端。
  3. 采集回来的日志会被掩码 —— xop 的密钥泄漏防护把 root 误判成密钥片段, rootfs_files: verified 变成 ro****【xop禁止将密钥泄漏】fs_files: verified。 所以判据只认稳定后缀 fs_files / fs_links。

分层与职责

层 文件 职责
框架 mpc tee plan --argv 平台中立的 qemu argv(含 user_data、kernel-hashes、pflash、cbitpos)
部署 run-guest.py 只补串口 / 角色 / manifest / KBC / socket 网卡 / NUMA,不覆盖框架参数
编排 pair-run.sh 分发物料、起两侧 guest、收串口日志、判定
看护 guest-watch.sh 远端后台起 guest + 轮询完成标记 + 收尾(防 qemu 不退出挂死)
判定 check-pair-verdict.py 会话判据的唯一实现(编排与门禁自测共用)
判定 check-attest-verdict.py 证明门控判据的唯一实现(与上面分开,见下)
一键 tee-pair-e2e.sh 编译 → OCI → 分发 → 双 guest → 判定(离线演练密钥)
一键 tee-pair-attest-e2e.sh 同上,但密钥必须经芯片证明后由 KBS 下发
编排 pair-attest-run.sh 证明门控版的编排:双侧各起本机 KBS → 双 guest → 双判据
guest ../guest/init.sh 校验 OCI 层 → 取密钥 → 启动 mpc node

★ 为什么两条判据要分开(不能合成一份): check-pair-verdict.py 判「会话 + 完整性链 + 数据面 MAC 唯一性」, check-attest-verdict.py 判「密钥是不是经过芯片证明才发下来的」。 两件事互不蕴含 —— 会话跑成了 ≠ 密钥是证明后给的(离线版就是拿 离线密钥跑通会话的);密钥是证明后给的 ≠ 会话跑成了。 合成一份会出现「一项过掩盖另一项不过」。

证明链路自测(SNP,2026-11-07 补齐)

脚本 作用
snp-verify-attestation.sh SNP 报告芯片验签(VCEK 走 AMD KDS;r[72]+s[72] 小端标量 + report[0:0x2A0])
selftest-snp-verify.py 验签器自测:正 1 + 负 8(篡改 report_data / measurement / 签名 / 截断 等)
snp-attest-matrix.sh 正向端到端:guest 采报告 → KBS 判定 → 凭 token 取密钥(6 条判据)
snp-attest-negative.sh 负向矩阵 6 条:度量 pin / 站点 / TCB / 会话 / 无验签器 / 验签器判失败
kbs-net.sh 起 bridge + tap + KBS 实例;就绪判据是端口进 LISTEN,不是进程存活

run-guest.py 支持 MPC_TEE_SERIAL_LOG=<path>:把串口改到 chardev file。 guest 的 stdout 默认会丢(initramfs 里 /dev/console 是普通文件), 详见 docs/TEE_DIRECT_LAUNCH.md 里那一节。

框架原生 argv 已经过真机校正,不要再加 -machine / sev-guest / 固件 / CPU 的 部署层覆盖;真机上那次 Platform is already owned 的根因是缺 kernel-hashes=on 与 pflash,已修进 PlatformProfile,详见 docs/TEE_DIRECT_LAUNCH.md。

边界

  • 两台真机的静态 qemu 没编 slirp,-netdev user 不可用;跨 guest 链路由部署层 注入 socket netdev,核心 crate 不写死宿主网络后端。
  • 在线 KBS 已是真判定(调 Rust 的 mpc tee attest-check)+ 无状态 token (HMAC-SHA256 + 常量时间比较,重启不失效);MPC_KBS_TOKEN_KEY 缺省时 拒绝启动,MPC_KBS_PIN 不填则回落到 --measurement。 生产仍建议换真 Trustee。
  • pair-run.sh 只起 qemu,不做芯片证明互验;报告验签走 mpc tee verify 的外部验签器。

核对真实 CSV 报告(2548 字节)

真机复核(2026-11-06,192.168.1.102)确认:海光厂商 SDK /opt/hygon/csv/attestation/csv_status.h 里 struct csv_attestation_report 的 sizeof 是 2548 字节,不是 4096(4096 只是 hypercall/mmap 的页大小)。 get-attestation / ioctl-get-attestation 写出的 report.cert 就是 2548 字节; 把报告长度按 4096 做下限会拒掉每一份真实报告。字段偏移: user_data@0x40、measure@0x90(32B SM3)、policy@0xB0、sig1@0xC0(144B)、 pek_cert@0x150、sn@0x974,结构体内无 version 字段。

报告必须在 CSV guest 内取(宿主机没有 /dev/csv-guest,直接跑 get-attestation 会 open /dev/csv-guest failed)。拿到 report.cert 后离线核对:

python3 deploy/tee/real-machine/csv-report-check.py --selftest   # 自检布局常量与解析
python3 deploy/tee/real-machine/csv-report-check.py --report report.cert
python3 deploy/tee/real-machine/csv-report-check.py --report report.cert \
        --user-data <64字节挑战值hex>   # 核对 user_data@0x40 与会话绑定一致

脚本只做布局与 user_data 绑定核对,不验签;sig1 / pek_cert 的签名与 证书链交给厂商 verify-attestation 或 mpc tee verify 的外部验签器。 脚本兼容 Python 3.6(海光节点自带版本),不依赖第三方库。

海光 CSV 真实报告:捕获 → 还原 → 验签(端到端)

这一整套在 192.168.1.102 上实测跑通,产物可复现。

1. 采一份真实报告

./capture-csv-report.sh --mpc /path/to/mpc-linux --out /tmp/csv-report3

做三件事:造一个专门取报告的 initrd → 用框架原生 argv(mpc tee plan --argv) direct boot 一个 CSV guest → 从串口日志里提取报告十六进制还原成 report.cert。 产出 report.cert(2548 字节)、node(节点描述)、plan.json(框架 argv)、 session.env(本次采集用的会话参数,验证脚本从这里读,不靠人手抄)。

2. CSV 字段被 anonce 混淆,必须先还原

厂商 SDK 把 user_data / mnonce / measure / pek_cert / sn 与 anonce 按 u32 数组逐个异或后落盘;anonce@0xBC 本身是原值。 不还原就拿混淆值去比对绑定值,永远对不上,而且报错会指向「疑似重放报告」。

python3 csv-report-restore.py --report report.cert --field user_data --json
python3 csv-report-restore.py --report report.cert --field all
python3 csv-report-restore.py --selftest          # 用真机实测值自检

3. 取报告的 ioctl 契约

报告必须在 CSV guest 内用 ioctl 取(宿主机没有 /dev/csv-guest):

  • GET_ATTESTATION_REPORT = _IOWR('D', 1, struct csv_guest_mem), struct csv_guest_mem { unsigned long va; int size; }
  • 用户态缓冲区 = 整页 4096 字节,前 112 字节是 user_data[64] + mnonce[16] + hash_block[32],hash = SM3(user_data || mnonce)
  • 固件在同一缓冲区就地写回 2548 字节报告 → size 必须 ≥ 2548 (缓冲区只给 112 字节会报 EFAULT/Bad address,它要回写 2548 字节)

厂商 get-attestation 把挑战值写死成 ASCII "user data",报告因此无法与框架 会话绑定对上。csv-attest-request.c 支持自定义挑战值 (--user-data HEX64),并自带 SM3 实现(guest rootfs 无 openssl/sm3.h), 已用 GB/T 32905-2016 两个标准向量验证。

4. 官方验签器:四个坑

csv-verify-attestation.sh 是厂商 verify-attestation 的 wrapper,坑都堵在这里:

坑 现象 处置
退出码恒为 0 失败也返回 0 按 stdout 文本判定
报告路径写死 固定读 ./report.cert 工作目录里放 report.cert
离线证书 fallback 只在自己所在目录 dirname(readlink("/proc/self/exe")) 把二进制复制到工作目录再执行
对截断报告 fail-open 1000 字节截断报告照样打印 "verify success" wrapper 层自卡长度(必须 == 2548)

另:LD_LIBRARY_PATH=/opt/gmssl/lib 会污染 curl(GmSSL 的 libssl 缺 OPENSSL_1_1_1 符号版本),官方工具自带 rpath,不能设这个变量。

5. 端到端

./verify-csv-report-e2e.sh --report-dir /tmp/csv-report3 \
  --mpc /tmp/mpc-linux \
  --verifier /tmp/mpc-tee-tools/csv-verify-attestation.sh \
  [--chain-dir /tmp/csv-chain]

三步:还原 anonce → 官方验签器(芯片签名 + 证书链)→ 框架 mpc tee verify (结构 + 会话绑定 + 芯片签名)。成功输出 E2E_OK。

会话参数默认从 <report-dir>/session.env 读 —— 验证方必须用采集时那一组参数 重算绑定值。手工抄 site / measurement / tcb 是绑定对不上的头号来源,而那个报错 会误导成重放攻击。

mpc tee verify 也支持 --node <节点描述>:site / measurement / tcb / platform 默认全部取自它,与 tee plan 读同一份真相源。