- 新增 docs/INDEX.md:文档分类(活真相源/专题设计/历史阶段快照)、 当前状态总览、权威入口表、旧结论对照表、诚实边界与 8 条更新纪律。 - README.md 现状改为「2026-10-30 算子基线 + 2026-11-08 增量」,补齐真机 TEE、国密链真交易、合约实证、k8s 持久化、22 条门禁与目录树。 - CLAUDE.md 纠正三处失效结论(门禁 20→22 条、3.x eth_ 兼容端点、 flush 只发规范字节/不宣称能上链),文档章节改为分组索引。 - INTEGRATION_ANALYSIS.md 等历史阶段文档加「当时→当前」状态锚点与对照表, 保留取证链不改写历史;真机文档第 7/9.4 节指向第 10 节合流结论。 - 修正两处事实错误:k8s README 把本机写成节点 IP、复现文档把 20200/30300 标反;链复现入口统一指向 deploy/k8s/fisco/README.md。 - 诚实边界保持:软件签名器密评不可过、真 bcos-rpc TLCP 未通、hostd 执行面仍在真机、OPA 未进 guest、链上撤销与 decision 上链未做。
36 KiB
真机探索结论(2026-11-07)
本文记录在两台真机上实测得到的硬事实。它们与仓库里的桩测试是两类东西: 桩测试证明「判据逻辑自洽」,真机结论证明「厂商实现的行为是什么」。
真机清单:
| 主机 | 平台 | 角色 | 备注 |
|---|---|---|---|
192.168.1.102 |
海光 Hygon C86(CSV) | 裸机 / hypervisor | 有海光官方 verify-attestation |
192.168.1.7 |
AMD EPYC 7203(SEV-SNP) | SNP guest 虚机 | 内核 6.13.0-snp-guest,宿主是 Kata/QEMU |
凭据用 xop 管:tee_hg_102_user / tee_hg_102_pass / tee_amd_7_user / tee_amd_7_pass。
远端执行一律走 sshpass -e + SSHPASS 环境变量,凭据不进命令行。
1. 海光 CSV:官方 SM2 签名不覆盖 MAC 字段
这是本轮最重要的发现,也是最容易被"看起来很对"的代码掩盖掉的。
海光官方 verify-attestation 二进制里有 sm3_hmac / verify_session_mac /
attestation report MAC verify success|failed 这些字符串,源码里也确有 MAC 校验函数。
但默认调用路径不触发它。
实测(192.168.1.102,真报告 2548B):
| 变体 | 改动字节 | 官方验签器输出 |
|---|---|---|
| 原报告 | — | verify success |
篡改 user_data(0x40) |
1 字节 | SM2_do_verify fail! + verify report fail |
篡改 measure(0x90) |
1 字节 | 同上(正确拒) |
篡改 sig1(0xC0+3) |
1 字节 | 同上(正确拒) |
篡改 mac(0x9D4+31) |
1 字节 | 与原报告逐字节相同,仍 verify success |
结论:CSV 的 SM2 签名覆盖 userdata / mnonce / measure 等字段,不覆盖 MAC。
后果与处置
- 仓库里
deploy/tee/real-machine/csv-verify-attestation.sh原先有一条attestation report MAC verify failed判据 —— 它永远不会命中, 留着只会让人误以为 MAC 有保护(虚假安全感)。 已改:文件头写明 MAC 不被验证,该分支标注为「条件性兜底」, 并去掉「MAC 完整性校验失败」这类断言式措辞。 - 这条边界已固化成判据:
deploy/tee/real-machine/selftest-csv-verify.py的真机模式有一条 「★ 已知边界:MAC 不在 SM2 签名覆盖内(篡改 MAC 可能仍通过)」。 这条不是安全判据,是钉住边界用的:哪天厂商改了口径,它会 FAIL 提醒重新评估。
2. 海光 CSV:官方验签器缺证书时会联网下载
官方工具的链校验路径:
curl -s -f -o ./hrk.cert https://cert.hygon.cn/hrk
实测:链目录为空时,官方输出仍是 validata cert chain successful ——
因为它把下载来的证书当成链验证通过了。
⇒ 「我们提供的信任材料」这条约束根本没生效,链验证结论其实来自网络。
对照实验(unshare -rn 断网后):
- 空链目录 →
Error:Download hrk failed/validata cert chain failed/verify report fail - 预置完整离线链 →
validata cert chain successful+verify success
处置:wrapper 在链校验模式下强制 unshare -rn 建网络命名空间,
让官方工具只能吃我们预置的离线证书链;unshare 不可用时拒绝
(不能退回联网模式,那等于没有链约束)。同时在本地前置校验关键证书齐全,
缺一个就本地拒,不等官方联网兜底。
自测里对应两条判据: 「★ 缺 hrk.cert(其余齐全)→ 拒(不许联网补齐后判过)」和 「★ 联网可达环境下缺链仍拒(断网约束真实生效,非偶然离线)」。
3. AMD SNP:当前 HEAD 的五关闭环已在真机跑通
用的产物:target/x86_64-unknown-linux-musl/release/mpc
(1436480 B,static-pie ELF,sha256 57b69d9233bf55925da3dd10d864458f92ca52236e147674f320721dd4f6952a)。
双向替换(两边都用当前 HEAD):
- guest 侧:initrd 里的
/mpc用当前 HEAD 产物重建 (OCI 三层 build → verify → pack,manifest digest4b92af20ac3a716cd3f4968854098d5f571b177c4c458bf8eecec0e1ff929120) - KBS 侧:
--mpc指向同一份产物 —— 验证方与放行方同源, 判定逻辑只有一份 Rust 实现,Python 只搬字节看退出码
正向链路(guest 串口 → KBS 日志):
oci_layers: verified
rootfs_files: verified
rootfs_links: verified
user_data=4c84440cbcddb4b9fad2c2a6744c22ab5c9c0188c6a6e566d1ffc537be0f62e94c6f7dc3d2d319eeb32bfae47ab9fc225d73f90d7ee4af0e6905ac7da156d8e5
attestation_collect: platform=snp
attestation_collect: ok
attestation_post: endpoint=10.99.0.1:18091
attestation_post: ok
key_source=kbs
KBS 侧判定:
[kbs] 判定结论: ok=True structure_ok=True bound_ok=True chip=verified-by:.../snp-verify-attestation.sh
verdict=结构、会话绑定与芯片签名全部通过
[kbs] "POST /kbs/v0/attestation HTTP/1.1" 200
[kbs] "GET /kbs/v0/resource/mpc/psk/<sid>" 200
[kbs] "GET /kbs/v0/resource/mpc/seed/<sid>" 200
[kbs] "GET /kbs/v0/resource/mpc/<sid>-key/<sid>" 200
guest 自检(mpc selfcheck)5 项全过:两方分片/重建、两方 Beaver 乘法、
TEE 密封解封证明、明文域与密态域一致性。
负向矩阵(每条都带期望拒绝特征,排除「未知参数」类探针假绿):
| 负向 | 结果 | 拒在哪一关 |
|---|---|---|
| 错 pubkey | user_data 与本次会话绑定不一致(可能是重放报告) |
会话绑定关 |
| 错 session-id | session mismatch |
会话关 |
| 错 manifest digest | cmdline 的 manifest digest 与镜像不一致 |
度量 pin 关 |
KBS --min-tcb 99(--tcb 3) |
节点 TCB 低于门槛 |
TCB 门槛关 |
★ TCB 关必须单独可达
第一次测 TCB 门槛时设 MPC_TEE_MIN_TCB=99,结果没被拒——
但那不是框架的锅:拒在更早一层(mpc tee plan 节点准入:节点 TCB 低于门槛),
根本没走到 KBS。
要真正测到 KBS 侧的 TCB 关,必须让绑定值仍然一致才能一路走到那一关:
--tcb 3(节点实际 TCB,参与绑定值重算)--min-tcb 99(门槛,只做准入比较)
这两个参数不能混:漏传 --tcb 会让重算的绑定值用 tcb=0,
于是报「user_data 与本次会话绑定不一致」—— 把参数漏填报成重放攻击的误导性结论。
4. 跨平台一致性:同一份代码派生的会话绑定值相同
AMD SNP 与海光 CSV 两个平台上,框架算出的 mpc.tee.user_data 完全一致:
4c84440cbcddb4b9fad2c2a6744c22ab5c9c0188c6a6e566d1ffc537be0f62e98bbbb4b719d2681efc70c2b61b474a7d5384864a372c2140d1589141b5e06fd9 ← 海光 CSV
4c84440cbcddb4b9fad2c2a6744c22ab5c9c0188c6a6e566d1ffc537be0f62e94c6f7dc3d2d319eeb32bfae47ab9fc225d73f90d7ee4af0e6905ac7da156d8e5 ← AMD SNP
前半段(4c84440c…c22ab5c9c0188c6a6e566d1ffc537be0f62e9)相同 ——
那是(代码度量 + 平台标签 + TCB)的派生;后半段不同 —— 那是站点/会话相关部分。
验证方必须用同一份 node 描述(真相源)重算,否则会误报「可能是重放报告」。
5. 异地站点端 → TEE 真机:控制面闭环跑通(2026-11-07 后续)
这一段记录的是控制面(不是证明链)的真实跨机闭环: 沙箱(CubeSandbox,异地站点端)通过 e2b 兼容 HTTP 面驱动海光真机上的 hostd。
5.1 架构:为什么是 HTTP 面而不是 SSH
| 候选 | 结论 |
|---|---|
| 沙箱 SSH 到真机 | 不可行:沙箱无 ssh/sshpass(openssh-client 无安装候选),且 DNS 完全不通(crates.io/github.com 全部 NXDOMAIN),pip install paramiko 失败;更根本的是明文密码不能进沙箱 |
| 沙箱 HTTP → 真机 hostd | 采用:hostd 提供 e2b 兼容面(/sandboxes 等),站点端用 mpc tee up/ps/attest/down --host --token 驱动 |
⇒ mpc hostd 必须跑在真机上(要 qemu / TEE 设备、要起 guest 进程),
沙箱是站点端。这是两层控制面的形状,不是绕路。
5.2 真机没有 Rust 工具链 ⇒ 两份 musl 产物
海光真机是 Anolis 8.5 / glibc 2.28 / gcc 8.5.0,command -v cargo rustc → NO_RUST。
macOS 上交叉编 gnu 目标没有 glibc sysroot ⇒ musl 静态二进制是唯一可行路径。
musl 目标下现在有两份不同的产物:
| 产物 | 编译命令 | 跑在哪 | 含什么 |
|---|---|---|---|
| guest | --no-default-features |
TEE enclave 内 | 只有 guest 命令族(attest-* / kbs-get / selfcheck) |
| host | --no-default-features --features host-only |
TEE 真机上的 hostd | 加 mpc-hostd(axum/tokio/reqwest),不含 mpc-chain |
mpc-hostd 依赖里只有 axum/tokio/reqwest(reqwest 关了默认特性 ⇒ 不带 TLS ⇒ 不需要 openssl),
只有 mpc-chain 带 openssl = "0.10" ⇒ openssl 不能进 musl 依赖图:
一旦进了,openssl-sys 的 pkg-config 报错会抢先于 main.rs 的 compile_error! 守卫,
守卫就变成永远测不到的假判据。
实测产物:/tmp/mpc-musl-host = ELF 64-bit LSB pie executable, x86-64, static-pie linked, stripped(2840560 B),
推到海光 /tmp/mpc-hostd 后 version 输出 mpc 0.1.0。
5.3 ★ 挖出并修掉两个真缺口
① hostd 服务端完全没有鉴权。
改之前:client.rs 只在客户端把 token 拼进 Authorization: Bearer 头(并拒绝含换行的 token 防请求头注入),
服务端根本不验。此前之所以没出事,只因 mpc hostd 默认只听回环。
修法(新增 crates/mpc-hostd/src/auth.rs):
| 模式 | 条件 | 行为 |
|---|---|---|
| 回环信任 | 未配置共享密钥 | 不带凭据的请求放行;带了任何凭据一律 401 |
| 凭据模式 | 已配置共享密钥 | 每个请求都必须带正确 Bearer token,缺/错一律 401 |
- 服务端不存明文,只存
sha256(secret);客户端送明文,服务端算sha256(送来的)再比 ⇒ 摘要不能反向当 token 用(有单测钉死)。 - 最低 32 字节,低于则启动期硬拒;比对用
mpc_core::hmac::ct_eq(常量时间)。 - 对外不区分「没带」与「带错了」:
public_reason()统一返回「缺少或无效的凭据」, 细分只在internal_reason()里(写日志用)—— 否则等于给攻击者「差多少」的反馈。 - ★ 鉴权先于路由:任何端点(含
/health)都先过凭证判定; 业务端点POST /sandboxes也必须受保护(只护/health是假安全)。 - 非回环监听必须同时有共享密钥 + 显式
--allow-remote,两者互为兜底 (只有--allow-remote时它只是一句声明,不构成任何保护)。
② DELETE /sandboxes/{id} 只停不删。
api.rs 的 delete_sandbox 原来只调 rt.stop(id)(停进程 + 标终态),
记录仍在表里 ⇒ 删完再 GET /sandboxes 还能看到它。
而 runtime.rs 的注释写着「e2b 兼容面里 DELETE /sandboxes/{id} 才是显式删除」——
注释与实现不符。
症状极静默:DELETE 返回 204 看着成功,列表却越积越多。
修法:runtime.rs 新增 remove()(先 stop 收进程、再删记录与子进程句柄,
顺序反了会留僵尸),api.rs 改调 remove()。
已用两条回归判据钉死(单测 + tools/selftest-hostd.py 的跨进程真 socket 判据)。
5.4 真机实测结果(沙箱 → 海光真机,全绿)
hostd 部署在真机:--listen 192.168.1.102:3010 --allow-remote,
共享密钥经 MPC_HOSTD_SHARED_SECRET 环境变量注入(不进 argv,否则 ps 可见),
落盘 0600 文件。
hostd: 监听 192.168.1.102:3010(鉴权:凭据模式)
鉴权矩阵(两个 401 响应体逐字节相同 ⇒ 不泄露「没带」与「带错了」的差异):
| 用例 | 结果 |
|---|---|
带正确密钥 GET /health |
200 + ok |
| 不带凭据 | 401 + {"code":401,"message":"缺少或无效的凭据"} |
| 带错凭据 | 401 + 同上,逐字节相同 |
沙箱内 mpc tee ps --token <正确> |
rc=0,列出实例表 |
沙箱内 mpc tee ps(无 token) |
rc=1 + hostd 返回 401 |
沙箱内 mpc tee ps --token <错> |
rc=1 + hostd 返回 401 |
编排闭环(沙箱内执行,跨公网到真机):
POST /sandboxes → 201,platform 被真机识别为 hygon-csv(不是客户端传的 csv)
GET /sandboxes → e2b 兼容裸数组
GET /sandboxes/{id}/attestation
→ {"chip_sig":false,"meas_ok":false,"tcb_ok":false,"user_data_ok":false,
"verdict":"宿主侧尚无该实例的证明材料;四项结论均未成立,不得据此认为验证通过"}
DELETE /sandboxes/{id} → 204,且 ps 回到 []
★ 四布尔分开报且 verdict 诚实 —— 沙箱在公网侧看到的结论与真机一致, 没有把「没做芯片验签」说成「验证通过」。
5.5 CubeSandbox 数据面三要素(踩坑)
| 要素 | 值 | 缺了会怎样 |
|---|---|---|
CUBE_API_URL |
http://192.168.1.30:3000 |
SDK 走默认地址 |
CUBE_API_KEY |
xop 的 ipass key |
401 |
CUBE_PROXY_NODE_IP |
192.168.1.30 |
★ SDK 回落直连 49983-<id>.cube.app,本机 DNS 对该域名 NXDOMAIN ⇒ httpx.ConnectError: [Errno 8] nodename nor servname provided |
CUBE_PROXY_PORT_HTTP |
80 |
同上 |
★ egress 策略是「替换不是补丁」:sb.update_network({"allow_out": ["192.168.1.0/24"], "allow_internet_access": False})
才能放通内网。默认策略下所有目标返回 Connection refused 且耗时 0.00s
—— 立即拒绝,不是真实不可达。判读时必须区分「0.00s refused = 策略拒绝」与「超时 = 网络不可达」。
沙箱工具链画像(Debian 12,内核 6.6.1199-0009-03_2.0.1):
有 gcc/cargo/rustc/git/jq/curl/python3 3.12;
无 ssh、无 sshpass、无 ip;DNS 完全不通。
5.6 SSH 到真机的两个坑
- 必须关公钥认证:
ssh -o PreferredAuthentications=password -o PubkeyAuthentication=no。 否则会先用错的 key 试,症状是「密码明明对却 Permission denied」。 scp要加-O(走旧协议):新版 scp 默认走 SFTP 子系统, 实测在真机上Permission denied,加-O后成功。- ★ 变量展开的时机:
xop run -- CMD的 CMD 部分由外层 shell 先展开, 所以"$HG_USER"在 xop 环境外展开成空 ⇒ ssh 收到@host⇒ usage 报错。 必须写成xop run ... -- bash -c '... "$HG_USER" ...'让展开发生在 xop 内部。
6. 踩过的坑(别再踩)
| 坑 | 症状 | 根因 | 处置 |
|---|---|---|---|
| MAC 不在签名覆盖内 | 篡改 MAC 仍 verify success |
官方默认不验 MAC | wrapper 去掉虚假断言 + 固化为边界判据 |
| 官方验签器联网补链 | 缺链仍报链验证成功 | 缺证书时 curl KDS |
wrapper 强制 unshare -rn + 本地前置校验 |
| scp 目录扁平化 | 远端 fixtures/csv/ 消失 |
cp -r 目标不存在时把子目录内容铺上去 |
用 tar 打包保层级 |
macOS tar 注入 ._* |
远端多出一堆 AppleDouble | bsdtar 默认行为 | COPYFILE_DISABLE=1 tar --no-mac-metadata |
Python 3.6 不认 capture_output |
真机闭环 TypeError 崩掉(连 SKIPPED 都报不出) | capture_output/text= 是 3.7+ |
用 stdout=PIPE + universal_newlines=True;判据用 AST 查(字符串搜索会命中自己的注释 → 判据自指) |
| 网段两边不一致 | guest 内 Network unreachable (os error 101) |
kbs-up.sh 硬编码 10.98.0.1,guest-role.sh 默认 10.99.0.2 |
统一到 10.99.0.1/24 ↔ 10.99.0.2/24 |
| 脚本硬编码覆盖外部环境变量 | KBS 收到 --min-tcb 3 而不是 99 ⇒ TCB 负向假绿 |
kbs-up.sh 里 export MPC_KBS_MIN_TCB=3 |
改 ${VAR:-default} 形式 |
| 手抄 64 位 hex 少 2 字符 | PUBKEY 必须是 64 位十六进制 |
手抄 | 用 printf '%s' "$(printf 'cd%.0s' $(seq 1 32))" 生成 |
| amd 机上的 mpc 是旧版 | 结论对不上当前 HEAD | 真机上还是几天前的产物 | 重新交叉构建分发,sha256 逐台核对 |
| 沙箱 SSH 走不通 | openssh-client 无安装候选 |
沙箱里没 ssh 客户端,DNS 也不通 | 改走 e2b 兼容 HTTP 面(mpc tee --host) |
沙箱连真机全是 Connection refused(0.00s) |
明明同网段 | egress 默认拒内网 | update_network({"allow_out": ["192.168.1.0/24"], "allow_internet_access": False}) |
沙箱 SDK 报 nodename nor servname provided |
域名解析失败 | 缺 CUBE_PROXY_NODE_IP/CUBE_PROXY_PORT_HTTP |
三要素一起设 |
| ssh 密码明明对却说 Permission denied | 认证失败 | 先用公钥试 | -o PreferredAuthentications=password -o PubkeyAuthentication=no |
| scp 报 Permission denied 但 ssh 正常 | 传不上去 | 新版 scp 走 SFTP 子系统 | scp -O |
xop run 里 $VAR 展开成空 |
ssh usage 报错 | CMD 部分由外层 shell 先展开 | xop run -- bash -c '... "$VAR" ...' |
| DELETE 204 但列表没变 | 实例删不掉 | delete_sandbox 只调 stop() 不删记录 |
新增 runtime.remove(),改调它 |
| 「guest 里找不到 X」判据恒为真 | 探针失效也照样绿 | release+strip+LTO 把串裁掉 | 标识串按归属分五组 + 用 host 产物做正向对照 |
7. 诚实边界
本轮证实的:
- 两台真机上,用当前 HEAD 的产物,SNP 与 CSV 两个平台的 「先验证明才给密钥」链路端到端跑通(采报告 → 判定 → 凭 token 取密钥);
- SNP 五关(含 TCB 门槛关)负向矩阵逐条被拒;
- CSV 官方验签器的真实边界(MAC 不被覆盖、缺证书会联网);
- 异地站点端(CubeSandbox 沙箱)→ 海光真机 hostd 的控制面闭环:
鉴权正负向矩阵 +
up/ps/attest/down编排 + 实例真删除,全部跨真机跑通。
读本节前先看状态(2026-11-08 复核):以下是 2026-11-07 当时的边界。 其中「海光 CSV 的 KBS 链路仍待落地」「证明链与密文会话尚未合流」两项已被 第 10 节(证明门控合流,
attest-collect → attest-post → key_source=kbs → 密文会话, 同一次运行、TEE_ATTEST_GATE_OK)推进;「离线演练密钥」也已被key_source=kbs取代(但生产级密钥分发与轮转仍不宣称)。其余各条至今成立。 当前状态总览见docs/INDEX.md。
本轮没有证实、仍然不宣称的(2026-11-07 当时):
- 海光 CSV 侧没有跑「先验证明才给密钥」的完整闭环 (CSV 侧只做到「采到真实报告 + 官方验签器验签 + 负向被拒」, 没接 KBS 发密钥)——CSV 的 KBS 链路仍待落地。
- CSV 的 MAC 完整性没有任何保护(这不是缺陷描述,是事实陈述)。
- TEE 证明未上链、未绑定链上状态位。
- 链上撤销状态位读取后端未接入(声明 chain 即 fail-closed 拒)。
- AMD 机上跑的是 SNP guest 虚机(内核
6.13.0-snp-guest), 不是裸机;裸机侧(/sys/devices/system/sev-snp/固件 TCB 等)本轮未触及。 - ★ 沙箱驱动的实例不是真 TEE enclave:起的是真机上的普通进程
(
/bin/sleep),所以四布尔必然全 false —— 这验证的是控制面编排, 不是 TEE 证明链。真 enclave 的证明仍走第 3 节的 SNP/CSV 链路。 - ★ 共享密钥不是「站点端签发的短期 token」:当前只是静态共享密钥,
只能证明「你是我认识的那个站点端」。设计中的
session_admit()产物 (带会话绑定与有效期)那一层还没落地。 - ★ hostd 是明文 HTTP:共享密钥在网路上是明文传输(除非走 EasyTier/内网)。
- ★ 沙箱侧只连了海光一台;AMD 机(SNP)未做同样的沙箱驱动联调。
- ★ 沙箱里的
mpc是 musl 静态产物,不含mpc-chain—— 沙箱作为站点端只能做控制面操作,发不了链上交易。
8. 复现入口
- CSV 侧(海光真机):
deploy/tee/real-machine/selftest-csv-verify.py--self-test零依赖(18 条判据逻辑),进主门禁第 10 条- 默认模式 = 真官方验签器正负向(10 条),缺官方二进制时显式
CSV_VERIFY_SKIPPED
- SNP 侧:
deploy/tee/real-machine/selftest-snp-verify.py(进主门禁第 10 条) - 部署层真机脚本:
deploy/tee/real-machine/(run-guest.py/guest-role.sh/kbs-net.sh/snp-verify-attestation.sh/csv-verify-attestation.sh…)
9. ★ 真 TEE 全流程(2026-11-07 后续):跨物理机双 guest 密文会话跑通
这是本项目第一次在真加密 VM**(不是普通进程)里跑通 mpc 全流程。**
9.1 跑通了什么
AMD SEV-SNP guest(192.168.1.7,alice)与海光 CSV guest(192.168.1.102,bob)
跨两台物理机,各自在自己的机密 VM 内:
- 校验 OCI 运行期完整性链(
oci_layers: verified+ 活 rootfs 文件/符号链接清单); - 核对 cmdline 里的 manifest digest 与镜像内的一致(
manifest_digest=<64hex>); - 取会话密钥(离线演练模式);
- 跑
mpc selftest(全绿); - 经 PSK 双向认证 + ChaCha20-Poly1305 的密文会话完成分片交换与 Beaver 乘法;
- 两侧都还原出
value | 35.000000。
两侧的 guest 内 user_data 与框架算出的 SessionBinding 一致(AMD
24b70c66…6dbcef5,海光 4c84440c…88731fc59),且 AMD 的
/proc/cmdline 里能看到 /dev/sev-guest 存在(SNP device: present)。
一键复现:deploy/tee/real-machine/tee-pair-e2e.sh
(交叉编译 → 导 alpine rootfs → OCI build/verify/pack → 生成节点描述 → 双机跑 → 判定)。
9.2 这次修掉的四个真缺口
| 缺口 | 症状 | 根因 | 处置 |
|---|---|---|---|
| guest halt 后 qemu 不退出 | 编排脚本永久挂死,会话其实已成功(两侧都 35.000000)但判据一行没跑到 ⇒ 假红 | guest init 结尾 halt -f 只停 guest 内核,qemu 进程照旧占着 CPU 与端口 |
新增 guest-watch.sh:后台起 guest + 轮询串口里的 MPC TEE GUEST DONE,命中即收工并显式 kill qemu |
| 判据字符串写错 | 同样是真跑通却判失败 | 判据写 mpc selftest 全部通过,guest 实际输出是 全部通过 |
判据与真实输出逐条对齐,并写自测钉死 |
| 串口没落盘 ⇒ guest stdout 全丢 | 采集端根本拿不到 guest 输出 | 框架 argv 是 -nographic + -serial stdio,两个前端抢同一个 stdio |
env.sh 注入 MPC_TEE_SERIAL_LOG,run-guest.py 把串口换成 chardev file |
| 日志被掩码 | rootfs_files: verified 变成 ro****【xop禁止将密钥泄漏】fs_files: verified,判据报「缺失」 |
xop 的密钥泄漏防护把 root 误判成密钥片段 |
判据只认稳定后缀 fs_files / fs_links;自测里加了「被掩码日志仍判过」这条 |
9.3 ★ 判据必须可测(负向判据自指的又一次现形)
判据只有一份实现:deploy/tee/real-machine/check-pair-verdict.py
(pair-run.sh 与主门禁自测调的是同一份,不是两份实现)。
tools/selftest-tee-pair-verdict.py(主门禁第 19 条,零依赖)用构造样例
逐条破坏每条判据,验证它能真的把结论推翻:
| 判据 | 破坏方式 | 必须红 |
|---|---|---|
value | 35.000000 |
改成 34.999999 |
✓ |
oci_layers: verified |
改成 (skipped) |
✓ |
fs_files: verified |
改成 (skipped) |
✓ |
manifest_digest |
换成另一个 64 hex | ✓ |
全部通过 |
改成 部分失败 |
✓ |
MPC TEE GUEST DONE |
删掉 | ✓ |
无 MPC_FAIL: |
加上 MPC_FAIL:(即使结果行还在) |
✓ |
| 日志为空 / 缺失 | 采集失败 | ✓(不得当成「没发生」就放过) |
| 仅一侧坏 | 只坏 bob | ✓(不得取其一) |
正向也覆盖了「日志被掩码」的真实形态 ⇒ 13/13 通过。
9.4 诚实边界(本节 2026-11-07 当时的不宣称项)
[状态 2026-11-08] 下面「两者尚未在同一次会话里合流」「海光 CSV 侧的 KBS 仍未接」两条已被第 10 节推进(芯片证明链与密文会话在同一次运行跑通、
key_source=kbs);「离线演练密钥」也已被 KBS 授权下发取代(但生产级密钥 分发与轮转仍不宣称)。其余各条(不做芯片报告互验、CSV MAC 无保护、 guest 内核不同、AMD 是 SNP guest 虚机、qemusocket二层直连)至今成立。
- ★ 本次跑的是离线演练密钥(PSK/seed/root-key 内置在镜像里,
key_source=offline-demo)⇒ 不宣称密钥分发链路被验证过。 - ★
pair-run.sh不做芯片证明互验 —— 本次跑的是「在真 TEE 里完成密文会话」, 不是「两端互相验证了对方的芯片报告」。芯片证明链仍走第 3 节(SNP 五关)与 CSV 的报告验签链;两者尚未在同一次会话里合流。 - ★ 两台机的 guest 内核不是同一套:AMD 是
6.12.36,海光是5.10.134-102cc-csv-hygon-gpu;海光侧 CSV 的 MAC 完整性仍无保护(第 7 节)。 - ★ AMD 机跑的仍是 SNP guest 虚机,裸机侧(固件 TCB 等)未触及。
- ★ 海光 CSV 侧的 KBS「先验证明才给密钥」仍未接(本轮离线模式绕过了它)。
- ★ 跨 guest 链路走的是 qemu
socketnetdev(宿主二层直连), 不经真实网络,因此不涉及 EasyTier/中继路径。 - ★ OCI 完整性链验证的是分发过程未被替换;能同时改 initrd 里
/init与校验清单的宿主不在防御范围内(见deploy/tee/oci/README.md边界)。
10. ★★ 证明门控合流:芯片证明链与密文会话在同一次运行里打通(2026-11-08)
10.1 这一版补的缺口
第 9 节跑通了跨物理机双 guest 密文会话,但用的是离线演练密钥
(key_source=offline-demo,密钥内置在 initrd 里)。于是有一条链
从来没有在同一次运行里出现过:
guest 向芯片要真实报告 → POST 给宿主 KBS
→ KBS 用**与验证方同一份** Rust 代码校验(含芯片签名验签器)
→ 通过才签 token → 凭 token 取 PSK/seed/root-key → 才做密文会话
也就是说:会话是在没经过任何芯片证明的 guest 里跑的。 这一版把两条链合流到同一次运行。
真机结果(EXIT=0):
TEE_PAIR_OK: 两侧均在真 TEE 内完成密文会话并还原出 35.000000
TEE_ATTEST_GATE_OK: 两侧密钥均经芯片证明放行后由 KBS 下发
TEE_PAIR_ATTEST_OK: 两侧真 TEE 各自完成芯片证明 → KBS 验签放行 → 取密钥
→ 跨物理机密文会话还原 35.000000
两侧串口都出现 key_source=kbs(不是 offline-demo)。
10.2 ★ 核心技术障碍:两张网卡不能合成一张
| 用途 | qemu netdev | 网络层 | guest 侧要求 |
|---|---|---|---|
| 跨 guest 密文会话 | socket |
二层点对点 | 只要有 IP(10.0.0.1 / 10.0.0.2),无网关 |
| 访问宿主 KBS | tap |
三层 | 必须有同网段地址才能路由到宿主 bridge |
两者不能合成一张卡:
- socket 侧有 IP 但没有通往宿主网段的路由 ⇒「会话通了但取不到密钥」
- tap 侧能到 KBS 但拿不到跨 guest 对端地址 ⇒「密钥到手但会话不通」
两种症状都极具迷惑性(看起来像 KBS 挂了或会话协议错了),排查方向会被整个带偏。
所以显式挂两张卡:数据面 mpcnet0 + KBS 面 mpcnet1。
双网卡不加默认路由:两张卡都在 /24 直连网段,内核自动生成 connected route。 加默认路由反而可能把「去 KBS 的包」发到数据面卡上,表现为「guest 连 KBS 超时」。
10.3 ★ 网卡必须按 MAC 认,不能按枚举顺序
/sys/class/net 的顺序 = PCI slot 顺序 = virtio 设备插入顺序。换 qemu 版本或
调整加卡顺序就会漂 ⇒ 认错卡 ⇒ 偶发失败(比稳定失败难查得多)。
部署层生成 MAC 一处、注入一处,guest 按 MAC 精确匹配;匹配不到直接 die (fail-closed),不「猜一张」。
真机实测踩到:两侧数据面 MAC 相同 ⇒
IPv6: eth0: IPv6 duplicate address fe80::ff:fe00:a01 used by 02:00:00:00:0a:01 detected!而且密文会话照样能跑通 —— 这种「恰好没出问题」的隐患没有判据就等于没有。 ⇒ 新增跨侧判据:两侧数据面 MAC 必须不同。
10.4 ★ 两侧各起一个 KBS(不是共用一个)
KBS 要在本机做芯片验签:AMD 走 KDS 拉 VCEK 链,海光走官方 verify-attestation。
验签器与证书链都只在本机 /opt 下才有。
共用一个 KBS 意味着「把海光的报告拿到 AMD 机上验」——验的就不是本机的芯片。
两侧下发同一份 PSK/seed(会话密钥必须一致,否则双方 PSK 认证失败)。
10.5 ★★ 框架层真缺陷:连接等待窗口两侧不对称
这一版挖出的最深的坑,且是框架层缺陷,不是部署层问题:
| 侧 | 原等待窗口 | 真机行为 |
|---|---|---|
被动方 alice(--listen) |
两方路径无限等 | 须先做 SNP 证明验签(联网拉 KDS 证书链,首次可达 90s)才 bind 19444 |
主动方 bob(--connect) |
硬编码 50 × 200ms = 10s | 10 秒耗尽 ⇒ Connection refused (os error 111) |
症状极具误导性:Connection refused 看起来像「对端没起来 / 网络不通」,
实际是等待窗口配小了。而且看运气:KDS 链有缓存时 10 秒够用(当时跑绿了),
缓存一失效就必挂 —— 典型的偶发失败。
修复(crates/mpc-node/src/lib.rs):
- 新增
SESSION_WAIT_BUDGET_SECS = 180,两侧同一个常量。 - 新增
connect_within/connect_within_with_psk/accept_within/accept_within_with_psk:按时长给预算,而不是「次数 × 固定间隔」。 - 保留旧的
connect(addr, retries)(按次数),但标了 ⚠ 并指向新 API。 - CLI 侧新增
wait_budget(),可用环境变量MPC_SESSION_WAIT_SECS覆盖 (两侧必须一致,否则又不对称了)。 - ★
accept原来无限等 ⇒「对端永远不来」永远看不到错误,进程挂死, 上层只能靠看门狗杀它,然后看到的是GUEST_TIMEOUT(被杀的表象), 而不是真正的失败原因。现在有预算 ⇒ 能看到「等待对端连接超时(预算 180s)」。
判据必须可测:3 条守卫测试(session_wait_budget_is_symmetric_and_large_enough /
accept_within_times_out_instead_of_hanging / connect_within_budget_exhausted_reports_budget)。
注释挡不住任何人把 50 改回去,而这个 bug 的特征就是看运气。
10.6 ★ 编排层的「假就绪信号」
编排层原来等「宿主 qemu 端口进 LISTEN」再起对端 guest。但:
qemu 一启动就 listen,与 guest 里 mpc 有没有 bind 19444 无关。 guest 内 mpc 的就绪时点 = 芯片证明验签完成之后。
这个信号被当成了「对端已就绪」⇒ 主动方在对方还没准备好时就发起连接。 现在两侧预算对称,启动时序不再依赖这个信号。
10.7 ★ 证明门控判据必须独立于会话判据
check-pair-verdict.py判「会话 + 运行期完整性链 + 数据面 MAC 唯一性」。check-attest-verdict.py判「密钥是不是经过芯片证明才发下来的」。
两件事互不蕴含:
- 会话跑成了 ≠ 密钥是证明后给的(第 9 节就是拿离线密钥跑通会话的)
- 密钥是证明后给的 ≠ 会话跑成了(会话层另有一套判据)
合成一份会出现「一项过掩盖另一项不过」⇒ 分开两条判据、分开两条自测。
check-attest-verdict.py 的正向特征:attestation_collect: ok /
attestation_post: ok / key_source=kbs;禁止特征:key_source=offline-demo /
attestation_token: from cmdline / MPC_FAIL:。
tools/selftest-tee-attest-verdict.py(主门禁第 20 条,零依赖)10/10 通过,
含「日志为空 / 日志缺失 / 只有一侧坏」这些不该通过的样例 ——
「证明门控判据」天然有「恒为真」的风险(空日志也判通过 = 什么都没验证)。
10.8 ★ 其他真缺口(这一版挖出并修掉的)
| 缺口 | 症状 | 根因 |
|---|---|---|
KBS 缺 --platform |
证明包平台 SevSnp 与期望平台 hygon-csv 不一致 |
serve.py 的 --platform 缺省是 csv,AMD 机的 KBS 拿 csv 去判 SNP |
| KBS 缺 token 密钥 | 未配置 token 密钥 |
没生成;密钥须在远端生成(/dev/urandom),经 MPC_KBS_TOKEN_KEY_FILE 读入 |
| 密钥长度手抄错 | PSK 必须是 64 个十六进制字符,实际长度 66 |
手写 hex 常量长度 66/65/63 ⇒ 改为程序化生成 + assert len == 64 |
| PSK 带换行 | KBS 取到的密钥对不上 | 写文件时带了换行 ⇒ 远端再 tr -d ' \t\r\n' 兜底 |
| 证明提交超时不对称 | 读证明响应失败: os error 11(EAGAIN,不像超时) |
guest 读超时 10s < KBS 判定 30s(SNP 验签还要联网拉 KDS 链)⇒ 改为 ATTEST_POST_TIMEOUT_SECS = 90 |
role=none 误要求数据面网卡 |
MPC_FAIL: 找不到数据网卡 |
数据面 socket 只在 alice/bob 下存在 ⇒ 按 ROLE 分支 |
★ 手抄 hex 常量的长度必须程序断言:错误信息指向「格式不对」, 真实原因是「抄错一个字符」—— 这种误导会把排查带偏。
10.9 ★ 负向验证(安全性质的关键一半)
正向跑通只说明「证明通过 ⇒ 拿到密钥」。它不能说明「证明不通过 ⇒ 拿不到密钥」—— 而后者才是关键一半。如果证明失败时 guest 仍能拿到密钥,整条证明链只是装饰。
做法:只改 KBS 侧度量 pin(不改 measurement)—— measurement 参与绑定值重算,改了它会先撞「绑定不一致」,度量 pin 那一关就测不到了 (假绿)。这正是「每加一关先问能否单独测到」那条铁律。
真机结果(EXIT=0):
MPC_FAIL: 证明提交被 KBS 拒绝: 失败: IO 错误: KBS 拒绝证明:
HTTP/1.0 403 Forbidden denied: attestation rejected:
证明验证失败: 代码度量与准入时 pin 的值不一致
[ok] 负向:未拿到密钥(key_source=kbs 不出现)
[ok] 负向:guest fail-closed(出现 MPC_FAIL:)
[ok] 负向:证明提交未通过(attestation_post: ok 不出现)
[ok] 负向:拒绝原因里提到了度量/pin(不是泛泛的失败)
--- 恢复 pin 重跑 ---
attestation_post: ok
key_source=kbs
[ok] 恢复 pin 后:拿到密钥
[ok] 恢复 pin 后:没有 fail-closed
TEE_ATTEST_NEGATIVE_OK
★ 拒绝判据必须带期望的拒绝特征,不能只判「退出码非 0」:
只判 rc≠0 会把「探针自己的 bug」当成「拒绝成功」。这里要求
① key_source=kbs 不出现 ② 有 MPC_FAIL: ③ attestation_post: ok 不出现
④ 拒绝原因里提到度量/pin(不是泛泛的失败)。
★ 恢复 pin 后又能拿到 —— 证明负向不是「永久坏掉」,而是真的由条件决定。
10.10 诚实边界(本节的不宣称项)
- ★ 跑的是演练会话密钥(KBS 仓库里预置、由证明授权下发) ⇒ 不宣称生产级密钥分发与轮转已被验证。
- ★ 不宣称两端互验了对方的芯片报告(各自 KBS 只验本机 guest 的报告)。
- ★ 海光 CSV 的 MAC 完整性仍无保护(官方验签器不验 MAC)。
- ★ AMD 侧 SNP 验签依赖联网拉 KDS 证书链(首次慢、后续有
--chain-dir缓存); 离线环境需预置证书链。 - ★ 跨 guest 走 qemu
socketnetdev(宿主二层直连),不经真实网络 ⇒ 不涉及 EasyTier / 中继路径。 - ★ OCI 完整性链验证的是分发过程未被替换;能同时改 initrd 里
/init与校验清单的宿主不在防御范围内。 - ★ 两台机 guest 内核不同(AMD
6.12.36/ 海光5.10.134-102cc-csv-hygon-gpu)。
10.11 复现入口
- 一键(编译 → OCI → 节点描述 → 双侧 KBS → 双 guest → 双判据):
deploy/tee/real-machine/tee-pair-attest-e2e.sh - 负向(证明被拒 ⇒ 拿不到密钥;恢复 ⇒ 又能拿到):
deploy/tee/real-machine/tee-pair-attest-negative.sh - 证明门控判据:
deploy/tee/real-machine/check-attest-verdict.py(自测tools/selftest-tee-attest-verdict.py,主门禁第 20 条)