Files
admin 8404517cb3 feat(tee): 芯片证明链与双 guest 密文会话合流,挖出并修掉连接等待窗口不对称
真机(AMD SEV-SNP + 海光 CSV 跨两台物理机)同一次运行里两侧各自完成
attest-collect → attest-post(KBS 芯片验签放行)→ key_source=kbs →
跨物理机密文会话,两侧都还原 value | 35.000000。判据 TEE_PAIR_OK +
TEE_ATTEST_GATE_OK,EXIT=0。负向(度量 pin 不符 ⇒ 403 且拿不到密钥,
恢复后又能拿到)也真绿。

框架层真缺陷(本轮最深的坑):连接等待窗口两侧不对称 ——
被动方(--listen)原来无限等,主动方(--connect)硬编码 50×200ms=10s,
而被动方要先做 SNP 证明验签(联网拉 KDS 证书链,首次可达 90s)才 bind,
必然 Connection refused。症状像网络不通实为窗口配小,且看运气
(KDS 链有缓存时跑绿、缓存失效就必挂)。
修:mpc_node::SESSION_WAIT_BUDGET_SECS=180(两侧同一常量)+
connect_within/accept_within(按时长给预算而非次数×间隔)+
CLI wait_budget()(MPC_SESSION_WAIT_SECS 覆盖,两侧须一致);
accept 不再无限等,能报「等待对端连接超时」而非挂死到看门狗。
3 条守卫测试钉死。

其它真缺口:KBS 缺 --platform(AMD 机拿 csv 判 SNP ⇒ 平台不一致 403)、
KBS 缺 token 密钥(远端生成,经文件读入不落命令行)、手抄 hex 长度
66/65/63(改程序化生成 + assert)、PSK 带换行、证明提交超时 10s < KBS
判定 30s(改 90s;症状 os error 11 EAGAIN 不像超时易误判成 KBS 挂了)、
role=none 误要求数据面网卡(按 ROLE 分支)。

架构结论:两张网卡不能合成一张(socket 二层会话 / tap 三层 KBS);
网卡按 MAC 认不按枚举顺序;两侧各起本机 KBS 不共用;
编排层「等 qemu 端口 LISTEN」是假就绪信号。
证明门控判据独立于会话判据(互不蕴含,合成会一项过掩盖另一项不过)。

主门禁 19 → 20 条(第 20 条 = 证明门控判据自测 10/10)。
2026-11-08 00:20:45 +08:00

246 lines
12 KiB
Python
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""真机侧启动器:消费框架原生 qemu argv,只补部署层参数。
框架(`mpc tee plan --argv`)负责平台中立且已被真机校正过的启动规格;
这里只补宿主相关的东西:串口、guest 角色、会话/镜像度量/KBC 参数、
socket 网卡、NUMA 内存后端。**不覆盖 -machine / -object / -bios / -cpu / -smp**
—— 那些都是框架能力表的职责,真机差异已经在 2026-11-06 校正过。
环境变量(全部由调用方注入,仓库内不落任何凭据或密钥):
MPC_TEE_MPC_BIN guest 内静态 mpc 二进制在宿主上的路径(默认 mpc)
MPC_TEE_MANIFEST OCI manifest digest,64 位十六进制(必填)
MPC_TEE_KBC guest 内 KBC 模式(默认 offline_fs_kbc::null)
MPC_TEE_MIN_TCB TCB 门槛(默认 3)
MPC_NETDEV_ARGS role != none 时必填,qemu 网卡参数(socket netdev)
MPC_TEE_GUEST_IP guest 网卡静态地址(如 10.99.0.2/24),tap/bridge 场景必填
MPC_TEE_KBS_REPO KBS 资源仓库名(默认 mpc)
MPC_TEE_SERIAL_LOG 串口输出落盘路径(可选但**强烈建议**)
★ 为什么建议 MPC_TEE_SERIAL_LOG(串口 stdout 会丢的坑):
框架的 qemu argv 里同时有 `-nographic` 和 `-serial stdio`
(见 crates/mpc-tee/src/schedule.rs::qemu_argv)。`-nographic` 自己
就会把默认串口接到 stdio(mon:stdio),于是**两个前端抢同一个 stdio**。
AMD 真机的 qemu(/opt/kata/bin/qemu-system-x86_64)在这条组合下
会出现「init 的 stdout 一行都收不到」的现象 —— guest 明明把
attestation_collect / attestation_post / key_source 全打出来了,
但脚本 grep 不到,表现为「链路没走通」的假象。
实际上 guest 是**成功**的:KBS 日志里能看到
POST /kbs/v0/attestation 200
GET /kbs/v0/resource/mpc/{psk,seed,root-key} 200
—— 只是 stdout 没落到采集端。
规避方式(不改框架 argv —— 框架的 `-nographic`+`-serial stdio`
是对的,那是给交互式/管道场景的标准写法):
把串口换成 chardev file 后端,输出**落文件**,采集端读文件。
用法:run-guest.py NODE_FILE SESSION_ID PUBKEY ROLE [VARIANT]
兼容 Python 3.6(海光 Anolis 8.10)。
"""
import json
import os
import shlex
import subprocess
import sys
HEX = set("0123456789abcdef")
def die(msg):
sys.stderr.write("run-guest: %s\n" % msg)
sys.exit(2)
def drop_pair(argv, flag, pred):
while True:
for i, a in enumerate(argv):
if a == flag and i + 1 < len(argv) and pred(argv[i + 1]):
del argv[i:i + 2]
break
else:
return
def main():
if len(sys.argv) < 5:
die("用法: run-guest.py NODE SESSION PUBKEY ROLE [VARIANT]")
mpc = os.environ.get("MPC_TEE_MPC_BIN", "mpc")
node_path, sid, pk, role = sys.argv[1:5]
variant = sys.argv[5] if len(sys.argv) > 5 else None
manifest = os.environ.get("MPC_TEE_MANIFEST", "").strip().lower()
kbc = os.environ.get("MPC_TEE_KBC", "offline_fs_kbc::null").strip()
kbs_repo = os.environ.get("MPC_TEE_KBS_REPO", "mpc").strip()
guest_ip = os.environ.get("MPC_TEE_GUEST_IP", "").strip()
attest_token = os.environ.get("MPC_TEE_ATTEST_TOKEN", "").strip()
min_tcb = os.environ.get("MPC_TEE_MIN_TCB", "3")
if len(manifest) != 64 or not set(manifest) <= HEX:
die("MPC_TEE_MANIFEST 必须是 64 位十六进制(由 oci-image.py build 输出)")
if len(sid) != 64 or not set(sid.lower()) <= HEX:
die("SESSION_ID 必须是 64 位十六进制")
if len(pk) != 64 or not set(pk.lower()) <= HEX:
die("PUBKEY 必须是 64 位十六进制")
if " " in kbc or not kbc:
die("MPC_TEE_KBC 不能含空格或为空")
if " " in kbs_repo or not kbs_repo:
die("MPC_TEE_KBS_REPO 不能含空格或为空")
if guest_ip and "/" not in guest_ip:
die("MPC_TEE_GUEST_IP 需要带掩码(如 10.99.0.2/24)")
if role not in ("alice", "bob", "none"):
die("ROLE 只能是 alice / bob / none")
cmd = [mpc, "--report", "json", "tee", "plan", "--node", node_path,
"--session-id", sid, "--pubkey", pk,
"--min-tcb", min_tcb, "--argv"]
if variant:
cmd += ["--variant", variant]
# KBC 模式与 KBS 端点要告诉框架:CSV 的在线 KBC 没有内置缺省端点,
# 端点只能来自节点描述或命令行,否则准入会以「缺 KBS 端点」拒绝。
#
# `mpc.tee.kbs=cc_kbc::<url>` 里的 <url> 已经带 scheme(cc_kbc::http://…),
# 这里**不能**再补 "http://" —— 早先补了,真机上就成了
# --kbs-endpoint http://http://10.99.0.1:18080。
if kbc.startswith("cc_kbc::"):
cmd += ["--kbc", "online"]
ep = kbc[len("cc_kbc::"):].strip().rstrip("/")
if ep:
if not (ep.startswith("http://") or ep.startswith("https://")):
ep = "http://" + ep
cmd += ["--kbs-endpoint", ep]
else:
cmd += ["--kbc", "offline"]
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE,
universal_newlines=True)
plan_out, plan_err = p.communicate()
if p.returncode != 0:
sys.stderr.write("tee plan 失败 rc=%d\n%s\n%s\n" %
(p.returncode, plan_out, plan_err))
sys.exit(2)
argv = None
for line in plan_out.splitlines():
try:
obj = json.loads(line)
except ValueError:
continue
for k, v in obj.get("rows", []):
if k == "argv_json":
argv = json.loads(v)
if not argv:
sys.stderr.write("没拿到 argv_json\n%s" % plan_out)
sys.exit(2)
print("=== framework argv (%d args) ===" % len(argv))
print(" ".join(argv))
sys.stdout.flush()
# 1) 部署层追加的内核参数:镜像度量与 KBC 由调度侧钉进 guest。
# framework 原有的 mpc.tee.user_data / site / aa_kbc_params 不动。
# mpc.tee.kbs_repo 是 KBS 资源仓库名(默认 mpc),guest init 用它拼
# KBS 取料路径;不给就用 init 里的缺省值。
i = argv.index("-append") + 1
argv[i] += (" console=ttyS0 earlyprintk=serial"
" mpc.role=%s mpc.tee.session=%s"
" mpc.tee.manifest=%s mpc.tee.kbs=%s"
" mpc.tee.kbs_repo=%s" %
(role, sid, manifest, kbc, kbs_repo))
# guest 网卡静态地址(tap/bridge 场景):CSV 真机的静态 qemu 没编 slirp,
# 没有 NAT 网关,guest 要访问宿主 KBS 就得自己落在宿主网段里。
if guest_ip:
argv[i] += " mpc.tee.ip=%s" % guest_ip
# 证明代理 token(演练 / 负向矩阵用;生产由 guest 内证明代理写
# /run/mpc-tee/attestation.token,优先级更高)。token 不能含空格,
# 内核参数是空格分隔的。
if attest_token:
if any(c.isspace() for c in attest_token):
die("MPC_TEE_ATTEST_TOKEN 不能含空白")
argv[i] += " mpc.tee.token=%s" % attest_token
# 2) 网络后端由部署层决定,核心 crate 不写死。
# 框架按 KBC 模式决定「要不要网卡」(在线 KBS 要、离线不要),但给的是
# 通用 `user` 后端 —— 海光真机的静态 qemu 是 kata-static 裁剪版,**没有编
# slirp**(`-netdev user` 直接报 "Parameter 'type' expects a netdev backend
# type"),所以必须换成宿主侧注入的真实网卡:
# * socket —— 跨 guest 直连(AMD alice / 海光 bob 之间的密文会话)
# * tap —— guest 进宿主网段,用于访问宿主上的 KBS(在线 KBC)
#
# ★ 两张卡必须**并存**(2026-11-07 真机合流时挖出):
# 跨 guest 会话是**二层**(socket netdev,两端只有 10.0.0.1/.2,无网关),
# 访问宿主 KBS 是**三层**(tap netdev,guest 需要同网段地址)。
# 合成一张 ⇒ 「会话连得上但取不到密钥」或「取到密钥但会话连不上」,
# 两种都容易被误判成 KBS 或会话本身的问题。
#
# 框架 argv 里的 user 后端只有一张(netdev id = mpcnet0),
# 这里把框架那张**整个丢掉**,两张卡都由部署层显式注入。
data_netdev = os.environ.get("MPC_NETDEV_ARGS", "").strip()
kbs_netdev = os.environ.get("MPC_KBS_NETDEV_ARGS", "").strip()
if not data_netdev and not kbs_netdev:
if role != "none" or kbc.startswith("cc_kbc::"):
die("需要网卡(跨 guest 会话或在线 KBC),但没给 MPC_NETDEV_ARGS / MPC_KBS_NETDEV_ARGS")
print("=== role=none 且离线 KBC:不挂网卡 ===")
else:
drop_pair(argv, "-netdev", lambda v: v.startswith("user,"))
drop_pair(argv, "-device",
lambda v: v.startswith("virtio-net-pci,netdev=mpcnet0"))
if data_netdev:
argv += shlex.split(data_netdev)
print("=== deploy netdev (data): %s ===" % data_netdev)
if kbs_netdev:
argv += shlex.split(kbs_netdev)
print("=== deploy netdev (kbs): %s ===" % kbs_netdev)
# 2b) 把两张卡的 MAC 显式告诉 guest。
#
# ★ 为什么 MAC 必须显式传(而不是让 guest 自己猜):
# /sys/class/net 的顺序 = PCI slot 顺序 = virtio 设备插入顺序,
# 换 qemu 版本或调整加卡顺序就会漂。guest init 若靠「第几张卡」判断
# 角色,症状是「偶尔把地址配到错的卡上」——偶发失败极难查。
# 所以这里显式给 MAC,guest 按 MAC 精确匹配;匹配不到直接 die。
data_mac = os.environ.get("MPC_TEE_DATA_MAC", "").strip().lower()
kbs_mac = os.environ.get("MPC_TEE_KBS_MAC", "").strip().lower()
if data_mac:
argv[i] += " mpc.tee.data_mac=%s" % data_mac
if kbs_mac:
argv[i] += " mpc.tee.kbs_mac=%s" % kbs_mac
# 3) 机密 guest 需要显式 NUMA 内存后端;关机即退出 qemu。
argv += ["-object", "memory-backend-ram,id=dimm1,size=2048M",
"-numa", "node,memdev=dimm1", "-no-reboot"]
# 4) 串口输出落盘(可选,但真机脚本必须用)。
#
# 框架 argv 里是 `-nographic` + `-serial stdio`。这两个前端会**抢同一个
# stdio**:`-nographic` 本身就把默认串口接到 stdio(mon:stdio),
# 于是 guest init 的 stdout 在 AMD 真机上**一行都收不到**。
#
# 症状极具迷惑性:guest 侧其实完全成功(KBS 日志里能看到
# attestation 200 + psk/seed/root-key 三个 200),但采集脚本
# grep 不到 attestation_collect / key_source,于是判「链路没走通」。
#
# 这里改成 chardev file 后端:串口内容直接落文件,采集端读文件。
# 只动部署层的 stdio 形态,不动框架的启动规格(`-nographic`
# + `-serial stdio` 本身是标准写法,交互式场景仍然适用)。
serial_log = os.environ.get("MPC_TEE_SERIAL_LOG", "").strip()
if serial_log:
# 去掉框架的 stdio 串口组合,换成 chardev file。
for flag in ("-nographic", "-serial"):
while flag in argv:
i = argv.index(flag)
# -serial 后面跟一个值(stdio),-nographic 是单独 flag。
n = 2 if flag == "-serial" else 1
del argv[i:i + n]
argv += ["-display", "none",
"-chardev", "file,id=mpcser,path=%s" % serial_log,
"-serial", "chardev:mpcser"]
print("=== serial: chardev file -> %s ===" % serial_log)
print("=== deployed argv (%d args) ===" % len(argv))
print(" ".join(argv))
sys.stdout.flush()
os.execvp(argv[0], argv)
if __name__ == "__main__":
main()