Files
admin 7ace04053a fix(tee): 修掉 guest init.sh 被误删的 die() 与 attest 段,端点公布链路打通
背景(Task #16「真 KBS 验签后的会话端点」的前置阻塞):
提交 27cbdc7(OP-TEE 那轮)把 deploy/tee/guest/init.sh 里的 die() 定义
与 attest-collect/attest-post 段一起删掉了,而**调用点还在**。
三个后果,每一个都会让「端点永不公布」且症状极具误导性:

1. die() 定义被删、调用点还在 ⇒ busybox sh 里 `die` 未定义 ⇒
   「command not found」返回非 0 但**脚本继续往下跑** ⇒
   网卡认不到、链路未就绪这些本该 fail-closed 的地方变成静默继续
   ⇒ 安全门被拆。guest 照样打印后续日志、照样 halt,
   看起来像「只是少了一条错误提示」。
2. attest-collect/attest-post 段被删 ⇒ guest **根本不产证明包** ⇒
   第 5 节的回传没有材料可传 ⇒ 宿主判定永远停在 pending ⇒
   控制面 proven_endpoints() 永远为空 ⇒ 端点永不公布。
   症状是「guest 起来了、KBS 也通了、就是端点不出现」,
   排查方向会被整个带到对账器/调度器/控制面上,而真因在 guest 里。
3. TOKEN 的兜底被改成 offline-demo ⇒ 4a 段用 `[ -z "$TOKEN" ]`
   判断「要不要先去采证明」⇒ 该判断**永远不成立** ⇒
   guest 永远不去采证明 ⇒ 同 2。

修法:
- 恢复 die()(含 $RUN/fatal.log 落盘:直接 halt -f 是立刻断电不刷 stdout,
  串口只剩内核一句 "Attempted to kill init!",而「哪个文件对不上」才是关键);
- 恢复 4a 段(采集 → 提交 → 取料,采集失败一律 die);
- TOKEN 无来源时**留空**(不兜底占位值),占位值只留在离线分支;
- 第 2/3 节的 halt 统一走 die,口径一致。

守卫(3 条新测试 + 破坏实验逐条验证会红):
- guest_init_die_is_defined_and_used:定义与调用点必须同时存在;
- guest_init_collects_and_posts_attestation:采集/提交必须在取料之前;
- guest_init_online_branch_does_not_fallback_to_offline_demo:在线分支禁占位 token。
★ 判据本身也修了一个 bug:顺序类判据原先全文 find,被第 5 节**注释**里
  出现的 "tee kbs-get" 骗到 ⇒ 改为只认真正执行的命令行(跳过注释行)。
  判据自己有 bug 比没判据更坏:它会把正确实现判成错的。
★ 三个构造样例(删 die 定义 / 删 attest-collect 调用 / 加回 offline-demo 兜底)
  各自精确命中对应守卫,无交叉误伤。

顺带:入仓集群自报判据自测(tools/selftest-cluster-selfreport.py + break),
门禁加第 25 条;并修掉 cluster-selfreport-e2e.sh 的 remote() 回归
(脚本正文曾回到 argv 传密钥 ⇒ 密钥进远端 ps)。

验证:mpc-hostd 179 passed / 0 failed;guest ash 语法检查通过;
门禁第 25 条 6+5 条自测全绿。
2026-11-09 17:16:51 +08:00

604 lines
28 KiB
Bash
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/busybox sh
# ssw-mpc TEE guest 的 PID 1(由 deploy/tee/oci/oci-image.py 放到 /init)。
#
# 启动顺序是 fail-closed 的:
# 1. 挂 /proc /sys /dev
# 2. 校验 OCI 层 digest 链(layers.sha256)
# 3. 校验 cmdline 里的 manifest digest 与镜像内的一致
# 4. 由 KBC/KBS 取回本轮会话的 PSK / seed / 根密钥(不再内置明文)
# 5. 才允许启动 mpc 做跨机密文会话
#
# 任何一步失败就 halt,绝不「先跑起来再说」。
#
# 边界:层 digest 校验防的是分发/拉取过程中的层被替换;能同时改 initrd 里
# /init 与校验清单的宿主不在防御范围内。芯片证明代理与证书链验签由验证方 /
# KBS 负责,这里只消费它的产物(token 文件),不自己验签。
set -u
BB=/bin/busybox
OCI=/etc/mpc-tee/oci
RUN=/run/mpc-tee
MPC=/mpc
$BB mkdir -p /proc /sys /dev "$RUN"
$BB mount -t proc proc /proc 2>/dev/null || true
$BB mount -t sysfs sysfs /sys 2>/dev/null || true
$BB mount -t devtmpfs devtmpfs /dev 2>/dev/null || true
# --- 0. stdout 必须真的连到串口 ---------------------------------------------
#
# ★ 这一段是「guest 明明成功了却一行日志都看不到」的根因修复。
#
# 内核 exec /init 时,会把 fd 0/1/2 接到 initramfs 里的 /dev/console。
# 如果那儿的 /dev/console 是**普通文件**(tar/cpio 打包时字符设备退化的
# 常见结果 —— oci-image.py 注释里也记着这个坑),init 的所有 stdout
# 就被写进了那个普通文件里,**串口上一行都看不到**。
#
# 真机实测(AMD SNP,2026-11-07):
# · 内核 printk 日志正常出现在串口(内核走 console driver,不依赖 /dev)
# · init 的 echo 一行都不出现(走 fd 1 → 普通文件)
# · 而 KBS 日志里 guest 其实**早就成功了**:
# POST /kbs/v0/attestation 200
# GET /kbs/v0/resource/mpc/{psk,seed,root-key} 200
# —— 链路是通的,只是「采集端什么都收不到」,
# 表现得像「证明门控没走通」,排查方向被整个带偏。
#
# 修法两步:
# 1) 保证 /dev/console 是**真的字符设备**(5:1):
# devtmpfs 挂得上就用它;挂不上(内核没编 CONFIG_DEVTMPFS)就自己 mknod。
# 2) 把 stdout/stderr **重新**接到 /dev/console —— 内核 exec init 时绑的是
# exec 之前那一刻的 /dev/console,即使那个文件后来被换成设备节点,
# 已经打开的 fd 1 仍指向旧的文件描述符,不会自动切换。
if [ ! -c /dev/console ]; then
$BB rm -f /dev/console 2>/dev/null || true
$BB mknod /dev/console c 5 1 2>/dev/null || true
$BB chmod 666 /dev/console 2>/dev/null || true
fi
if [ -c /dev/console ]; then
exec > /dev/console 2>&1
fi
echo "===== MPC TEE GUEST BOOT (OCI layers) ====="
echo "kernel: $($BB uname -r)"
echo "cmdline: $($BB cat /proc/cmdline)"
# --- 1. 网卡(必须在 KBC 取料之前就绪)--------------------------------------
# 在线 KBC 要访问宿主上的 KBS,取料动作本身就依赖网络。
# 早先把网络配置放在最后(跟跨 guest 会话一起),于是 KBC 取料时
# guest 还没配 IP,报的是 "连 KBS 失败: Network unreachable" —— 看起来
# 像 KBS 不可达,实际是本机网卡还没起来。
IFACE=$($BB ls /sys/class/net | $BB grep -v '^lo$' | $BB head -n 1)
echo "iface=${IFACE:-none}"
cmdval() {
$BB sed -n "s/.*$1=\\([^ ]*\\).*/\\1/p" /proc/cmdline | $BB head -n 1
}
# fail-closed 的统一出口。
#
# ★★ 为什么这个函数**必须存在**(2026-11-09 真机联调时挖出的真 bug):
# 提交 27cbdc7(OP-TEE 那轮)把本函数**删掉了**,但**调用点还在**
# (下面 154/163/216/217/221 行都在调 `die`)。于是:
# · busybox/sh 里 `die` 未定义 ⇒ 调它就是「command not found」⇒
# **函数返回非 0 但脚本继续往下跑** ⇒
# 「找不到数据网卡」「链路未就绪」这些本该 fail-closed 的地方
# 变成了**静默继续** ⇒ guest 带着半残的网络继续跑。
# 症状极具迷惑性:guest 照样打印后续的日志、照样 halt,
# 看起来像「只是少了一条错误提示」,实际是**安全门被拆了**。
# ⇒ 必须有守卫测试钉死「`die` 的定义与调用点同时存在」。
#
# 早先这里直接 `halt -f`:**立刻断电,不刷 stdout**。于是 guest 明明检测到
# 「层 digest 与声明不符」,串口上却只看到内核一句
# "Attempted to kill init! exitcode=0x00000200"
# 排查时完全看不出是哪一步拦下的 —— FAIL 日志被电源切断了。
#
# 改成 `echo FATAL; sync; exit 1` 之后仍有两处丢消息:
#
# ① 调用方(如 `mpc tee kbs-get` 失败)刚往 stderr 写过东西,内核紧接着
# 又灌一段 panic 日志,串口输出交错 —— FATAL 那行被挤没了;
# ② 即便 FATAL 打出来了,也会被内核日志**从中间截断**,实测长这样:
# FATAL: 活 rootfs 文件 digest 与声明[内核日志插入] 1.642489] Kernel panic ...
# —— 关键信息(哪个文件对不上)正好落在被截掉的那一段里。
#
# 解法:**先把消息完整落到一个文件,再让内核去 panic**。
# 串口是单通道,内核日志一定会插进来;但文件不受影响。
# 于是 die 分两步:
# 1. 消息写进 $RUN/fatal.log(并同时打一份到串口,尽力而为);
# 2. exit 1 → 内核 panic 会把 init 的退出码打到串口(0x100)。
# 负向矩阵据此判定:串口看到 exitcode=0x100(init 自己退的)+
# fatal.log 里有完整消息 → fail-closed 成立。
die() {
MSG="FATAL: $1"
# 完整消息落盘(文件不会被内核日志污染)
{
echo "$MSG"
echo "--- context ---"
echo "oci_dir=$OCI"
echo "expect_manifest=${EXPECT_MANIFEST:-none}"
echo "actual_manifest=${ACTUAL_MANIFEST:-none}"
echo "rootfs_files_anchor=${ANN_FILES:-none}"
echo "rootfs_links_anchor=${ANN_LINKS:-none}"
echo "kbc=${KBC:-none}"
echo "kbs_endpoint=${ENDPOINT:-none}"
} > "$RUN/fatal.log" 2>/dev/null || true
# 串口上尽力打一份。注意标记放在**行首且短** —— 串口是单通道,
# 内核 panic 日志一定会插进来,长消息的尾部会被截断
# (实测 `FATAL: 活 rootfs 文件 digest 与声明[内核日志]` 这样)。
# 关键标识(哪个文件对不上)必须放在**独立的短行开头**才 grep 得到。
echo "MPC_FAIL: $1"
echo "$MSG"
echo "$MSG" >&2
if [ -c /dev/console ]; then
echo "MPC_FAIL: $1" > /dev/console 2>/dev/null || true
fi
$BB sync 2>/dev/null || true
exit 1
}
USER_DATA=$(cmdval 'mpc\.tee\.user_data')
SITE=$(cmdval 'mpc\.tee\.site')
EXPECT_MANIFEST=$(cmdval 'mpc\.tee\.manifest')
SESSION=$(cmdval 'mpc\.tee\.session')
KBC=$(cmdval 'mpc\.tee\.kbs')
ROLE=$(cmdval 'mpc\.role')
PORT=$(cmdval 'mpc\.tee\.port')
[ -n "${PORT:-}" ] || PORT=19444
echo "site=${SITE:-none} role=${ROLE:-none} session_len=${#SESSION}"
if [ -e /dev/sev-guest ]; then echo "SNP device: present"; else echo "SNP device: absent"; fi
# --- 网卡配置(数据面 + KBS 面,两张卡)------------------------------------
#
# ★ 为什么必须两张网卡(2026-11-07 真机合流时挖出):
#
# · 跨 guest 密文会话走 qemu 的 **socket netdev** —— 那是**二层**点对点
# 链路,两端只有 10.0.0.1 / 10.0.0.2,没有网关、不做三层路由。
# · 访问宿主上的 KBS(先验证明才给密钥)走 **tap netdev** —— 那是**三层**
# 链路,guest 必须有同网段地址才能路由到宿主 bridge 上的 KBS。
#
# 两者**不能是同一张卡**:socket 那一侧没有 IP 路由,tap 那一侧拿不到
# 跨 guest 的对端地址。合成一张的结果是「会话连得上但取不到密钥」,
# 或者「取到密钥但会话连不上」——两种都容易被误判成 KBS 或会话的问题。
#
# ★ 网卡识别**按 MAC,不按枚举顺序**:
# /sys/class/net 的顺序 = PCI slot 顺序 = virtio 设备插入顺序,
# 换 qemu 版本或调整加卡顺序就会漂。init 里若靠「第几张卡」判断角色,
# 症状是「偶尔把地址配到错的卡上」——这种偶发失败比稳定失败难查得多。
# 所以部署层显式给出两张卡的 MAC,init 按 MAC 精确匹配;
# 匹配不到 ⇒ 直接 die(fail-closed),不「猜一张」。
#
# 兼容:两个 MAC 都不给时,退回单网卡老行为(第一张非 lo 网卡 + 角色地址)。
DATA_MAC=$(cmdval 'mpc\.tee\.data_mac')
KBS_MAC=$(cmdval 'mpc\.tee\.kbs_mac')
GUEST_IP=$(cmdval 'mpc\.tee\.ip')
IFACES=$($BB ls /sys/class/net | $BB grep -v '^lo$')
echo "ifaces=$(echo $IFACES | $BB tr '\n' ' ')"
# ★ 把每张卡的 MAC 打出来(稳定标识 `net_mac: <if> <mac>`)。
# 用途:判据要能核对「两侧 guest 的数据面 MAC 不相同」。
# 跨 guest 的 socket netdev 是**同一个二层域**,两端用同一个 MAC ⇒
# IPv6 链路本地地址冲突(真机实测:
# IPv6: eth0: IPv6 duplicate address fe80::ff:fe00:a01 used by ... detected!),
# 而且**会话照样能跑通** —— 这种「恰好没出问题」的隐患没有判据就等于没有。
for _i in $IFACES; do
echo "net_mac: $_i $($BB cat "/sys/class/net/$_i/address" 2>/dev/null | $BB tr 'A-Z' 'a-z')"
done
# 按 MAC 找网卡名。找不到返回非 0 —— 调用方必须 die,不许兜底。
iface_by_mac() {
for _i in $IFACES; do
_m=$($BB cat "/sys/class/net/$_i/address" 2>/dev/null | $BB tr 'A-Z' 'a-z')
if [ "$_m" = "$1" ]; then
echo "$_i"
return 0
fi
done
return 1
}
DATA_IF=""
KBS_IF=""
# ★ 数据面网卡**只在角色需要时**才是必需的。
#
# 角色 alice/bob 要跨 guest 做密文会话 ⇒ 必须有数据面网卡。
# 角色 none 只跑 guest 内自检 + 证明门控(取密钥),**不需要**数据面 ——
# 典型用途是「单侧验证证明链」(负向矩阵就是这么跑的)。
#
# 早先这里无条件要求「给 DATA_MAC 就必须找到这张卡」,于是 role=none
# 且部署层仍然带着数据面 MAC 时直接 die:
# MPC_FAIL: 找不到数据网卡(MAC=02:00:00:00:0a:02)
# 症状极具误导性:看起来像「网卡没挂上」,实际是**角色根本不需要它**。
# 更糟的是负向判据「没拿到密钥」会**假绿** —— guest 根本没走到证明那一步。
case "$ROLE" in
alice|bob)
if [ -n "$DATA_MAC" ]; then
DATA_IF=$(iface_by_mac "$DATA_MAC") || die "找不到数据网卡(MAC=${DATA_MAC})"
fi
;;
*)
# 没有数据面角色 ⇒ 给了 DATA_MAC 也**不据此判失败**(那张卡可能压根没挂)。
DATA_IF=""
;;
esac
if [ -n "$KBS_MAC" ]; then
KBS_IF=$(iface_by_mac "$KBS_MAC") || die "找不到 KBS 网卡(MAC=${KBS_MAC})"
fi
# 单网卡兼容:没给 MAC 时用第一张非 lo 网卡当数据卡。
# ★ 只在**确实需要数据面**时兜底:role=none 不需要数据面,
# 硬塞一张会把角色地址配到 KBS 面那张卡上(地址错配,很难查)。
case "$ROLE" in
alice|bob)
if [ -z "$DATA_IF" ] && [ -z "$KBS_IF" ]; then
DATA_IF=$($BB echo "$IFACES" | $BB awk '{print $1}')
fi
;;
esac
[ -n "$DATA_IF" ] || DATA_IF=${IFACE:-}
# role=none 时 DATA_IF 仍可能为空(没有 IFACE 变量),确保后续判断用 ${:-}。
DATA_IF=${DATA_IF:-}
# ★ role=none 不需要数据面 ⇒ 清掉兜底来的 IFACE。
case "$ROLE" in
alice|bob) ;;
*) DATA_IF="" ;;
esac
# 等 carrier 真正就绪。
#
# `ip link set up` 只是把网卡置为 UP,**carrier 未必已经就绪**。
# 真机实测(CSV + tap/bridge):guest 里
# [2.052105] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
# 这行出现在**证明提交之后**——而提交在 2.0x 就发起了,于是
# `attest-post` 报 "连 KBS 失败: Operation timed out (os error 110)"。
#
# 症状有迷惑性:网络配置看起来全对(地址有、路由有),但就是不通。
# 而且它是**竞态**:有时通有时不通,表现为「偶发失败」,极难排查。
#
# 所以这里显式轮询等 carrier 起来(最多等 10 秒)。等不到就明确
# 报「链路未就绪」,而不是让它在后面表现为一个语焉不详的超时。
wait_carrier() {
_if=$1
_i=0
while [ "$_i" -lt 100 ]; do
# busybox ip 的状态串里有 NO-CARRIER / LOWER_UP;带 LOWER_UP 即就绪。
if $BB ip link show "$_if" 2>/dev/null | $BB grep -q 'LOWER_UP'; then
return 0
fi
$BB sleep 0.1 2>/dev/null || $BB sleep 1
_i=$((_i + 1))
done
return 1
}
# 配一张网卡:up → 配址 → 等 carrier。
setup_iface() {
_if=$1
_addr=$2
_tag=$3
$BB ip link set "$_if" up || die "网卡 $_if 置 up 失败"
$BB ip addr add "$_addr" dev "$_if" || die "网卡 $_if 配址 $_addr 失败"
if ! wait_carrier "$_if"; then
echo "net_link: not ready ($_if)"
$BB ip link show "$_if" 2>/dev/null || true
die "网卡 $_if 链路未就绪(等 10 秒仍未 LOWER_UP)"
fi
echo "net_link: ready ($_if $_addr $_tag)"
$BB ip addr show "$_if" 2>/dev/null | $BB head -n 5 || true
}
# 数据面地址:按角色分配(跨 guest socket 直连)。
case "$ROLE" in
alice) DATA_ADDR=10.0.0.1/24 ;;
bob) DATA_ADDR=10.0.0.2/24 ;;
*) DATA_ADDR= ;;
esac
# KBS 面地址:部署层指定(tap/bridge 场景必须与宿主同网段)。
# CSV 真机的静态 qemu 没编 slirp,没有 NAT 网关,只能靠 tap 进宿主网段。
KBS_ADDR=${GUEST_IP:-10.99.0.2/24}
if [ -n "${DATA_IF:-}" ] && [ -n "$DATA_ADDR" ]; then
setup_iface "$DATA_IF" "$DATA_ADDR" data
fi
if [ -n "${KBS_IF:-}" ]; then
setup_iface "$KBS_IF" "$KBS_ADDR" kbs
# ★ 双网卡时**不加默认路由**。
# 两张卡都在 /24 直连网段里(数据面 10.0.0.0/24、KBS 面 10.99.0.0/24),
# 内核会自动生成 connected route,访问对端不需要默认路由。
# 加一条默认路由反而可能把「去 KBS 的包」发到数据面那张卡上,
# 表现为「guest 连 KBS 超时」——查起来会以为是 KBS 或 tap 的问题。
#
# 单网卡场景(老行为)保留原来的默认路由推导,slirp 那条路不能断。
if [ -z "${DATA_IF:-}" ]; then
GW=$($BB ip route show default 2>/dev/null | $BB awk '{print $3; exit}')
if [ -z "$GW" ]; then
case "$KBS_ADDR" in
10.0.0.*) GW=10.0.0.2 ;;
10.99.0.*) GW=10.99.0.1 ;;
esac
[ -n "$GW" ] && $BB ip route add default via "$GW" dev "$KBS_IF" 2>/dev/null || true
fi
fi
elif [ -n "${DATA_IF:-}" ] && [ -n "$DATA_ADDR" ]; then
# 纯单网卡(跨 guest socket 直连,无 KBS 面):保留默认路由推导。
GW=$($BB ip route show default 2>/dev/null | $BB awk '{print $3; exit}')
if [ -z "$GW" ]; then
case "$DATA_ADDR" in
10.0.0.*) GW=10.0.0.2 ;;
10.99.0.*) GW=10.99.0.1 ;;
esac
[ -n "$GW" ] && $BB ip route add default via "$GW" dev "$DATA_IF" 2>/dev/null || true
fi
fi
$BB ip route show 2>/dev/null | $BB head -n 8 || true
# --- 2. 逐层校验 OCI digest 链 -------------------------------------------------
#
# ★ 这三处统一走 `die`(不再直接 halt):`die` 会把**完整消息**落进
# $RUN/fatal.log。直接 `halt -f` 是**立刻断电、不刷 stdout** ——
# 串口上只剩内核一句 "Attempted to kill init!",
# 而「哪个文件对不上」才是排查的关键。
if [ ! -f "$OCI/layers.sha256" ]; then
die "镜像缺少 OCI 层校验清单"
fi
if ! ( cd "$OCI" && $BB sha256sum -c layers.sha256 ); then
die "OCI 层或 manifest/config 的 digest 与声明不符"
fi
echo "oci_layers: verified"
# --- 3. 把镜像度量钉到启动参数 ------------------------------------------------
ACTUAL_MANIFEST=$($BB cat /etc/mpc-tee/manifest.digest)
if [ -z "$EXPECT_MANIFEST" ] || [ "$EXPECT_MANIFEST" != "$ACTUAL_MANIFEST" ]; then
die "cmdline 的 manifest digest 与镜像不一致 (expect=${EXPECT_MANIFEST:-none})"
fi
if [ -z "$USER_DATA" ]; then
die "cmdline 没有会话绑定值"
fi
echo "manifest_digest=$ACTUAL_MANIFEST"
echo "user_data=$USER_DATA"
# --- 4. KBC 取密钥 -------------------------------------------------------------
# 在线:cc_kbc::http://HOST:PORT —— 由 mpc 自带的 KBS 客户端取资源
# 离线:offline_fs_kbc::null —— 仅演练,镜像里带固定测试密钥,显式警告
#
# token 来源优先级:
# 1) $RUN/attestation.token —— guest 内证明代理的产物(生产路径)
# 2) cmdline 的 mpc.tee.token —— 部署层注入(演练 / 负向矩阵用)
#
# ★★★ **没有 token 时必须留空**,不能兜底成 `offline-demo`:
# 下面的 4a 段用 `[ -z "$TOKEN" ]` 判断「要不要先去采证明」。
# 早先这里兜底成 `offline-demo` ⇒ 那个判断**永远不成立** ⇒
# guest **永远不去采证明** ⇒ 没有 $RUN/attestation.bundle ⇒
# 宿主判定停在 `pending` ⇒ 端点永不公布。
# 症状是「KBS 明明配了、guest 明明起来了,就是拿不到证明包」,
# 排查方向会被带到「KBS 侧 / 宿主侧」,而真因在这一行。
#
# `offline-demo` 这种占位 token 的正确位置是**离线演练**分支
# (offline_fs_kbc),那里本来就不采证明、密钥是镜像内置的。
TOKEN=$(cmdval 'mpc\.tee\.token')
if [ -f "$RUN/attestation.token" ]; then
TOKEN=$($BB cat "$RUN/attestation.token")
echo "attestation_token: from guest agent"
elif [ -n "$TOKEN" ]; then
echo "attestation_token: from cmdline"
else
TOKEN=""
echo "attestation_token: none (将先采证明再向 KBS 换取)"
fi
case "$KBC" in
cc_kbc::http://*)
ENDPOINT=${KBC#cc_kbc::http://}
ENDPOINT=${ENDPOINT%/}
echo "kbs_endpoint=$ENDPOINT"
# KBS 仓库名:默认 mpc(与 deploy/tee/kbs/serve.py 的资源布局一致)。
REPO=$(cmdval 'mpc\.tee\.kbs_repo')
[ -n "$REPO" ] || REPO=mpc
# 4a. 还没有 token 就先出证明、找 KBS 换一个。
#
# ★★★ 这一段是 Task #16「真 KBS 验签后的会话端点」的**前置条件**:
# guest 不采证明 ⇒ 没有 $RUN/attestation.bundle ⇒
# 下面第 5 节的回传**没有材料可传** ⇒ 宿主判定永远停在 `pending` ⇒
# 控制面 `proven_endpoints()` 永远为空 ⇒ 端点永不公布。
# 症状是「guest 起来了、KBS 也通了、就是端点不出现」,
# 排查方向很容易被带到「对账器/调度器」上,而真因在 guest 里。
#
# ★ 为什么 `attest-collect` 与 `attest-post` 必须**都在这里**:
# · collect:向芯片要一份报告,打包成证明包(挑战值 = 框架的绑定值,
# 所以报告里的 user_data 就是本轮绑定值,KBS 侧能据此判定
# 「这份报告确实是本轮会话的」);
# · post:把证明包交给 KBS,KBS **校验 + 芯片验签**通过才签 token;
# 凭 token 才能取 PSK/seed/root-key。
# 两步都在「取料之前」⇒ 密钥一定在证明之后才发下来。
#
# ★ 已有 token(部署层注入)⇒ 跳过(那是**演练 / 负向矩阵**的路)。
# 注意:那种情况下**没有证明包**,第 5 节的回传会跳过 ⇒
# 宿主判定停在 pending ⇒ 端点不公布 —— 这是**诚实**的失败。
if [ -z "$TOKEN" ]; then
PLATFORM=$(cmdval 'mpc\.tee\.platform')
[ -n "$PLATFORM" ] || PLATFORM=csv
echo "attestation_collect: platform=$PLATFORM"
if ! "$MPC" tee attest-collect --platform "$PLATFORM" \
--user-data "$USER_DATA" --out "$RUN/attestation.bundle" \
> "$RUN/attest-collect.log" 2>&1; then
ERR=$($BB tail -n 3 "$RUN/attest-collect.log" | $BB tr '\n' ' ')
die "证明采集失败: ${ERR:-无详情}"
fi
echo "attestation_collect: ok"
echo "attestation_post: endpoint=$ENDPOINT"
if ! "$MPC" tee attest-post --endpoint "$ENDPOINT" \
--bundle "$RUN/attestation.bundle" --session-id "$SESSION" \
--out "$RUN/attestation.token" > "$RUN/attest-post.log" 2>&1; then
ERR=$($BB tail -n 3 "$RUN/attest-post.log" | $BB tr '\n' ' ')
die "证明提交被 KBS 拒绝: ${ERR:-无详情}"
fi
TOKEN=$($BB cat "$RUN/attestation.token")
[ -n "$TOKEN" ] || die "KBS 未返回证明 token"
echo "attestation_post: ok"
else
echo "attestation_post: skipped (token 已提供)"
fi
for kind in psk seed root-key; do
# 参数名必须与 `mpc tee kbs-get` 的一致:--session-id / --repo / --kind。
# 早先这里写的是 `--session`,CLI 不认这个 flag,取回必然失败。
#
# mpc 的错误信息(KBS 返回码、IO 错误)要先落盘再 die ——
# 直接把 mpc 的输出丢给串口,会与内核 panic 日志交错、FATAL 被挤没,
# 而「为什么失败」才是排查的关键。
if ! "$MPC" tee kbs-get --endpoint "$ENDPOINT" \
--session-id "$SESSION" --repo "$REPO" --kind "$kind" --token "$TOKEN" \
--out "$RUN/$kind" > "$RUN/$kind.log" 2>&1; then
ERR=$($BB tail -n 2 "$RUN/$kind.log" | $BB tr '\n' ' ')
die "KBS 资源 $kind 取回失败: ${ERR:-无详情}"
fi
done
PSK_FILE="$RUN/psk"
SEED=$($BB cat "$RUN/seed")
echo "key_source=kbs"
;;
offline_fs_kbc::null)
echo "WARNING: 离线演练密钥,PSK/seed/root-key 内置在镜像里,禁止用于生产"
# ★ 离线分支**不采证明**(没有芯片报告可采),所以这里需要一个占位 token
# 才能继续往下走。占位值只在这一分支出现 —— 在线分支绝不能兜底它,
# 兜底了就等于「不采证明也能取料」(见上面 TOKEN 段的说明)。
[ -n "$TOKEN" ] || TOKEN=offline-demo
for kind in psk seed root-key; do
if [ ! -f "/etc/mpc-tee/offline/$kind" ]; then
die "离线密钥缺失: $kind"
fi
$BB cp "/etc/mpc-tee/offline/$kind" "$RUN/$kind"
done
PSK_FILE="$RUN/psk"
SEED=$($BB cat "$RUN/seed")
echo "key_source=offline-demo"
;;
*)
die "未知 KBC 模式: ${KBC:-none}"
;;
esac
# --- 5. 把证明材料回传给宿主控制面 --------------------------------------------
#
# ★ 这一段解决的是「宿主要**独立**判定证明」的前提:
# guest 采到的证明包在 guest 里,宿主在宿主上 ——
# 宿主拿不到原始字节,就只能复述提交者的结论(那等于自己给自己背书)。
# 所以 guest 必须把**原始证明包字节**回传上去。
#
# ★ 手牌从哪来:
# 宿主在 create 时生成一个**每实例一个**的上传令牌,
# 连同 sandbox_id 与宿主可达地址写进一个**每实例一个**的目录,
# 该目录以 **9p(virtfs)** 挂到 guest 的 /run/mpc-tee/hostd。
#
# ★ 为什么令牌**不**走内核命令行(mpc.tee.*):
# qemu 的 argv 在宿主上**明文可见**(ps 输出、shell 历史、审计日志)。
# 令牌泄露 ⇒ 任何本机用户都能往那个实例上传**伪造**的证明包
# ⇒ 而证据表正是**判定输入** ⇒ 端点会被公布出去。
# 这与全局共享密钥泄露同级(那能起/删任意 guest),按同一标准处理。
#
# ★ 挂不上 9p 时怎么办:**明确报错**。
# 此时 guest 没有手牌 ⇒ 传不回材料 ⇒ 宿主判定停在 `pending`
# ⇒ 端点不公布。那是**诚实**的失败。
# 但这里必须把原因**说出来**(`9p_hand_mount_failed`),
# 否则宿主侧只看到「pending」,排查方向会被带偏到「芯片/KBS 出问题了」。
#
# ★ 令牌**不**进 argv:用 `--token-file` 读文件,
# `--token` 才有落进进程列表的风险。
HAND_DIR=/run/mpc-tee/hostd
HAND_MOUNTED=no
if $BB mkdir -p "$HAND_DIR" 2>/dev/null; then
if $BB mount -t 9p -o trans=virtio,version=9p2000.L,ro mpchostd "$HAND_DIR" 2>/dev/null; then
HAND_MOUNTED=yes
else
# 再试一次不带 ro(某些 busybox 的 9p applet 不认 ro 选项)。
if $BB mount -t 9p -o trans=virtio,version=9p2000.L mpchostd "$HAND_DIR" 2>/dev/null; then
HAND_MOUNTED=yes
fi
fi
fi
HOSTD_EP=""
SANDBOX_ID=""
UPLOAD_TOKEN=""
UPLOAD_PATH=""
if [ "$HAND_MOUNTED" = "yes" ]; then
echo "hand_mount: ok ($HAND_DIR)"
HOSTD_EP=$($BB cat "$HAND_DIR/hostd_endpoint" 2>/dev/null)
SANDBOX_ID=$($BB cat "$HAND_DIR/sandbox_id" 2>/dev/null)
# ★ 手牌文件**不带尾随换行**(宿主写的时候就是一行),
# 这里仍要 trim 一次:多一个字节就会让令牌对不上,
# 症状是「明明有令牌却一直 401」。
UPLOAD_TOKEN=$($BB cat "$HAND_DIR/upload_token" 2>/dev/null | $BB tr -d '\r\n')
# ★ 上传路径由**宿主**下发(路由归宿主控制面管)。
# guest 侧**不自己拼** —— hostd 改路由时手牌跟着改,guest 不用动。
# 自己拼的话:hostd 改路由而 guest 不会跟着改 ⇒ 静默 POST 到
# 不存在的端点 ⇒ 宿主判定停在 pending ⇒ 端点永不公布。
UPLOAD_PATH=$($BB cat "$HAND_DIR/upload_path" 2>/dev/null | $BB tr -d '\r\n')
if [ -z "$HOSTD_EP" ] || [ -z "$SANDBOX_ID" ] || [ -z "$UPLOAD_TOKEN" ] || [ -z "$UPLOAD_PATH" ]; then
echo "hand_mount: incomplete (endpoint=${HOSTD_EP:-none} sandbox=${SANDBOX_ID:-none} token=${UPLOAD_TOKEN:+present}${UPLOAD_TOKEN:-none} path=${UPLOAD_PATH:+present}${UPLOAD_PATH:-none})"
HOSTD_EP=""
SANDBOX_ID=""
UPLOAD_TOKEN=""
UPLOAD_PATH=""
else
echo "hand_endpoint: $HOSTD_EP sandbox: $SANDBOX_ID"
fi
else
# ★ 挂不上不是致命错误:guest 的会话/取料链路不依赖它。
# 但必须**明确报出来** —— 宿主侧的判定会停在 pending,
# 而「为什么 pending」在这里。
echo "9p_hand_mount_failed: guest 内核可能没编 CONFIG_9P_FS/CONFIG_NET_9P;\
宿主控制面判定将停在 pending(端点不会公布)"
fi
# ★ 上传证明材料(只在证明包存在且手牌齐全时做)。
# 证明包可能不存在:离线 KBC 演练根本不去采证明。
if [ -f "$RUN/attestation.bundle" ] && [ -n "$HOSTD_EP" ] && [ -n "$SANDBOX_ID" ] && [ -n "$UPLOAD_TOKEN" ] && [ -n "$UPLOAD_PATH" ]; then
echo "attestation_upload: endpoint=$HOSTD_EP sandbox=$SANDBOX_ID"
# ★ 令牌走 --token-file(**不**进 argv)。
# ★ 上传路径走 --upload-path-file(**宿主下发的那个**,guest 不自己拼路由)。
if "$MPC" tee attest-upload --host "$HOSTD_EP" --sandbox "$SANDBOX_ID" \
--token-file "$HAND_DIR/upload_token" \
--upload-path-file "$HAND_DIR/upload_path" \
--bundle "$RUN/attestation.bundle" \
> "$RUN/attest-upload.log" 2>&1; then
echo "attestation_upload: ok"
else
# ★ 上传失败**不** die:guest 的会话/取料链路不依赖它,
# 失败只意味着宿主判定停在 pending(端点不公布)。
# 但原因必须落盘 + 打到串口 —— 否则宿主侧只看到 pending。
ERR=$($BB tail -n 3 "$RUN/attest-upload.log" 2>/dev/null | $BB tr '\n' ' ')
echo "attestation_upload_failed: ${ERR:-无详情}(宿主判定将停在 pending,端点不公布)"
fi
elif [ -f "$RUN/attestation.bundle" ]; then
echo "attestation_upload_skipped: 没有手牌(9p 未挂上或内容不全)"
else
echo "attestation_upload_skipped: 没有证明包(离线 KBC 演练不采证明)"
fi
echo "--- mpc selfcheck / selftest ---"
"$MPC" selfcheck --file "$MPC"
"$MPC" selftest | tail -6
# --- 5. 跨机密文会话(网卡已在前面就绪)--------------------------------------
case "$ROLE" in
alice)
"$MPC" node --site alice --sites alice,bob \
--listen 0.0.0.0:"$PORT" --data 1,2,3 \
--seed "$SEED" --psk-file "$PSK_FILE"
;;
bob)
"$MPC" node --site bob --sites alice,bob \
--connect 10.0.0.1:"$PORT" --data 4,5,6 \
--seed "$SEED" --psk-file "$PSK_FILE"
;;
*)
echo "(no role: guest selftest only)"
;;
esac
echo "===== MPC TEE GUEST DONE ====="
$BB halt -f 2>/dev/null || true