背景(Task #16「真 KBS 验签后的会话端点」的前置阻塞): 提交 27cbdc7(OP-TEE 那轮)把 deploy/tee/guest/init.sh 里的 die() 定义 与 attest-collect/attest-post 段一起删掉了,而**调用点还在**。 三个后果,每一个都会让「端点永不公布」且症状极具误导性: 1. die() 定义被删、调用点还在 ⇒ busybox sh 里 `die` 未定义 ⇒ 「command not found」返回非 0 但**脚本继续往下跑** ⇒ 网卡认不到、链路未就绪这些本该 fail-closed 的地方变成静默继续 ⇒ 安全门被拆。guest 照样打印后续日志、照样 halt, 看起来像「只是少了一条错误提示」。 2. attest-collect/attest-post 段被删 ⇒ guest **根本不产证明包** ⇒ 第 5 节的回传没有材料可传 ⇒ 宿主判定永远停在 pending ⇒ 控制面 proven_endpoints() 永远为空 ⇒ 端点永不公布。 症状是「guest 起来了、KBS 也通了、就是端点不出现」, 排查方向会被整个带到对账器/调度器/控制面上,而真因在 guest 里。 3. TOKEN 的兜底被改成 offline-demo ⇒ 4a 段用 `[ -z "$TOKEN" ]` 判断「要不要先去采证明」⇒ 该判断**永远不成立** ⇒ guest 永远不去采证明 ⇒ 同 2。 修法: - 恢复 die()(含 $RUN/fatal.log 落盘:直接 halt -f 是立刻断电不刷 stdout, 串口只剩内核一句 "Attempted to kill init!",而「哪个文件对不上」才是关键); - 恢复 4a 段(采集 → 提交 → 取料,采集失败一律 die); - TOKEN 无来源时**留空**(不兜底占位值),占位值只留在离线分支; - 第 2/3 节的 halt 统一走 die,口径一致。 守卫(3 条新测试 + 破坏实验逐条验证会红): - guest_init_die_is_defined_and_used:定义与调用点必须同时存在; - guest_init_collects_and_posts_attestation:采集/提交必须在取料之前; - guest_init_online_branch_does_not_fallback_to_offline_demo:在线分支禁占位 token。 ★ 判据本身也修了一个 bug:顺序类判据原先全文 find,被第 5 节**注释**里 出现的 "tee kbs-get" 骗到 ⇒ 改为只认真正执行的命令行(跳过注释行)。 判据自己有 bug 比没判据更坏:它会把正确实现判成错的。 ★ 三个构造样例(删 die 定义 / 删 attest-collect 调用 / 加回 offline-demo 兜底) 各自精确命中对应守卫,无交叉误伤。 顺带:入仓集群自报判据自测(tools/selftest-cluster-selfreport.py + break), 门禁加第 25 条;并修掉 cluster-selfreport-e2e.sh 的 remote() 回归 (脚本正文曾回到 argv 传密钥 ⇒ 密钥进远端 ps)。 验证:mpc-hostd 179 passed / 0 failed;guest ash 语法检查通过; 门禁第 25 条 6+5 条自测全绿。
604 lines
28 KiB
Bash
604 lines
28 KiB
Bash
#!/bin/busybox sh
|
||
# ssw-mpc TEE guest 的 PID 1(由 deploy/tee/oci/oci-image.py 放到 /init)。
|
||
#
|
||
# 启动顺序是 fail-closed 的:
|
||
# 1. 挂 /proc /sys /dev
|
||
# 2. 校验 OCI 层 digest 链(layers.sha256)
|
||
# 3. 校验 cmdline 里的 manifest digest 与镜像内的一致
|
||
# 4. 由 KBC/KBS 取回本轮会话的 PSK / seed / 根密钥(不再内置明文)
|
||
# 5. 才允许启动 mpc 做跨机密文会话
|
||
#
|
||
# 任何一步失败就 halt,绝不「先跑起来再说」。
|
||
#
|
||
# 边界:层 digest 校验防的是分发/拉取过程中的层被替换;能同时改 initrd 里
|
||
# /init 与校验清单的宿主不在防御范围内。芯片证明代理与证书链验签由验证方 /
|
||
# KBS 负责,这里只消费它的产物(token 文件),不自己验签。
|
||
|
||
set -u
|
||
BB=/bin/busybox
|
||
OCI=/etc/mpc-tee/oci
|
||
RUN=/run/mpc-tee
|
||
MPC=/mpc
|
||
|
||
$BB mkdir -p /proc /sys /dev "$RUN"
|
||
$BB mount -t proc proc /proc 2>/dev/null || true
|
||
$BB mount -t sysfs sysfs /sys 2>/dev/null || true
|
||
$BB mount -t devtmpfs devtmpfs /dev 2>/dev/null || true
|
||
|
||
# --- 0. stdout 必须真的连到串口 ---------------------------------------------
|
||
#
|
||
# ★ 这一段是「guest 明明成功了却一行日志都看不到」的根因修复。
|
||
#
|
||
# 内核 exec /init 时,会把 fd 0/1/2 接到 initramfs 里的 /dev/console。
|
||
# 如果那儿的 /dev/console 是**普通文件**(tar/cpio 打包时字符设备退化的
|
||
# 常见结果 —— oci-image.py 注释里也记着这个坑),init 的所有 stdout
|
||
# 就被写进了那个普通文件里,**串口上一行都看不到**。
|
||
#
|
||
# 真机实测(AMD SNP,2026-11-07):
|
||
# · 内核 printk 日志正常出现在串口(内核走 console driver,不依赖 /dev)
|
||
# · init 的 echo 一行都不出现(走 fd 1 → 普通文件)
|
||
# · 而 KBS 日志里 guest 其实**早就成功了**:
|
||
# POST /kbs/v0/attestation 200
|
||
# GET /kbs/v0/resource/mpc/{psk,seed,root-key} 200
|
||
# —— 链路是通的,只是「采集端什么都收不到」,
|
||
# 表现得像「证明门控没走通」,排查方向被整个带偏。
|
||
#
|
||
# 修法两步:
|
||
# 1) 保证 /dev/console 是**真的字符设备**(5:1):
|
||
# devtmpfs 挂得上就用它;挂不上(内核没编 CONFIG_DEVTMPFS)就自己 mknod。
|
||
# 2) 把 stdout/stderr **重新**接到 /dev/console —— 内核 exec init 时绑的是
|
||
# exec 之前那一刻的 /dev/console,即使那个文件后来被换成设备节点,
|
||
# 已经打开的 fd 1 仍指向旧的文件描述符,不会自动切换。
|
||
if [ ! -c /dev/console ]; then
|
||
$BB rm -f /dev/console 2>/dev/null || true
|
||
$BB mknod /dev/console c 5 1 2>/dev/null || true
|
||
$BB chmod 666 /dev/console 2>/dev/null || true
|
||
fi
|
||
if [ -c /dev/console ]; then
|
||
exec > /dev/console 2>&1
|
||
fi
|
||
|
||
echo "===== MPC TEE GUEST BOOT (OCI layers) ====="
|
||
echo "kernel: $($BB uname -r)"
|
||
echo "cmdline: $($BB cat /proc/cmdline)"
|
||
|
||
# --- 1. 网卡(必须在 KBC 取料之前就绪)--------------------------------------
|
||
# 在线 KBC 要访问宿主上的 KBS,取料动作本身就依赖网络。
|
||
# 早先把网络配置放在最后(跟跨 guest 会话一起),于是 KBC 取料时
|
||
# guest 还没配 IP,报的是 "连 KBS 失败: Network unreachable" —— 看起来
|
||
# 像 KBS 不可达,实际是本机网卡还没起来。
|
||
IFACE=$($BB ls /sys/class/net | $BB grep -v '^lo$' | $BB head -n 1)
|
||
echo "iface=${IFACE:-none}"
|
||
|
||
cmdval() {
|
||
$BB sed -n "s/.*$1=\\([^ ]*\\).*/\\1/p" /proc/cmdline | $BB head -n 1
|
||
}
|
||
|
||
# fail-closed 的统一出口。
|
||
#
|
||
# ★★ 为什么这个函数**必须存在**(2026-11-09 真机联调时挖出的真 bug):
|
||
# 提交 27cbdc7(OP-TEE 那轮)把本函数**删掉了**,但**调用点还在**
|
||
# (下面 154/163/216/217/221 行都在调 `die`)。于是:
|
||
# · busybox/sh 里 `die` 未定义 ⇒ 调它就是「command not found」⇒
|
||
# **函数返回非 0 但脚本继续往下跑** ⇒
|
||
# 「找不到数据网卡」「链路未就绪」这些本该 fail-closed 的地方
|
||
# 变成了**静默继续** ⇒ guest 带着半残的网络继续跑。
|
||
# 症状极具迷惑性:guest 照样打印后续的日志、照样 halt,
|
||
# 看起来像「只是少了一条错误提示」,实际是**安全门被拆了**。
|
||
# ⇒ 必须有守卫测试钉死「`die` 的定义与调用点同时存在」。
|
||
#
|
||
# 早先这里直接 `halt -f`:**立刻断电,不刷 stdout**。于是 guest 明明检测到
|
||
# 「层 digest 与声明不符」,串口上却只看到内核一句
|
||
# "Attempted to kill init! exitcode=0x00000200"
|
||
# 排查时完全看不出是哪一步拦下的 —— FAIL 日志被电源切断了。
|
||
#
|
||
# 改成 `echo FATAL; sync; exit 1` 之后仍有两处丢消息:
|
||
#
|
||
# ① 调用方(如 `mpc tee kbs-get` 失败)刚往 stderr 写过东西,内核紧接着
|
||
# 又灌一段 panic 日志,串口输出交错 —— FATAL 那行被挤没了;
|
||
# ② 即便 FATAL 打出来了,也会被内核日志**从中间截断**,实测长这样:
|
||
# FATAL: 活 rootfs 文件 digest 与声明[内核日志插入] 1.642489] Kernel panic ...
|
||
# —— 关键信息(哪个文件对不上)正好落在被截掉的那一段里。
|
||
#
|
||
# 解法:**先把消息完整落到一个文件,再让内核去 panic**。
|
||
# 串口是单通道,内核日志一定会插进来;但文件不受影响。
|
||
# 于是 die 分两步:
|
||
# 1. 消息写进 $RUN/fatal.log(并同时打一份到串口,尽力而为);
|
||
# 2. exit 1 → 内核 panic 会把 init 的退出码打到串口(0x100)。
|
||
# 负向矩阵据此判定:串口看到 exitcode=0x100(init 自己退的)+
|
||
# fatal.log 里有完整消息 → fail-closed 成立。
|
||
die() {
|
||
MSG="FATAL: $1"
|
||
# 完整消息落盘(文件不会被内核日志污染)
|
||
{
|
||
echo "$MSG"
|
||
echo "--- context ---"
|
||
echo "oci_dir=$OCI"
|
||
echo "expect_manifest=${EXPECT_MANIFEST:-none}"
|
||
echo "actual_manifest=${ACTUAL_MANIFEST:-none}"
|
||
echo "rootfs_files_anchor=${ANN_FILES:-none}"
|
||
echo "rootfs_links_anchor=${ANN_LINKS:-none}"
|
||
echo "kbc=${KBC:-none}"
|
||
echo "kbs_endpoint=${ENDPOINT:-none}"
|
||
} > "$RUN/fatal.log" 2>/dev/null || true
|
||
# 串口上尽力打一份。注意标记放在**行首且短** —— 串口是单通道,
|
||
# 内核 panic 日志一定会插进来,长消息的尾部会被截断
|
||
# (实测 `FATAL: 活 rootfs 文件 digest 与声明[内核日志]` 这样)。
|
||
# 关键标识(哪个文件对不上)必须放在**独立的短行开头**才 grep 得到。
|
||
echo "MPC_FAIL: $1"
|
||
echo "$MSG"
|
||
echo "$MSG" >&2
|
||
if [ -c /dev/console ]; then
|
||
echo "MPC_FAIL: $1" > /dev/console 2>/dev/null || true
|
||
fi
|
||
$BB sync 2>/dev/null || true
|
||
exit 1
|
||
}
|
||
USER_DATA=$(cmdval 'mpc\.tee\.user_data')
|
||
SITE=$(cmdval 'mpc\.tee\.site')
|
||
EXPECT_MANIFEST=$(cmdval 'mpc\.tee\.manifest')
|
||
SESSION=$(cmdval 'mpc\.tee\.session')
|
||
KBC=$(cmdval 'mpc\.tee\.kbs')
|
||
ROLE=$(cmdval 'mpc\.role')
|
||
PORT=$(cmdval 'mpc\.tee\.port')
|
||
[ -n "${PORT:-}" ] || PORT=19444
|
||
|
||
echo "site=${SITE:-none} role=${ROLE:-none} session_len=${#SESSION}"
|
||
if [ -e /dev/sev-guest ]; then echo "SNP device: present"; else echo "SNP device: absent"; fi
|
||
|
||
# --- 网卡配置(数据面 + KBS 面,两张卡)------------------------------------
|
||
#
|
||
# ★ 为什么必须两张网卡(2026-11-07 真机合流时挖出):
|
||
#
|
||
# · 跨 guest 密文会话走 qemu 的 **socket netdev** —— 那是**二层**点对点
|
||
# 链路,两端只有 10.0.0.1 / 10.0.0.2,没有网关、不做三层路由。
|
||
# · 访问宿主上的 KBS(先验证明才给密钥)走 **tap netdev** —— 那是**三层**
|
||
# 链路,guest 必须有同网段地址才能路由到宿主 bridge 上的 KBS。
|
||
#
|
||
# 两者**不能是同一张卡**:socket 那一侧没有 IP 路由,tap 那一侧拿不到
|
||
# 跨 guest 的对端地址。合成一张的结果是「会话连得上但取不到密钥」,
|
||
# 或者「取到密钥但会话连不上」——两种都容易被误判成 KBS 或会话的问题。
|
||
#
|
||
# ★ 网卡识别**按 MAC,不按枚举顺序**:
|
||
# /sys/class/net 的顺序 = PCI slot 顺序 = virtio 设备插入顺序,
|
||
# 换 qemu 版本或调整加卡顺序就会漂。init 里若靠「第几张卡」判断角色,
|
||
# 症状是「偶尔把地址配到错的卡上」——这种偶发失败比稳定失败难查得多。
|
||
# 所以部署层显式给出两张卡的 MAC,init 按 MAC 精确匹配;
|
||
# 匹配不到 ⇒ 直接 die(fail-closed),不「猜一张」。
|
||
#
|
||
# 兼容:两个 MAC 都不给时,退回单网卡老行为(第一张非 lo 网卡 + 角色地址)。
|
||
|
||
DATA_MAC=$(cmdval 'mpc\.tee\.data_mac')
|
||
KBS_MAC=$(cmdval 'mpc\.tee\.kbs_mac')
|
||
GUEST_IP=$(cmdval 'mpc\.tee\.ip')
|
||
IFACES=$($BB ls /sys/class/net | $BB grep -v '^lo$')
|
||
echo "ifaces=$(echo $IFACES | $BB tr '\n' ' ')"
|
||
|
||
# ★ 把每张卡的 MAC 打出来(稳定标识 `net_mac: <if> <mac>`)。
|
||
# 用途:判据要能核对「两侧 guest 的数据面 MAC 不相同」。
|
||
# 跨 guest 的 socket netdev 是**同一个二层域**,两端用同一个 MAC ⇒
|
||
# IPv6 链路本地地址冲突(真机实测:
|
||
# IPv6: eth0: IPv6 duplicate address fe80::ff:fe00:a01 used by ... detected!),
|
||
# 而且**会话照样能跑通** —— 这种「恰好没出问题」的隐患没有判据就等于没有。
|
||
for _i in $IFACES; do
|
||
echo "net_mac: $_i $($BB cat "/sys/class/net/$_i/address" 2>/dev/null | $BB tr 'A-Z' 'a-z')"
|
||
done
|
||
|
||
# 按 MAC 找网卡名。找不到返回非 0 —— 调用方必须 die,不许兜底。
|
||
iface_by_mac() {
|
||
for _i in $IFACES; do
|
||
_m=$($BB cat "/sys/class/net/$_i/address" 2>/dev/null | $BB tr 'A-Z' 'a-z')
|
||
if [ "$_m" = "$1" ]; then
|
||
echo "$_i"
|
||
return 0
|
||
fi
|
||
done
|
||
return 1
|
||
}
|
||
|
||
DATA_IF=""
|
||
KBS_IF=""
|
||
# ★ 数据面网卡**只在角色需要时**才是必需的。
|
||
#
|
||
# 角色 alice/bob 要跨 guest 做密文会话 ⇒ 必须有数据面网卡。
|
||
# 角色 none 只跑 guest 内自检 + 证明门控(取密钥),**不需要**数据面 ——
|
||
# 典型用途是「单侧验证证明链」(负向矩阵就是这么跑的)。
|
||
#
|
||
# 早先这里无条件要求「给 DATA_MAC 就必须找到这张卡」,于是 role=none
|
||
# 且部署层仍然带着数据面 MAC 时直接 die:
|
||
# MPC_FAIL: 找不到数据网卡(MAC=02:00:00:00:0a:02)
|
||
# 症状极具误导性:看起来像「网卡没挂上」,实际是**角色根本不需要它**。
|
||
# 更糟的是负向判据「没拿到密钥」会**假绿** —— guest 根本没走到证明那一步。
|
||
case "$ROLE" in
|
||
alice|bob)
|
||
if [ -n "$DATA_MAC" ]; then
|
||
DATA_IF=$(iface_by_mac "$DATA_MAC") || die "找不到数据网卡(MAC=${DATA_MAC})"
|
||
fi
|
||
;;
|
||
*)
|
||
# 没有数据面角色 ⇒ 给了 DATA_MAC 也**不据此判失败**(那张卡可能压根没挂)。
|
||
DATA_IF=""
|
||
;;
|
||
esac
|
||
if [ -n "$KBS_MAC" ]; then
|
||
KBS_IF=$(iface_by_mac "$KBS_MAC") || die "找不到 KBS 网卡(MAC=${KBS_MAC})"
|
||
fi
|
||
# 单网卡兼容:没给 MAC 时用第一张非 lo 网卡当数据卡。
|
||
# ★ 只在**确实需要数据面**时兜底:role=none 不需要数据面,
|
||
# 硬塞一张会把角色地址配到 KBS 面那张卡上(地址错配,很难查)。
|
||
case "$ROLE" in
|
||
alice|bob)
|
||
if [ -z "$DATA_IF" ] && [ -z "$KBS_IF" ]; then
|
||
DATA_IF=$($BB echo "$IFACES" | $BB awk '{print $1}')
|
||
fi
|
||
;;
|
||
esac
|
||
[ -n "$DATA_IF" ] || DATA_IF=${IFACE:-}
|
||
# role=none 时 DATA_IF 仍可能为空(没有 IFACE 变量),确保后续判断用 ${:-}。
|
||
DATA_IF=${DATA_IF:-}
|
||
# ★ role=none 不需要数据面 ⇒ 清掉兜底来的 IFACE。
|
||
case "$ROLE" in
|
||
alice|bob) ;;
|
||
*) DATA_IF="" ;;
|
||
esac
|
||
|
||
# 等 carrier 真正就绪。
|
||
#
|
||
# `ip link set up` 只是把网卡置为 UP,**carrier 未必已经就绪**。
|
||
# 真机实测(CSV + tap/bridge):guest 里
|
||
# [2.052105] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
|
||
# 这行出现在**证明提交之后**——而提交在 2.0x 就发起了,于是
|
||
# `attest-post` 报 "连 KBS 失败: Operation timed out (os error 110)"。
|
||
#
|
||
# 症状有迷惑性:网络配置看起来全对(地址有、路由有),但就是不通。
|
||
# 而且它是**竞态**:有时通有时不通,表现为「偶发失败」,极难排查。
|
||
#
|
||
# 所以这里显式轮询等 carrier 起来(最多等 10 秒)。等不到就明确
|
||
# 报「链路未就绪」,而不是让它在后面表现为一个语焉不详的超时。
|
||
wait_carrier() {
|
||
_if=$1
|
||
_i=0
|
||
while [ "$_i" -lt 100 ]; do
|
||
# busybox ip 的状态串里有 NO-CARRIER / LOWER_UP;带 LOWER_UP 即就绪。
|
||
if $BB ip link show "$_if" 2>/dev/null | $BB grep -q 'LOWER_UP'; then
|
||
return 0
|
||
fi
|
||
$BB sleep 0.1 2>/dev/null || $BB sleep 1
|
||
_i=$((_i + 1))
|
||
done
|
||
return 1
|
||
}
|
||
|
||
# 配一张网卡:up → 配址 → 等 carrier。
|
||
setup_iface() {
|
||
_if=$1
|
||
_addr=$2
|
||
_tag=$3
|
||
$BB ip link set "$_if" up || die "网卡 $_if 置 up 失败"
|
||
$BB ip addr add "$_addr" dev "$_if" || die "网卡 $_if 配址 $_addr 失败"
|
||
if ! wait_carrier "$_if"; then
|
||
echo "net_link: not ready ($_if)"
|
||
$BB ip link show "$_if" 2>/dev/null || true
|
||
die "网卡 $_if 链路未就绪(等 10 秒仍未 LOWER_UP)"
|
||
fi
|
||
echo "net_link: ready ($_if $_addr $_tag)"
|
||
$BB ip addr show "$_if" 2>/dev/null | $BB head -n 5 || true
|
||
}
|
||
|
||
# 数据面地址:按角色分配(跨 guest socket 直连)。
|
||
case "$ROLE" in
|
||
alice) DATA_ADDR=10.0.0.1/24 ;;
|
||
bob) DATA_ADDR=10.0.0.2/24 ;;
|
||
*) DATA_ADDR= ;;
|
||
esac
|
||
|
||
# KBS 面地址:部署层指定(tap/bridge 场景必须与宿主同网段)。
|
||
# CSV 真机的静态 qemu 没编 slirp,没有 NAT 网关,只能靠 tap 进宿主网段。
|
||
KBS_ADDR=${GUEST_IP:-10.99.0.2/24}
|
||
|
||
if [ -n "${DATA_IF:-}" ] && [ -n "$DATA_ADDR" ]; then
|
||
setup_iface "$DATA_IF" "$DATA_ADDR" data
|
||
fi
|
||
if [ -n "${KBS_IF:-}" ]; then
|
||
setup_iface "$KBS_IF" "$KBS_ADDR" kbs
|
||
# ★ 双网卡时**不加默认路由**。
|
||
# 两张卡都在 /24 直连网段里(数据面 10.0.0.0/24、KBS 面 10.99.0.0/24),
|
||
# 内核会自动生成 connected route,访问对端不需要默认路由。
|
||
# 加一条默认路由反而可能把「去 KBS 的包」发到数据面那张卡上,
|
||
# 表现为「guest 连 KBS 超时」——查起来会以为是 KBS 或 tap 的问题。
|
||
#
|
||
# 单网卡场景(老行为)保留原来的默认路由推导,slirp 那条路不能断。
|
||
if [ -z "${DATA_IF:-}" ]; then
|
||
GW=$($BB ip route show default 2>/dev/null | $BB awk '{print $3; exit}')
|
||
if [ -z "$GW" ]; then
|
||
case "$KBS_ADDR" in
|
||
10.0.0.*) GW=10.0.0.2 ;;
|
||
10.99.0.*) GW=10.99.0.1 ;;
|
||
esac
|
||
[ -n "$GW" ] && $BB ip route add default via "$GW" dev "$KBS_IF" 2>/dev/null || true
|
||
fi
|
||
fi
|
||
elif [ -n "${DATA_IF:-}" ] && [ -n "$DATA_ADDR" ]; then
|
||
# 纯单网卡(跨 guest socket 直连,无 KBS 面):保留默认路由推导。
|
||
GW=$($BB ip route show default 2>/dev/null | $BB awk '{print $3; exit}')
|
||
if [ -z "$GW" ]; then
|
||
case "$DATA_ADDR" in
|
||
10.0.0.*) GW=10.0.0.2 ;;
|
||
10.99.0.*) GW=10.99.0.1 ;;
|
||
esac
|
||
[ -n "$GW" ] && $BB ip route add default via "$GW" dev "$DATA_IF" 2>/dev/null || true
|
||
fi
|
||
fi
|
||
$BB ip route show 2>/dev/null | $BB head -n 8 || true
|
||
|
||
# --- 2. 逐层校验 OCI digest 链 -------------------------------------------------
|
||
#
|
||
# ★ 这三处统一走 `die`(不再直接 halt):`die` 会把**完整消息**落进
|
||
# $RUN/fatal.log。直接 `halt -f` 是**立刻断电、不刷 stdout** ——
|
||
# 串口上只剩内核一句 "Attempted to kill init!",
|
||
# 而「哪个文件对不上」才是排查的关键。
|
||
if [ ! -f "$OCI/layers.sha256" ]; then
|
||
die "镜像缺少 OCI 层校验清单"
|
||
fi
|
||
if ! ( cd "$OCI" && $BB sha256sum -c layers.sha256 ); then
|
||
die "OCI 层或 manifest/config 的 digest 与声明不符"
|
||
fi
|
||
echo "oci_layers: verified"
|
||
|
||
# --- 3. 把镜像度量钉到启动参数 ------------------------------------------------
|
||
ACTUAL_MANIFEST=$($BB cat /etc/mpc-tee/manifest.digest)
|
||
if [ -z "$EXPECT_MANIFEST" ] || [ "$EXPECT_MANIFEST" != "$ACTUAL_MANIFEST" ]; then
|
||
die "cmdline 的 manifest digest 与镜像不一致 (expect=${EXPECT_MANIFEST:-none})"
|
||
fi
|
||
if [ -z "$USER_DATA" ]; then
|
||
die "cmdline 没有会话绑定值"
|
||
fi
|
||
echo "manifest_digest=$ACTUAL_MANIFEST"
|
||
echo "user_data=$USER_DATA"
|
||
|
||
# --- 4. KBC 取密钥 -------------------------------------------------------------
|
||
# 在线:cc_kbc::http://HOST:PORT —— 由 mpc 自带的 KBS 客户端取资源
|
||
# 离线:offline_fs_kbc::null —— 仅演练,镜像里带固定测试密钥,显式警告
|
||
#
|
||
# token 来源优先级:
|
||
# 1) $RUN/attestation.token —— guest 内证明代理的产物(生产路径)
|
||
# 2) cmdline 的 mpc.tee.token —— 部署层注入(演练 / 负向矩阵用)
|
||
#
|
||
# ★★★ **没有 token 时必须留空**,不能兜底成 `offline-demo`:
|
||
# 下面的 4a 段用 `[ -z "$TOKEN" ]` 判断「要不要先去采证明」。
|
||
# 早先这里兜底成 `offline-demo` ⇒ 那个判断**永远不成立** ⇒
|
||
# guest **永远不去采证明** ⇒ 没有 $RUN/attestation.bundle ⇒
|
||
# 宿主判定停在 `pending` ⇒ 端点永不公布。
|
||
# 症状是「KBS 明明配了、guest 明明起来了,就是拿不到证明包」,
|
||
# 排查方向会被带到「KBS 侧 / 宿主侧」,而真因在这一行。
|
||
#
|
||
# `offline-demo` 这种占位 token 的正确位置是**离线演练**分支
|
||
# (offline_fs_kbc),那里本来就不采证明、密钥是镜像内置的。
|
||
TOKEN=$(cmdval 'mpc\.tee\.token')
|
||
if [ -f "$RUN/attestation.token" ]; then
|
||
TOKEN=$($BB cat "$RUN/attestation.token")
|
||
echo "attestation_token: from guest agent"
|
||
elif [ -n "$TOKEN" ]; then
|
||
echo "attestation_token: from cmdline"
|
||
else
|
||
TOKEN=""
|
||
echo "attestation_token: none (将先采证明再向 KBS 换取)"
|
||
fi
|
||
|
||
case "$KBC" in
|
||
cc_kbc::http://*)
|
||
ENDPOINT=${KBC#cc_kbc::http://}
|
||
ENDPOINT=${ENDPOINT%/}
|
||
echo "kbs_endpoint=$ENDPOINT"
|
||
# KBS 仓库名:默认 mpc(与 deploy/tee/kbs/serve.py 的资源布局一致)。
|
||
REPO=$(cmdval 'mpc\.tee\.kbs_repo')
|
||
[ -n "$REPO" ] || REPO=mpc
|
||
|
||
# 4a. 还没有 token 就先出证明、找 KBS 换一个。
|
||
#
|
||
# ★★★ 这一段是 Task #16「真 KBS 验签后的会话端点」的**前置条件**:
|
||
# guest 不采证明 ⇒ 没有 $RUN/attestation.bundle ⇒
|
||
# 下面第 5 节的回传**没有材料可传** ⇒ 宿主判定永远停在 `pending` ⇒
|
||
# 控制面 `proven_endpoints()` 永远为空 ⇒ 端点永不公布。
|
||
# 症状是「guest 起来了、KBS 也通了、就是端点不出现」,
|
||
# 排查方向很容易被带到「对账器/调度器」上,而真因在 guest 里。
|
||
#
|
||
# ★ 为什么 `attest-collect` 与 `attest-post` 必须**都在这里**:
|
||
# · collect:向芯片要一份报告,打包成证明包(挑战值 = 框架的绑定值,
|
||
# 所以报告里的 user_data 就是本轮绑定值,KBS 侧能据此判定
|
||
# 「这份报告确实是本轮会话的」);
|
||
# · post:把证明包交给 KBS,KBS **校验 + 芯片验签**通过才签 token;
|
||
# 凭 token 才能取 PSK/seed/root-key。
|
||
# 两步都在「取料之前」⇒ 密钥一定在证明之后才发下来。
|
||
#
|
||
# ★ 已有 token(部署层注入)⇒ 跳过(那是**演练 / 负向矩阵**的路)。
|
||
# 注意:那种情况下**没有证明包**,第 5 节的回传会跳过 ⇒
|
||
# 宿主判定停在 pending ⇒ 端点不公布 —— 这是**诚实**的失败。
|
||
if [ -z "$TOKEN" ]; then
|
||
PLATFORM=$(cmdval 'mpc\.tee\.platform')
|
||
[ -n "$PLATFORM" ] || PLATFORM=csv
|
||
echo "attestation_collect: platform=$PLATFORM"
|
||
if ! "$MPC" tee attest-collect --platform "$PLATFORM" \
|
||
--user-data "$USER_DATA" --out "$RUN/attestation.bundle" \
|
||
> "$RUN/attest-collect.log" 2>&1; then
|
||
ERR=$($BB tail -n 3 "$RUN/attest-collect.log" | $BB tr '\n' ' ')
|
||
die "证明采集失败: ${ERR:-无详情}"
|
||
fi
|
||
echo "attestation_collect: ok"
|
||
|
||
echo "attestation_post: endpoint=$ENDPOINT"
|
||
if ! "$MPC" tee attest-post --endpoint "$ENDPOINT" \
|
||
--bundle "$RUN/attestation.bundle" --session-id "$SESSION" \
|
||
--out "$RUN/attestation.token" > "$RUN/attest-post.log" 2>&1; then
|
||
ERR=$($BB tail -n 3 "$RUN/attest-post.log" | $BB tr '\n' ' ')
|
||
die "证明提交被 KBS 拒绝: ${ERR:-无详情}"
|
||
fi
|
||
TOKEN=$($BB cat "$RUN/attestation.token")
|
||
[ -n "$TOKEN" ] || die "KBS 未返回证明 token"
|
||
echo "attestation_post: ok"
|
||
else
|
||
echo "attestation_post: skipped (token 已提供)"
|
||
fi
|
||
|
||
for kind in psk seed root-key; do
|
||
# 参数名必须与 `mpc tee kbs-get` 的一致:--session-id / --repo / --kind。
|
||
# 早先这里写的是 `--session`,CLI 不认这个 flag,取回必然失败。
|
||
#
|
||
# mpc 的错误信息(KBS 返回码、IO 错误)要先落盘再 die ——
|
||
# 直接把 mpc 的输出丢给串口,会与内核 panic 日志交错、FATAL 被挤没,
|
||
# 而「为什么失败」才是排查的关键。
|
||
if ! "$MPC" tee kbs-get --endpoint "$ENDPOINT" \
|
||
--session-id "$SESSION" --repo "$REPO" --kind "$kind" --token "$TOKEN" \
|
||
--out "$RUN/$kind" > "$RUN/$kind.log" 2>&1; then
|
||
ERR=$($BB tail -n 2 "$RUN/$kind.log" | $BB tr '\n' ' ')
|
||
die "KBS 资源 $kind 取回失败: ${ERR:-无详情}"
|
||
fi
|
||
done
|
||
PSK_FILE="$RUN/psk"
|
||
SEED=$($BB cat "$RUN/seed")
|
||
echo "key_source=kbs"
|
||
;;
|
||
offline_fs_kbc::null)
|
||
echo "WARNING: 离线演练密钥,PSK/seed/root-key 内置在镜像里,禁止用于生产"
|
||
# ★ 离线分支**不采证明**(没有芯片报告可采),所以这里需要一个占位 token
|
||
# 才能继续往下走。占位值只在这一分支出现 —— 在线分支绝不能兜底它,
|
||
# 兜底了就等于「不采证明也能取料」(见上面 TOKEN 段的说明)。
|
||
[ -n "$TOKEN" ] || TOKEN=offline-demo
|
||
for kind in psk seed root-key; do
|
||
if [ ! -f "/etc/mpc-tee/offline/$kind" ]; then
|
||
die "离线密钥缺失: $kind"
|
||
fi
|
||
$BB cp "/etc/mpc-tee/offline/$kind" "$RUN/$kind"
|
||
done
|
||
PSK_FILE="$RUN/psk"
|
||
SEED=$($BB cat "$RUN/seed")
|
||
echo "key_source=offline-demo"
|
||
;;
|
||
*)
|
||
die "未知 KBC 模式: ${KBC:-none}"
|
||
;;
|
||
esac
|
||
|
||
# --- 5. 把证明材料回传给宿主控制面 --------------------------------------------
|
||
#
|
||
# ★ 这一段解决的是「宿主要**独立**判定证明」的前提:
|
||
# guest 采到的证明包在 guest 里,宿主在宿主上 ——
|
||
# 宿主拿不到原始字节,就只能复述提交者的结论(那等于自己给自己背书)。
|
||
# 所以 guest 必须把**原始证明包字节**回传上去。
|
||
#
|
||
# ★ 手牌从哪来:
|
||
# 宿主在 create 时生成一个**每实例一个**的上传令牌,
|
||
# 连同 sandbox_id 与宿主可达地址写进一个**每实例一个**的目录,
|
||
# 该目录以 **9p(virtfs)** 挂到 guest 的 /run/mpc-tee/hostd。
|
||
#
|
||
# ★ 为什么令牌**不**走内核命令行(mpc.tee.*):
|
||
# qemu 的 argv 在宿主上**明文可见**(ps 输出、shell 历史、审计日志)。
|
||
# 令牌泄露 ⇒ 任何本机用户都能往那个实例上传**伪造**的证明包
|
||
# ⇒ 而证据表正是**判定输入** ⇒ 端点会被公布出去。
|
||
# 这与全局共享密钥泄露同级(那能起/删任意 guest),按同一标准处理。
|
||
#
|
||
# ★ 挂不上 9p 时怎么办:**明确报错**。
|
||
# 此时 guest 没有手牌 ⇒ 传不回材料 ⇒ 宿主判定停在 `pending`
|
||
# ⇒ 端点不公布。那是**诚实**的失败。
|
||
# 但这里必须把原因**说出来**(`9p_hand_mount_failed`),
|
||
# 否则宿主侧只看到「pending」,排查方向会被带偏到「芯片/KBS 出问题了」。
|
||
#
|
||
# ★ 令牌**不**进 argv:用 `--token-file` 读文件,
|
||
# `--token` 才有落进进程列表的风险。
|
||
|
||
HAND_DIR=/run/mpc-tee/hostd
|
||
HAND_MOUNTED=no
|
||
if $BB mkdir -p "$HAND_DIR" 2>/dev/null; then
|
||
if $BB mount -t 9p -o trans=virtio,version=9p2000.L,ro mpchostd "$HAND_DIR" 2>/dev/null; then
|
||
HAND_MOUNTED=yes
|
||
else
|
||
# 再试一次不带 ro(某些 busybox 的 9p applet 不认 ro 选项)。
|
||
if $BB mount -t 9p -o trans=virtio,version=9p2000.L mpchostd "$HAND_DIR" 2>/dev/null; then
|
||
HAND_MOUNTED=yes
|
||
fi
|
||
fi
|
||
fi
|
||
|
||
HOSTD_EP=""
|
||
SANDBOX_ID=""
|
||
UPLOAD_TOKEN=""
|
||
UPLOAD_PATH=""
|
||
if [ "$HAND_MOUNTED" = "yes" ]; then
|
||
echo "hand_mount: ok ($HAND_DIR)"
|
||
HOSTD_EP=$($BB cat "$HAND_DIR/hostd_endpoint" 2>/dev/null)
|
||
SANDBOX_ID=$($BB cat "$HAND_DIR/sandbox_id" 2>/dev/null)
|
||
# ★ 手牌文件**不带尾随换行**(宿主写的时候就是一行),
|
||
# 这里仍要 trim 一次:多一个字节就会让令牌对不上,
|
||
# 症状是「明明有令牌却一直 401」。
|
||
UPLOAD_TOKEN=$($BB cat "$HAND_DIR/upload_token" 2>/dev/null | $BB tr -d '\r\n')
|
||
# ★ 上传路径由**宿主**下发(路由归宿主控制面管)。
|
||
# guest 侧**不自己拼** —— hostd 改路由时手牌跟着改,guest 不用动。
|
||
# 自己拼的话:hostd 改路由而 guest 不会跟着改 ⇒ 静默 POST 到
|
||
# 不存在的端点 ⇒ 宿主判定停在 pending ⇒ 端点永不公布。
|
||
UPLOAD_PATH=$($BB cat "$HAND_DIR/upload_path" 2>/dev/null | $BB tr -d '\r\n')
|
||
if [ -z "$HOSTD_EP" ] || [ -z "$SANDBOX_ID" ] || [ -z "$UPLOAD_TOKEN" ] || [ -z "$UPLOAD_PATH" ]; then
|
||
echo "hand_mount: incomplete (endpoint=${HOSTD_EP:-none} sandbox=${SANDBOX_ID:-none} token=${UPLOAD_TOKEN:+present}${UPLOAD_TOKEN:-none} path=${UPLOAD_PATH:+present}${UPLOAD_PATH:-none})"
|
||
HOSTD_EP=""
|
||
SANDBOX_ID=""
|
||
UPLOAD_TOKEN=""
|
||
UPLOAD_PATH=""
|
||
else
|
||
echo "hand_endpoint: $HOSTD_EP sandbox: $SANDBOX_ID"
|
||
fi
|
||
else
|
||
# ★ 挂不上不是致命错误:guest 的会话/取料链路不依赖它。
|
||
# 但必须**明确报出来** —— 宿主侧的判定会停在 pending,
|
||
# 而「为什么 pending」在这里。
|
||
echo "9p_hand_mount_failed: guest 内核可能没编 CONFIG_9P_FS/CONFIG_NET_9P;\
|
||
宿主控制面判定将停在 pending(端点不会公布)"
|
||
fi
|
||
|
||
# ★ 上传证明材料(只在证明包存在且手牌齐全时做)。
|
||
# 证明包可能不存在:离线 KBC 演练根本不去采证明。
|
||
if [ -f "$RUN/attestation.bundle" ] && [ -n "$HOSTD_EP" ] && [ -n "$SANDBOX_ID" ] && [ -n "$UPLOAD_TOKEN" ] && [ -n "$UPLOAD_PATH" ]; then
|
||
echo "attestation_upload: endpoint=$HOSTD_EP sandbox=$SANDBOX_ID"
|
||
# ★ 令牌走 --token-file(**不**进 argv)。
|
||
# ★ 上传路径走 --upload-path-file(**宿主下发的那个**,guest 不自己拼路由)。
|
||
if "$MPC" tee attest-upload --host "$HOSTD_EP" --sandbox "$SANDBOX_ID" \
|
||
--token-file "$HAND_DIR/upload_token" \
|
||
--upload-path-file "$HAND_DIR/upload_path" \
|
||
--bundle "$RUN/attestation.bundle" \
|
||
> "$RUN/attest-upload.log" 2>&1; then
|
||
echo "attestation_upload: ok"
|
||
else
|
||
# ★ 上传失败**不** die:guest 的会话/取料链路不依赖它,
|
||
# 失败只意味着宿主判定停在 pending(端点不公布)。
|
||
# 但原因必须落盘 + 打到串口 —— 否则宿主侧只看到 pending。
|
||
ERR=$($BB tail -n 3 "$RUN/attest-upload.log" 2>/dev/null | $BB tr '\n' ' ')
|
||
echo "attestation_upload_failed: ${ERR:-无详情}(宿主判定将停在 pending,端点不公布)"
|
||
fi
|
||
elif [ -f "$RUN/attestation.bundle" ]; then
|
||
echo "attestation_upload_skipped: 没有手牌(9p 未挂上或内容不全)"
|
||
else
|
||
echo "attestation_upload_skipped: 没有证明包(离线 KBC 演练不采证明)"
|
||
fi
|
||
|
||
echo "--- mpc selfcheck / selftest ---"
|
||
"$MPC" selfcheck --file "$MPC"
|
||
"$MPC" selftest | tail -6
|
||
|
||
# --- 5. 跨机密文会话(网卡已在前面就绪)--------------------------------------
|
||
case "$ROLE" in
|
||
alice)
|
||
"$MPC" node --site alice --sites alice,bob \
|
||
--listen 0.0.0.0:"$PORT" --data 1,2,3 \
|
||
--seed "$SEED" --psk-file "$PSK_FILE"
|
||
;;
|
||
bob)
|
||
"$MPC" node --site bob --sites alice,bob \
|
||
--connect 10.0.0.1:"$PORT" --data 4,5,6 \
|
||
--seed "$SEED" --psk-file "$PSK_FILE"
|
||
;;
|
||
*)
|
||
echo "(no role: guest selftest only)"
|
||
;;
|
||
esac
|
||
|
||
echo "===== MPC TEE GUEST DONE ====="
|
||
$BB halt -f 2>/dev/null || true
|