fix(tee): 9p 手牌探针修掉 5 个真问题,双侧真机跑通

真机实测(2026-11-09):
  ok   amd-snp   (192.168.1.7)  :9p 挂载成功且手牌逐字节一致
  ok   hygon-csv (192.168.1.102):9p 挂载成功且手牌逐字节一致

修掉的 5 个真问题:
- 凭据校验只看 AMD 那套,跑 hygon 侧时明明给了凭据却报「需要 SSHPASS_AMD」
- 无引号 heredoc 里注释中的反引号被当命令替换 ⇒ qemu 参数报错(参数本身是对的)
- kata initrd 里的 busybox 是 musl 动态链接,initramfs 没 /lib/ ⇒ /init 跑不起来
- initramfs 缺 /dev/console ⇒ init 输出全丢(像「guest 没跑」)
- 串口 CRLF 行尾 ⇒ 期望 [sbx-001] 实得 [sbx-001<CR>],字符串比对必失败

另修掉一个更隐蔽的隐患:
- 裸 `tr` 在海光 guest 里 not found(initramfs 只有 busybox/sh 两个条目),
  AMD 侧因 busybox 自带 standalone shell 而侥幸能跑 ⇒ 判据依赖 busybox 编译选项。
  统一改为 $BB <applet> 调用,不依赖 shell 命令回退。
This commit is contained in:
admin committed 2026-11-09 16:14:31 +08:00
1 parent 393359ef35
commit 43451be94f
1 file changed
+260 -55
+260 -55
View File
@@ -23,12 +23,46 @@
# 9p 与机密性无关,测的是「busybox + 内核 + qemu 组合能不能把文件递到 guest」,
# 用普通 qemu 更省事、失败面更小(不牵扯 SNP/CSV 的启动要求)。
#
# ★★★ 真机实测结论(2026-11-09,两侧全绿):
# ok amd-snp (192.168.1.7) :9p 挂载成功且手牌逐字节一致
# ok hygon-csv (192.168.1.102):9p 挂载成功且手牌逐字节一致
#
# ★ ★ ★ 两侧 busybox **完全不同**,这是本探针最大的坑(2026-11-09 实测):
#
# | | AMD (192.168.1.7) | 海光 (192.168.1.102) |
# |-------------------|---------------------------|--------------------------------------------|
# | 宿主 /bin/busybox | **有**,Ubuntu 1.30.1 静态 | **没有** |
# | kata initrd | alpine(含 busybox) | Ubuntu-based(**无 busybox**) |
# | 实际用的 busybox | 宿主静态版 | containerd snapshot 里的 alpine 1.32.1(musl 动态)|
# | 裸 `tr` 能否用 | **能**(standalone shell 回退到 applet)| **不能**(`tr: not found`, rc=127) |
#
# ★ 后果(差点让 AMD 的「绿」变成假绿):
# initramfs 里只建了 `busybox` 与 `sh -> busybox` 两个条目,
# 其它 applet 没有实体文件 ⇒ 裸命令(`tr`)找不到就是 not found。
# AMD 的 busybox 有 standalone shell ⇒ 裸命令会**回退到 applet** ⇒ 照样能跑;
# 海光的没有 ⇒ 直接失败(hand_len[] 变空串,判据转红)。
# ⇒ 判据依赖了 guest 内 busybox 的**编译选项**,换台机器就可能假绿/假红。
# ⇒ **结论:一律用 `$BB <applet>`**,不依赖 shell 的命令回退。
#
# ★ 海光侧 busybox 来源:容器镜像层(containerd overlayfs snapshot)
# 与 /tmp 下解出来的 alpine rootfs —— 那里有 musl 动态 busybox,
# **且同目录树下有 musl ld**(/lib/ld-musl-x86_64.so.1),
# 必须**连 musl ld 一起**拷进 initramfs,否则 guest 里 /init 跑不起来。
#
# 用法:
# ./probe-9p-hand.sh # 两台都跑
# ./probe-9p-hand.sh amd # 只跑 AMD
# ./probe-9p-hand.sh hygon # 只跑海光
# ★ 凭据要**在外面**注入(脚本内不再自己调 xop):
# xop run --secret SSHPASS_AMD=tee_amd_7_pass --secret USER_AMD=tee_amd_7_user \
# --secret SSHPASS_HYGON=tee_hg_102_pass --secret USER_HYGON=tee_hg_102_user \
# -- ./probe-9p-hand.sh # 两台都跑
# xop run --secret SSHPASS_AMD=... --secret USER_AMD=... -- ./probe-9p-hand.sh amd
# ./probe-9p-hand.sh --self-test # 零依赖:逐条破坏判据,证明非恒绿
#
# ★ 为什么凭据改成外面注入(2026-11-09 真机实测踩坑):
# 原来每次远程操作调一次 `xop run` ⇒ 每轮过一次 Touch ID。
# 无人值守跑批时没人应答 ⇒ xop 一直等 ⇒ **脚本挂住、日志一个字都不写**,
# 看起来像「真机没反应」,实际是卡在认证。★ 无报错、无超时、无输出。
# 现在:外面一次 xop 注入 ⇒ 脚本内零次 xop ⇒ 一轮只需过一次 Touch ID。
#
# ★ 判定只有一份实现:本脚本末尾的 verdict。
# ★ 判据必须能被构造样例推翻 —— --self-test 用 6 个坏样例逐条验证。
set -u
@@ -38,10 +72,59 @@ SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAu
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
AMD_UK=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
AMD_PK=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
HYGON_UK=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
HYGON_PK=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
# ★ ★ 凭据取值:优先用**已注入**的环境变量,其次才走 xop(Touch ID)。
#
# 为什么必须这样(2026-11-09 真机实测):
# 原来每次远程操作都调一次 `xop run` ⇒ 每轮都要过一遍 Touch ID。
# 在**无人值守**的自动跑批里,没人应答 Touch ID ⇒ xop 一直等
# ⇒ 脚本挂在那儿不动,**日志一个字都不写**,看起来像「真机没反应」,
# 实际是卡在认证。★ 症状极具误导性:没有报错、没有超时、没有输出。
#
# 现在的约定:跑批时在**外面**一次性取好凭据注入环境变量:
# xop run --secret SSHPASS_AMD=tee_amd_7_pass --secret USER_AMD=tee_amd_7_user \
# --secret SSHPASS_HYGON=tee_hg_102_pass --secret USER_HYGON=tee_hg_102_user \
# -- ./probe-9p-hand.sh
# 脚本内**不再**自己调 xop(少一次交互、少一个卡点)。
#
# 变量名刻意与 xop 键名**不同名**:环境变量里放的是**明文**,
# 而 *KEY 变量放的是**键名**。两者混用会把「键名当口令」传给 sshpass。
AMD_SSHPASS=${SSHPASS_AMD:-}
AMD_USER=${USER_AMD:-}
HYGON_SSHPASS=${SSHPASS_HYGON:-}
HYGON_USER=${USER_HYGON:-}
# 取凭据:只认**已注入**的环境变量(脚本内零 xop)。
#
# ★ $1 = 侧名(amd / hygon)。**按侧分别校验** —— 原来无条件查 AMD 那套,
# 于是「只注入海光凭据、跑 hygon 侧」也报「需要 SSHPASS_AMD」,
# 症状是明明给了凭据却说不给(误导性极强,害我多绕一圈)。
resolve_creds() {
local side=${1:-amd}
local need_user need_pass have_user have_pass
case "$side" in
amd)
need_user='USER_AMD'; need_pass='SSHPASS_AMD'
have_user="$AMD_USER"; have_pass="$AMD_SSHPASS"
;;
hygon)
need_user='USER_HYGON'; need_pass='SSHPASS_HYGON'
have_user="$HYGON_USER"; have_pass="$HYGON_SSHPASS"
;;
*)
printf 'probe-9p: 未知侧 %s(只支持 amd / hygon)\n' "$side" >&2
return 1
;;
esac
if [ -n "$have_user" ] && [ -n "$have_pass" ]; then
return 0
fi
printf 'probe-9p: %s 侧需要 %s / %s(可由 xop run --secret 注入)\n' \
"$side" "$need_user" "$need_pass" >&2
printf ' 例: xop run --secret %s=... --secret %s=... -- ./probe-9p-hand.sh %s\n' \
"$need_pass" "$need_user" "$side" >&2
return 1
}
REMOTE_DIR=${MPC_TEE_9P_PROBE_DIR:-/tmp/mpc-9p-probe}
@@ -77,6 +160,11 @@ verify_hand() {
[ -n "$line" ] || { printf '缺手牌文件 %s\n' "$name"; return 1; }
local got=${line#*"]="}
got=${got%"]"}
# ★ 剥掉行尾 \r:串口是 **CRLF** 行尾,不剥的话每个值都多一个 \r
# ⇒ 字符串比对必然失败(症状:期望 [sbx-001] 实得 [sbx-001<CR>])。
# ★ 这里剥 \r **不会**放过「尾随换行」污染 ——
# 文件里真有 \n 时,hand_len[] 判据(期望值字节长度)照样转红。
got=${got%$'\r'}
if [ "$got" != "$want" ]; then
printf '手牌 %s 不一致:期望 [%s] 实得 [%s]\n' "$name" "$want" "$got"
return 1
@@ -90,6 +178,7 @@ verify_hand() {
fi
got_len=${len#*"]="}
got_len=${got_len%"]"}
got_len=${got_len%$'\r'}
if [ "$got_len" != "$want_len" ]; then
printf '手牌 %s 字节数不对:期望 %s 实得 %s(文件内容被污染,典型是多了尾随换行)\n' \
"$name" "$want_len" "$got_len"
@@ -237,6 +326,11 @@ write_probe_init() {
cat > "$out" <<'PROBE_INIT_EOF'
#!/bin/busybox sh
BB=/bin/busybox
# ★ 输出必须显式接到 /dev/console(2026-11-09 真机实测):
# initramfs 里没有 /dev/console 时,内核报 "unable to open an initial
# console",而 init 的 printf **全部丢失** ⇒ 探针看不到任何输出,
# 症状像「guest 没跑起来」。initramfs 侧已 mknod,这里再显式重定向。
[ -c /dev/console ] && exec > /dev/console 2>&1
$BB mkdir -p /proc /sys /dev /run/mpc-tee/hostd
$BB mount -t proc proc /proc 2>/dev/null || true
$BB mount -t sysfs sysfs /sys 2>/dev/null || true
@@ -260,10 +354,23 @@ if [ "$HAND_MOUNTED" = "yes" ]; then
echo "hand[upload_path]=$($BB cat "$HAND_DIR/upload_path" 2>/dev/null)"
# ★ 字节数证据:字符串相等**证明不了**没有尾随换行(命令替换会吃掉它)。
# 期望长度 = 字符串长度(无尾随换行)⇒ 不等即内容被污染。
echo "hand_len[sandbox_id]=$($BB wc -c < "$HAND_DIR/sandbox_id" 2>/dev/null | tr -d ' ')"
echo "hand_len[upload_token]=$($BB wc -c < "$HAND_DIR/upload_token" 2>/dev/null | tr -d ' ')"
echo "hand_len[hostd_endpoint]=$($BB wc -c < "$HAND_DIR/hostd_endpoint" 2>/dev/null | tr -d ' ')"
echo "hand_len[upload_path]=$($BB wc -c < "$HAND_DIR/upload_path" 2>/dev/null | tr -d ' ')"
#
# ★★ 必须用 `$BB tr`(busybox applet 调用),**不能**用裸 `tr`(2026-11-09 海光 CSV 实测):
# initramfs 里只建了 `busybox` 和 `sh -> busybox` 两个条目,
# 其它 applet **没有实体文件** ⇒ 裸 `tr` 报 `tr: not found`(rc=127)
# ⇒ 管道输出为空 ⇒ hand_len[] 变成空串。
# ★ 为什么 AMD 侧是绿的(这才是危险的地方):
# AMD 的 busybox 是 Ubuntu 1.30.1,**自带 standalone shell**,
# 裸命令找不到时会**回退到 applet** ⇒ 裸 `tr` 照样能跑;
# 海光的 busybox 是 alpine 1.32.1(musl 动态),**没有** standalone 回退
# ⇒ 裸 `tr` 直接 not found。
# ★ 也就是说 AMD 的「绿」是**编译选项的运气**,不是设计 ——
# 判据依赖了 guest 内 busybox 的构建方式 ⇒ 换台机器就可能假绿/假红。
# ⇒ 统一走 `$BB <applet>`,不依赖 shell 的命令回退。
echo "hand_len[sandbox_id]=$($BB wc -c < "$HAND_DIR/sandbox_id" 2>/dev/null | $BB tr -d ' ')"
echo "hand_len[upload_token]=$($BB wc -c < "$HAND_DIR/upload_token" 2>/dev/null | $BB tr -d ' ')"
echo "hand_len[hostd_endpoint]=$($BB wc -c < "$HAND_DIR/hostd_endpoint" 2>/dev/null | $BB tr -d ' ')"
echo "hand_len[upload_path]=$($BB wc -c < "$HAND_DIR/upload_path" 2>/dev/null | $BB tr -d ' ')"
else
echo "9p_hand_mount_failed"
$BB cat /proc/mounts 2>/dev/null
@@ -276,40 +383,108 @@ PROBE_INIT_EOF
write_remote_script() {
local out=$1 init_b64=$2 kernel=$3 qemu=$4
cat > "$out" <<REMOTE_EOF
# ★★★ heredoc 必须是**带引号**的 <<'REMOTE_EOF'(2026-11-09 真机实测):
#
# 无引号的 heredoc 会做参数展开 / 命令替换 ⇒ 内容里**注释中的反引号**
# 会被当成命令执行。本脚本注释里写了 `-virtfs` / `-device` / `-fsdev`
# 这些 qemu 参数(用反引号括起来),于是远端 shell 真的去执行它们
# ⇒ 报 "-virtfs: command not found" / "-fsdev: command not found"
# ⇒ 症状极具误导性:qemu 参数本身是对的,**guest 照常起来了**,
# 只是 stderr 里多了几行 command not found。
# ★ 而且这几行报错会把注意力引到「qemu 参数写错了」上 —— 实际是注释。
#
# 修法:heredoc 加引号(内容**原样**写入,一个字符都不展开),
# 再用 sed 把 __PLACEHOLDER__ 换成真实值 —— 替换发生在 heredoc **之外**,
# 不受 shell 展开规则影响。
cat > "$out" <<'REMOTE_EOF'
set -u
D=${REMOTE_DIR}
rm -rf "\$D"
mkdir -p "\$D/hand" "\$D/root/bin" "\$D/root/proc" "\$D/root/sys" "\$D/root/dev"
D=__REMOTE_DIR__
rm -rf "$D"
mkdir -p "$D/hand" "$D/root/bin" "$D/root/proc" "$D/root/sys" "$D/root/dev"
# 手牌四文件(★ 无尾随换行 —— 与 hostd 侧 write_into 一致)
printf '%s' '${PROBE_SID}' > "\$D/hand/sandbox_id"
printf '%s' '${PROBE_TOKEN}' > "\$D/hand/upload_token"
printf '%s' '${PROBE_ENDPOINT}' > "\$D/hand/hostd_endpoint"
printf '%s' '${PROBE_UPLOAD_PATH}' > "\$D/hand/upload_path"
chmod 700 "\$D/hand"
chmod 600 "\$D/hand"/*
printf '%s' '__PROBE_SID__' > "$D/hand/sandbox_id"
printf '%s' '__PROBE_TOKEN__' > "$D/hand/upload_token"
printf '%s' '__PROBE_ENDPOINT__' > "$D/hand/hostd_endpoint"
printf '%s' '__PROBE_UPLOAD_PATH__' > "$D/hand/upload_path"
chmod 700 "$D/hand"
chmod 600 "$D/hand"/*
# guest init
printf '%s' '${init_b64}' | base64 -d > "\$D/root/init"
chmod 755 "\$D/root/init"
# busybox:从宿主自带的 alpine initrd 里解出来(真机上没有 alpine 容器)
printf '%s' '__INIT_B64__' | base64 -d > "$D/root/init"
chmod 755 "$D/root/init"
# busybox:优先用宿主上**静态链接**的 busybox(最稳)。
#
# ★★ 2026-11-09 真机实测踩坑(症状极具误导性):
# 原来从 kata 的 alpine initrd 里解 busybox。那份 busybox 是
# **musl 动态链接**(interpreter /lib/ld-musl-x86_64.so.1),
# 而 initramfs 里**没有 /lib/** ⇒ 内核执行 /init 时找不到动态链接器
# ⇒ 报 `Failed to execute /init (error -2)`(ENOENT)。
# ★ 症状极具误导性:/init 明明存在(1699 字节)、initrd 里也有 init 条目、
# 内核也起来了 —— 看着像「init 内容有问题」,其实是**解释器不在**。
# ENOENT 指的是「解释器文件找不到」,不是「init 文件找不到」。
# 修法优先级:
# ① 宿主 /bin/busybox(静态)—— 直接可用,无需额外依赖;
# ② 宿主上**动态链接**的 musl busybox —— 必须**连 musl ld 一起**打包;
# ③ 退回 kata initrd 的 busybox —— 同样必须把 lib/ 一起打包。
BB_SRC=''
for cand in /opt/kata/share/kata-containers/kata-alpine-3.18.initrd \\
/opt/confidential-containers/share/kata-containers/kata-containers-initrd-csv-hygon-gpu.img.offline_fs_kbc; do
if [ -r "\$cand" ]; then BB_SRC="\$cand"; break; fi
for cand in /opt/kata/share/kata-containers/kata-alpine-3.18.initrd /opt/confidential-containers/share/kata-containers/kata-containers-initrd-csv-hygon-gpu.img.offline_fs_kbc; do
if [ -r "$cand" ]; then BB_SRC="$cand"; break; fi
done
if [ -z "\$BB_SRC" ]; then echo "BUSYBOX_SRC_MISS"; exit 3; fi
mkdir -p "\$D/bb"
( cd "\$D/bb" && zcat "\$BB_SRC" | cpio -idm --quiet 2>/dev/null ) || true
if [ -x "\$D/bb/bin/busybox" ]; then
cp "\$D/bb/bin/busybox" "\$D/root/bin/busybox"
elif [ -x "\$D/bb/usr/bin/busybox" ]; then
cp "\$D/bb/usr/bin/busybox" "\$D/root/bin/busybox"
# ① 宿主静态 busybox(优先)
for cand in /bin/busybox /usr/bin/busybox /sbin/busybox /usr/sbin/busybox; do
if [ -x "$cand" ] && file "$cand" 2>/dev/null | grep -q 'statically linked'; then
cp "$cand" "$D/root/bin/busybox"
break
fi
done
# ② 宿主上**动态链接的 musl busybox**(2026-11-09 海光 CSV 实测)
#
# ★ 海光机(192.168.1.102)**根本没有 /bin/busybox**,
# 它的 kata initrd 是 Ubuntu-based(cpio 里只有 lib/init / sbin/init,
# **没有 busybox**)⇒ 原来那套「从 initrd 解 busybox」在海光侧直接
# 报 BUSYBOX_MISS(症状:探针在起 guest 之前就退出)。
# ★ 真正能用的来源是 containerd 的 overlayfs snapshot(alpine 镜像层)
# 和 /tmp 下解出来的 alpine rootfs —— 那里有 musl 动态链接的 busybox,
# **且同目录树下有 musl ld**(/lib/ld-musl-x86_64.so.1)。
# ★ 必须**连 musl ld 一起**拷进 initramfs,否则 guest 里 /init 跑不起来。
if [ ! -x "$D/root/bin/busybox" ]; then
for cand in $(find /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots /tmp -maxdepth 8 -path '*/bin/busybox' -type f 2>/dev/null | head -20); do
_r=$(dirname "$(dirname "$cand")")
if [ -x "$_r/lib/ld-musl-x86_64.so.1" ]; then
cp "$cand" "$D/root/bin/busybox"
mkdir -p "$D/root/lib"
cp "$_r/lib/ld-musl-x86_64.so.1" "$D/root/lib/ld-musl-x86_64.so.1"
echo "BUSYBOX_FROM=$cand"
break
fi
done
fi
if [ ! -x "\$D/root/bin/busybox" ]; then echo "BUSYBOX_MISS"; exit 3; fi
ln -sf /bin/busybox "\$D/root/bin/sh"
# ③ 退回 kata initrd 的 busybox(此时必须把 lib/ 一起带上)
if [ ! -x "$D/root/bin/busybox" ]; then
if [ -z "$BB_SRC" ]; then echo "BUSYBOX_SRC_MISS"; exit 3; fi
mkdir -p "$D/bb"
( cd "$D/bb" && zcat "$BB_SRC" | cpio -idm --quiet 2>/dev/null ) || true
if [ -x "$D/bb/bin/busybox" ]; then
cp "$D/bb/bin/busybox" "$D/root/bin/busybox"
elif [ -x "$D/bb/usr/bin/busybox" ]; then
cp "$D/bb/usr/bin/busybox" "$D/root/bin/busybox"
fi
# ★ 动态链接的 busybox 必须带上 musl ld,否则 init 根本跑不起来。
if [ -x "$D/bb/lib/ld-musl-x86_64.so.1" ]; then
mkdir -p "$D/root/lib"
cp "$D/bb/lib/ld-musl-x86_64.so.1" "$D/root/lib/ld-musl-x86_64.so.1"
fi
fi
if [ ! -x "$D/root/bin/busybox" ]; then echo "BUSYBOX_MISS"; exit 3; fi
ln -sf /bin/busybox "$D/root/bin/sh"
# ★ /dev/console:内核要靠它把 init 的输出送到串口。
# 没有它 ⇒ 内核报 "unable to open an initial console",
# 而 init 的 printf **全部丢失** ⇒ 探针看不到任何输出(像「guest 没跑」)。
mkdir -p "$D/root/dev"
mknod "$D/root/dev/console" c 5 1 2>/dev/null || true
mknod "$D/root/dev/null" c 1 3 2>/dev/null || true
# 打包 initramfs
( cd "\$D/root" && find . | cpio -o -H newc 2>/dev/null | gzip -1 > "\$D/initrd.img" )
test -s "\$D/initrd.img" || { echo "INITRD_MISS"; exit 3; }
( cd "$D/root" && find . | cpio -o -H newc 2>/dev/null | gzip -1 > "$D/initrd.img" )
test -s "$D/initrd.img" || { echo "INITRD_MISS"; exit 3; }
# 起 guest(普通 qemu,无 SEV/CSV:9p 与机密性无关)
#
# ★ ★ 必须用**显式 -fsdev**,不能用 `-virtfs` 简写(2026-11-09 真机实测):
@@ -318,44 +493,60 @@ test -s "\$D/initrd.img" || { echo "INITRD_MISS"; exit 3; }
# `-device virtio-9p-pci,fsdev=mpchostd9p` 找不到它 ⇒
# qemu 直接报 "9pfs device couldn't find fsdev with the id = mpchostd9p" 并退出。
# 显式 `-fsdev local,id=mpchostd9p,path=...` 才能把 id 钉死。
rm -f "\$D/serial.log"
rm -f "$D/serial.log"
# ★ ★ qemu 参数必须写成**一行**(2026-11-09 真机实测):
# 用 \ 续行时,`base64 -d | sh` 这条管道会把续行的反斜杠吃掉
# ⇒ shell 把 `-fsdev` / `-device` 当成**命令名**
# ⇒ 报 "-virtfs: command not found" / "-fsdev: command not found"
# ⇒ guest 根本没起来(串口日志空)。
# 症状极隐蔽:qemu.log 里什么都没写,因为那些行压根没进 shell。
nohup ${qemu} -machine q35 -enable-kvm -m 512 -nographic -nodefaults -no-reboot -kernel ${kernel} -initrd "\$D/initrd.img" -append "console=ttyS0 earlyprintk=serial" -fsdev local,id=mpchostd9p,path=\$D/hand,security_model=none -device virtio-9p-pci,fsdev=mpchostd9p,mount_tag=mpchostd -chardev file,id=mpcser,path=\$D/serial.log -serial chardev:mpcser > "\$D/qemu.log" 2>&1 &
echo "QEMU_PID=\$!"
nohup __QEMU__ -machine q35 -enable-kvm -m 512 -nographic -nodefaults -no-reboot -kernel __KERNEL__ -initrd "$D/initrd.img" -append "console=ttyS0 earlyprintk=serial" -fsdev local,id=mpchostd9p,path=$D/hand,security_model=none -device virtio-9p-pci,fsdev=mpchostd9p,mount_tag=mpchostd -chardev file,id=mpcser,path=$D/serial.log -serial chardev:mpcser > "$D/qemu.log" 2>&1 &
echo "QEMU_PID=$!"
# ★ 等 guest 打完标记再返回 —— **远端**轮询,别在本地轮询。
# 本地每轮 fetch_serial 都要走一遍 xop(Touch ID)⇒ 90 轮 = 十几分钟。
# 远端轮询只花一次 SSH 往返。
# ★ 顺带把串口内容**一次性**取回(本地不再二次拉取)。
i=0
while [ "\$i" -lt 60 ]; do
if grep -q 'PROBE_DONE' "\$D/serial.log" 2>/dev/null; then break; fi
i=\$((i + 1))
while [ "$i" -lt 60 ]; do
if grep -q 'PROBE_DONE' "$D/serial.log" 2>/dev/null; then break; fi
i=$((i + 1))
sleep 1
done
echo "--- SERIAL_BEGIN ---"
cat "\$D/serial.log" 2>/dev/null || true
cat "$D/serial.log" 2>/dev/null || true
echo "--- SERIAL_END ---"
REMOTE_EOF
# ── 占位符替换(heredoc 之外)────────────────────────────────────────
# 用 sed 而不是再开一个 heredoc:替换发生在 heredoc 之外,
# 不受 shell 展开规则影响(反引号 / $() 都不会被解释)。
sed -i \
-e "s|__REMOTE_DIR__|${REMOTE_DIR}|g" \
-e "s|__PROBE_SID__|${PROBE_SID}|g" \
-e "s|__PROBE_TOKEN__|${PROBE_TOKEN}|g" \
-e "s|__PROBE_ENDPOINT__|${PROBE_ENDPOINT}|g" \
-e "s|__PROBE_UPLOAD_PATH__|${PROBE_UPLOAD_PATH}|g" \
-e "s|__INIT_B64__|${init_b64}|g" \
-e "s|__KERNEL__|${kernel}|g" \
-e "s|__QEMU__|${qemu}|g" \
"$out"
}
# 在远端跑一段脚本:base64 传参 ⇒ 避免引号/换行/反斜杠被多层 shell 吃掉。
#
# ★ 口令走**环境变量 SSHPASS**(sshpass -e 读它),**不进 argv**:
# 远端 ps 能看到别人的 argv,但看不到自己的 env(需同 uid 才能读)。
# 而 `sshpass -p <明文>` 会把口令留在**本地**进程 argv 里 ⇒ 本机 ps 可见。
remote_exec_script() {
local host=$1 uk=$2 pk=$3 script=$4 b64
b64=$(base64 < "$script" | tr -d '\n')
xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"echo ${b64} | base64 -d | sh\"" \
< /dev/null 2>&1
SSHPASS="$pk" sshpass -e ssh ${SSHO} "$uk@$host" \
"echo ${b64} | base64 -d | sh" 2>&1
}
fetch_serial() {
local host=$1 uk=$2 pk=$3
xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"cat ${REMOTE_DIR}/serial.log 2>/dev/null || true\"" \
< /dev/null 2>/dev/null || true
SSHPASS="$pk" sshpass -e ssh ${SSHO} "$uk@$host" \
"cat ${REMOTE_DIR}/serial.log 2>/dev/null || true" 2>/dev/null || true
}
run_side() {
@@ -378,6 +569,15 @@ run_side() {
return 1
fi
write_remote_script "$tmp/remote.sh" "$init_b64" "$kernel" "$qemu"
# ★ 本地先做一次语法体检:远端跑的是 `sh`,语法错的话远端只报一行
# `Syntax error: word unexpected` + 一个行号,**没有任何上下文**,
# 极难定位(本次就卡在这)。本地 `sh -n` 能提前抓住。
if ! sh -n "$tmp/remote.sh" 2>"$tmp/syntax.err"; then
printf 'FAIL %s:生成的远端脚本语法错(本地 sh -n 体检未通过):\n' "$label" >&2
cat "$tmp/syntax.err" >&2
rm -rf "$tmp"
return 1
fi
printf '=== %s (%s) ===\n' "$label" "$host"
local out
@@ -408,26 +608,31 @@ run_side() {
return 0
}
case "${1:-}" in
--self-test)
selftest
;;
amd)
run_side 'amd-snp' "$AMD_HOST" "$AMD_UK" "$AMD_PK" \
resolve_creds amd || exit 2
run_side 'amd-snp' "$AMD_HOST" "$AMD_USER" "$AMD_SSHPASS" \
'/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential' \
'/opt/kata/bin/qemu-system-x86_64'
;;
hygon)
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_UK" "$HYGON_PK" \
resolve_creds hygon || exit 2
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_USER" "$HYGON_SSHPASS" \
'/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu' \
'/opt/confidential-containers/bin/qemu-system-x86_64'
;;
*)
RC=0
run_side 'amd-snp' "$AMD_HOST" "$AMD_UK" "$AMD_PK" \
resolve_creds amd || exit 2
run_side 'amd-snp' "$AMD_HOST" "$AMD_USER" "$AMD_SSHPASS" \
'/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential' \
'/opt/kata/bin/qemu-system-x86_64' || RC=1
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_UK" "$HYGON_PK" \
resolve_creds hygon || exit 2
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_USER" "$HYGON_SSHPASS" \
'/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu' \
'/opt/confidential-containers/bin/qemu-system-x86_64' || RC=1
if [ "$RC" -eq 0 ]; then