From 43451be94ffaf28626afd4882a84822d092642de Mon Sep 17 00:00:00 2001 From: admin Date: Mon, 9 Nov 2026 16:14:31 +0800 Subject: [PATCH] =?UTF-8?q?fix(tee):=209p=20=E6=89=8B=E7=89=8C=E6=8E=A2?= =?UTF-8?q?=E9=92=88=E4=BF=AE=E6=8E=89=205=20=E4=B8=AA=E7=9C=9F=E9=97=AE?= =?UTF-8?q?=E9=A2=98=EF=BC=8C=E5=8F=8C=E4=BE=A7=E7=9C=9F=E6=9C=BA=E8=B7=91?= =?UTF-8?q?=E9=80=9A?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 真机实测(2026-11-09): ok amd-snp (192.168.1.7) :9p 挂载成功且手牌逐字节一致 ok hygon-csv (192.168.1.102):9p 挂载成功且手牌逐字节一致 修掉的 5 个真问题: - 凭据校验只看 AMD 那套,跑 hygon 侧时明明给了凭据却报「需要 SSHPASS_AMD」 - 无引号 heredoc 里注释中的反引号被当命令替换 ⇒ qemu 参数报错(参数本身是对的) - kata initrd 里的 busybox 是 musl 动态链接,initramfs 没 /lib/ ⇒ /init 跑不起来 - initramfs 缺 /dev/console ⇒ init 输出全丢(像「guest 没跑」) - 串口 CRLF 行尾 ⇒ 期望 [sbx-001] 实得 [sbx-001],字符串比对必失败 另修掉一个更隐蔽的隐患: - 裸 `tr` 在海光 guest 里 not found(initramfs 只有 busybox/sh 两个条目), AMD 侧因 busybox 自带 standalone shell 而侥幸能跑 ⇒ 判据依赖 busybox 编译选项。 统一改为 $BB 调用,不依赖 shell 命令回退。 --- deploy/tee/real-machine/probe-9p-hand.sh | 315 +++++++++++++++++++---- 1 file changed, 260 insertions(+), 55 deletions(-) diff --git a/deploy/tee/real-machine/probe-9p-hand.sh b/deploy/tee/real-machine/probe-9p-hand.sh index 42cd1fd..3e69dc2 100755 --- a/deploy/tee/real-machine/probe-9p-hand.sh +++ b/deploy/tee/real-machine/probe-9p-hand.sh @@ -23,12 +23,46 @@ # 9p 与机密性无关,测的是「busybox + 内核 + qemu 组合能不能把文件递到 guest」, # 用普通 qemu 更省事、失败面更小(不牵扯 SNP/CSV 的启动要求)。 # +# ★★★ 真机实测结论(2026-11-09,两侧全绿): +# ok amd-snp (192.168.1.7) :9p 挂载成功且手牌逐字节一致 +# ok hygon-csv (192.168.1.102):9p 挂载成功且手牌逐字节一致 +# +# ★ ★ ★ 两侧 busybox **完全不同**,这是本探针最大的坑(2026-11-09 实测): +# +# | | AMD (192.168.1.7) | 海光 (192.168.1.102) | +# |-------------------|---------------------------|--------------------------------------------| +# | 宿主 /bin/busybox | **有**,Ubuntu 1.30.1 静态 | **没有** | +# | kata initrd | alpine(含 busybox) | Ubuntu-based(**无 busybox**) | +# | 实际用的 busybox | 宿主静态版 | containerd snapshot 里的 alpine 1.32.1(musl 动态)| +# | 裸 `tr` 能否用 | **能**(standalone shell 回退到 applet)| **不能**(`tr: not found`, rc=127) | +# +# ★ 后果(差点让 AMD 的「绿」变成假绿): +# initramfs 里只建了 `busybox` 与 `sh -> busybox` 两个条目, +# 其它 applet 没有实体文件 ⇒ 裸命令(`tr`)找不到就是 not found。 +# AMD 的 busybox 有 standalone shell ⇒ 裸命令会**回退到 applet** ⇒ 照样能跑; +# 海光的没有 ⇒ 直接失败(hand_len[] 变空串,判据转红)。 +# ⇒ 判据依赖了 guest 内 busybox 的**编译选项**,换台机器就可能假绿/假红。 +# ⇒ **结论:一律用 `$BB `**,不依赖 shell 的命令回退。 +# +# ★ 海光侧 busybox 来源:容器镜像层(containerd overlayfs snapshot) +# 与 /tmp 下解出来的 alpine rootfs —— 那里有 musl 动态 busybox, +# **且同目录树下有 musl ld**(/lib/ld-musl-x86_64.so.1), +# 必须**连 musl ld 一起**拷进 initramfs,否则 guest 里 /init 跑不起来。 +# # 用法: -# ./probe-9p-hand.sh # 两台都跑 -# ./probe-9p-hand.sh amd # 只跑 AMD -# ./probe-9p-hand.sh hygon # 只跑海光 +# ★ 凭据要**在外面**注入(脚本内不再自己调 xop): +# xop run --secret SSHPASS_AMD=tee_amd_7_pass --secret USER_AMD=tee_amd_7_user \ +# --secret SSHPASS_HYGON=tee_hg_102_pass --secret USER_HYGON=tee_hg_102_user \ +# -- ./probe-9p-hand.sh # 两台都跑 +# xop run --secret SSHPASS_AMD=... --secret USER_AMD=... -- ./probe-9p-hand.sh amd # ./probe-9p-hand.sh --self-test # 零依赖:逐条破坏判据,证明非恒绿 # +# ★ 为什么凭据改成外面注入(2026-11-09 真机实测踩坑): +# 原来每次远程操作调一次 `xop run` ⇒ 每轮过一次 Touch ID。 +# 无人值守跑批时没人应答 ⇒ xop 一直等 ⇒ **脚本挂住、日志一个字都不写**, +# 看起来像「真机没反应」,实际是卡在认证。★ 无报错、无超时、无输出。 +# 现在:外面一次 xop 注入 ⇒ 脚本内零次 xop ⇒ 一轮只需过一次 Touch ID。 +# # ★ 判定只有一份实现:本脚本末尾的 verdict。 # ★ 判据必须能被构造样例推翻 —— --self-test 用 6 个坏样例逐条验证。 set -u @@ -38,10 +72,59 @@ SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAu AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7} HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102} -AMD_UK=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user} -AMD_PK=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass} -HYGON_UK=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user} -HYGON_PK=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass} + +# ★ ★ 凭据取值:优先用**已注入**的环境变量,其次才走 xop(Touch ID)。 +# +# 为什么必须这样(2026-11-09 真机实测): +# 原来每次远程操作都调一次 `xop run` ⇒ 每轮都要过一遍 Touch ID。 +# 在**无人值守**的自动跑批里,没人应答 Touch ID ⇒ xop 一直等 +# ⇒ 脚本挂在那儿不动,**日志一个字都不写**,看起来像「真机没反应」, +# 实际是卡在认证。★ 症状极具误导性:没有报错、没有超时、没有输出。 +# +# 现在的约定:跑批时在**外面**一次性取好凭据注入环境变量: +# xop run --secret SSHPASS_AMD=tee_amd_7_pass --secret USER_AMD=tee_amd_7_user \ +# --secret SSHPASS_HYGON=tee_hg_102_pass --secret USER_HYGON=tee_hg_102_user \ +# -- ./probe-9p-hand.sh +# 脚本内**不再**自己调 xop(少一次交互、少一个卡点)。 +# +# 变量名刻意与 xop 键名**不同名**:环境变量里放的是**明文**, +# 而 *KEY 变量放的是**键名**。两者混用会把「键名当口令」传给 sshpass。 +AMD_SSHPASS=${SSHPASS_AMD:-} +AMD_USER=${USER_AMD:-} +HYGON_SSHPASS=${SSHPASS_HYGON:-} +HYGON_USER=${USER_HYGON:-} + +# 取凭据:只认**已注入**的环境变量(脚本内零 xop)。 +# +# ★ $1 = 侧名(amd / hygon)。**按侧分别校验** —— 原来无条件查 AMD 那套, +# 于是「只注入海光凭据、跑 hygon 侧」也报「需要 SSHPASS_AMD」, +# 症状是明明给了凭据却说不给(误导性极强,害我多绕一圈)。 +resolve_creds() { + local side=${1:-amd} + local need_user need_pass have_user have_pass + case "$side" in + amd) + need_user='USER_AMD'; need_pass='SSHPASS_AMD' + have_user="$AMD_USER"; have_pass="$AMD_SSHPASS" + ;; + hygon) + need_user='USER_HYGON'; need_pass='SSHPASS_HYGON' + have_user="$HYGON_USER"; have_pass="$HYGON_SSHPASS" + ;; + *) + printf 'probe-9p: 未知侧 %s(只支持 amd / hygon)\n' "$side" >&2 + return 1 + ;; + esac + if [ -n "$have_user" ] && [ -n "$have_pass" ]; then + return 0 + fi + printf 'probe-9p: %s 侧需要 %s / %s(可由 xop run --secret 注入)\n' \ + "$side" "$need_user" "$need_pass" >&2 + printf ' 例: xop run --secret %s=... --secret %s=... -- ./probe-9p-hand.sh %s\n' \ + "$need_pass" "$need_user" "$side" >&2 + return 1 +} REMOTE_DIR=${MPC_TEE_9P_PROBE_DIR:-/tmp/mpc-9p-probe} @@ -77,6 +160,11 @@ verify_hand() { [ -n "$line" ] || { printf '缺手牌文件 %s\n' "$name"; return 1; } local got=${line#*"]="} got=${got%"]"} + # ★ 剥掉行尾 \r:串口是 **CRLF** 行尾,不剥的话每个值都多一个 \r + # ⇒ 字符串比对必然失败(症状:期望 [sbx-001] 实得 [sbx-001])。 + # ★ 这里剥 \r **不会**放过「尾随换行」污染 —— + # 文件里真有 \n 时,hand_len[] 判据(期望值字节长度)照样转红。 + got=${got%$'\r'} if [ "$got" != "$want" ]; then printf '手牌 %s 不一致:期望 [%s] 实得 [%s]\n' "$name" "$want" "$got" return 1 @@ -90,6 +178,7 @@ verify_hand() { fi got_len=${len#*"]="} got_len=${got_len%"]"} + got_len=${got_len%$'\r'} if [ "$got_len" != "$want_len" ]; then printf '手牌 %s 字节数不对:期望 %s 实得 %s(文件内容被污染,典型是多了尾随换行)\n' \ "$name" "$want_len" "$got_len" @@ -237,6 +326,11 @@ write_probe_init() { cat > "$out" <<'PROBE_INIT_EOF' #!/bin/busybox sh BB=/bin/busybox +# ★ 输出必须显式接到 /dev/console(2026-11-09 真机实测): +# initramfs 里没有 /dev/console 时,内核报 "unable to open an initial +# console",而 init 的 printf **全部丢失** ⇒ 探针看不到任何输出, +# 症状像「guest 没跑起来」。initramfs 侧已 mknod,这里再显式重定向。 +[ -c /dev/console ] && exec > /dev/console 2>&1 $BB mkdir -p /proc /sys /dev /run/mpc-tee/hostd $BB mount -t proc proc /proc 2>/dev/null || true $BB mount -t sysfs sysfs /sys 2>/dev/null || true @@ -260,10 +354,23 @@ if [ "$HAND_MOUNTED" = "yes" ]; then echo "hand[upload_path]=$($BB cat "$HAND_DIR/upload_path" 2>/dev/null)" # ★ 字节数证据:字符串相等**证明不了**没有尾随换行(命令替换会吃掉它)。 # 期望长度 = 字符串长度(无尾随换行)⇒ 不等即内容被污染。 - echo "hand_len[sandbox_id]=$($BB wc -c < "$HAND_DIR/sandbox_id" 2>/dev/null | tr -d ' ')" - echo "hand_len[upload_token]=$($BB wc -c < "$HAND_DIR/upload_token" 2>/dev/null | tr -d ' ')" - echo "hand_len[hostd_endpoint]=$($BB wc -c < "$HAND_DIR/hostd_endpoint" 2>/dev/null | tr -d ' ')" - echo "hand_len[upload_path]=$($BB wc -c < "$HAND_DIR/upload_path" 2>/dev/null | tr -d ' ')" + # + # ★★ 必须用 `$BB tr`(busybox applet 调用),**不能**用裸 `tr`(2026-11-09 海光 CSV 实测): + # initramfs 里只建了 `busybox` 和 `sh -> busybox` 两个条目, + # 其它 applet **没有实体文件** ⇒ 裸 `tr` 报 `tr: not found`(rc=127) + # ⇒ 管道输出为空 ⇒ hand_len[] 变成空串。 + # ★ 为什么 AMD 侧是绿的(这才是危险的地方): + # AMD 的 busybox 是 Ubuntu 1.30.1,**自带 standalone shell**, + # 裸命令找不到时会**回退到 applet** ⇒ 裸 `tr` 照样能跑; + # 海光的 busybox 是 alpine 1.32.1(musl 动态),**没有** standalone 回退 + # ⇒ 裸 `tr` 直接 not found。 + # ★ 也就是说 AMD 的「绿」是**编译选项的运气**,不是设计 —— + # 判据依赖了 guest 内 busybox 的构建方式 ⇒ 换台机器就可能假绿/假红。 + # ⇒ 统一走 `$BB `,不依赖 shell 的命令回退。 + echo "hand_len[sandbox_id]=$($BB wc -c < "$HAND_DIR/sandbox_id" 2>/dev/null | $BB tr -d ' ')" + echo "hand_len[upload_token]=$($BB wc -c < "$HAND_DIR/upload_token" 2>/dev/null | $BB tr -d ' ')" + echo "hand_len[hostd_endpoint]=$($BB wc -c < "$HAND_DIR/hostd_endpoint" 2>/dev/null | $BB tr -d ' ')" + echo "hand_len[upload_path]=$($BB wc -c < "$HAND_DIR/upload_path" 2>/dev/null | $BB tr -d ' ')" else echo "9p_hand_mount_failed" $BB cat /proc/mounts 2>/dev/null @@ -276,40 +383,108 @@ PROBE_INIT_EOF write_remote_script() { local out=$1 init_b64=$2 kernel=$3 qemu=$4 - cat > "$out" < "$out" <<'REMOTE_EOF' set -u -D=${REMOTE_DIR} -rm -rf "\$D" -mkdir -p "\$D/hand" "\$D/root/bin" "\$D/root/proc" "\$D/root/sys" "\$D/root/dev" +D=__REMOTE_DIR__ +rm -rf "$D" +mkdir -p "$D/hand" "$D/root/bin" "$D/root/proc" "$D/root/sys" "$D/root/dev" # 手牌四文件(★ 无尾随换行 —— 与 hostd 侧 write_into 一致) -printf '%s' '${PROBE_SID}' > "\$D/hand/sandbox_id" -printf '%s' '${PROBE_TOKEN}' > "\$D/hand/upload_token" -printf '%s' '${PROBE_ENDPOINT}' > "\$D/hand/hostd_endpoint" -printf '%s' '${PROBE_UPLOAD_PATH}' > "\$D/hand/upload_path" -chmod 700 "\$D/hand" -chmod 600 "\$D/hand"/* +printf '%s' '__PROBE_SID__' > "$D/hand/sandbox_id" +printf '%s' '__PROBE_TOKEN__' > "$D/hand/upload_token" +printf '%s' '__PROBE_ENDPOINT__' > "$D/hand/hostd_endpoint" +printf '%s' '__PROBE_UPLOAD_PATH__' > "$D/hand/upload_path" +chmod 700 "$D/hand" +chmod 600 "$D/hand"/* # guest init -printf '%s' '${init_b64}' | base64 -d > "\$D/root/init" -chmod 755 "\$D/root/init" -# busybox:从宿主自带的 alpine initrd 里解出来(真机上没有 alpine 容器) +printf '%s' '__INIT_B64__' | base64 -d > "$D/root/init" +chmod 755 "$D/root/init" +# busybox:优先用宿主上**静态链接**的 busybox(最稳)。 +# +# ★★ 2026-11-09 真机实测踩坑(症状极具误导性): +# 原来从 kata 的 alpine initrd 里解 busybox。那份 busybox 是 +# **musl 动态链接**(interpreter /lib/ld-musl-x86_64.so.1), +# 而 initramfs 里**没有 /lib/** ⇒ 内核执行 /init 时找不到动态链接器 +# ⇒ 报 `Failed to execute /init (error -2)`(ENOENT)。 +# ★ 症状极具误导性:/init 明明存在(1699 字节)、initrd 里也有 init 条目、 +# 内核也起来了 —— 看着像「init 内容有问题」,其实是**解释器不在**。 +# ENOENT 指的是「解释器文件找不到」,不是「init 文件找不到」。 +# 修法优先级: +# ① 宿主 /bin/busybox(静态)—— 直接可用,无需额外依赖; +# ② 宿主上**动态链接**的 musl busybox —— 必须**连 musl ld 一起**打包; +# ③ 退回 kata initrd 的 busybox —— 同样必须把 lib/ 一起打包。 BB_SRC='' -for cand in /opt/kata/share/kata-containers/kata-alpine-3.18.initrd \\ - /opt/confidential-containers/share/kata-containers/kata-containers-initrd-csv-hygon-gpu.img.offline_fs_kbc; do - if [ -r "\$cand" ]; then BB_SRC="\$cand"; break; fi +for cand in /opt/kata/share/kata-containers/kata-alpine-3.18.initrd /opt/confidential-containers/share/kata-containers/kata-containers-initrd-csv-hygon-gpu.img.offline_fs_kbc; do + if [ -r "$cand" ]; then BB_SRC="$cand"; break; fi done -if [ -z "\$BB_SRC" ]; then echo "BUSYBOX_SRC_MISS"; exit 3; fi -mkdir -p "\$D/bb" -( cd "\$D/bb" && zcat "\$BB_SRC" | cpio -idm --quiet 2>/dev/null ) || true -if [ -x "\$D/bb/bin/busybox" ]; then - cp "\$D/bb/bin/busybox" "\$D/root/bin/busybox" -elif [ -x "\$D/bb/usr/bin/busybox" ]; then - cp "\$D/bb/usr/bin/busybox" "\$D/root/bin/busybox" +# ① 宿主静态 busybox(优先) +for cand in /bin/busybox /usr/bin/busybox /sbin/busybox /usr/sbin/busybox; do + if [ -x "$cand" ] && file "$cand" 2>/dev/null | grep -q 'statically linked'; then + cp "$cand" "$D/root/bin/busybox" + break + fi +done +# ② 宿主上**动态链接的 musl busybox**(2026-11-09 海光 CSV 实测) +# +# ★ 海光机(192.168.1.102)**根本没有 /bin/busybox**, +# 它的 kata initrd 是 Ubuntu-based(cpio 里只有 lib/init / sbin/init, +# **没有 busybox**)⇒ 原来那套「从 initrd 解 busybox」在海光侧直接 +# 报 BUSYBOX_MISS(症状:探针在起 guest 之前就退出)。 +# ★ 真正能用的来源是 containerd 的 overlayfs snapshot(alpine 镜像层) +# 和 /tmp 下解出来的 alpine rootfs —— 那里有 musl 动态链接的 busybox, +# **且同目录树下有 musl ld**(/lib/ld-musl-x86_64.so.1)。 +# ★ 必须**连 musl ld 一起**拷进 initramfs,否则 guest 里 /init 跑不起来。 +if [ ! -x "$D/root/bin/busybox" ]; then + for cand in $(find /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots /tmp -maxdepth 8 -path '*/bin/busybox' -type f 2>/dev/null | head -20); do + _r=$(dirname "$(dirname "$cand")") + if [ -x "$_r/lib/ld-musl-x86_64.so.1" ]; then + cp "$cand" "$D/root/bin/busybox" + mkdir -p "$D/root/lib" + cp "$_r/lib/ld-musl-x86_64.so.1" "$D/root/lib/ld-musl-x86_64.so.1" + echo "BUSYBOX_FROM=$cand" + break + fi + done fi -if [ ! -x "\$D/root/bin/busybox" ]; then echo "BUSYBOX_MISS"; exit 3; fi -ln -sf /bin/busybox "\$D/root/bin/sh" +# ③ 退回 kata initrd 的 busybox(此时必须把 lib/ 一起带上) +if [ ! -x "$D/root/bin/busybox" ]; then + if [ -z "$BB_SRC" ]; then echo "BUSYBOX_SRC_MISS"; exit 3; fi + mkdir -p "$D/bb" + ( cd "$D/bb" && zcat "$BB_SRC" | cpio -idm --quiet 2>/dev/null ) || true + if [ -x "$D/bb/bin/busybox" ]; then + cp "$D/bb/bin/busybox" "$D/root/bin/busybox" + elif [ -x "$D/bb/usr/bin/busybox" ]; then + cp "$D/bb/usr/bin/busybox" "$D/root/bin/busybox" + fi + # ★ 动态链接的 busybox 必须带上 musl ld,否则 init 根本跑不起来。 + if [ -x "$D/bb/lib/ld-musl-x86_64.so.1" ]; then + mkdir -p "$D/root/lib" + cp "$D/bb/lib/ld-musl-x86_64.so.1" "$D/root/lib/ld-musl-x86_64.so.1" + fi +fi +if [ ! -x "$D/root/bin/busybox" ]; then echo "BUSYBOX_MISS"; exit 3; fi +ln -sf /bin/busybox "$D/root/bin/sh" +# ★ /dev/console:内核要靠它把 init 的输出送到串口。 +# 没有它 ⇒ 内核报 "unable to open an initial console", +# 而 init 的 printf **全部丢失** ⇒ 探针看不到任何输出(像「guest 没跑」)。 +mkdir -p "$D/root/dev" +mknod "$D/root/dev/console" c 5 1 2>/dev/null || true +mknod "$D/root/dev/null" c 1 3 2>/dev/null || true # 打包 initramfs -( cd "\$D/root" && find . | cpio -o -H newc 2>/dev/null | gzip -1 > "\$D/initrd.img" ) -test -s "\$D/initrd.img" || { echo "INITRD_MISS"; exit 3; } +( cd "$D/root" && find . | cpio -o -H newc 2>/dev/null | gzip -1 > "$D/initrd.img" ) +test -s "$D/initrd.img" || { echo "INITRD_MISS"; exit 3; } # 起 guest(普通 qemu,无 SEV/CSV:9p 与机密性无关) # # ★ ★ 必须用**显式 -fsdev**,不能用 `-virtfs` 简写(2026-11-09 真机实测): @@ -318,44 +493,60 @@ test -s "\$D/initrd.img" || { echo "INITRD_MISS"; exit 3; } # `-device virtio-9p-pci,fsdev=mpchostd9p` 找不到它 ⇒ # qemu 直接报 "9pfs device couldn't find fsdev with the id = mpchostd9p" 并退出。 # 显式 `-fsdev local,id=mpchostd9p,path=...` 才能把 id 钉死。 -rm -f "\$D/serial.log" +rm -f "$D/serial.log" # ★ ★ qemu 参数必须写成**一行**(2026-11-09 真机实测): # 用 \ 续行时,`base64 -d | sh` 这条管道会把续行的反斜杠吃掉 # ⇒ shell 把 `-fsdev` / `-device` 当成**命令名** # ⇒ 报 "-virtfs: command not found" / "-fsdev: command not found" # ⇒ guest 根本没起来(串口日志空)。 # 症状极隐蔽:qemu.log 里什么都没写,因为那些行压根没进 shell。 -nohup ${qemu} -machine q35 -enable-kvm -m 512 -nographic -nodefaults -no-reboot -kernel ${kernel} -initrd "\$D/initrd.img" -append "console=ttyS0 earlyprintk=serial" -fsdev local,id=mpchostd9p,path=\$D/hand,security_model=none -device virtio-9p-pci,fsdev=mpchostd9p,mount_tag=mpchostd -chardev file,id=mpcser,path=\$D/serial.log -serial chardev:mpcser > "\$D/qemu.log" 2>&1 & -echo "QEMU_PID=\$!" +nohup __QEMU__ -machine q35 -enable-kvm -m 512 -nographic -nodefaults -no-reboot -kernel __KERNEL__ -initrd "$D/initrd.img" -append "console=ttyS0 earlyprintk=serial" -fsdev local,id=mpchostd9p,path=$D/hand,security_model=none -device virtio-9p-pci,fsdev=mpchostd9p,mount_tag=mpchostd -chardev file,id=mpcser,path=$D/serial.log -serial chardev:mpcser > "$D/qemu.log" 2>&1 & +echo "QEMU_PID=$!" # ★ 等 guest 打完标记再返回 —— **远端**轮询,别在本地轮询。 # 本地每轮 fetch_serial 都要走一遍 xop(Touch ID)⇒ 90 轮 = 十几分钟。 # 远端轮询只花一次 SSH 往返。 # ★ 顺带把串口内容**一次性**取回(本地不再二次拉取)。 i=0 -while [ "\$i" -lt 60 ]; do - if grep -q 'PROBE_DONE' "\$D/serial.log" 2>/dev/null; then break; fi - i=\$((i + 1)) +while [ "$i" -lt 60 ]; do + if grep -q 'PROBE_DONE' "$D/serial.log" 2>/dev/null; then break; fi + i=$((i + 1)) sleep 1 done echo "--- SERIAL_BEGIN ---" -cat "\$D/serial.log" 2>/dev/null || true +cat "$D/serial.log" 2>/dev/null || true echo "--- SERIAL_END ---" REMOTE_EOF + # ── 占位符替换(heredoc 之外)──────────────────────────────────────── + # 用 sed 而不是再开一个 heredoc:替换发生在 heredoc 之外, + # 不受 shell 展开规则影响(反引号 / $() 都不会被解释)。 + sed -i \ + -e "s|__REMOTE_DIR__|${REMOTE_DIR}|g" \ + -e "s|__PROBE_SID__|${PROBE_SID}|g" \ + -e "s|__PROBE_TOKEN__|${PROBE_TOKEN}|g" \ + -e "s|__PROBE_ENDPOINT__|${PROBE_ENDPOINT}|g" \ + -e "s|__PROBE_UPLOAD_PATH__|${PROBE_UPLOAD_PATH}|g" \ + -e "s|__INIT_B64__|${init_b64}|g" \ + -e "s|__KERNEL__|${kernel}|g" \ + -e "s|__QEMU__|${qemu}|g" \ + "$out" } +# 在远端跑一段脚本:base64 传参 ⇒ 避免引号/换行/反斜杠被多层 shell 吃掉。 +# +# ★ 口令走**环境变量 SSHPASS**(sshpass -e 读它),**不进 argv**: +# 远端 ps 能看到别人的 argv,但看不到自己的 env(需同 uid 才能读)。 +# 而 `sshpass -p <明文>` 会把口令留在**本地**进程 argv 里 ⇒ 本机 ps 可见。 remote_exec_script() { local host=$1 uk=$2 pk=$3 script=$4 b64 b64=$(base64 < "$script" | tr -d '\n') - xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \ - sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"echo ${b64} | base64 -d | sh\"" \ - < /dev/null 2>&1 + SSHPASS="$pk" sshpass -e ssh ${SSHO} "$uk@$host" \ + "echo ${b64} | base64 -d | sh" 2>&1 } fetch_serial() { local host=$1 uk=$2 pk=$3 - xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \ - sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"cat ${REMOTE_DIR}/serial.log 2>/dev/null || true\"" \ - < /dev/null 2>/dev/null || true + SSHPASS="$pk" sshpass -e ssh ${SSHO} "$uk@$host" \ + "cat ${REMOTE_DIR}/serial.log 2>/dev/null || true" 2>/dev/null || true } run_side() { @@ -378,6 +569,15 @@ run_side() { return 1 fi write_remote_script "$tmp/remote.sh" "$init_b64" "$kernel" "$qemu" + # ★ 本地先做一次语法体检:远端跑的是 `sh`,语法错的话远端只报一行 + # `Syntax error: word unexpected` + 一个行号,**没有任何上下文**, + # 极难定位(本次就卡在这)。本地 `sh -n` 能提前抓住。 + if ! sh -n "$tmp/remote.sh" 2>"$tmp/syntax.err"; then + printf 'FAIL %s:生成的远端脚本语法错(本地 sh -n 体检未通过):\n' "$label" >&2 + cat "$tmp/syntax.err" >&2 + rm -rf "$tmp" + return 1 + fi printf '=== %s (%s) ===\n' "$label" "$host" local out @@ -408,26 +608,31 @@ run_side() { return 0 } + case "${1:-}" in --self-test) selftest ;; amd) - run_side 'amd-snp' "$AMD_HOST" "$AMD_UK" "$AMD_PK" \ + resolve_creds amd || exit 2 + run_side 'amd-snp' "$AMD_HOST" "$AMD_USER" "$AMD_SSHPASS" \ '/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential' \ '/opt/kata/bin/qemu-system-x86_64' ;; hygon) - run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_UK" "$HYGON_PK" \ + resolve_creds hygon || exit 2 + run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_USER" "$HYGON_SSHPASS" \ '/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu' \ '/opt/confidential-containers/bin/qemu-system-x86_64' ;; *) RC=0 - run_side 'amd-snp' "$AMD_HOST" "$AMD_UK" "$AMD_PK" \ + resolve_creds amd || exit 2 + run_side 'amd-snp' "$AMD_HOST" "$AMD_USER" "$AMD_SSHPASS" \ '/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential' \ '/opt/kata/bin/qemu-system-x86_64' || RC=1 - run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_UK" "$HYGON_PK" \ + resolve_creds hygon || exit 2 + run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_USER" "$HYGON_SSHPASS" \ '/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu' \ '/opt/confidential-containers/bin/qemu-system-x86_64' || RC=1 if [ "$RC" -eq 0 ]; then