fix(tee): 9p 手牌探针修掉 5 个真问题,双侧真机跑通
真机实测(2026-11-09): ok amd-snp (192.168.1.7) :9p 挂载成功且手牌逐字节一致 ok hygon-csv (192.168.1.102):9p 挂载成功且手牌逐字节一致 修掉的 5 个真问题: - 凭据校验只看 AMD 那套,跑 hygon 侧时明明给了凭据却报「需要 SSHPASS_AMD」 - 无引号 heredoc 里注释中的反引号被当命令替换 ⇒ qemu 参数报错(参数本身是对的) - kata initrd 里的 busybox 是 musl 动态链接,initramfs 没 /lib/ ⇒ /init 跑不起来 - initramfs 缺 /dev/console ⇒ init 输出全丢(像「guest 没跑」) - 串口 CRLF 行尾 ⇒ 期望 [sbx-001] 实得 [sbx-001<CR>],字符串比对必失败 另修掉一个更隐蔽的隐患: - 裸 `tr` 在海光 guest 里 not found(initramfs 只有 busybox/sh 两个条目), AMD 侧因 busybox 自带 standalone shell 而侥幸能跑 ⇒ 判据依赖 busybox 编译选项。 统一改为 $BB <applet> 调用,不依赖 shell 命令回退。
This commit is contained in:
1 parent
393359ef35
commit
43451be94f
1 file changed
+260
-55
@@ -23,12 +23,46 @@
|
||||
# 9p 与机密性无关,测的是「busybox + 内核 + qemu 组合能不能把文件递到 guest」,
|
||||
# 用普通 qemu 更省事、失败面更小(不牵扯 SNP/CSV 的启动要求)。
|
||||
#
|
||||
# ★★★ 真机实测结论(2026-11-09,两侧全绿):
|
||||
# ok amd-snp (192.168.1.7) :9p 挂载成功且手牌逐字节一致
|
||||
# ok hygon-csv (192.168.1.102):9p 挂载成功且手牌逐字节一致
|
||||
#
|
||||
# ★ ★ ★ 两侧 busybox **完全不同**,这是本探针最大的坑(2026-11-09 实测):
|
||||
#
|
||||
# | | AMD (192.168.1.7) | 海光 (192.168.1.102) |
|
||||
# |-------------------|---------------------------|--------------------------------------------|
|
||||
# | 宿主 /bin/busybox | **有**,Ubuntu 1.30.1 静态 | **没有** |
|
||||
# | kata initrd | alpine(含 busybox) | Ubuntu-based(**无 busybox**) |
|
||||
# | 实际用的 busybox | 宿主静态版 | containerd snapshot 里的 alpine 1.32.1(musl 动态)|
|
||||
# | 裸 `tr` 能否用 | **能**(standalone shell 回退到 applet)| **不能**(`tr: not found`, rc=127) |
|
||||
#
|
||||
# ★ 后果(差点让 AMD 的「绿」变成假绿):
|
||||
# initramfs 里只建了 `busybox` 与 `sh -> busybox` 两个条目,
|
||||
# 其它 applet 没有实体文件 ⇒ 裸命令(`tr`)找不到就是 not found。
|
||||
# AMD 的 busybox 有 standalone shell ⇒ 裸命令会**回退到 applet** ⇒ 照样能跑;
|
||||
# 海光的没有 ⇒ 直接失败(hand_len[] 变空串,判据转红)。
|
||||
# ⇒ 判据依赖了 guest 内 busybox 的**编译选项**,换台机器就可能假绿/假红。
|
||||
# ⇒ **结论:一律用 `$BB <applet>`**,不依赖 shell 的命令回退。
|
||||
#
|
||||
# ★ 海光侧 busybox 来源:容器镜像层(containerd overlayfs snapshot)
|
||||
# 与 /tmp 下解出来的 alpine rootfs —— 那里有 musl 动态 busybox,
|
||||
# **且同目录树下有 musl ld**(/lib/ld-musl-x86_64.so.1),
|
||||
# 必须**连 musl ld 一起**拷进 initramfs,否则 guest 里 /init 跑不起来。
|
||||
#
|
||||
# 用法:
|
||||
# ./probe-9p-hand.sh # 两台都跑
|
||||
# ./probe-9p-hand.sh amd # 只跑 AMD
|
||||
# ./probe-9p-hand.sh hygon # 只跑海光
|
||||
# ★ 凭据要**在外面**注入(脚本内不再自己调 xop):
|
||||
# xop run --secret SSHPASS_AMD=tee_amd_7_pass --secret USER_AMD=tee_amd_7_user \
|
||||
# --secret SSHPASS_HYGON=tee_hg_102_pass --secret USER_HYGON=tee_hg_102_user \
|
||||
# -- ./probe-9p-hand.sh # 两台都跑
|
||||
# xop run --secret SSHPASS_AMD=... --secret USER_AMD=... -- ./probe-9p-hand.sh amd
|
||||
# ./probe-9p-hand.sh --self-test # 零依赖:逐条破坏判据,证明非恒绿
|
||||
#
|
||||
# ★ 为什么凭据改成外面注入(2026-11-09 真机实测踩坑):
|
||||
# 原来每次远程操作调一次 `xop run` ⇒ 每轮过一次 Touch ID。
|
||||
# 无人值守跑批时没人应答 ⇒ xop 一直等 ⇒ **脚本挂住、日志一个字都不写**,
|
||||
# 看起来像「真机没反应」,实际是卡在认证。★ 无报错、无超时、无输出。
|
||||
# 现在:外面一次 xop 注入 ⇒ 脚本内零次 xop ⇒ 一轮只需过一次 Touch ID。
|
||||
#
|
||||
# ★ 判定只有一份实现:本脚本末尾的 verdict。
|
||||
# ★ 判据必须能被构造样例推翻 —— --self-test 用 6 个坏样例逐条验证。
|
||||
set -u
|
||||
@@ -38,10 +72,59 @@ SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAu
|
||||
|
||||
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
|
||||
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
|
||||
AMD_UK=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
|
||||
AMD_PK=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
|
||||
HYGON_UK=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
|
||||
HYGON_PK=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
|
||||
|
||||
# ★ ★ 凭据取值:优先用**已注入**的环境变量,其次才走 xop(Touch ID)。
|
||||
#
|
||||
# 为什么必须这样(2026-11-09 真机实测):
|
||||
# 原来每次远程操作都调一次 `xop run` ⇒ 每轮都要过一遍 Touch ID。
|
||||
# 在**无人值守**的自动跑批里,没人应答 Touch ID ⇒ xop 一直等
|
||||
# ⇒ 脚本挂在那儿不动,**日志一个字都不写**,看起来像「真机没反应」,
|
||||
# 实际是卡在认证。★ 症状极具误导性:没有报错、没有超时、没有输出。
|
||||
#
|
||||
# 现在的约定:跑批时在**外面**一次性取好凭据注入环境变量:
|
||||
# xop run --secret SSHPASS_AMD=tee_amd_7_pass --secret USER_AMD=tee_amd_7_user \
|
||||
# --secret SSHPASS_HYGON=tee_hg_102_pass --secret USER_HYGON=tee_hg_102_user \
|
||||
# -- ./probe-9p-hand.sh
|
||||
# 脚本内**不再**自己调 xop(少一次交互、少一个卡点)。
|
||||
#
|
||||
# 变量名刻意与 xop 键名**不同名**:环境变量里放的是**明文**,
|
||||
# 而 *KEY 变量放的是**键名**。两者混用会把「键名当口令」传给 sshpass。
|
||||
AMD_SSHPASS=${SSHPASS_AMD:-}
|
||||
AMD_USER=${USER_AMD:-}
|
||||
HYGON_SSHPASS=${SSHPASS_HYGON:-}
|
||||
HYGON_USER=${USER_HYGON:-}
|
||||
|
||||
# 取凭据:只认**已注入**的环境变量(脚本内零 xop)。
|
||||
#
|
||||
# ★ $1 = 侧名(amd / hygon)。**按侧分别校验** —— 原来无条件查 AMD 那套,
|
||||
# 于是「只注入海光凭据、跑 hygon 侧」也报「需要 SSHPASS_AMD」,
|
||||
# 症状是明明给了凭据却说不给(误导性极强,害我多绕一圈)。
|
||||
resolve_creds() {
|
||||
local side=${1:-amd}
|
||||
local need_user need_pass have_user have_pass
|
||||
case "$side" in
|
||||
amd)
|
||||
need_user='USER_AMD'; need_pass='SSHPASS_AMD'
|
||||
have_user="$AMD_USER"; have_pass="$AMD_SSHPASS"
|
||||
;;
|
||||
hygon)
|
||||
need_user='USER_HYGON'; need_pass='SSHPASS_HYGON'
|
||||
have_user="$HYGON_USER"; have_pass="$HYGON_SSHPASS"
|
||||
;;
|
||||
*)
|
||||
printf 'probe-9p: 未知侧 %s(只支持 amd / hygon)\n' "$side" >&2
|
||||
return 1
|
||||
;;
|
||||
esac
|
||||
if [ -n "$have_user" ] && [ -n "$have_pass" ]; then
|
||||
return 0
|
||||
fi
|
||||
printf 'probe-9p: %s 侧需要 %s / %s(可由 xop run --secret 注入)\n' \
|
||||
"$side" "$need_user" "$need_pass" >&2
|
||||
printf ' 例: xop run --secret %s=... --secret %s=... -- ./probe-9p-hand.sh %s\n' \
|
||||
"$need_pass" "$need_user" "$side" >&2
|
||||
return 1
|
||||
}
|
||||
|
||||
REMOTE_DIR=${MPC_TEE_9P_PROBE_DIR:-/tmp/mpc-9p-probe}
|
||||
|
||||
@@ -77,6 +160,11 @@ verify_hand() {
|
||||
[ -n "$line" ] || { printf '缺手牌文件 %s\n' "$name"; return 1; }
|
||||
local got=${line#*"]="}
|
||||
got=${got%"]"}
|
||||
# ★ 剥掉行尾 \r:串口是 **CRLF** 行尾,不剥的话每个值都多一个 \r
|
||||
# ⇒ 字符串比对必然失败(症状:期望 [sbx-001] 实得 [sbx-001<CR>])。
|
||||
# ★ 这里剥 \r **不会**放过「尾随换行」污染 ——
|
||||
# 文件里真有 \n 时,hand_len[] 判据(期望值字节长度)照样转红。
|
||||
got=${got%$'\r'}
|
||||
if [ "$got" != "$want" ]; then
|
||||
printf '手牌 %s 不一致:期望 [%s] 实得 [%s]\n' "$name" "$want" "$got"
|
||||
return 1
|
||||
@@ -90,6 +178,7 @@ verify_hand() {
|
||||
fi
|
||||
got_len=${len#*"]="}
|
||||
got_len=${got_len%"]"}
|
||||
got_len=${got_len%$'\r'}
|
||||
if [ "$got_len" != "$want_len" ]; then
|
||||
printf '手牌 %s 字节数不对:期望 %s 实得 %s(文件内容被污染,典型是多了尾随换行)\n' \
|
||||
"$name" "$want_len" "$got_len"
|
||||
@@ -237,6 +326,11 @@ write_probe_init() {
|
||||
cat > "$out" <<'PROBE_INIT_EOF'
|
||||
#!/bin/busybox sh
|
||||
BB=/bin/busybox
|
||||
# ★ 输出必须显式接到 /dev/console(2026-11-09 真机实测):
|
||||
# initramfs 里没有 /dev/console 时,内核报 "unable to open an initial
|
||||
# console",而 init 的 printf **全部丢失** ⇒ 探针看不到任何输出,
|
||||
# 症状像「guest 没跑起来」。initramfs 侧已 mknod,这里再显式重定向。
|
||||
[ -c /dev/console ] && exec > /dev/console 2>&1
|
||||
$BB mkdir -p /proc /sys /dev /run/mpc-tee/hostd
|
||||
$BB mount -t proc proc /proc 2>/dev/null || true
|
||||
$BB mount -t sysfs sysfs /sys 2>/dev/null || true
|
||||
@@ -260,10 +354,23 @@ if [ "$HAND_MOUNTED" = "yes" ]; then
|
||||
echo "hand[upload_path]=$($BB cat "$HAND_DIR/upload_path" 2>/dev/null)"
|
||||
# ★ 字节数证据:字符串相等**证明不了**没有尾随换行(命令替换会吃掉它)。
|
||||
# 期望长度 = 字符串长度(无尾随换行)⇒ 不等即内容被污染。
|
||||
echo "hand_len[sandbox_id]=$($BB wc -c < "$HAND_DIR/sandbox_id" 2>/dev/null | tr -d ' ')"
|
||||
echo "hand_len[upload_token]=$($BB wc -c < "$HAND_DIR/upload_token" 2>/dev/null | tr -d ' ')"
|
||||
echo "hand_len[hostd_endpoint]=$($BB wc -c < "$HAND_DIR/hostd_endpoint" 2>/dev/null | tr -d ' ')"
|
||||
echo "hand_len[upload_path]=$($BB wc -c < "$HAND_DIR/upload_path" 2>/dev/null | tr -d ' ')"
|
||||
#
|
||||
# ★★ 必须用 `$BB tr`(busybox applet 调用),**不能**用裸 `tr`(2026-11-09 海光 CSV 实测):
|
||||
# initramfs 里只建了 `busybox` 和 `sh -> busybox` 两个条目,
|
||||
# 其它 applet **没有实体文件** ⇒ 裸 `tr` 报 `tr: not found`(rc=127)
|
||||
# ⇒ 管道输出为空 ⇒ hand_len[] 变成空串。
|
||||
# ★ 为什么 AMD 侧是绿的(这才是危险的地方):
|
||||
# AMD 的 busybox 是 Ubuntu 1.30.1,**自带 standalone shell**,
|
||||
# 裸命令找不到时会**回退到 applet** ⇒ 裸 `tr` 照样能跑;
|
||||
# 海光的 busybox 是 alpine 1.32.1(musl 动态),**没有** standalone 回退
|
||||
# ⇒ 裸 `tr` 直接 not found。
|
||||
# ★ 也就是说 AMD 的「绿」是**编译选项的运气**,不是设计 ——
|
||||
# 判据依赖了 guest 内 busybox 的构建方式 ⇒ 换台机器就可能假绿/假红。
|
||||
# ⇒ 统一走 `$BB <applet>`,不依赖 shell 的命令回退。
|
||||
echo "hand_len[sandbox_id]=$($BB wc -c < "$HAND_DIR/sandbox_id" 2>/dev/null | $BB tr -d ' ')"
|
||||
echo "hand_len[upload_token]=$($BB wc -c < "$HAND_DIR/upload_token" 2>/dev/null | $BB tr -d ' ')"
|
||||
echo "hand_len[hostd_endpoint]=$($BB wc -c < "$HAND_DIR/hostd_endpoint" 2>/dev/null | $BB tr -d ' ')"
|
||||
echo "hand_len[upload_path]=$($BB wc -c < "$HAND_DIR/upload_path" 2>/dev/null | $BB tr -d ' ')"
|
||||
else
|
||||
echo "9p_hand_mount_failed"
|
||||
$BB cat /proc/mounts 2>/dev/null
|
||||
@@ -276,40 +383,108 @@ PROBE_INIT_EOF
|
||||
|
||||
write_remote_script() {
|
||||
local out=$1 init_b64=$2 kernel=$3 qemu=$4
|
||||
cat > "$out" <<REMOTE_EOF
|
||||
# ★★★ heredoc 必须是**带引号**的 <<'REMOTE_EOF'(2026-11-09 真机实测):
|
||||
#
|
||||
# 无引号的 heredoc 会做参数展开 / 命令替换 ⇒ 内容里**注释中的反引号**
|
||||
# 会被当成命令执行。本脚本注释里写了 `-virtfs` / `-device` / `-fsdev`
|
||||
# 这些 qemu 参数(用反引号括起来),于是远端 shell 真的去执行它们
|
||||
# ⇒ 报 "-virtfs: command not found" / "-fsdev: command not found"
|
||||
# ⇒ 症状极具误导性:qemu 参数本身是对的,**guest 照常起来了**,
|
||||
# 只是 stderr 里多了几行 command not found。
|
||||
# ★ 而且这几行报错会把注意力引到「qemu 参数写错了」上 —— 实际是注释。
|
||||
#
|
||||
# 修法:heredoc 加引号(内容**原样**写入,一个字符都不展开),
|
||||
# 再用 sed 把 __PLACEHOLDER__ 换成真实值 —— 替换发生在 heredoc **之外**,
|
||||
# 不受 shell 展开规则影响。
|
||||
cat > "$out" <<'REMOTE_EOF'
|
||||
set -u
|
||||
D=${REMOTE_DIR}
|
||||
rm -rf "\$D"
|
||||
mkdir -p "\$D/hand" "\$D/root/bin" "\$D/root/proc" "\$D/root/sys" "\$D/root/dev"
|
||||
D=__REMOTE_DIR__
|
||||
rm -rf "$D"
|
||||
mkdir -p "$D/hand" "$D/root/bin" "$D/root/proc" "$D/root/sys" "$D/root/dev"
|
||||
# 手牌四文件(★ 无尾随换行 —— 与 hostd 侧 write_into 一致)
|
||||
printf '%s' '${PROBE_SID}' > "\$D/hand/sandbox_id"
|
||||
printf '%s' '${PROBE_TOKEN}' > "\$D/hand/upload_token"
|
||||
printf '%s' '${PROBE_ENDPOINT}' > "\$D/hand/hostd_endpoint"
|
||||
printf '%s' '${PROBE_UPLOAD_PATH}' > "\$D/hand/upload_path"
|
||||
chmod 700 "\$D/hand"
|
||||
chmod 600 "\$D/hand"/*
|
||||
printf '%s' '__PROBE_SID__' > "$D/hand/sandbox_id"
|
||||
printf '%s' '__PROBE_TOKEN__' > "$D/hand/upload_token"
|
||||
printf '%s' '__PROBE_ENDPOINT__' > "$D/hand/hostd_endpoint"
|
||||
printf '%s' '__PROBE_UPLOAD_PATH__' > "$D/hand/upload_path"
|
||||
chmod 700 "$D/hand"
|
||||
chmod 600 "$D/hand"/*
|
||||
# guest init
|
||||
printf '%s' '${init_b64}' | base64 -d > "\$D/root/init"
|
||||
chmod 755 "\$D/root/init"
|
||||
# busybox:从宿主自带的 alpine initrd 里解出来(真机上没有 alpine 容器)
|
||||
printf '%s' '__INIT_B64__' | base64 -d > "$D/root/init"
|
||||
chmod 755 "$D/root/init"
|
||||
# busybox:优先用宿主上**静态链接**的 busybox(最稳)。
|
||||
#
|
||||
# ★★ 2026-11-09 真机实测踩坑(症状极具误导性):
|
||||
# 原来从 kata 的 alpine initrd 里解 busybox。那份 busybox 是
|
||||
# **musl 动态链接**(interpreter /lib/ld-musl-x86_64.so.1),
|
||||
# 而 initramfs 里**没有 /lib/** ⇒ 内核执行 /init 时找不到动态链接器
|
||||
# ⇒ 报 `Failed to execute /init (error -2)`(ENOENT)。
|
||||
# ★ 症状极具误导性:/init 明明存在(1699 字节)、initrd 里也有 init 条目、
|
||||
# 内核也起来了 —— 看着像「init 内容有问题」,其实是**解释器不在**。
|
||||
# ENOENT 指的是「解释器文件找不到」,不是「init 文件找不到」。
|
||||
# 修法优先级:
|
||||
# ① 宿主 /bin/busybox(静态)—— 直接可用,无需额外依赖;
|
||||
# ② 宿主上**动态链接**的 musl busybox —— 必须**连 musl ld 一起**打包;
|
||||
# ③ 退回 kata initrd 的 busybox —— 同样必须把 lib/ 一起打包。
|
||||
BB_SRC=''
|
||||
for cand in /opt/kata/share/kata-containers/kata-alpine-3.18.initrd \\
|
||||
/opt/confidential-containers/share/kata-containers/kata-containers-initrd-csv-hygon-gpu.img.offline_fs_kbc; do
|
||||
if [ -r "\$cand" ]; then BB_SRC="\$cand"; break; fi
|
||||
for cand in /opt/kata/share/kata-containers/kata-alpine-3.18.initrd /opt/confidential-containers/share/kata-containers/kata-containers-initrd-csv-hygon-gpu.img.offline_fs_kbc; do
|
||||
if [ -r "$cand" ]; then BB_SRC="$cand"; break; fi
|
||||
done
|
||||
if [ -z "\$BB_SRC" ]; then echo "BUSYBOX_SRC_MISS"; exit 3; fi
|
||||
mkdir -p "\$D/bb"
|
||||
( cd "\$D/bb" && zcat "\$BB_SRC" | cpio -idm --quiet 2>/dev/null ) || true
|
||||
if [ -x "\$D/bb/bin/busybox" ]; then
|
||||
cp "\$D/bb/bin/busybox" "\$D/root/bin/busybox"
|
||||
elif [ -x "\$D/bb/usr/bin/busybox" ]; then
|
||||
cp "\$D/bb/usr/bin/busybox" "\$D/root/bin/busybox"
|
||||
# ① 宿主静态 busybox(优先)
|
||||
for cand in /bin/busybox /usr/bin/busybox /sbin/busybox /usr/sbin/busybox; do
|
||||
if [ -x "$cand" ] && file "$cand" 2>/dev/null | grep -q 'statically linked'; then
|
||||
cp "$cand" "$D/root/bin/busybox"
|
||||
break
|
||||
fi
|
||||
done
|
||||
# ② 宿主上**动态链接的 musl busybox**(2026-11-09 海光 CSV 实测)
|
||||
#
|
||||
# ★ 海光机(192.168.1.102)**根本没有 /bin/busybox**,
|
||||
# 它的 kata initrd 是 Ubuntu-based(cpio 里只有 lib/init / sbin/init,
|
||||
# **没有 busybox**)⇒ 原来那套「从 initrd 解 busybox」在海光侧直接
|
||||
# 报 BUSYBOX_MISS(症状:探针在起 guest 之前就退出)。
|
||||
# ★ 真正能用的来源是 containerd 的 overlayfs snapshot(alpine 镜像层)
|
||||
# 和 /tmp 下解出来的 alpine rootfs —— 那里有 musl 动态链接的 busybox,
|
||||
# **且同目录树下有 musl ld**(/lib/ld-musl-x86_64.so.1)。
|
||||
# ★ 必须**连 musl ld 一起**拷进 initramfs,否则 guest 里 /init 跑不起来。
|
||||
if [ ! -x "$D/root/bin/busybox" ]; then
|
||||
for cand in $(find /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots /tmp -maxdepth 8 -path '*/bin/busybox' -type f 2>/dev/null | head -20); do
|
||||
_r=$(dirname "$(dirname "$cand")")
|
||||
if [ -x "$_r/lib/ld-musl-x86_64.so.1" ]; then
|
||||
cp "$cand" "$D/root/bin/busybox"
|
||||
mkdir -p "$D/root/lib"
|
||||
cp "$_r/lib/ld-musl-x86_64.so.1" "$D/root/lib/ld-musl-x86_64.so.1"
|
||||
echo "BUSYBOX_FROM=$cand"
|
||||
break
|
||||
fi
|
||||
done
|
||||
fi
|
||||
if [ ! -x "\$D/root/bin/busybox" ]; then echo "BUSYBOX_MISS"; exit 3; fi
|
||||
ln -sf /bin/busybox "\$D/root/bin/sh"
|
||||
# ③ 退回 kata initrd 的 busybox(此时必须把 lib/ 一起带上)
|
||||
if [ ! -x "$D/root/bin/busybox" ]; then
|
||||
if [ -z "$BB_SRC" ]; then echo "BUSYBOX_SRC_MISS"; exit 3; fi
|
||||
mkdir -p "$D/bb"
|
||||
( cd "$D/bb" && zcat "$BB_SRC" | cpio -idm --quiet 2>/dev/null ) || true
|
||||
if [ -x "$D/bb/bin/busybox" ]; then
|
||||
cp "$D/bb/bin/busybox" "$D/root/bin/busybox"
|
||||
elif [ -x "$D/bb/usr/bin/busybox" ]; then
|
||||
cp "$D/bb/usr/bin/busybox" "$D/root/bin/busybox"
|
||||
fi
|
||||
# ★ 动态链接的 busybox 必须带上 musl ld,否则 init 根本跑不起来。
|
||||
if [ -x "$D/bb/lib/ld-musl-x86_64.so.1" ]; then
|
||||
mkdir -p "$D/root/lib"
|
||||
cp "$D/bb/lib/ld-musl-x86_64.so.1" "$D/root/lib/ld-musl-x86_64.so.1"
|
||||
fi
|
||||
fi
|
||||
if [ ! -x "$D/root/bin/busybox" ]; then echo "BUSYBOX_MISS"; exit 3; fi
|
||||
ln -sf /bin/busybox "$D/root/bin/sh"
|
||||
# ★ /dev/console:内核要靠它把 init 的输出送到串口。
|
||||
# 没有它 ⇒ 内核报 "unable to open an initial console",
|
||||
# 而 init 的 printf **全部丢失** ⇒ 探针看不到任何输出(像「guest 没跑」)。
|
||||
mkdir -p "$D/root/dev"
|
||||
mknod "$D/root/dev/console" c 5 1 2>/dev/null || true
|
||||
mknod "$D/root/dev/null" c 1 3 2>/dev/null || true
|
||||
# 打包 initramfs
|
||||
( cd "\$D/root" && find . | cpio -o -H newc 2>/dev/null | gzip -1 > "\$D/initrd.img" )
|
||||
test -s "\$D/initrd.img" || { echo "INITRD_MISS"; exit 3; }
|
||||
( cd "$D/root" && find . | cpio -o -H newc 2>/dev/null | gzip -1 > "$D/initrd.img" )
|
||||
test -s "$D/initrd.img" || { echo "INITRD_MISS"; exit 3; }
|
||||
# 起 guest(普通 qemu,无 SEV/CSV:9p 与机密性无关)
|
||||
#
|
||||
# ★ ★ 必须用**显式 -fsdev**,不能用 `-virtfs` 简写(2026-11-09 真机实测):
|
||||
@@ -318,44 +493,60 @@ test -s "\$D/initrd.img" || { echo "INITRD_MISS"; exit 3; }
|
||||
# `-device virtio-9p-pci,fsdev=mpchostd9p` 找不到它 ⇒
|
||||
# qemu 直接报 "9pfs device couldn't find fsdev with the id = mpchostd9p" 并退出。
|
||||
# 显式 `-fsdev local,id=mpchostd9p,path=...` 才能把 id 钉死。
|
||||
rm -f "\$D/serial.log"
|
||||
rm -f "$D/serial.log"
|
||||
# ★ ★ qemu 参数必须写成**一行**(2026-11-09 真机实测):
|
||||
# 用 \ 续行时,`base64 -d | sh` 这条管道会把续行的反斜杠吃掉
|
||||
# ⇒ shell 把 `-fsdev` / `-device` 当成**命令名**
|
||||
# ⇒ 报 "-virtfs: command not found" / "-fsdev: command not found"
|
||||
# ⇒ guest 根本没起来(串口日志空)。
|
||||
# 症状极隐蔽:qemu.log 里什么都没写,因为那些行压根没进 shell。
|
||||
nohup ${qemu} -machine q35 -enable-kvm -m 512 -nographic -nodefaults -no-reboot -kernel ${kernel} -initrd "\$D/initrd.img" -append "console=ttyS0 earlyprintk=serial" -fsdev local,id=mpchostd9p,path=\$D/hand,security_model=none -device virtio-9p-pci,fsdev=mpchostd9p,mount_tag=mpchostd -chardev file,id=mpcser,path=\$D/serial.log -serial chardev:mpcser > "\$D/qemu.log" 2>&1 &
|
||||
echo "QEMU_PID=\$!"
|
||||
nohup __QEMU__ -machine q35 -enable-kvm -m 512 -nographic -nodefaults -no-reboot -kernel __KERNEL__ -initrd "$D/initrd.img" -append "console=ttyS0 earlyprintk=serial" -fsdev local,id=mpchostd9p,path=$D/hand,security_model=none -device virtio-9p-pci,fsdev=mpchostd9p,mount_tag=mpchostd -chardev file,id=mpcser,path=$D/serial.log -serial chardev:mpcser > "$D/qemu.log" 2>&1 &
|
||||
echo "QEMU_PID=$!"
|
||||
# ★ 等 guest 打完标记再返回 —— **远端**轮询,别在本地轮询。
|
||||
# 本地每轮 fetch_serial 都要走一遍 xop(Touch ID)⇒ 90 轮 = 十几分钟。
|
||||
# 远端轮询只花一次 SSH 往返。
|
||||
# ★ 顺带把串口内容**一次性**取回(本地不再二次拉取)。
|
||||
i=0
|
||||
while [ "\$i" -lt 60 ]; do
|
||||
if grep -q 'PROBE_DONE' "\$D/serial.log" 2>/dev/null; then break; fi
|
||||
i=\$((i + 1))
|
||||
while [ "$i" -lt 60 ]; do
|
||||
if grep -q 'PROBE_DONE' "$D/serial.log" 2>/dev/null; then break; fi
|
||||
i=$((i + 1))
|
||||
sleep 1
|
||||
done
|
||||
echo "--- SERIAL_BEGIN ---"
|
||||
cat "\$D/serial.log" 2>/dev/null || true
|
||||
cat "$D/serial.log" 2>/dev/null || true
|
||||
echo "--- SERIAL_END ---"
|
||||
REMOTE_EOF
|
||||
# ── 占位符替换(heredoc 之外)────────────────────────────────────────
|
||||
# 用 sed 而不是再开一个 heredoc:替换发生在 heredoc 之外,
|
||||
# 不受 shell 展开规则影响(反引号 / $() 都不会被解释)。
|
||||
sed -i \
|
||||
-e "s|__REMOTE_DIR__|${REMOTE_DIR}|g" \
|
||||
-e "s|__PROBE_SID__|${PROBE_SID}|g" \
|
||||
-e "s|__PROBE_TOKEN__|${PROBE_TOKEN}|g" \
|
||||
-e "s|__PROBE_ENDPOINT__|${PROBE_ENDPOINT}|g" \
|
||||
-e "s|__PROBE_UPLOAD_PATH__|${PROBE_UPLOAD_PATH}|g" \
|
||||
-e "s|__INIT_B64__|${init_b64}|g" \
|
||||
-e "s|__KERNEL__|${kernel}|g" \
|
||||
-e "s|__QEMU__|${qemu}|g" \
|
||||
"$out"
|
||||
}
|
||||
|
||||
# 在远端跑一段脚本:base64 传参 ⇒ 避免引号/换行/反斜杠被多层 shell 吃掉。
|
||||
#
|
||||
# ★ 口令走**环境变量 SSHPASS**(sshpass -e 读它),**不进 argv**:
|
||||
# 远端 ps 能看到别人的 argv,但看不到自己的 env(需同 uid 才能读)。
|
||||
# 而 `sshpass -p <明文>` 会把口令留在**本地**进程 argv 里 ⇒ 本机 ps 可见。
|
||||
remote_exec_script() {
|
||||
local host=$1 uk=$2 pk=$3 script=$4 b64
|
||||
b64=$(base64 < "$script" | tr -d '\n')
|
||||
xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \
|
||||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"echo ${b64} | base64 -d | sh\"" \
|
||||
< /dev/null 2>&1
|
||||
SSHPASS="$pk" sshpass -e ssh ${SSHO} "$uk@$host" \
|
||||
"echo ${b64} | base64 -d | sh" 2>&1
|
||||
}
|
||||
|
||||
fetch_serial() {
|
||||
local host=$1 uk=$2 pk=$3
|
||||
xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \
|
||||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"cat ${REMOTE_DIR}/serial.log 2>/dev/null || true\"" \
|
||||
< /dev/null 2>/dev/null || true
|
||||
SSHPASS="$pk" sshpass -e ssh ${SSHO} "$uk@$host" \
|
||||
"cat ${REMOTE_DIR}/serial.log 2>/dev/null || true" 2>/dev/null || true
|
||||
}
|
||||
|
||||
run_side() {
|
||||
@@ -378,6 +569,15 @@ run_side() {
|
||||
return 1
|
||||
fi
|
||||
write_remote_script "$tmp/remote.sh" "$init_b64" "$kernel" "$qemu"
|
||||
# ★ 本地先做一次语法体检:远端跑的是 `sh`,语法错的话远端只报一行
|
||||
# `Syntax error: word unexpected` + 一个行号,**没有任何上下文**,
|
||||
# 极难定位(本次就卡在这)。本地 `sh -n` 能提前抓住。
|
||||
if ! sh -n "$tmp/remote.sh" 2>"$tmp/syntax.err"; then
|
||||
printf 'FAIL %s:生成的远端脚本语法错(本地 sh -n 体检未通过):\n' "$label" >&2
|
||||
cat "$tmp/syntax.err" >&2
|
||||
rm -rf "$tmp"
|
||||
return 1
|
||||
fi
|
||||
|
||||
printf '=== %s (%s) ===\n' "$label" "$host"
|
||||
local out
|
||||
@@ -408,26 +608,31 @@ run_side() {
|
||||
return 0
|
||||
}
|
||||
|
||||
|
||||
case "${1:-}" in
|
||||
--self-test)
|
||||
selftest
|
||||
;;
|
||||
amd)
|
||||
run_side 'amd-snp' "$AMD_HOST" "$AMD_UK" "$AMD_PK" \
|
||||
resolve_creds amd || exit 2
|
||||
run_side 'amd-snp' "$AMD_HOST" "$AMD_USER" "$AMD_SSHPASS" \
|
||||
'/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential' \
|
||||
'/opt/kata/bin/qemu-system-x86_64'
|
||||
;;
|
||||
hygon)
|
||||
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_UK" "$HYGON_PK" \
|
||||
resolve_creds hygon || exit 2
|
||||
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_USER" "$HYGON_SSHPASS" \
|
||||
'/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu' \
|
||||
'/opt/confidential-containers/bin/qemu-system-x86_64'
|
||||
;;
|
||||
*)
|
||||
RC=0
|
||||
run_side 'amd-snp' "$AMD_HOST" "$AMD_UK" "$AMD_PK" \
|
||||
resolve_creds amd || exit 2
|
||||
run_side 'amd-snp' "$AMD_HOST" "$AMD_USER" "$AMD_SSHPASS" \
|
||||
'/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential' \
|
||||
'/opt/kata/bin/qemu-system-x86_64' || RC=1
|
||||
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_UK" "$HYGON_PK" \
|
||||
resolve_creds hygon || exit 2
|
||||
run_side 'hygon-csv' "$HYGON_HOST" "$HYGON_USER" "$HYGON_SSHPASS" \
|
||||
'/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu' \
|
||||
'/opt/confidential-containers/bin/qemu-system-x86_64' || RC=1
|
||||
if [ "$RC" -eq 0 ]; then
|
||||
|
||||
Reference in new issue
Block a user