fix(cluster): 修掉真机自报脚本 3 个必挂缺陷,判据门禁收编为第 25 条

集群自报联调脚本的 3 个真机必挂缺陷:
- xop 把自己的 WARN 打在 stdout(不是 stderr)。`remote()` 原先 `2>&1`
  合并返回,导致 `wc -c` / `sha256sum` / curl HTTP 码全被污染;
  改用 fd3 分流:远端输出进临时文件,xop stdout 丢弃,返回值只剩真实输出。
  `xop_probe` 改为只认纯数字行,拿不到数字即失败(fail-closed)。
- `printf '--- 负向矩阵…'` 格式串前导破折号被 bash 当成选项,改用 `%s`。
- `remote()` 里 `< /dev/null` 被后面的 here-string 覆盖,是无效防护;
  同时删掉从未被调用的 `remote_amd()`(把脚本正文塞进 ssh argv 的活样本)。

判据门禁(第 25 条)收编:
- `selftest-cluster-selfreport.py` 重写为 9 组判据 10 项检查,
  探针先自证 fired(避免「argv 日志为空 ⇒ 没密钥」恒真),
  用假 xop + 假 sshpass,不依赖真机与保险库是否解锁。
- 判据 4 只扫密钥流经语句并豁免本地熵源;新增判据 9 守 fd3 隔离。
- `selftest-cluster-selfreport-break.py` 覆盖全部 9 组判据共 11 条破坏实验,
  每条变异双向确认证据串,顺序事实型单独一条路径。

文档:主门禁条数 24 → 25 全仓同步;诚实边界改为「真机两节点自报已实证,
选址/下发/证明门控/端点交付仍只在假 hostd 上验过;修完的脚本只过离线
判据门禁,尚未在真机复跑」。

验证:bash -n、shell 卫生 lint(39 脚本)、真 xop+假远端 fd3 分流实测、
自测 10/10、破坏实验 11/11、tools/ci.sh 全量 25 条 CI_EXIT=0。
This commit is contained in:
admin committed 2026-11-09 18:01:13 +08:00
1 parent 7ace04053a
commit bd9bea0142
9 files changed
+688 -320

No files matched your search

+160 -33
View File
@@ -12,12 +12,21 @@
# 真机 → 真机这条路是通的(已实测:两台真机都能连上 192.168.1.18 的监听)。
# ⇒ 控制面放真机,走「真机 → 真机」这条**不依赖本机网络栈**的路。
#
# ★ 凭据:全部从**环境变量**取(由 xop run --secret 注入),脚本内不碰 xop。
# ★ 凭据:按**项目约定**,只放 xop **键名**,脚本内自己调 xop 取明文
# (与 host-materials.sh / kbc-attest-e2e.sh 同一范式)。
# 键名来自 deploy/tee/real-machine/real-machines.env:
# MPC_TEE_AMD_USER_KEY / MPC_TEE_AMD_PASS_KEY
# MPC_TEE_HYGON_USER_KEY / MPC_TEE_HYGON_PASS_KEY
#
# 用法:
# xop run --secret SSHPASS_AMD=... --secret USER_AMD=... \
# --secret SSHPASS_HYGON=... --secret USER_HYGON=... \
# -- ./cluster-selfreport-e2e.sh
# set -a; . deploy/tee/real-machine/real-machines.env; set +a
# ./cluster-selfreport-e2e.sh
#
# ★★ 集群共享密钥:**本地随机生成**,不落盘、不入库、不进 xop。
# 理由:它只需要在**本次运行内**三方一致(控制面 + 两个节点 hostd),
# 用完即弃。存进 vault 反而多一份长期有效的凭据。
# ⇒ 每次运行都是新密钥 ⇒ 泄漏面最小。
# (要复现同一组密钥,设 MPC_CLUSTER_SECRET 覆盖它 —— 只在调试时用。)
#
# ★ 判定只有一份:本脚本末尾的 verdict。
set -u
@@ -28,6 +37,12 @@ SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAu
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
# xop 键名(默认与 real-machines.env 一致)
AMD_USER_KEY=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
AMD_PASS_KEY=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
HYGON_USER_KEY=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
HYGON_PASS_KEY=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
# 集群共享密钥:站点端与所有节点 hostd 持有同一份。
# ★★ 口径:**明文 ASCII 串**(不是 hex)—— 控制面、节点 hostd、
# 自报、下发**四处**用的是**同一个原文**。
@@ -42,42 +57,134 @@ FAIL_N=0
ok() { OK_N=$((OK_N + 1)); printf 'ok %s\n' "$1"; }
fail() { FAIL_N=$((FAIL_N + 1)); printf 'FAIL %s\n' "$1" >&2; }
# ★ 探 xop 里的键:只看**长度**(长度不会被 FileGuard 掩码)。
#
# ★★ 为什么只探长度、不取值:
# xop 的 FileGuard 会在**打印**时把值替换成
# `ro****【xop禁止将密钥泄漏】`(实测 2026-11-09:
# 连 `printf %s "$V"` 都会被替换,而 `${#V}` 正常)。
# ⇒ 「取出来存进 shell 变量」这条路**本来就是死的** ——
# 拿到的不是口令,是掩码。
# ⇒ 正确姿势:值**只在 xop 的子进程里**用(见 remote()),
# 本脚本从不持有明文。
xop_probe() {
# $1=键名 ⇒ 成功返回 0(键存在且非空),失败返回 1
local n
# ★ xop 把 Guard 的 WARN 打到 **stdout**(不是 stderr)⇒ `2>/dev/null` 挡不住。
# `tail -n 1` 只是碰巧取到最后一行;改成**只认纯数字行**,
# WARN 行含非数字字符会被过滤掉 ⇒ 拿不到数字就当失败(fail-closed)。
n=$(xop run --secret "V=$1" -- sh -c 'printf "%s\n" "${#V}"' \
< /dev/null 2>/dev/null | grep -E '^[0-9]+$' | tail -n 1)
case "$n" in
''|*[!0-9]*) return 1 ;;
0) return 1 ;;
*) return 0 ;;
esac
}
require_env() {
local missing=0 v
for v in SSHPASS_AMD USER_AMD SSHPASS_HYGON USER_HYGON; do
if [ -z "$(eval echo \${$v:-})" ]; then
printf '缺少环境变量 %s(用 xop run --secret %s=<键名> 注入)\n' "$v" "$v" >&2
missing=1
fi
done
[ -n "$CLUSTER_SECRET" ] || {
printf '缺少 MPC_CLUSTER_SECRET(至少 32 字节,两侧 hostd 与控制面持有同一份)\n' >&2
local missing=0
if [ -z "$AMD_USER_KEY" ] || [ -z "$AMD_PASS_KEY" ] \
|| [ -z "$HYGON_USER_KEY" ] || [ -z "$HYGON_PASS_KEY" ]; then
printf '缺少真机凭据的 xop 键名(检查 MPC_TEE_AMD_USER_KEY 等,或 source real-machines.env)\n' >&2
missing=1
}
fi
if ! command -v xop >/dev/null 2>&1; then
printf '找不到 xop(凭据管理工具)—— 本脚本按项目约定从 xop 取真机口令\n' >&2
missing=1
fi
if ! command -v sshpass >/dev/null 2>&1; then
printf '找不到 sshpass —— 无法做密码认证的 SSH\n' >&2
missing=1
fi
[ "$missing" -eq 0 ] || return 1
# ★★ **不把口令取到 shell 变量里** —— xop 的 FileGuard 会在**打印**时
# 把值掩码成 `ro****【xop禁止将密钥泄漏】`(实测:连 `${#V}` 都正常,
# 但 `printf %s "$V"` 会被替换)。所以「取出来再用」这条路是死的。
# ⇒ 正确姿势:**在 xop 的子进程里直接用注入的环境变量**执行 ssh,
# 值从不经过本 shell 的 stdout。
# ⇒ 顺带的好处:口令**从不进本脚本的内存**,也不进任何 argv。
#
# ★ 预检:xop 能不能解锁 vault、键名对不对 ——
# 这里用「只取长度」的方式验(长度不会被掩码)。
if ! xop_probe "$AMD_USER_KEY" || ! xop_probe "$AMD_PASS_KEY" \
|| ! xop_probe "$HYGON_USER_KEY" || ! xop_probe "$HYGON_PASS_KEY"; then
printf 'xop 取不到凭据(键名不对或 vault 未解锁)—— 键名:%s / %s / %s / %s\n' \
"$AMD_USER_KEY" "$AMD_PASS_KEY" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" >&2
missing=1
fi
[ "$missing" -eq 0 ] || return 1
# ★ 集群密钥:没给就本地随机生成一份(**不落盘、不入库**)。
if [ -z "$CLUSTER_SECRET" ]; then
if command -v openssl >/dev/null 2>&1; then
CLUSTER_SECRET=$(openssl rand -hex 32)
else
CLUSTER_SECRET=$(od -An -tx1 -N32 /dev/urandom | tr -d ' \n')
fi
printf '集群共享密钥:本次运行随机生成(%d 字节,用完即弃)\n' "${#CLUSTER_SECRET}"
fi
return "$missing"
}
# ★ 曾有一个 remote_amd()(把 $4 塞进 ssh argv),现在删了:
# 没人调用它,但它的形态本身就是「密钥进 argv」的活样本,
# 留着早晚被人复制 ⇒ 判据 1 扫到它会误判,也会被当成可用范式。
# 脚本正文一律走 remote() 的 stdin 通道。
remote() {
# $1=host $2=user $3=pass $4=script
# $1=host $2=用户键名 $3=口令键名 $4=script
#
# ★★ 脚本正文走 **stdin**(`ssh ... bash -s`),**不走 argv**。
# argv 会进远端 `ps` 输出 ⇒ 正文里带的密钥就等于公开。
# (remote_stdin 同理,只是多一层兼容。)
SSHPASS="$3" sshpass -e ssh ${SSHO} "$2@$1" 'bash -s' 2>&1 <<<"$4"
}
remote_stdin() {
# $1=host $2=user $3=pass $4=script(脚本从 stdin 读)
SSHPASS="$3" sshpass -e ssh ${SSHO} "$2@$1" 'bash -s' 2>&1
#
# ★★ 凭据**全程不经过本 shell**:ssh 在 xop 的子进程里跑,
# `SSHPASS` 由 xop 注入成环境变量(`sshpass -e` 读它)。
# ⇒ 口令不进本脚本内存、不进任何 argv、也不被 FileGuard 掩码。
#
# ★★ **xop 自己的 WARN 打在 stdout**(`xop -h` 没写,实测 2026-11-09:
# `NetworkGuard/FileGuard.setup() is STUBBED` 两行)。原来 `2>&1` 把
# 这些行混进 `$(remote ...)` 的返回值 ⇒ `wc -c` 拿到的是 WARN 文本
# ⇒ 密钥送达长度校验必然失败;`sha256sum` 也拿不到 64 字节度量。
# ⇒ 用 **fd 3 分流**:远端 stdout/stderr → fd3 → 临时文件;
# xop 自己的 stdout → /dev/null;xop 的 stderr 留给调用方看。
# ⇒ 返回值只剩远端脚本的真实输出。
#
# ★ 别再写 `< /dev/null`:`<<<"$4"` 是**后出现**的重定向,
# bash 里会覆盖前面的 `< /dev/null`(实测 `cat < /dev/null <<<X` 输出 X)
# ⇒ 那是道**假防护**。而 here-string 本身不是 TTY,
# xop 会自动走无头钥匙串路径,不需要再断开 stdin。
local _out
_out=$(mktemp "${TMPDIR:-/tmp}/mpc-remote.XXXXXX") || return 1
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" 'bash -s' 1>&3 2>&3" \
3>"$_out" >/dev/null <<<"$4"
cat "$_out"
rm -f "$_out"
}
remote_put() {
# $1=host $2=user $3=pass $4=远端路径 —— 内容从**本脚本 stdin** 读
# $1=host $2=用户键名 $3=口令键名 $4=远端路径 —— 内容从**本脚本 stdin** 读
#
# ★★ 只传内容、不传脚本 ⇒ 密钥**不经过 argv**(argv 会进远端 ps)。
# 密钥全文只走 stdin 这条通道。
SSHPASS="$3" sshpass -e ssh ${SSHO} "$2@$1" \
"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'" 2>&1
#
# ★★ **这里绝不能写 `< /dev/null`** ——
# 那会把调用方的**管道内容丢掉**(实测:写出的文件是 0 字节,
# 密钥根本没送达远端 ⇒ 远端读到的密钥是空的 ⇒ 控制面配的密钥与
# 节点用的不是同一份 ⇒ 全 401,且症状极难查)。
# ⇒ 只在 stdin **是 TTY** 时才断开(xop 在 TTY 下会等 Touch ID 超时);
# 管道场景 stdin 本来就不是 TTY,xop 走无头分支,不需要断开。
if [ -t 0 ]; then
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
< /dev/null 2>&1
else
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
2>&1
fi
}
if ! require_env; then
@@ -103,7 +210,7 @@ printf '\n'
neg_gate() {
# $1=标签 $2=远端命令 $3=期望出现在输出里的拒绝特征
local label=$1 cmd=$2 want=$3 o
o=$(remote "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" "$cmd")
o=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$cmd")
if printf '%s' "$o" | grep -q "$want"; then
ok "负向·${label}:按预期拒绝"
return 0
@@ -112,14 +219,34 @@ neg_gate() {
return 1
}
printf '--- 负向矩阵:跨网段暴露的硬闸门 ---\n'
# ★ 格式串以 `---` 开头会被 bash 的 printf 当成选项(`printf: --: invalid option`)
# ⇒ 用 `%s` 传参,别让格式串直接以 `-` 打头。
printf '%s\n' '--- 负向矩阵:跨网段暴露的硬闸门 ---'
# ★★ 这两条**启动期**负向(不需要控制面已在跑)⇒ 放在起控制面**之前**。
#
# ★ 密钥**不进 argv**:从**文件**读进环境(文件此时可能还不存在,
# 所以用本机的 secret 内容经 stdin 传给远端 —— 见 remote_put)。
printf '%s' "$CLUSTER_SECRET" | remote_put "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" \
printf '%s' "$CLUSTER_SECRET" | remote_put "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
/tmp/mpc-cluster/cluster.secret >/dev/null
# ★★ **必须校验密钥真的送到了**(不能假设)。
#
# ★ 实测踩过:`remote_put` 里写了 `< /dev/null` ⇒ 把调用方的**管道内容**
# 整个丢掉 ⇒ 远端文件是 **0 字节** ⇒ 远端读到空密钥 ⇒ 控制面配的
# 密钥与节点用的不是同一份 ⇒ 全 401,而症状是「自报收不到」,
# 极难往「密钥没送达」上想。
# ⇒ 这里**当场量长度**:不符就**立刻失败**,别让它流到后面。
want_len=${#CLUSTER_SECRET}
got_len=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"wc -c < /tmp/mpc-cluster/cluster.secret 2>/dev/null | tr -d ' '")
if [ "${got_len:-0}" = "$want_len" ] && [ "$want_len" -ge 32 ]; then
ok "集群密钥已送达海光机(${got_len} 字节)"
else
fail "集群密钥没送达海光机(期望 ${want_len} 字节,得到 '${got_len:-空}')—— \
密钥通道断了(remote_put 的 stdin 被重定向覆盖?)"
exit 1
fi
neg_gate '非回环无密钥拒启动' \
"cd /tmp/mpc-cluster && MPC_HOSTD_SHARED_SECRET= ./mpc control-plane serve --listen 0.0.0.0:3099 --allow-remote 2>&1 | head -3" \
'共享密钥'
@@ -143,7 +270,7 @@ neg_gate '有密钥但缺 --allow-remote 拒启动' \
# ⇒ 下面把「后台起服务」和「读日志」拆成**两条独立命令**。
# (密钥文件已在上面的负向矩阵段推过去了,这里不重复推。)
printf '\n--- 起控制面 ---\n'
out=$(remote "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" \
out=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"cd /tmp/mpc-cluster
pkill -f 'mpc control-plane serve' 2>/dev/null || true
sleep 1
@@ -169,7 +296,7 @@ fi
# ⇒ 先断言「正确密钥拿到 200」,再断言「错密钥拿到 401」。
# ⇒ 顺序不能反:先跑正向,正向不过就不必跑负向。
printf '\n--- 负向矩阵:鉴权 ---\n'
code_ok=$(remote "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" \
code_ok=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat /tmp/mpc-cluster/cluster.secret)
curl -s -o /dev/null -w '%{http_code}' -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/nodes")
if [ "$code_ok" = "200" ]; then
@@ -260,12 +387,12 @@ EOS
}
printf '\n--- 起节点 hostd ---\n'
start_hostd 'AMD' "$AMD_HOST" "$USER_AMD" "$SSHPASS_AMD" snp alice \
start_hostd 'AMD' "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" snp alice \
/opt/kata/bin/qemu-system-x86_64 \
/opt/kata/share/ovmf/AMDSEV.fd \
/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential || FAIL_N=$((FAIL_N + 1))
start_hostd 'CSV' "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" csv bob \
start_hostd 'CSV' "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" csv bob \
/opt/confidential-containers/bin/qemu-system-x86_64 \
/opt/confidential-containers/share/ovmf/HYGONCSV.fd \
/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu || FAIL_N=$((FAIL_N + 1))
@@ -274,7 +401,7 @@ start_hostd 'CSV' "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" csv bob \
printf '\n--- 查控制面注册表 ---\n'
sleep 8
# ★ 密钥从**文件**读进环境,**不进 curl 的 argv**(argv 会进远端 ps)。
nodes=$(remote "$HYGON_HOST" "$USER_HYGON" "$SSHPASS_HYGON" \
nodes=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat /tmp/mpc-cluster/cluster.secret)
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/nodes")
printf '%s\n' "$nodes" | sed 's/^/ /'