集群自报联调脚本的 3 个真机必挂缺陷: - xop 把自己的 WARN 打在 stdout(不是 stderr)。`remote()` 原先 `2>&1` 合并返回,导致 `wc -c` / `sha256sum` / curl HTTP 码全被污染; 改用 fd3 分流:远端输出进临时文件,xop stdout 丢弃,返回值只剩真实输出。 `xop_probe` 改为只认纯数字行,拿不到数字即失败(fail-closed)。 - `printf '--- 负向矩阵…'` 格式串前导破折号被 bash 当成选项,改用 `%s`。 - `remote()` 里 `< /dev/null` 被后面的 here-string 覆盖,是无效防护; 同时删掉从未被调用的 `remote_amd()`(把脚本正文塞进 ssh argv 的活样本)。 判据门禁(第 25 条)收编: - `selftest-cluster-selfreport.py` 重写为 9 组判据 10 项检查, 探针先自证 fired(避免「argv 日志为空 ⇒ 没密钥」恒真), 用假 xop + 假 sshpass,不依赖真机与保险库是否解锁。 - 判据 4 只扫密钥流经语句并豁免本地熵源;新增判据 9 守 fd3 隔离。 - `selftest-cluster-selfreport-break.py` 覆盖全部 9 组判据共 11 条破坏实验, 每条变异双向确认证据串,顺序事实型单独一条路径。 文档:主门禁条数 24 → 25 全仓同步;诚实边界改为「真机两节点自报已实证, 选址/下发/证明门控/端点交付仍只在假 hostd 上验过;修完的脚本只过离线 判据门禁,尚未在真机复跑」。 验证:bash -n、shell 卫生 lint(39 脚本)、真 xop+假远端 fd3 分流实测、 自测 10/10、破坏实验 11/11、tools/ci.sh 全量 25 条 CI_EXIT=0。
454 lines
22 KiB
Bash
Executable File
454 lines
22 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# 真机集群自报联调:两台 hostd 向一台真机上的集群控制面周期自报。
|
||
#
|
||
# 拓扑(2026-11-09 实测):
|
||
# 控制面 = 海光 192.168.1.102(hostd 与控制面同机 ⇒ 回环自报路径)
|
||
# 节点 1 = AMD 192.168.1.7 (--node-platform snp)
|
||
# 节点 2 = 海光 192.168.1.102 (--node-platform csv)
|
||
#
|
||
# ★ 为什么控制面放在真机上(而不是本机):
|
||
# 本机 macOS 的**入站**到自己的外部 IP(192.168.1.18)会被系统代理/沙箱拦
|
||
# (症状:curl rc=7 / 502,而服务明明在监听)。
|
||
# 真机 → 真机这条路是通的(已实测:两台真机都能连上 192.168.1.18 的监听)。
|
||
# ⇒ 控制面放真机,走「真机 → 真机」这条**不依赖本机网络栈**的路。
|
||
#
|
||
# ★ 凭据:按**项目约定**,只放 xop **键名**,脚本内自己调 xop 取明文
|
||
# (与 host-materials.sh / kbc-attest-e2e.sh 同一范式)。
|
||
# 键名来自 deploy/tee/real-machine/real-machines.env:
|
||
# MPC_TEE_AMD_USER_KEY / MPC_TEE_AMD_PASS_KEY
|
||
# MPC_TEE_HYGON_USER_KEY / MPC_TEE_HYGON_PASS_KEY
|
||
#
|
||
# 用法:
|
||
# set -a; . deploy/tee/real-machine/real-machines.env; set +a
|
||
# ./cluster-selfreport-e2e.sh
|
||
#
|
||
# ★★ 集群共享密钥:**本地随机生成**,不落盘、不入库、不进 xop。
|
||
# 理由:它只需要在**本次运行内**三方一致(控制面 + 两个节点 hostd),
|
||
# 用完即弃。存进 vault 反而多一份长期有效的凭据。
|
||
# ⇒ 每次运行都是新密钥 ⇒ 泄漏面最小。
|
||
# (要复现同一组密钥,设 MPC_CLUSTER_SECRET 覆盖它 —— 只在调试时用。)
|
||
#
|
||
# ★ 判定只有一份:本脚本末尾的 verdict。
|
||
set -u
|
||
|
||
HERE=$(cd "$(dirname "$0")" && pwd)
|
||
SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAuthentications=password -o PubkeyAuthentication=no -o ConnectTimeout=20"
|
||
|
||
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
|
||
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
|
||
|
||
# xop 键名(默认与 real-machines.env 一致)
|
||
AMD_USER_KEY=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
|
||
AMD_PASS_KEY=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
|
||
HYGON_USER_KEY=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
|
||
HYGON_PASS_KEY=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
|
||
|
||
# 集群共享密钥:站点端与所有节点 hostd 持有同一份。
|
||
# ★★ 口径:**明文 ASCII 串**(不是 hex)—— 控制面、节点 hostd、
|
||
# 自报、下发**四处**用的是**同一个原文**。
|
||
# ★ 2026-11-09 真机联调踩过:控制面下发曾用 `hex_encode(secret)`,
|
||
# 而节点侧校验的是**明文** ⇒ create/attest/destroy **全部 401**,
|
||
# 现象是「节点活着、自报收到了,就是下发不进去」。
|
||
# ★ 现在口径统一走 `mpc_hostd::auth::secret_token`(唯一真相源)。
|
||
CLUSTER_SECRET=${MPC_CLUSTER_SECRET:-}
|
||
|
||
OK_N=0
|
||
FAIL_N=0
|
||
ok() { OK_N=$((OK_N + 1)); printf 'ok %s\n' "$1"; }
|
||
fail() { FAIL_N=$((FAIL_N + 1)); printf 'FAIL %s\n' "$1" >&2; }
|
||
|
||
# ★ 探 xop 里的键:只看**长度**(长度不会被 FileGuard 掩码)。
|
||
#
|
||
# ★★ 为什么只探长度、不取值:
|
||
# xop 的 FileGuard 会在**打印**时把值替换成
|
||
# `ro****【xop禁止将密钥泄漏】`(实测 2026-11-09:
|
||
# 连 `printf %s "$V"` 都会被替换,而 `${#V}` 正常)。
|
||
# ⇒ 「取出来存进 shell 变量」这条路**本来就是死的** ——
|
||
# 拿到的不是口令,是掩码。
|
||
# ⇒ 正确姿势:值**只在 xop 的子进程里**用(见 remote()),
|
||
# 本脚本从不持有明文。
|
||
xop_probe() {
|
||
# $1=键名 ⇒ 成功返回 0(键存在且非空),失败返回 1
|
||
local n
|
||
# ★ xop 把 Guard 的 WARN 打到 **stdout**(不是 stderr)⇒ `2>/dev/null` 挡不住。
|
||
# `tail -n 1` 只是碰巧取到最后一行;改成**只认纯数字行**,
|
||
# WARN 行含非数字字符会被过滤掉 ⇒ 拿不到数字就当失败(fail-closed)。
|
||
n=$(xop run --secret "V=$1" -- sh -c 'printf "%s\n" "${#V}"' \
|
||
< /dev/null 2>/dev/null | grep -E '^[0-9]+$' | tail -n 1)
|
||
case "$n" in
|
||
''|*[!0-9]*) return 1 ;;
|
||
0) return 1 ;;
|
||
*) return 0 ;;
|
||
esac
|
||
}
|
||
|
||
require_env() {
|
||
local missing=0
|
||
if [ -z "$AMD_USER_KEY" ] || [ -z "$AMD_PASS_KEY" ] \
|
||
|| [ -z "$HYGON_USER_KEY" ] || [ -z "$HYGON_PASS_KEY" ]; then
|
||
printf '缺少真机凭据的 xop 键名(检查 MPC_TEE_AMD_USER_KEY 等,或 source real-machines.env)\n' >&2
|
||
missing=1
|
||
fi
|
||
if ! command -v xop >/dev/null 2>&1; then
|
||
printf '找不到 xop(凭据管理工具)—— 本脚本按项目约定从 xop 取真机口令\n' >&2
|
||
missing=1
|
||
fi
|
||
if ! command -v sshpass >/dev/null 2>&1; then
|
||
printf '找不到 sshpass —— 无法做密码认证的 SSH\n' >&2
|
||
missing=1
|
||
fi
|
||
[ "$missing" -eq 0 ] || return 1
|
||
|
||
# ★★ **不把口令取到 shell 变量里** —— xop 的 FileGuard 会在**打印**时
|
||
# 把值掩码成 `ro****【xop禁止将密钥泄漏】`(实测:连 `${#V}` 都正常,
|
||
# 但 `printf %s "$V"` 会被替换)。所以「取出来再用」这条路是死的。
|
||
# ⇒ 正确姿势:**在 xop 的子进程里直接用注入的环境变量**执行 ssh,
|
||
# 值从不经过本 shell 的 stdout。
|
||
# ⇒ 顺带的好处:口令**从不进本脚本的内存**,也不进任何 argv。
|
||
#
|
||
# ★ 预检:xop 能不能解锁 vault、键名对不对 ——
|
||
# 这里用「只取长度」的方式验(长度不会被掩码)。
|
||
if ! xop_probe "$AMD_USER_KEY" || ! xop_probe "$AMD_PASS_KEY" \
|
||
|| ! xop_probe "$HYGON_USER_KEY" || ! xop_probe "$HYGON_PASS_KEY"; then
|
||
printf 'xop 取不到凭据(键名不对或 vault 未解锁)—— 键名:%s / %s / %s / %s\n' \
|
||
"$AMD_USER_KEY" "$AMD_PASS_KEY" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" >&2
|
||
missing=1
|
||
fi
|
||
[ "$missing" -eq 0 ] || return 1
|
||
|
||
# ★ 集群密钥:没给就本地随机生成一份(**不落盘、不入库**)。
|
||
if [ -z "$CLUSTER_SECRET" ]; then
|
||
if command -v openssl >/dev/null 2>&1; then
|
||
CLUSTER_SECRET=$(openssl rand -hex 32)
|
||
else
|
||
CLUSTER_SECRET=$(od -An -tx1 -N32 /dev/urandom | tr -d ' \n')
|
||
fi
|
||
printf '集群共享密钥:本次运行随机生成(%d 字节,用完即弃)\n' "${#CLUSTER_SECRET}"
|
||
fi
|
||
return "$missing"
|
||
}
|
||
|
||
# ★ 曾有一个 remote_amd()(把 $4 塞进 ssh argv),现在删了:
|
||
# 没人调用它,但它的形态本身就是「密钥进 argv」的活样本,
|
||
# 留着早晚被人复制 ⇒ 判据 1 扫到它会误判,也会被当成可用范式。
|
||
# 脚本正文一律走 remote() 的 stdin 通道。
|
||
|
||
remote() {
|
||
# $1=host $2=用户键名 $3=口令键名 $4=script
|
||
#
|
||
# ★★ 脚本正文走 **stdin**(`ssh ... bash -s`),**不走 argv**。
|
||
# argv 会进远端 `ps` 输出 ⇒ 正文里带的密钥就等于公开。
|
||
#
|
||
# ★★ 凭据**全程不经过本 shell**:ssh 在 xop 的子进程里跑,
|
||
# `SSHPASS` 由 xop 注入成环境变量(`sshpass -e` 读它)。
|
||
# ⇒ 口令不进本脚本内存、不进任何 argv、也不被 FileGuard 掩码。
|
||
#
|
||
# ★★ **xop 自己的 WARN 打在 stdout**(`xop -h` 没写,实测 2026-11-09:
|
||
# `NetworkGuard/FileGuard.setup() is STUBBED` 两行)。原来 `2>&1` 把
|
||
# 这些行混进 `$(remote ...)` 的返回值 ⇒ `wc -c` 拿到的是 WARN 文本
|
||
# ⇒ 密钥送达长度校验必然失败;`sha256sum` 也拿不到 64 字节度量。
|
||
# ⇒ 用 **fd 3 分流**:远端 stdout/stderr → fd3 → 临时文件;
|
||
# xop 自己的 stdout → /dev/null;xop 的 stderr 留给调用方看。
|
||
# ⇒ 返回值只剩远端脚本的真实输出。
|
||
#
|
||
# ★ 别再写 `< /dev/null`:`<<<"$4"` 是**后出现**的重定向,
|
||
# bash 里会覆盖前面的 `< /dev/null`(实测 `cat < /dev/null <<<X` 输出 X)
|
||
# ⇒ 那是道**假防护**。而 here-string 本身不是 TTY,
|
||
# xop 会自动走无头钥匙串路径,不需要再断开 stdin。
|
||
local _out
|
||
_out=$(mktemp "${TMPDIR:-/tmp}/mpc-remote.XXXXXX") || return 1
|
||
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
|
||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" 'bash -s' 1>&3 2>&3" \
|
||
3>"$_out" >/dev/null <<<"$4"
|
||
cat "$_out"
|
||
rm -f "$_out"
|
||
}
|
||
|
||
remote_put() {
|
||
# $1=host $2=用户键名 $3=口令键名 $4=远端路径 —— 内容从**本脚本 stdin** 读
|
||
#
|
||
# ★★ 只传内容、不传脚本 ⇒ 密钥**不经过 argv**(argv 会进远端 ps)。
|
||
# 密钥全文只走 stdin 这条通道。
|
||
#
|
||
# ★★ **这里绝不能写 `< /dev/null`** ——
|
||
# 那会把调用方的**管道内容丢掉**(实测:写出的文件是 0 字节,
|
||
# 密钥根本没送达远端 ⇒ 远端读到的密钥是空的 ⇒ 控制面配的密钥与
|
||
# 节点用的不是同一份 ⇒ 全 401,且症状极难查)。
|
||
# ⇒ 只在 stdin **是 TTY** 时才断开(xop 在 TTY 下会等 Touch ID 超时);
|
||
# 管道场景 stdin 本来就不是 TTY,xop 走无头分支,不需要断开。
|
||
if [ -t 0 ]; then
|
||
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
|
||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
|
||
< /dev/null 2>&1
|
||
else
|
||
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
|
||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
|
||
2>&1
|
||
fi
|
||
}
|
||
|
||
if ! require_env; then
|
||
exit 2
|
||
fi
|
||
|
||
printf '=== 真机集群自报联调 ===\n'
|
||
printf '控制面 : %s:3020\n' "$HYGON_HOST"
|
||
printf '节点 AMD : %s\n' "$AMD_HOST"
|
||
printf '节点 CSV : %s\n' "$HYGON_HOST"
|
||
printf '共享密钥 : %d 字节\n' "${#CLUSTER_SECRET}"
|
||
printf '\n'
|
||
|
||
# ── 0. 负向矩阵:跨网段暴露的三道硬闸门 ─────────────────────────────────
|
||
#
|
||
# ★ 三条负向判据,每条都必须**真的拒**(不是警告):
|
||
# ① 非回环 + 无共享密钥 ⇒ 拒启动(否则等于零保护的公网控制面);
|
||
# ② 非回环 + 有密钥但缺 `--allow-remote` ⇒ 拒启动;
|
||
# ③ 错密钥 ⇒ 401。
|
||
#
|
||
# ★ 判据纪律:负向必须**用构造样例逐条破坏过**,
|
||
# 且每条都要「带期望拒绝特征」——只判「失败」会恒真。
|
||
neg_gate() {
|
||
# $1=标签 $2=远端命令 $3=期望出现在输出里的拒绝特征
|
||
local label=$1 cmd=$2 want=$3 o
|
||
o=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$cmd")
|
||
if printf '%s' "$o" | grep -q "$want"; then
|
||
ok "负向·${label}:按预期拒绝"
|
||
return 0
|
||
fi
|
||
fail "负向·${label}:没看到拒绝特征 '${want}',实际输出:${o}"
|
||
return 1
|
||
}
|
||
|
||
# ★ 格式串以 `---` 开头会被 bash 的 printf 当成选项(`printf: --: invalid option`)
|
||
# ⇒ 用 `%s` 传参,别让格式串直接以 `-` 打头。
|
||
printf '%s\n' '--- 负向矩阵:跨网段暴露的硬闸门 ---'
|
||
# ★★ 这两条**启动期**负向(不需要控制面已在跑)⇒ 放在起控制面**之前**。
|
||
#
|
||
# ★ 密钥**不进 argv**:从**文件**读进环境(文件此时可能还不存在,
|
||
# 所以用本机的 secret 内容经 stdin 传给远端 —— 见 remote_put)。
|
||
printf '%s' "$CLUSTER_SECRET" | remote_put "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
/tmp/mpc-cluster/cluster.secret >/dev/null
|
||
|
||
# ★★ **必须校验密钥真的送到了**(不能假设)。
|
||
#
|
||
# ★ 实测踩过:`remote_put` 里写了 `< /dev/null` ⇒ 把调用方的**管道内容**
|
||
# 整个丢掉 ⇒ 远端文件是 **0 字节** ⇒ 远端读到空密钥 ⇒ 控制面配的
|
||
# 密钥与节点用的不是同一份 ⇒ 全 401,而症状是「自报收不到」,
|
||
# 极难往「密钥没送达」上想。
|
||
# ⇒ 这里**当场量长度**:不符就**立刻失败**,别让它流到后面。
|
||
want_len=${#CLUSTER_SECRET}
|
||
got_len=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"wc -c < /tmp/mpc-cluster/cluster.secret 2>/dev/null | tr -d ' '")
|
||
if [ "${got_len:-0}" = "$want_len" ] && [ "$want_len" -ge 32 ]; then
|
||
ok "集群密钥已送达海光机(${got_len} 字节)"
|
||
else
|
||
fail "集群密钥没送达海光机(期望 ${want_len} 字节,得到 '${got_len:-空}')—— \
|
||
密钥通道断了(remote_put 的 stdin 被重定向覆盖?)"
|
||
exit 1
|
||
fi
|
||
|
||
neg_gate '非回环无密钥拒启动' \
|
||
"cd /tmp/mpc-cluster && MPC_HOSTD_SHARED_SECRET= ./mpc control-plane serve --listen 0.0.0.0:3099 --allow-remote 2>&1 | head -3" \
|
||
'共享密钥'
|
||
neg_gate '有密钥但缺 --allow-remote 拒启动' \
|
||
"cd /tmp/mpc-cluster && SECRET=\$(cat /tmp/mpc-cluster/cluster.secret) && MPC_HOSTD_SHARED_SECRET=\"\$SECRET\" ./mpc control-plane serve --listen 0.0.0.0:3099 2>&1 | head -3" \
|
||
'allow-remote'
|
||
|
||
# ── 1. 起控制面(海光机)────────────────────────────────────────────────
|
||
# ★ 控制面必须先起:节点自报是「推」,控制面没起来时第一轮自报会被拒,
|
||
# 但 hostd 会**周期重试**(--report-interval)⇒ 控制面起来后自动补上。
|
||
#
|
||
# ★★ 密钥处置(三步,密钥**全程不进 argv**):
|
||
# ① `remote_put` 把密钥推到远端 0600 文件 —— 内容走 stdin;
|
||
# ② 远端脚本从**文件**读进环境变量;
|
||
# ③ 启动命令里**不含**密钥。
|
||
# ⇒ 远端 `ps` 看不到密钥。
|
||
#
|
||
# ★★ 另一个坑:`a && b & sleep 2; cat x.log` 里的 `&` 会把**整个 AND-list**
|
||
# 放后台(bash 语法:`&` 终止整个 list)⇒ 前台的 `cat` 在**原目录**执行,
|
||
# 读不到日志 ⇒ 控制面明明起来了,判定却说「没起来」。
|
||
# ⇒ 下面把「后台起服务」和「读日志」拆成**两条独立命令**。
|
||
# (密钥文件已在上面的负向矩阵段推过去了,这里不重复推。)
|
||
printf '\n--- 起控制面 ---\n'
|
||
out=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"cd /tmp/mpc-cluster
|
||
pkill -f 'mpc control-plane serve' 2>/dev/null || true
|
||
sleep 1
|
||
SECRET=\$(cat /tmp/mpc-cluster/cluster.secret)
|
||
export MPC_HOSTD_SHARED_SECRET=\"\$SECRET\"
|
||
unset SECRET
|
||
nohup ./mpc control-plane serve --listen 0.0.0.0:3020 --hostd-port 3010 --allow-remote > cp.log 2>&1 &
|
||
sleep 3
|
||
cat cp.log")
|
||
printf '%s\n' "$out" | sed 's/^/ /'
|
||
if printf '%s\n' "$out" | grep -q 'control-plane: 监听'; then
|
||
ok "控制面已起($(printf '%s\n' "$out" | grep -o '监听 [^(]*' | head -1))"
|
||
else
|
||
fail "控制面没起来"
|
||
exit 1
|
||
fi
|
||
|
||
# ★★ 负向(**运行期**):错密钥必须 401。
|
||
#
|
||
# ★★ 关键:必须有**正向对照**。
|
||
# 只判「错密钥不是 200」的话 —— 控制面**没起来**时 curl 连不上,
|
||
# 返回码是 `000`,`000 != 200` ⇒ **判通过** ⇒ 假绿。
|
||
# ⇒ 先断言「正确密钥拿到 200」,再断言「错密钥拿到 401」。
|
||
# ⇒ 顺序不能反:先跑正向,正向不过就不必跑负向。
|
||
printf '\n--- 负向矩阵:鉴权 ---\n'
|
||
code_ok=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat /tmp/mpc-cluster/cluster.secret)
|
||
curl -s -o /dev/null -w '%{http_code}' -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/nodes")
|
||
if [ "$code_ok" = "200" ]; then
|
||
ok "正向·正确密钥可查注册表(200)"
|
||
else
|
||
fail "正向·正确密钥查注册表失败(期望 200,得到 '${code_ok}')—— 控制面没起来?"
|
||
exit 1
|
||
fi
|
||
neg_gate '错密钥 401' \
|
||
"curl -s -o /dev/null -w '%{http_code}' -m 8 -H 'Authorization: Bearer wrong-secret-000000000000000000000000000' http://127.0.0.1:3020/nodes" \
|
||
'401'
|
||
|
||
# ── 2. 起两台 hostd(带自报参数)───────────────────────────────────────
|
||
#
|
||
# ★ 参数与两侧真机的真实物料一一对应(2026-11-09 实测):
|
||
# AMD : qemu=/opt/kata/bin/qemu-system-x86_64
|
||
# fw=/opt/kata/share/ovmf/AMDSEV.fd
|
||
# kernel=/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential
|
||
# CSV : qemu=/opt/confidential-containers/bin/qemu-system-x86_64
|
||
# fw=/opt/confidential-containers/share/ovmf/HYGONCSV.fd
|
||
# kernel=/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu
|
||
# initrd: 两侧共用 /tmp/mpc-tee-run-attestpair/initrd.img(e2e 产物)
|
||
# ★ 度量必须**非全零**(全零 ⇒ 节点永远选不中,admit 要求 has_measurement)。
|
||
# 这里用「该 initrd 的 sha256」作为声明的度量 —— 它是**部署方声明**的事实,
|
||
# 与路径同一性质;真实度量的核对在会话级 admit + 证明门控里做。
|
||
start_hostd() {
|
||
# $1=label $2=host $3=user $4=pass $5=platform $6=site $7=qemu $8=fw $9=kernel
|
||
local label=$1 host=$2 user=$3 pass=$4 platform=$5 site=$6 qemu=$7 fw=$8 kernel=$9
|
||
local initrd=/tmp/mpc-tee-run-attestpair/initrd.img
|
||
local meas
|
||
meas=$(remote "$host" "$user" "$pass" "sha256sum '$initrd' 2>/dev/null | cut -d' ' -f1")
|
||
if [ ${#meas} -ne 64 ]; then
|
||
fail "${label}:算不出 initrd 度量(${initrd} 不存在?):'${meas}'"
|
||
return 1
|
||
fi
|
||
printf ' %s 度量 = %s\n' "$label" "$meas"
|
||
|
||
# ★★ 密钥:先推到远端 0600 文件(内容走 stdin,不进 argv)。
|
||
printf '%s' "$CLUSTER_SECRET" | remote_put "$host" "$user" "$pass" \
|
||
/tmp/mpc-cluster/cluster.secret >/dev/null
|
||
|
||
local script
|
||
script=$(cat <<EOS
|
||
cd /tmp/mpc-cluster
|
||
# ★ 只杀**自己起的**那个 hostd(按 pid 文件),别 pkill 全局 ——
|
||
# \`pkill -f 'mpc hostd'\` 会连带杀掉这台机器上**别的用途**的 hostd。
|
||
if [ -f /tmp/mpc-cluster/hostd.pid ]; then
|
||
kill "\$(cat /tmp/mpc-cluster/hostd.pid)" 2>/dev/null || true
|
||
rm -f /tmp/mpc-cluster/hostd.pid
|
||
fi
|
||
sleep 1
|
||
# ★ 密钥从**文件**读进环境;启动命令行里**不含**密钥
|
||
# (argv 会进远端 ps;环境变量不会出现在 ps 的 cmd 列)。
|
||
SECRET=\$(cat /tmp/mpc-cluster/cluster.secret)
|
||
export MPC_HOSTD_SHARED_SECRET="\$SECRET"
|
||
unset SECRET
|
||
nohup ./mpc hostd \\
|
||
--listen 0.0.0.0:3010 \\
|
||
--allow-remote \\
|
||
--control-plane $HYGON_HOST:3020 \\
|
||
--node-platform $platform \\
|
||
--node-site $site \\
|
||
--node-host $host \\
|
||
--node-tcb 5 \\
|
||
--node-qemu $qemu \\
|
||
--node-firmware $fw \\
|
||
--node-kernel $kernel \\
|
||
--node-initrd $initrd \\
|
||
--node-measurement $meas \\
|
||
--node-capacity 2 \\
|
||
--report-interval 5 \\
|
||
--guest-endpoint $host:3010 \\
|
||
> hostd.log 2>&1 &
|
||
echo \$! > /tmp/mpc-cluster/hostd.pid
|
||
sleep 3
|
||
cat hostd.log
|
||
EOS
|
||
)
|
||
local o
|
||
o=$(remote "$host" "$user" "$pass" "$script")
|
||
printf '%s\n' "$o" | sed 's/^/ /'
|
||
if printf '%s\n' "$o" | grep -qi 'hostd: 监听'; then
|
||
ok "$label hostd 已起"
|
||
return 0
|
||
fi
|
||
fail "$label hostd 没起来"
|
||
return 1
|
||
}
|
||
|
||
printf '\n--- 起节点 hostd ---\n'
|
||
start_hostd 'AMD' "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" snp alice \
|
||
/opt/kata/bin/qemu-system-x86_64 \
|
||
/opt/kata/share/ovmf/AMDSEV.fd \
|
||
/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential || FAIL_N=$((FAIL_N + 1))
|
||
|
||
start_hostd 'CSV' "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" csv bob \
|
||
/opt/confidential-containers/bin/qemu-system-x86_64 \
|
||
/opt/confidential-containers/share/ovmf/HYGONCSV.fd \
|
||
/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu || FAIL_N=$((FAIL_N + 1))
|
||
|
||
# ── 3. 等自报进控制面 ──────────────────────────────────────────────────
|
||
printf '\n--- 查控制面注册表 ---\n'
|
||
sleep 8
|
||
# ★ 密钥从**文件**读进环境,**不进 curl 的 argv**(argv 会进远端 ps)。
|
||
nodes=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat /tmp/mpc-cluster/cluster.secret)
|
||
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/nodes")
|
||
printf '%s\n' "$nodes" | sed 's/^/ /'
|
||
|
||
# ── 判据 ───────────────────────────────────────────────────────────────
|
||
#
|
||
# ★★ 判据纪律:**否定式判据必须配正向对照**。
|
||
# 「注册表里没有全零度量」是**否定式** —— 若 `nodes` 为空
|
||
# (curl 失败 / 控制面没起 / 鉴权被拒),grep 找不到全零 ⇒ **恒通过**。
|
||
# 症状:控制面根本没起来,脚本却报「度量非全零」⇒ 假绿。
|
||
# ⇒ 下面先断言注册表里**确实有**节点(正向),再断言没有全零(否定)。
|
||
#
|
||
# ★ 另一个坑:`grep -c` 在**没匹配**时返回 1(不是 0),
|
||
# 且会往 stderr 打一行 ⇒ 必须 `|| true` 兜住,否则 `set -e` 会误杀。
|
||
|
||
# ① 正向:注册表**非空**且能查到两个节点。
|
||
n_amd=$(printf '%s' "$nodes" | grep -c "$AMD_HOST" || true)
|
||
n_csv=$(printf '%s' "$nodes" | grep -c "\"host\":\"$HYGON_HOST\"" || true)
|
||
if [ "${n_amd:-0}" -ge 1 ]; then
|
||
ok "控制面看到 AMD 节点(${AMD_HOST})"
|
||
else
|
||
fail "控制面看不到 AMD 节点(${AMD_HOST})—— 注册表内容:${nodes}"
|
||
fi
|
||
if [ "${n_csv:-0}" -ge 1 ]; then
|
||
ok "控制面看到 CSV 节点(${HYGON_HOST})"
|
||
else
|
||
fail "控制面看不到 CSV 节点(${HYGON_HOST})—— 注册表内容:${nodes}"
|
||
fi
|
||
|
||
# ② 正向:注册表里**确实有**度量字段(非空串)。
|
||
# 这是「否定式判据」的锚点 —— 没有它,下面那条「非全零」恒真。
|
||
n_meas=$(printf '%s' "$nodes" | grep -c '"measurement"' || true)
|
||
if [ "${n_meas:-0}" -ge 1 ]; then
|
||
ok "注册表里带度量字段"
|
||
else
|
||
fail "注册表里没有度量字段(节点自报格式不对?):${nodes}"
|
||
fi
|
||
|
||
# ③ 否定式(**已被 ② 锚定**):全零度量不存在。
|
||
ZERO_MEAS=0000000000000000000000000000000000000000000000000000000000000000
|
||
if printf '%s' "$nodes" | grep -q "$ZERO_MEAS"; then
|
||
fail "注册表里出现了全零度量(那意味着节点永远选不中)"
|
||
else
|
||
ok "注册表里度量非全零"
|
||
fi
|
||
|
||
printf '\n=== 结果:%d 通过 / %d 失败 ===\n' "$OK_N" "$FAIL_N"
|
||
[ "$FAIL_N" -eq 0 ] || exit 1
|
||
echo "CLUSTER_SELFREPORT_OK: 两台真机 hostd 已向集群控制面自报成功"
|