Files
ssw-mpc/deploy/tee/real-machine/cluster-endpoint-gate-e2e.sh
admin 32419efc27 feat(cluster): 真机端点公布门禁跑通(真 KBS 验签后才公布会话端点)
- 新增 cluster-endpoint-gate-e2e.sh:AMD SNP + 海光 CSV 双节点自报、非回环监听 + 共享密钥、真 KBS 芯片验签后的端点公布;正向公布 / 负向零外泄(带原因)/ 收尾端点收回,真机 20 判据全绿
- mpc-tee / mpc-hostd:补齐控制面期望态绑定、宿主独立判定与 9p 手牌回传;LaunchOverride 支持真机双网卡与额外内核参数
- 修 runtime.rs 额外内核参数校验:CLI 把多个参数空格 join,服务端不得对整串判「含空白即拒」;改掉把错误行为钉死的测试并补跨端守卫
- kbs-net.sh 按端口清旧实例 + 硬判端口释放,杜绝旧参数 KBS 假就绪(端口 LISTEN 不等于本轮实例在跑)
2026-11-09 20:12:32 +08:00

940 lines
47 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env bash
# ★ 真机集群**端点公布门禁**:真 KBS 验签通过后,控制面才公布会话端点。
#
# ── 这条脚本守的是什么 ──
#
# Task #16 的最终目标:
# 「真 KBS 验签后的会话端点」—— 只有**芯片签名验过**的会话,
# 它的端点才允许被集群控制面公布给计算面消费。
#
# 整条链路:
# 控制面选节点 → 下发 create(含绑定材料 + 三个 init.sh 必需参数)
# → 节点 hostd 起 guest(真机双网卡 + 9p 手牌)
# → guest 采芯片报告 → 提交本机 KBS → KBS **芯片验签**
# → guest 回传原始证明包(走 9p 手牌的实例级令牌)
# → 节点 hostd **独立判定**(四布尔 + 三态)
# → 控制面对账 → `proven_endpoints()` → `GET /sessions`
#
# ★ 端点公布的两道门(**都在服务端,不在脚本里**):
# ① `is_verified()` —— 决定**实例去留**(证据不成立 ⇒ 撤回端点 + 回收实例);
# ② `publishable(require_chip_sig)` —— 决定**端点是否外泄**
# (默认 `require_chip_sig=true`:没做芯片验签 ⇒ 端点不公布)。
# ⇒ 脚本**只观察**这两个门的结果,不替它们下结论。
#
# ── 正向 / 负向的分工 ──
#
# ★ 正向:真 KBS 验签通过 ⇒ `GET /sessions` 的 `sessions` 数组**非空**,
# 且端点指向**真实节点地址**。
# ★ 负向:证明不过 ⇒ `GET /sessions` 的端点**零外泄**,
# 且 `GET /report` 的 `failed` **有记录**(带原因)。
#
# ★★★ 负向怎么做到「证明不过」而不需要真的破坏芯片?
# 用**另一个节点**(不满足绑定度量 / 不满足 TCB)去承担同一条期望会话:
# 控制面会选中它 → create → 但**准入**在绑定上就拒了(度量 pin 不符),
# 或者它的证明判定不过 ⇒ 端点**不公布**。
# 这条路走的是**同一份**「端点绝不外泄」逻辑(对账器侧),
# 不是靠脚本自己判断「不该公布」。
#
# ★★ 关键纪律(**否定式判据天然可能恒真**):
# 负向必须**先跑正向**。若正向都不通过(控制面没起 / 没节点 / 没会话),
# 「sessions 数组为空」这件事**恒为真** ⇒ 负向毫无意义。
# ⇒ 脚本里**硬性**要求:正向通过之后才判负向;否则直接失败退出。
#
# 用法:
# set -a; . deploy/tee/real-machine/real-machines.env; set +a
# ./cluster-endpoint-gate-e2e.sh
#
# 环境变量:
# MPC_CLUSTER_SECRET 集群共享密钥(默认**本次运行随机生成**,用完即弃)
# MPC_EPG_WORK 工作目录(默认 /tmp/mpc-cluster-epg)
# MPC_EPG_TIMEOUT 等端点出现的秒数(默认 420 —— 真机芯片验签要联网拉证书链)
set -u
HERE=$(cd "$(dirname "$0")" && pwd)
REPO=$(cd "$HERE/../../.." && pwd)
SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAuthentications=password -o PubkeyAuthentication=no -o ConnectTimeout=20 -o LogLevel=ERROR"
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
AMD_USER_KEY=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
AMD_PASS_KEY=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
HYGON_USER_KEY=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
HYGON_PASS_KEY=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
# ★ 远端集群目录(两台机同名,各自独立)。
CLUSTER_DIR=${MPC_EPG_CLUSTER_DIR:-/tmp/mpc-cluster}
# ★ 物料目录(initrd / 验签器 / KBS 脚本都在这里 —— 由 tee-pair-attest-e2e.sh 分发过)。
REMOTE_DIR=${MPC_TEE_REMOTE_DIR:-/tmp/mpc-tee-run-attestpair}
# ★ 本地工作目录(存期望态 JSON / 判据输出)。
WORK=${MPC_EPG_WORK:-/tmp/mpc-cluster-epg}
# ★ 等端点出现的秒数。★ 必须够长:SNP 验签要联网拉 KDS 证书链(首次可达 90 秒)。
EPG_TIMEOUT=${MPC_EPG_TIMEOUT:-420}
EPG_POLL=${MPC_EPG_POLL:-5}
# ★★ 集群共享密钥:**本地随机生成**,不落盘、不入库、不进 xop。
# 它只需要在**本次运行内**三方一致(控制面 + 两个节点 hostd)。
# ⇒ 每次运行都是新密钥 ⇒ 泄漏面最小。
# (要复现同一组密钥,设 MPC_CLUSTER_SECRET 覆盖它 —— 只在调试时用。)
CLUSTER_SECRET=${MPC_CLUSTER_SECRET:-}
OK_N=0
FAIL_N=0
ok() { OK_N=$((OK_N + 1)); printf 'ok %s\n' "$1"; }
fail() { FAIL_N=$((FAIL_N + 1)); printf 'FAIL %s\n' "$1" >&2; }
# ★ 探 xop 里的键:只看**长度**(长度不会被 FileGuard 掩码)。
#
# ★★ 为什么只探长度、不取值:
# xop 的 FileGuard 会在**打印**时把值替换成掩码(实测 2026-11-09:
# 连 `printf %s "$V"` 都会被替换,而 `${#V}` 正常)。
# ⇒ 「取出来存进 shell 变量」这条路**本来就是死的** ——
# 拿到的不是口令,是掩码。
# ⇒ 正确姿势:值**只在 xop 的子进程里**用(见 remote()),本脚本从不持有明文。
xop_probe() {
local n
# ★ xop 把 Guard 的 WARN 打到 **stdout**(不是 stderr)⇒ `2>/dev/null` 挡不住。
# 只认**纯数字行** ⇒ WARN 行含非数字字符会被过滤掉 ⇒ 拿不到数字就当失败。
n=$(xop run --secret "V=$1" -- sh -c 'printf "%s\n" "${#V}"' \
< /dev/null 2>/dev/null | grep -E '^[0-9]+$' | tail -n 1)
case "$n" in
''|*[!0-9]*) return 1 ;;
0) return 1 ;;
*) return 0 ;;
esac
}
require_env() {
local missing=0
if [ -z "$AMD_USER_KEY" ] || [ -z "$AMD_PASS_KEY" ] \
|| [ -z "$HYGON_USER_KEY" ] || [ -z "$HYGON_PASS_KEY" ]; then
printf '缺少真机凭据的 xop 键名(检查 MPC_TEE_AMD_USER_KEY 等,或 source real-machines.env)\n' >&2
missing=1
fi
if ! command -v xop >/dev/null 2>&1; then
printf '找不到 xop(凭据管理工具)—— 本脚本按项目约定从 xop 取真机口令\n' >&2
missing=1
fi
if ! command -v sshpass >/dev/null 2>&1; then
printf '找不到 sshpass —— 无法做密码认证的 SSH\n' >&2
missing=1
fi
if ! command -v curl >/dev/null 2>&1; then
printf '找不到 curl —— 判据要查控制面的 HTTP 端点\n' >&2
missing=1
fi
[ "$missing" -eq 0 ] || return 1
# ★ 预检:xop 能不能解锁 vault、键名对不对 —— 这里用「只取长度」的方式验。
if ! xop_probe "$AMD_USER_KEY" || ! xop_probe "$AMD_PASS_KEY" \
|| ! xop_probe "$HYGON_USER_KEY" || ! xop_probe "$HYGON_PASS_KEY"; then
printf 'xop 取不到凭据(键名不对或 vault 未解锁)—— 键名:%s / %s / %s / %s\n' \
"$AMD_USER_KEY" "$AMD_PASS_KEY" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" >&2
missing=1
fi
[ "$missing" -eq 0 ] || return 1
# ★ 集群密钥:没给就本地随机生成一份(**不落盘、不入库**)。
if [ -z "$CLUSTER_SECRET" ]; then
if command -v openssl >/dev/null 2>&1; then
CLUSTER_SECRET=$(openssl rand -hex 32)
else
CLUSTER_SECRET=$(od -An -tx1 -N32 /dev/urandom | tr -d ' \n')
fi
printf '集群共享密钥:本次运行随机生成(%d 字节,用完即弃)\n' "${#CLUSTER_SECRET}"
fi
return "$missing"
}
remote() {
# $1=host $2=用户键名 $3=口令键名 $4=script
#
# ★★ 脚本正文走 **stdin**(`ssh ... bash -s`),**不走 argv**。
# argv 会进远端 `ps` 输出 ⇒ 正文里带的密钥就等于公开。
#
# ★★ 凭据**全程不经过本 shell**:ssh 在 xop 的子进程里跑,
# `SSHPASS` 由 xop 注入成环境变量(`sshpass -e` 读它)。
#
# ★★ **xop 自己的 WARN 打在 stdout** ⇒ 用 **fd 3 分流**:
# 远端 stdout → fd3 → 临时文件;xop 自己的 stdout → /dev/null;
# stderr 留给调用方看诊断。
# ★★ **stderr 绝对不能一起收进 fd3**:ssh 客户端的
# `Warning: Permanently added '…'` 打在**客户端 stderr**,
# 一旦 `2>&3` 它照样混进返回值 ⇒ 同一个 bug 换个马甲复现。
# ⇒ 只引 stdout;远端命令需要看 stderr 时自己 `2>&1`。
local _out
_out=$(mktemp "${TMPDIR:-/tmp}/mpc-epg-remote.XXXXXX") || return 1
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" 'bash -s' 1>&3" \
3>"$_out" >/dev/null <<<"$4"
cat "$_out"
rm -f "$_out"
}
remote_put() {
# $1=host $2=用户键名 $3=口令键名 $4=远端路径 —— 内容从**本脚本 stdin** 读
#
# ★★ 只传内容、不传脚本 ⇒ 密钥**不经过 argv**(argv 会进远端 ps)。
# 密钥全文只走 stdin 这条通道。
#
# ★★ **这里绝不能写 `< /dev/null`** ——
# 那会把调用方的**管道内容**丢掉(实测:写出的文件是 0 字节,
# 密钥根本没送达远端 ⇒ 控制面配的密钥与节点用的不是同一份 ⇒ 全 401,
# 且症状极难查)。
# ⇒ 只在 stdin **是 TTY** 时才断开(xop 在 TTY 下会等 Touch ID 超时)。
if [ -t 0 ]; then
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
< /dev/null 2>&1
else
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
2>&1
fi
}
if ! require_env; then
exit 2
fi
mkdir -p "$WORK"
printf '=== 真机集群端点公布门禁 ===\n'
printf '控制面 : %s:3020\n' "$HYGON_HOST"
printf '节点 AMD : %s\n' "$AMD_HOST"
printf '节点 CSV : %s\n' "$HYGON_HOST"
printf '共享密钥 : %d 字节\n' "${#CLUSTER_SECRET}"
printf '等端点 : %s 秒\n' "$EPG_TIMEOUT"
printf '\n'
# ── 0. 负向矩阵:端点公布的三道硬闸门 ─────────────────────────────────
#
# ★ 三条负向,每条都必须**真的拒**(不是警告):
# ① 非回环 + 无共享密钥 ⇒ 拒启动(否则等于零保护的公网控制面);
# ② 非回环 + 有密钥但缺 `--allow-remote` ⇒ 拒启动;
# ③ 错密钥 ⇒ 401。
#
# ★ 判据纪律:负向必须**用构造样例逐条破坏过**,且每条都要
# 「带期望拒绝特征」—— 只判「失败」会恒真。
#
# ★ ① ② 是**启动期**负向(不需要控制面已在跑)⇒ 放在起控制面**之前**。
# ③ 是**运行期**负向(要控制面起来)⇒ 放在起控制面**之后**。
neg_gate() {
# $1=标签 $2=远端命令 $3=期望出现在输出里的拒绝特征
local label=$1 cmd=$2 want=$3 o
o=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$cmd")
if printf '%s' "$o" | grep -q "$want"; then
ok "负向·${label}:按预期拒绝"
return 0
fi
fail "负向·${label}:没看到拒绝特征 '${want}',实际输出:${o}"
return 1
}
# ★ 格式串以 `---` 开头会被 bash 的 printf 当成选项 ⇒ 用 `%s` 传参。
printf '%s\n' '--- 负向矩阵:端点公布前的硬闸门 ---'
# ★ 密钥**不进 argv**:从**文件**读进环境(文件此时可能还不存在,
# 所以用本机的 secret 内容经 stdin 传给远端 —— 见 remote_put)。
printf '%s' "$CLUSTER_SECRET" | remote_put "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"$CLUSTER_DIR/cluster.secret" >/dev/null
# ★★ **必须校验密钥真的送到了**(不能假设)。
# 实测踩过:`remote_put` 里写了 `< /dev/null` ⇒ 把调用方的**管道内容**
# 整个丢掉 ⇒ 远端文件是 **0 字节** ⇒ 远端读到空密钥 ⇒ 全 401,
# 而症状是「自报收不到」,极难往「密钥没送达」上想。
want_len=${#CLUSTER_SECRET}
got_len=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"wc -c < $CLUSTER_DIR/cluster.secret 2>/dev/null | tr -d ' '")
if [ "${got_len:-0}" = "$want_len" ] && [ "$want_len" -ge 32 ]; then
ok "集群密钥已送达海光机(${got_len} 字节)"
else
fail "集群密钥没送达海光机(期望 ${want_len} 字节,得到 '${got_len:-空}')—— \
密钥通道断了(remote_put 的 stdin 被重定向覆盖?)"
exit 1
fi
neg_gate '非回环无密钥拒启动' \
"cd $CLUSTER_DIR && MPC_HOSTD_SHARED_SECRET= ./mpc control-plane serve --listen 0.0.0.0:3099 --allow-remote 2>&1 | head -3" \
'共享密钥'
neg_gate '有密钥但缺 --allow-remote 拒启动' \
"cd $CLUSTER_DIR && SECRET=\$(cat $CLUSTER_DIR/cluster.secret) && MPC_HOSTD_SHARED_SECRET=\"\$SECRET\" ./mpc control-plane serve --listen 0.0.0.0:3099 2>&1 | head -3" \
'allow-remote'
# ── 1. 起控制面(海光机)────────────────────────────────────────────────
#
# ★ 只杀**自己起的**那个控制面(按 pid 文件),**绝不** pkill 全局 ——
# `pkill -f 'mpc control-plane serve'` 会**匹配到执行它的这个 shell 自身**
# (远端 ssh 的 cmdline 整段含这个串)⇒ **自杀** ⇒ 后面的 nohup 根本没机会跑
# ⇒ cp.log 是**上一轮的残留** ⇒ 判定读到旧日志说「起来了」⇒ **假绿**。
#
# ★★ 控制面的**全局**绑定材料(--session-id / --pubkey / --measurement)
# 这里不给 ⇒ 全局绑定是全零。这**不是**缺陷:本脚本提交的 `/desired`
# 每条会话都自带完整绑定(session_id / session_pubkey /
# code_measurement / site),对账器取的是 `d.binding`
# (`reconciler.rs`:`d.binding.clone().unwrap_or(self.binding)`)——
# 全局绑定**只在会话没自带绑定时**兜底,而这里永远不会走到。
# 钉死这条的测试:`per_session_binding_overrides_the_global_one`。
# ★ 真要给全局绑定,三件必须同时给,且 code_measurement 必须是
# 节点声明的度量(见下面的「物料预检」),否则 admit 直接拒。
printf '\n--- 起控制面 ---\n'
out=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"cd $CLUSTER_DIR
if [ -f $CLUSTER_DIR/cp.pid ]; then
kill \"\$(cat $CLUSTER_DIR/cp.pid)\" 2>/dev/null || true
rm -f $CLUSTER_DIR/cp.pid
fi
sleep 1
SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
export MPC_HOSTD_SHARED_SECRET=\"\$SECRET\"
unset SECRET
nohup ./mpc control-plane serve --listen 0.0.0.0:3020 --hostd-port 3010 --allow-remote > cp.log 2>&1 &
echo \$! > $CLUSTER_DIR/cp.pid
sleep 3
cat cp.log")
printf '%s\n' "$out" | sed 's/^/ /'
if printf '%s\n' "$out" | grep -q 'control-plane: 监听'; then
ok "控制面已起($(printf '%s\n' "$out" | grep -o '监听 [^(]*' | head -1))"
else
fail "控制面没起来"
exit 1
fi
# ★★ 负向(**运行期**):错密钥必须 401。
#
# ★★ 关键:必须有**正向对照**。
# 只判「错密钥不是 200」的话 —— 控制面**没起来**时 curl 连不上,
# 返回码是 `000`,`000 != 200` ⇒ **判通过** ⇒ 假绿。
# ⇒ 先断言「正确密钥拿到 200」,再断言「错密钥拿到 401」。
printf '\n--- 负向矩阵:鉴权 ---\n'
code_ok=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -o /dev/null -w '%{http_code}' -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/nodes")
if [ "$code_ok" = "200" ]; then
ok "正向·正确密钥可查注册表(200)"
else
fail "正向·正确密钥查注册表失败(期望 200,得到 '${code_ok}')—— 控制面没起来?"
exit 1
fi
neg_gate '错密钥 401' \
"curl -s -o /dev/null -w '%{http_code}' -m 8 -H 'Authorization: Bearer wrong-secret-000000000000000000000000000' http://127.0.0.1:3020/nodes" \
'401'
# ── 2. 物料与节点参数 ──────────────────────────────────────────────────
#
# ★★★ 这段是本脚本与「自报脚本」最大的差别:集群面要**真的起 guest**,
# 所以必须给出 guest 侧的**全部**物料:
# · initrd(guest 镜像)
# · 芯片验签器(hostd 的 `--attest-verifier`)—— ★ 没有它就没有
# `chip_sig=true` ⇒ 端点**按策略不公布**(`require_chip_sig=true`)。
# · 真实双网卡(socket 跨 guest + tap 进宿主网段访问 KBS)
# · KBS 端点(节点描述里的 `kbs_endpoint`)—— guest 要靠它取密钥。
#
# ★ 度量必须**非全零**(全零 ⇒ 节点永远选不中,admit 要求 has_measurement)。
# 真值读节点描述里的 `measurement=`(OCI manifest digest),见「物料预检」。
#
# ★★ 网卡参数:**每个 argv 元素一个 flag**(`--guest-netdev -netdev
# --guest-netdev socket,id=...`)—— 不做「一个 flag 吃掉后面所有 token」
# 的解析(值本身可能以 `--` 开头,猜错就是给 qemu 传了错的 argv)。
# 两侧的 KBS 端口与网段(与 tee-pair-attest-e2e.sh 同口径 —— 两侧各一个 KBS,
# 各自做**本机**芯片的验签:共用一个 KBS 意味着「把海光的报告拿到 AMD 机上验」。
AMD_KBS_PORT=${MPC_AMD_KBS_PORT:-18093}
AMD_BR=${MPC_AMD_BR:-mpcbr-pa}
AMD_TAP=${MPC_AMD_TAP:-mpctap-pa}
AMD_BR_IP=${MPC_AMD_BR_IP:-10.93.0.1/24}
AMD_GUEST_IP=${MPC_AMD_GUEST_IP:-10.93.0.2/24}
# ★★★ 网卡 MAC 必须与真机既有口径**逐字一致**(real-machines.env 的 D/E 段)。
# guest 的 init.sh 按 MAC **精确匹配**网卡(`iface_by_mac`)⇒ 匹配不到直接
# `die "找不到数据网卡"`。这里曾用 52:54:00:00:0a:xx(QEMU 惯用前缀),
# 与真机在跑的 02:00:00:00:0a:xx 不一致 ⇒ guest 必die ⇒ 端点永不公布。
AMD_DATA_MAC=${MPC_AMD_DATA_MAC:-02:00:00:00:0a:01}
AMD_KBS_MAC=${MPC_AMD_KBS_MAC:-02:00:00:00:0a:11}
HY_KBS_PORT=${MPC_HY_KBS_PORT:-18094}
HY_BR=${MPC_HY_BR:-mpcbr-pb}
HY_TAP=${MPC_HY_TAP:-mpctap-pb}
HY_BR_IP=${MPC_HY_BR_IP:-10.94.0.1/24}
HY_GUEST_IP=${MPC_HY_GUEST_IP:-10.94.0.2/24}
HY_DATA_MAC=${MPC_HY_DATA_MAC:-02:00:00:00:0a:02}
HY_KBS_MAC=${MPC_HY_KBS_MAC:-02:00:00:00:0a:12}
LINK_PORT=${MPC_TEE_LINK_PORT:-19777}
# ★★★ 会话材料必须与真机 KBS 仓库里**已铺好**的那份一致。
#
# KBS 的资源目录布局是 <res>/<repo>/<kind>/<tag>,tag = 会话 id。
# guest 取 psk/seed/root-key 时用的就是本轮 session id ⇒
# session id 与已铺的资源对不上 ⇒ KBS 404 ⇒ guest die ⇒ 端点永不公布。
# 真机上 tee-pair-attest-e2e.sh 铺的是 MPC_TEE_SESSION_ID(缺省 abab…),
# ⇒ 这里**必须复用同一份**,不能另起一个 e1e1…。
EPG_SESSION_ID=${MPC_EPG_SESSION_ID:-${MPC_TEE_SESSION_ID:-$(printf 'ab%.0s' $(seq 1 32))}}
EPG_PUBKEY=${MPC_EPG_PUBKEY:-${MPC_TEE_PUBKEY:-$(printf 'cd%.0s' $(seq 1 32))}}
# ★ 绑定的 site = **算绑定的一方**(控制面 = alice)。
# 它与「节点自己的 site」(AMD=alice / CSV=bob)**不是同一件事** ——
# 集群面跨网段选址时两者必然不同(这正是 bind_site 存在的理由)。
EPG_SITE=${MPC_EPG_SITE:-alice}
# ── 2'. 物料预检(必须在起 KBS / 起 hostd **之前**)────────────────────
#
# ★★★ 顺序是硬约束:`start_kbs` 的绑定重算要用 `EPG_MEASUREMENT`,
# `start_hostd` 要用 `AMD_TCB` / `HY_TCB`。早先这段放在 KBS 之后,
# `set -u` 下直接 unbound 崩溃(症状还伪装成「KBS 没起来」的假红)。
#
# ★ 度量的**唯一真相源 = 节点描述文件里的 `measurement=`**(OCI manifest
# digest)。`sha256sum initrd.img` 与之完全无关:guest 校验的是镜像内
# `/etc/mpc-tee/manifest.digest`,用 initrd 的 sha 会让
# `mpc.tee.manifest=` 与镜像对不上 ⇒ guest 一启动就 die。
read_node_field() {
# $1=host $2=user $3=pass $4=远端节点描述路径 $5=字段名 $6=匹配正则(BRE)
remote "$1" "$2" "$3" \
"sed -n 's/^$5=\($6\)\$/\1/p' '$4' | head -1"
}
amd_meas=$(read_node_field "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
"$REMOTE_DIR/node" measurement '[0-9a-fA-F]\{64\}')
hy_meas=$(read_node_field "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"$REMOTE_DIR/node" measurement '[0-9a-fA-F]\{64\}')
if [ "${#amd_meas}" -ne 64 ] || [ "${#hy_meas}" -ne 64 ]; then
fail "读不出节点描述里的度量(AMD='${amd_meas}' CSV='${hy_meas}')—— \
先跑 tee-pair-attest-e2e.sh 铺物料(它把 OCI manifest digest 写进节点描述)"
exit 1
fi
if [ "$amd_meas" != "$hy_meas" ]; then
fail "两侧镜像度量不一致(AMD=${amd_meas} CSV=${hy_meas})—— \
期望态只能 pin 一份度量,另一侧节点永远选不中"
exit 1
fi
EPG_MEASUREMENT=$amd_meas
printf ' 镜像度量(唯一真相源) = %s\n' "$EPG_MEASUREMENT"
# ★ TCB 也**只读节点描述**,不猜默认值:它参与 `user_data` 的绑定值计算
# (`SessionBinding::user_data(platform, tcb)`),猜错 ⇒ KBS 重算的绑定值
# 与 guest 采报告用的那份不一致 ⇒ 证明永远判不过。
AMD_TCB=$(read_node_field "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
"$REMOTE_DIR/node" tcb '[0-9]\{1,\}')
HY_TCB=$(read_node_field "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"$REMOTE_DIR/node" tcb '[0-9]\{1,\}')
case "$AMD_TCB" in ''|*[!0-9]*) fail "读不出 AMD 节点 TCB('${AMD_TCB}')—— 不猜默认值" ; exit 1 ;; esac
case "$HY_TCB" in ''|*[!0-9]*) fail "读不出 CSV 节点 TCB('${HY_TCB}')—— 不猜默认值" ; exit 1 ;; esac
printf ' 节点 TCB = AMD %s / CSV %s\n' "$AMD_TCB" "$HY_TCB"
# ★ hostd 的 `--attest-chain-dir` 与 KBS 的 `--chain-dir` **必须指向已存在的
# 目录**(`build_chip_verifier()` 显式校验:不存在就拒启动 —— 真机常离线,
# 目录不存在会退化成联网取证书 ⇒ `chip_sig` 恒 false)。
# AMD 侧的 SNP 证书链缓存目录由本脚本建;CSV 侧用厂商自带目录。
remote "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
"mkdir -p '$REMOTE_DIR/snp-chain'" >/dev/null
if ! remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"test -d /opt/hygon/csv/confidential-containers/scripts"; then
fail "海光机缺 CSV 证书链目录 /opt/hygon/csv/confidential-containers/scripts"
exit 1
fi
start_hostd() {
# $1=label $2=host $3=user $4=pass $5=platform $6=site $7=qemu $8=fw $9=kernel
# $10=initrd $11=meas $12=kbs_ep $13=netdev $14=kparams
# $15=tcb $16=chain_dir $17=role $18=guest_endpoint
#
# ★★★ bash 的 `$10` 是 `${1}0`(第 1 位参数后接字面量 0),**不是**第 10 位!
# 早先这里写 `$10`..`$17` ⇒ `initrd=AMD0` / `meas=AMD1` … 全部错位,
# 症状是 `--node-measurement AMD1`(4 位)被 hostd 拒、脚本却继续跑。
# 必须用 `${10}`..`${18}`。
local label=$1 host=$2 user=$3 pass=$4 platform=$5 site=$6 qemu=$7 fw=$8 kernel=$9
local initrd=${10} meas=${11} kbs_ep=${12} netdev=${13} kparams=${14}
local tcb=${15} chain_dir=${16} role=${17} guest_ep=${18}
local verifier
# ★ 芯片验签器:按平台分派。
# AMD → snp-verify-attestation.sh(KDS / VCEK 链)
# 海光 → csv-verify-attestation.sh(厂商官方验签器)
# ★ 没有验签器 ⇒ `chip_sig=false` ⇒ 端点**按策略不公布**
# (`require_chip_sig=true`)—— 那是**诚实的**失败,不是缺陷。
#
# ★ 证书链目录走**独立选项** `--attest-chain-dir`,**不能**塞进
# `--attest-verifier-arg`:argparse 遇到「以 - 开头的值」会把它
# 当成下一个选项 ⇒ 实测报 "expected one argument"。
local chain_flags=""
case "$platform" in
snp) verifier="$REMOTE_DIR/snp-verify-attestation.sh"
chain_dir=${chain_dir:-$REMOTE_DIR/snp-chain} ;;
csv) verifier="$REMOTE_DIR/csv-verify-attestation.sh"
chain_dir=${chain_dir:-/opt/hygon/csv/confidential-containers/scripts} ;;
*) verifier="" ;;
esac
if [ -n "$verifier" ]; then
if ! remote "$host" "$user" "$pass" "test -x '$verifier'"; then
fail "${label}:验签器不存在或不可执行(${verifier})—— \
没有它就没有 chip_sig=true,端点按策略不会公布"
return 1
fi
if [ -n "$chain_dir" ]; then
chain_flags="--attest-chain-dir $chain_dir"
fi
fi
# ★★ 密钥:先推到远端 0600 文件(内容走 stdin,不进 argv)。
printf '%s' "$CLUSTER_SECRET" | remote_put "$host" "$user" "$pass" \
"$CLUSTER_DIR/cluster.secret" >/dev/null
# ★ 网卡参数:**每个 argv 元素一个 flag**。
# 数据面(socket,二层,跨 guest)+ KBS 面(tap,三层,进宿主网段)。
local netdev_flags=""
local a
for a in $netdev; do
netdev_flags="$netdev_flags --guest-netdev $a"
done
local kparam_flags=""
for a in $kparams; do
kparam_flags="$kparam_flags --guest-kernel-param $a"
done
local script
script=$(cat <<EOS
cd $CLUSTER_DIR
if [ -f $CLUSTER_DIR/hostd.pid ]; then
kill "\$(cat $CLUSTER_DIR/hostd.pid)" 2>/dev/null || true
rm -f $CLUSTER_DIR/hostd.pid
fi
sleep 1
# ★★ 清掉上一轮遗留的 qemu:guest halt 后 qemu **不退出**(项目已知事实:
# Flash device refused suspend),而 socket netdev 的 listen 端口是
# **每机唯一**的 ⇒ 遗留 qemu 会一直占着该端口 ⇒ 本轮 create 起 qemu 时
# 报 can't bind ... Address already in use ⇒ guest 永远起不来 ⇒
# 端点永不公布。症状极具误导性:控制面 / 自报 / KBS 全绿,只有 guest 没起。
# ★ 按**端口**找占用者并 kill,**不用 pkill -f**(会匹配到执行它的 shell)。
OLD_QEMU=\$(ss -ltnp 2>/dev/null | grep -E ':$LINK_PORT[[:space:]]' | sed -n 's/.*pid=\([0-9][0-9]*\).*/\1/p' | sort -u)
for p in \$OLD_QEMU; do kill "\$p" 2>/dev/null || true; done
i=0
while [ \$i -lt 50 ]; do
ss -ltn 2>/dev/null | grep -qE ':$LINK_PORT[[:space:]]' || break
sleep 0.2
i=\$((i+1))
done
if ss -ltn 2>/dev/null | grep -qE ':$LINK_PORT[[:space:]]'; then
echo LINK_PORT_STILL_BUSY
exit 1
fi
echo LINK_PORT_FREE
SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
export MPC_HOSTD_SHARED_SECRET="\$SECRET"
unset SECRET
nohup ./mpc hostd \\
--listen 0.0.0.0:3010 \\
--allow-remote \\
--control-plane $HYGON_HOST:3020 \\
--node-platform $platform \\
--node-site $site \\
--node-host $host \\
--node-tcb $tcb \\
--node-qemu $qemu \\
--node-firmware $fw \\
--node-kernel $kernel \\
--node-initrd $initrd \\
--node-measurement $meas \\
--node-capacity 2 \\
--node-kbc online \\
--node-kbs-endpoint $kbs_ep \\
--report-interval 5 \\
--guest-endpoint $guest_ep \\
--attest-verifier $verifier \\
$chain_flags \\
$netdev_flags \\
$kparam_flags \\
> hostd.log 2>&1 &
echo \$! > $CLUSTER_DIR/hostd.pid
sleep 3
cat hostd.log
EOS
)
local o
o=$(remote "$host" "$user" "$pass" "$script")
printf '%s\n' "$o" | sed 's/^/ /'
if printf '%s\n' "$o" | grep -qi 'hostd: 监听'; then
ok "$label hostd 已起"
return 0
fi
fail "$label hostd 没起来"
return 1
}
# ── 3. 起两台 hostd(带自报 + 验签器 + 真机网卡)────────────────────────
#
# ★ 两侧各起一个 KBS(不共用)—— 见 tee-pair-attest-e2e.sh 的理由。
# KBS 要做**芯片验签**,验签器与证书链都只在**本机**的 /opt 下才有。
# ⇒ 本脚本先把两侧的 KBS 起起来(复用 kbs-net.sh + 已有资源目录)。
start_kbs() {
# $1=label $2=host $3=user $4=pass $5=verifier $6=chain_dir $7=br $8=tap
# $9=br_ip $10=port $11=token_key $12=resources $13=platform $14=site $15=tcb
local label=$1 host=$2 user=$3 pass=$4 verifier=$5 chain=$6 br=$7 tap=$8
local br_ip=$9 port=${10} token_key=${11} resources=${12}
local platform=${13} site=${14} tcb=${15}
local o
o=$(remote "$host" "$user" "$pass" "set -u
export MPC_KBS_BRIDGE=$br
export MPC_KBS_TAP=$tap
export MPC_KBS_BRIDGE_IP=$br_ip
export MPC_KBS_PORT=$port
export MPC_KBS_TOKEN_KEY_FILE=$token_key
export MPC_KBS_RESOURCES=$resources
export MPC_KBS_SESSION=$EPG_SESSION_ID
export MPC_KBS_VERIFIER=$verifier
export MPC_KBS_VERIFIER_ARGS=
export MPC_KBS_CHAIN_DIR=$chain
export MPC_KBS_PIDFILE=$CLUSTER_DIR/kbs.pid
# ★★★ KBS 侧的绑定材料 —— **缺任何一项,KBS 重算出来的绑定值就与
# guest 采报告时用的那份不一致** ⇒ 判定报「报告与本轮会话不匹配」
# ⇒ KBS 403 ⇒ guest 取不到密钥 ⇒ 端点**永不公布**。
# 症状极具误导性:guest 起来了、KBS 在跑、就是端点不出现,
# 而排查方向会被带到「对账器 / 调度器 / 证明链」上,真因是
# **KBS 启动时少给了几个环境变量**。
#
# · MPC_KBS_PLATFORM —— 平台必须显式给。serve.py 的缺省是 csv,
# 于是 AMD 机上那个 KBS 会拿 csv 去判 SNP 证明包 ⇒ 直接拒收。
# · MPC_KBS_SITE / MPC_KBS_PUBKEY / MPC_KBS_MEASUREMENT ——
# 参与绑定值重算的四个要素(session_id 由 --session 给)。
# site 必须是**绑定的 site**(alice),不是节点自己的 site。
# · MPC_KBS_PIN —— 准入批准的镜像度量(与 measurement 同源但语义独立)。
# · MPC_KBS_TCB —— **节点的实际 TCB**(参与绑定值计算);
# MPC_KBS_MIN_TCB 是门槛(只做准入比较)。两者不能混:
# 漏传 --tcb 会让重算的绑定值用 tcb=0 ⇒ 报「报告与本轮会话不匹配」。
# · MPC_KBS_MPC_BIN —— 判定由框架二进制做(mpc tee attest-check),
# Python 只搬运字节。没有它 ⇒ 严格模式下所有证明都被拒。
export MPC_KBS_PLATFORM=$platform
export MPC_KBS_SITE=$site
export MPC_KBS_PUBKEY=$EPG_PUBKEY
export MPC_KBS_MEASUREMENT=$EPG_MEASUREMENT
export MPC_KBS_PIN=$EPG_MEASUREMENT
export MPC_KBS_TCB=$tcb
export MPC_KBS_MIN_TCB=3
export MPC_KBS_MPC_BIN=$CLUSTER_DIR/mpc
bash $REMOTE_DIR/kbs-net.sh up 2>&1 | tail -5
# ★★★ 本轮实例的**正向证据**。
#
# kbs-net.sh 打印 kbs_net_up 只说明「端口在监听」,**不**说明
# 「是本轮参数起的」。旧实例占端口时新实例会 bind 失败退出,
# 而 kbs-net.sh 只看端口 ⇒ 假绿(根因已在 kbs-net.sh 里修:
# 先按端口清旧 + 端口未释放就拒)。这里再钉一层:
# pidfile 里的 pid 必须活着,且它的命令行必须带**本轮**
# --session 与 --mpc 路径 ⇒ 旧参数实例一律不算通过。
#
# ★ 这条同时是**否定式判据的正向锚点**:只判「端口有响应」
# 会恒真(旧实例也会响应),必须验到归属。
PID=\$(cat $CLUSTER_DIR/kbs.pid 2>/dev/null || true)
if [ -z \"\$PID\" ] || ! kill -0 \"\$PID\" 2>/dev/null; then
echo EPG_KBS_NO_PID
exit 1
fi
CMD=\$(tr '\0' ' ' < /proc/\$PID/cmdline 2>/dev/null || true)
# ★ 归属检查用 grep -qF + **单引号**:整段远端脚本嵌在本地的双引号
# 字符串里,普通双引号会提前结束本地字符串(本轮踩过:拼接后引号
# 全丢,printf 的 CMD 被词分割 ⇒ 判据假红),须写成转义的引号;
# 而 case 模式里去掉引号后,空格又把模式拆成多个 word(远端报语法
# 错误、只看到半截)。单引号在本地双引号内只是字面字符,且能包住
# 含空格的匹配串。
if printf '%s' \"\$CMD\" | grep -qF -- '--session $EPG_SESSION_ID' && printf '%s' \"\$CMD\" | grep -qF -- '--mpc $CLUSTER_DIR/mpc'; then
echo EPG_KBS_OWNED_OK
else
echo EPG_KBS_STALE
exit 1
fi")
printf '%s\n' "$o" | sed 's/^/ /'
# ★ 只认**本轮实例**的正向锚点。
# 早先这里用 `grep -Eiq 'kbs_net_up|...'` + 「端口探活」兜底 ——
# 两者都是**恒真型**判据:旧 KBS 占着端口时照样命中,
# 于是拿到的是上一轮参数(session / 绑定材料 / mpc 路径全不对),
# 证明永远判不过 ⇒ 端点永不公布,排查方向被带到证明链上。
if printf '%s\n' "$o" | grep -q 'EPG_KBS_OWNED_OK'; then
ok "$label KBS 已起(本轮实例,端口 ${port})"
return 0
fi
fail "$label KBS 不是本轮实例(输出:${o})"
return 1
}
printf '\n--- 起两侧 KBS ---\n'
start_kbs 'AMD' "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
"$REMOTE_DIR/snp-verify-attestation.sh" "$REMOTE_DIR/snp-chain" \
"$AMD_BR" "$AMD_TAP" "$AMD_BR_IP" "$AMD_KBS_PORT" \
"$REMOTE_DIR/kbs-token.key" "$REMOTE_DIR/kbs-res" snp "$EPG_SITE" "$AMD_TCB" || FAIL_N=$((FAIL_N + 1))
start_kbs 'CSV' "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"$REMOTE_DIR/csv-verify-attestation.sh" "/opt/hygon/csv/confidential-containers/scripts" \
"$HY_BR" "$HY_TAP" "$HY_BR_IP" "$HY_KBS_PORT" \
"$REMOTE_DIR/kbs-token.key" "$REMOTE_DIR/kbs-res" csv "$EPG_SITE" "$HY_TCB" || FAIL_N=$((FAIL_N + 1))
# ★ KBS 资源必须在(guest 要凭 token 取 psk/seed/root-key)。
# 缺了就取不到密钥 ⇒ guest 走不到会话 ⇒ 端点不公布(诚实失败)。
for pair in "AMD:$AMD_HOST:$AMD_USER_KEY:$AMD_PASS_KEY" "CSV:$HYGON_HOST:$HYGON_USER_KEY:$HYGON_PASS_KEY"; do
tag=${pair%%:*}; rest=${pair#*:}
host=${rest%%:*}; rest=${rest#*:}
user=${rest%%:*}; pass=${rest#*:}
for kind in psk seed root-key; do
if ! remote "$host" "$user" "$pass" \
"test -s $REMOTE_DIR/kbs-res/mpc/$kind/$EPG_SESSION_ID"; then
fail "${tag}:KBS 资源缺失($kind / ${EPG_SESSION_ID})—— \
guest 取不到密钥,端点不会公布。先跑 tee-pair-attest-e2e.sh 铺资源。"
FAIL_N=$((FAIL_N + 1))
fi
done
done
if [ "$FAIL_N" -eq 0 ]; then
ok "两侧 KBS 资源就位(psk / seed / root-key)"
fi
printf '\n--- 起节点 hostd ---\n'
# ★★★ 网卡参数:
# · 数据面 = socket netdev(跨 guest,二层)
# · KBS 面 = tap netdev(三层,进宿主网段访问本机 KBS)
# 两张卡不能合成(见 kbs-net.sh 的说明)。
#
# ★ MAC 用**真机既有口径**(02:00:00:00:0a:xx),guest 按 MAC 精确认卡。
# ★ tap 必须带 `ifname=` 与 `script=no`:
# · ifname 指到 kbs-net.sh 建好的那个 tap(两边名字必须同源);
# · script=no —— 否则 qemu 去跑 /etc/qemu-ifup,真机上没有该脚本 ⇒
# "network script .../qemu-ifup failed with status 256" ⇒ 直接起不来。
AMD_NETDEV="-netdev socket,id=mpcnet0,listen=0.0.0.0:$LINK_PORT -device virtio-net-pci,netdev=mpcnet0,mac=$AMD_DATA_MAC -netdev tap,id=mpctap0,ifname=$AMD_TAP,script=no -device virtio-net-pci,netdev=mpctap0,mac=$AMD_KBS_MAC"
HY_NETDEV="-netdev socket,id=mpcnet0,listen=0.0.0.0:$LINK_PORT -device virtio-net-pci,netdev=mpcnet0,mac=$HY_DATA_MAC -netdev tap,id=mpctap0,ifname=$HY_TAP,script=no -device virtio-net-pci,netdev=mpctap0,mac=$HY_KBS_MAC"
# ★ 度量 / TCB / 证书链目录都在上面的「物料预检」里取好(顺序硬约束:
# `start_kbs` 的绑定重算要用 `EPG_MEASUREMENT`,必须先于它定义)。
# ★★★ guest 必需的内核参数(**每个参数一个 flag**)。
#
# 框架的 argv 已经带了 mpc.tee.manifest / session / kbs / user_data /
# site / platform(admit 产出的),所以**不重复给**。
# 这里补的是**部署层的事实**(框架不知道的那些):
# · mpc.role —— guest 要靠它决定角色(alice / bob / none)。
# ★ 端点公布这条链路只需要「跑证明门控」,不需要跨 guest 密文会话
# ⇒ 角色用 none ⇒ 不要求数据面网卡(guest 的 init.sh 对 role=none
# 不强制数据面卡)。但 KBS 面那张卡**必须**在(要访问宿主 KBS)。
# · mpc.tee.data_mac / kbs_mac —— guest 按 MAC 精确认卡(不给就认不出)。
# · mpc.tee.ip —— guest 在 tap 网段里的地址(与宿主 KBS 同网段)。
# · mpc.tee.kbs_repo —— KBS 资源仓库名(默认 mpc,与 serve.py 的布局一致)。
AMD_KPARAMS="mpc.role=none mpc.tee.kbs_repo=mpc mpc.tee.data_mac=$AMD_DATA_MAC mpc.tee.kbs_mac=$AMD_KBS_MAC mpc.tee.ip=$AMD_GUEST_IP"
HY_KPARAMS="mpc.role=none mpc.tee.kbs_repo=mpc mpc.tee.data_mac=$HY_DATA_MAC mpc.tee.kbs_mac=$HY_KBS_MAC mpc.tee.ip=$HY_GUEST_IP"
# ★★★ `--guest-endpoint` 必须是 **guest 能路由到的**宿主地址。
#
# 它**不是** `--listen`(`0.0.0.0` 对 guest 没有意义)。
# guest 在 tap 网段里(10.93.0.2 / 10.94.0.2),与管理网(192.168.1.x)
# **不互通** ⇒ 填管理网 IP 时 guest 连不上宿主 ⇒ 传不回证明材料
# ⇒ 宿主判定停在 pending ⇒ 端点永不公布。
# ⇒ 填 **tap 网段里的宿主 bridge 地址**(KBS 绑的那个地址)。
# 代价:hostd 的管理端口只监听 0.0.0.0,tap 网段也能连上 —— 这正是
# 「跨网段暴露」要显式 `--allow-remote` + 共享密钥的原因。
AMD_GUEST_ENDPOINT="${AMD_BR_IP%%/*}:3010"
HY_GUEST_ENDPOINT="${HY_BR_IP%%/*}:3010"
start_hostd 'AMD' "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" snp alice \
/opt/kata/bin/qemu-system-x86_64 \
/opt/kata/share/ovmf/AMDSEV.fd \
/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential \
"$REMOTE_DIR/initrd.img" "$EPG_MEASUREMENT" \
"http://${AMD_BR_IP%%/*}:$AMD_KBS_PORT" "$AMD_NETDEV" \
"$AMD_KPARAMS" "$AMD_TCB" "$REMOTE_DIR/snp-chain" none "$AMD_GUEST_ENDPOINT" \
|| FAIL_N=$((FAIL_N + 1))
start_hostd 'CSV' "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" csv bob \
/opt/confidential-containers/bin/qemu-system-x86_64 \
/opt/confidential-containers/share/ovmf/HYGONCSV.fd \
/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu \
"$REMOTE_DIR/initrd.img" "$EPG_MEASUREMENT" \
"http://${HY_BR_IP%%/*}:$HY_KBS_PORT" "$HY_NETDEV" \
"$HY_KPARAMS" "$HY_TCB" "/opt/hygon/csv/confidential-containers/scripts" none "$HY_GUEST_ENDPOINT" \
|| FAIL_N=$((FAIL_N + 1))
if [ "$FAIL_N" -ne 0 ]; then
fail "节点 hostd 没全部起来(${FAIL_N} 项失败)—— 后续判据无意义"
exit 1
fi
# ── 4. 设期望态(站点端的产出)─────────────────────────────────────────
#
# ★ 这条 HTTP 请求的**形状**就是站点端 `site_admit` 的产出:
# { "sessions": [ { id, platform, min_tcb, pinned_measurement,
# session_id, session_pubkey, code_measurement, site } ] }
#
# ★ `code_measurement` 必须是**节点声明的度量** —— admit 会校验
# 「绑定度量 == 节点度量」,不一致 ⇒ 准入拒绝(会话永远排不上)。
# ★ `site` 是**绑定方**的 site(alice)—— 它与「节点自己的 site」(bob)**不同**,
# 这正是跨网段暴露场景;`user_data` 的第一段哈希绑的就是它。
printf '\n--- 设期望态 ---\n'
DESIRED="$WORK/desired.json"
cat > "$DESIRED" <<EOF
{"sessions":[{"id":"epg1","platform":"sev-snp","min_tcb":3,"require_attestation":true,"session_id":"$EPG_SESSION_ID","session_pubkey":"$EPG_PUBKEY","code_measurement":"$EPG_MEASUREMENT","site":"$EPG_SITE"}]}
EOF
printf '%s\n' " 期望态:$(cat "$DESIRED")"
# ★ 期望态里写的是 platform=sev-snp ⇒ 选址只会落在 AMD 节点
# (两侧镜像度量同源,度量本身不能区分节点;平台过滤才是决定因素)。
# code_measurement pin 的是**同一份 OCI manifest digest**,
# 不是「指定节点」—— 是绑定的自然结果。
code_desired=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
cat > $CLUSTER_DIR/desired.json <<'JSONEOF'
$(cat "$DESIRED")
JSONEOF
curl -s -o /dev/null -w '%{http_code}' -m 10 -X POST \
-H \"Authorization: Bearer \$SECRET\" -H 'Content-Type: application/json' \
--data-binary @$CLUSTER_DIR/desired.json http://127.0.0.1:3020/desired")
if [ "$code_desired" = "204" ]; then
ok "期望态已提交(204)"
else
fail "期望态提交失败(期望 204,得到 '${code_desired}')"
exit 1
fi
# ── 5. 等端点出现(正向)───────────────────────────────────────────────
#
# ★★ 这是整条链路的**唯一**判据来源:`GET /sessions` 的 `sessions` 数组。
# 控制面内部走的是 `reconciler.proven_endpoints()` ——
# 它只列「证据成立 **且** 按发布策略可公布」的会话。
#
# ★ 轮询而不是一次性查:芯片验签要联网拉证书链(首次可达 90 秒),
# guest 采证明 + KBS 验签 + 回传 + 宿主判定 + 对账,串起来要几分钟。
printf '\n--- 等端点出现(正向) ---\n'
sessions=""
epg_ok=0
elapsed=0
while [ "$elapsed" -lt "$EPG_TIMEOUT" ]; do
sessions=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/sessions")
n_sessions=$(printf '%s' "$sessions" | grep -o '"session_id"' | wc -l | tr -d ' ')
if [ "${n_sessions:-0}" -ge 1 ]; then
epg_ok=1
break
fi
sleep "$EPG_POLL"
elapsed=$((elapsed + EPG_POLL))
printf ' ... 已等 %d 秒(sessions=%s)\n' "$elapsed" "${n_sessions:-0}"
done
printf '%s\n' "$sessions" | sed 's/^/ /'
# ★★ **正向没过 ⇒ 后面一律不判**。
# 「sessions 数组为空」在没有正向对照时是**恒真**的 ——
# 控制面没起、没节点、没会话,它都为空。
if [ "$epg_ok" -ne 1 ]; then
fail "正向:端点没出现(等 ${EPG_TIMEOUT} 秒)—— \
证明链或对账链没走通。**负向判据在此恒真,故不判**。"
printf '\n=== 结果:%d 通过 / %d 失败 ===\n' "$OK_N" "$FAIL_N"
printf '%s\n' "--- 控制面对账结论 ---"
remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/report" | sed 's/^/ /'
printf '\n--- 海光机 hostd 日志尾部 ---\n'
remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"tail -25 $CLUSTER_DIR/hostd.log 2>/dev/null" | sed 's/^/ /'
exit 1
fi
ok "正向·控制面公布了已证明通过的会话端点(${n_sessions} 条)"
# ★ 正向的**内容**判据:端点必须指向**真实节点地址**,且带 session_id。
# 只判「数组非空」不够 —— 一个空壳端点也能让数组非空。
if printf '%s' "$sessions" | grep -q "\"endpoint\":\"$AMD_HOST:3010\""; then
ok "正向·端点指向真实节点($AMD_HOST:3010)"
else
fail "正向·端点不是预期节点(期望 $AMD_HOST:3010):${sessions}"
fi
if printf '%s' "$sessions" | grep -q '"session_id":"epg1"'; then
ok "正向·端点带正确的 session_id(epg1)"
else
fail "正向·端点的 session_id 不对:${sessions}"
fi
# ── 6. 负向:证明不过 ⇒ 端点零外泄 ─────────────────────────────────────
#
# ★★ 怎么造一个「证明不过」的会话?
# 把期望态换成一个**绑定度量对不上**的会话(`code_measurement` 用一个
# 与任何节点都不匹配的度量)⇒ 准入就拒(会话绑定与节点镜像度量不一致)
# ⇒ 不会有任何会话被创建 ⇒ 端点**零外泄**。
#
# ★ 这条路走的是**同一份**「端点绝不外泄」逻辑:
# 控制面侧的 `proven_endpoints()` 只列已落地的会话;
# 准入被拒 ⇒ 没有落地会话 ⇒ 端点不外泄。
# 而**不是**脚本自己判断「不该公布」。
#
# ★★ 判据纪律(**这是本脚本最容易假绿的地方**):
# 1. 先记录**旧的** sessions 集合(正向时它是**非空**的);
# 2. 提交坏的期望态 ⇒ 等对账跑完;
# 3. 断言新的 sessions 集合**不含**那条坏会话
# —— 注意:**只断言「坏会话不在」是不够的**,
# 因为旧的那条可能还在(期望态是**替换**不是叠加);
# 4. ★ 所以判据是:**坏会话 id 一个都不在里面**(按 session_id 精确匹配),
# 同时**至少断言**控制面对账结论里那条坏会话**有失败记录**(带原因)。
# 5. ★★ 「坏会话不在 sessions 里」若没有第 4 步的失败记录做锚点,
# 就可能恒为真(控制面压根没收到这条期望态)。
printf '\n--- 负向:证明不过 ⇒ 端点零外泄 ---\n'
BAD_SESSION_ID=$(printf 'b1%.0s' $(seq 1 32))
BAD_MEAS=$(printf 'ff%.0s' $(seq 1 32))
BAD_DESIRED="$WORK/desired-bad.json"
cat > "$BAD_DESIRED" <<EOF
{"sessions":[{"id":"epg-bad","platform":"sev-snp","min_tcb":3,"require_attestation":true,"session_id":"$BAD_SESSION_ID","session_pubkey":"$EPG_PUBKEY","code_measurement":"$BAD_MEAS","site":"alice"}]}
EOF
code_bad=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
cat > $CLUSTER_DIR/desired-bad.json <<'JSONEOF'
$(cat "$BAD_DESIRED")
JSONEOF
curl -s -o /dev/null -w '%{http_code}' -m 10 -X POST \
-H \"Authorization: Bearer \$SECRET\" -H 'Content-Type: application/json' \
--data-binary @$CLUSTER_DIR/desired-bad.json http://127.0.0.1:3020/desired")
if [ "$code_bad" = "204" ]; then
ok "坏期望态已提交(204)"
else
fail "坏期望态提交失败(期望 204,得到 '${code_bad}')"
exit 1
fi
# 等对账跑完(默认对账周期 10 秒;多等两轮)。
sleep 25
report=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/report")
sessions_bad=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/sessions")
printf ' report : %s\n' "$report"
printf ' sessions : %s\n' "$sessions_bad"
# ① 坏会话**不在**已公布端点里(按 session_id 精确匹配)。
if printf '%s' "$sessions_bad" | grep -q 'epg-bad'; then
fail "负向:证明不过的会话 'epg-bad' 竟然出现在已公布端点里 —— 端点外泄了!"
else
ok "负向·证明不过的会话未出现在已公布端点里"
fi
# ② ★ 失败记录**有**这条会话(带原因)—— 这是否定式判据的**正向锚点**。
# 没有它,「不在 sessions 里」可能只是「期望态没被收到」。
if printf '%s' "$report" | grep -q 'epg-bad'; then
ok "负向·控制面对账结论里有失败记录(带原因)"
else
fail "负向·对账结论里没有 'epg-bad' 的失败记录 —— \
「不在 sessions 里」可能是恒真(期望态压根没被收到)"
fi
# ③ 失败记录必须**带原因**(排查的关键)。
reason=$(printf '%s' "$report" | sed -n 's/.*"id":"epg-bad","reason":"\([^"]*\)".*/\1/p' | head -1)
if [ -n "$reason" ]; then
ok "负向·失败记录带原因:${reason}"
else
fail "负向·失败记录没有原因字段:${report}"
fi
# ── 7. 收尾:把期望态清掉(别把实例留在两台真机上)────────────────────
printf '\n--- 收尾 ---\n'
remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -o /dev/null -m 10 -X POST \
-H \"Authorization: Bearer \$SECRET\" -H 'Content-Type: application/json' \
--data-binary '{\"sessions\":[]}' http://127.0.0.1:3020/desired" >/dev/null
sleep 15
rest=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/sessions")
if printf '%s' "$rest" | grep -q '"endpoint"'; then
fail "期望态清空后仍有端点公布:${rest}"
else
ok "期望态清空后端点已收回(实例被回收)"
fi
printf '\n=== 结果:%d 通过 / %d 失败 ===\n' "$OK_N" "$FAIL_N"
[ "$FAIL_N" -eq 0 ] || exit 1
echo "CLUSTER_ENDPOINT_GATE_OK: 真 KBS 验签后端点才公布;证明不过时端点零外泄"