- 新增 cluster-endpoint-gate-e2e.sh:AMD SNP + 海光 CSV 双节点自报、非回环监听 + 共享密钥、真 KBS 芯片验签后的端点公布;正向公布 / 负向零外泄(带原因)/ 收尾端点收回,真机 20 判据全绿 - mpc-tee / mpc-hostd:补齐控制面期望态绑定、宿主独立判定与 9p 手牌回传;LaunchOverride 支持真机双网卡与额外内核参数 - 修 runtime.rs 额外内核参数校验:CLI 把多个参数空格 join,服务端不得对整串判「含空白即拒」;改掉把错误行为钉死的测试并补跨端守卫 - kbs-net.sh 按端口清旧实例 + 硬判端口释放,杜绝旧参数 KBS 假就绪(端口 LISTEN 不等于本轮实例在跑)
940 lines
47 KiB
Bash
Executable File
940 lines
47 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# ★ 真机集群**端点公布门禁**:真 KBS 验签通过后,控制面才公布会话端点。
|
||
#
|
||
# ── 这条脚本守的是什么 ──
|
||
#
|
||
# Task #16 的最终目标:
|
||
# 「真 KBS 验签后的会话端点」—— 只有**芯片签名验过**的会话,
|
||
# 它的端点才允许被集群控制面公布给计算面消费。
|
||
#
|
||
# 整条链路:
|
||
# 控制面选节点 → 下发 create(含绑定材料 + 三个 init.sh 必需参数)
|
||
# → 节点 hostd 起 guest(真机双网卡 + 9p 手牌)
|
||
# → guest 采芯片报告 → 提交本机 KBS → KBS **芯片验签**
|
||
# → guest 回传原始证明包(走 9p 手牌的实例级令牌)
|
||
# → 节点 hostd **独立判定**(四布尔 + 三态)
|
||
# → 控制面对账 → `proven_endpoints()` → `GET /sessions`
|
||
#
|
||
# ★ 端点公布的两道门(**都在服务端,不在脚本里**):
|
||
# ① `is_verified()` —— 决定**实例去留**(证据不成立 ⇒ 撤回端点 + 回收实例);
|
||
# ② `publishable(require_chip_sig)` —— 决定**端点是否外泄**
|
||
# (默认 `require_chip_sig=true`:没做芯片验签 ⇒ 端点不公布)。
|
||
# ⇒ 脚本**只观察**这两个门的结果,不替它们下结论。
|
||
#
|
||
# ── 正向 / 负向的分工 ──
|
||
#
|
||
# ★ 正向:真 KBS 验签通过 ⇒ `GET /sessions` 的 `sessions` 数组**非空**,
|
||
# 且端点指向**真实节点地址**。
|
||
# ★ 负向:证明不过 ⇒ `GET /sessions` 的端点**零外泄**,
|
||
# 且 `GET /report` 的 `failed` **有记录**(带原因)。
|
||
#
|
||
# ★★★ 负向怎么做到「证明不过」而不需要真的破坏芯片?
|
||
# 用**另一个节点**(不满足绑定度量 / 不满足 TCB)去承担同一条期望会话:
|
||
# 控制面会选中它 → create → 但**准入**在绑定上就拒了(度量 pin 不符),
|
||
# 或者它的证明判定不过 ⇒ 端点**不公布**。
|
||
# 这条路走的是**同一份**「端点绝不外泄」逻辑(对账器侧),
|
||
# 不是靠脚本自己判断「不该公布」。
|
||
#
|
||
# ★★ 关键纪律(**否定式判据天然可能恒真**):
|
||
# 负向必须**先跑正向**。若正向都不通过(控制面没起 / 没节点 / 没会话),
|
||
# 「sessions 数组为空」这件事**恒为真** ⇒ 负向毫无意义。
|
||
# ⇒ 脚本里**硬性**要求:正向通过之后才判负向;否则直接失败退出。
|
||
#
|
||
# 用法:
|
||
# set -a; . deploy/tee/real-machine/real-machines.env; set +a
|
||
# ./cluster-endpoint-gate-e2e.sh
|
||
#
|
||
# 环境变量:
|
||
# MPC_CLUSTER_SECRET 集群共享密钥(默认**本次运行随机生成**,用完即弃)
|
||
# MPC_EPG_WORK 工作目录(默认 /tmp/mpc-cluster-epg)
|
||
# MPC_EPG_TIMEOUT 等端点出现的秒数(默认 420 —— 真机芯片验签要联网拉证书链)
|
||
set -u
|
||
|
||
HERE=$(cd "$(dirname "$0")" && pwd)
|
||
REPO=$(cd "$HERE/../../.." && pwd)
|
||
SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAuthentications=password -o PubkeyAuthentication=no -o ConnectTimeout=20 -o LogLevel=ERROR"
|
||
|
||
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
|
||
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
|
||
AMD_USER_KEY=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
|
||
AMD_PASS_KEY=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
|
||
HYGON_USER_KEY=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
|
||
HYGON_PASS_KEY=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
|
||
|
||
# ★ 远端集群目录(两台机同名,各自独立)。
|
||
CLUSTER_DIR=${MPC_EPG_CLUSTER_DIR:-/tmp/mpc-cluster}
|
||
# ★ 物料目录(initrd / 验签器 / KBS 脚本都在这里 —— 由 tee-pair-attest-e2e.sh 分发过)。
|
||
REMOTE_DIR=${MPC_TEE_REMOTE_DIR:-/tmp/mpc-tee-run-attestpair}
|
||
# ★ 本地工作目录(存期望态 JSON / 判据输出)。
|
||
WORK=${MPC_EPG_WORK:-/tmp/mpc-cluster-epg}
|
||
# ★ 等端点出现的秒数。★ 必须够长:SNP 验签要联网拉 KDS 证书链(首次可达 90 秒)。
|
||
EPG_TIMEOUT=${MPC_EPG_TIMEOUT:-420}
|
||
EPG_POLL=${MPC_EPG_POLL:-5}
|
||
|
||
# ★★ 集群共享密钥:**本地随机生成**,不落盘、不入库、不进 xop。
|
||
# 它只需要在**本次运行内**三方一致(控制面 + 两个节点 hostd)。
|
||
# ⇒ 每次运行都是新密钥 ⇒ 泄漏面最小。
|
||
# (要复现同一组密钥,设 MPC_CLUSTER_SECRET 覆盖它 —— 只在调试时用。)
|
||
CLUSTER_SECRET=${MPC_CLUSTER_SECRET:-}
|
||
|
||
OK_N=0
|
||
FAIL_N=0
|
||
ok() { OK_N=$((OK_N + 1)); printf 'ok %s\n' "$1"; }
|
||
fail() { FAIL_N=$((FAIL_N + 1)); printf 'FAIL %s\n' "$1" >&2; }
|
||
|
||
# ★ 探 xop 里的键:只看**长度**(长度不会被 FileGuard 掩码)。
|
||
#
|
||
# ★★ 为什么只探长度、不取值:
|
||
# xop 的 FileGuard 会在**打印**时把值替换成掩码(实测 2026-11-09:
|
||
# 连 `printf %s "$V"` 都会被替换,而 `${#V}` 正常)。
|
||
# ⇒ 「取出来存进 shell 变量」这条路**本来就是死的** ——
|
||
# 拿到的不是口令,是掩码。
|
||
# ⇒ 正确姿势:值**只在 xop 的子进程里**用(见 remote()),本脚本从不持有明文。
|
||
xop_probe() {
|
||
local n
|
||
# ★ xop 把 Guard 的 WARN 打到 **stdout**(不是 stderr)⇒ `2>/dev/null` 挡不住。
|
||
# 只认**纯数字行** ⇒ WARN 行含非数字字符会被过滤掉 ⇒ 拿不到数字就当失败。
|
||
n=$(xop run --secret "V=$1" -- sh -c 'printf "%s\n" "${#V}"' \
|
||
< /dev/null 2>/dev/null | grep -E '^[0-9]+$' | tail -n 1)
|
||
case "$n" in
|
||
''|*[!0-9]*) return 1 ;;
|
||
0) return 1 ;;
|
||
*) return 0 ;;
|
||
esac
|
||
}
|
||
|
||
require_env() {
|
||
local missing=0
|
||
if [ -z "$AMD_USER_KEY" ] || [ -z "$AMD_PASS_KEY" ] \
|
||
|| [ -z "$HYGON_USER_KEY" ] || [ -z "$HYGON_PASS_KEY" ]; then
|
||
printf '缺少真机凭据的 xop 键名(检查 MPC_TEE_AMD_USER_KEY 等,或 source real-machines.env)\n' >&2
|
||
missing=1
|
||
fi
|
||
if ! command -v xop >/dev/null 2>&1; then
|
||
printf '找不到 xop(凭据管理工具)—— 本脚本按项目约定从 xop 取真机口令\n' >&2
|
||
missing=1
|
||
fi
|
||
if ! command -v sshpass >/dev/null 2>&1; then
|
||
printf '找不到 sshpass —— 无法做密码认证的 SSH\n' >&2
|
||
missing=1
|
||
fi
|
||
if ! command -v curl >/dev/null 2>&1; then
|
||
printf '找不到 curl —— 判据要查控制面的 HTTP 端点\n' >&2
|
||
missing=1
|
||
fi
|
||
[ "$missing" -eq 0 ] || return 1
|
||
|
||
# ★ 预检:xop 能不能解锁 vault、键名对不对 —— 这里用「只取长度」的方式验。
|
||
if ! xop_probe "$AMD_USER_KEY" || ! xop_probe "$AMD_PASS_KEY" \
|
||
|| ! xop_probe "$HYGON_USER_KEY" || ! xop_probe "$HYGON_PASS_KEY"; then
|
||
printf 'xop 取不到凭据(键名不对或 vault 未解锁)—— 键名:%s / %s / %s / %s\n' \
|
||
"$AMD_USER_KEY" "$AMD_PASS_KEY" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" >&2
|
||
missing=1
|
||
fi
|
||
[ "$missing" -eq 0 ] || return 1
|
||
|
||
# ★ 集群密钥:没给就本地随机生成一份(**不落盘、不入库**)。
|
||
if [ -z "$CLUSTER_SECRET" ]; then
|
||
if command -v openssl >/dev/null 2>&1; then
|
||
CLUSTER_SECRET=$(openssl rand -hex 32)
|
||
else
|
||
CLUSTER_SECRET=$(od -An -tx1 -N32 /dev/urandom | tr -d ' \n')
|
||
fi
|
||
printf '集群共享密钥:本次运行随机生成(%d 字节,用完即弃)\n' "${#CLUSTER_SECRET}"
|
||
fi
|
||
return "$missing"
|
||
}
|
||
|
||
remote() {
|
||
# $1=host $2=用户键名 $3=口令键名 $4=script
|
||
#
|
||
# ★★ 脚本正文走 **stdin**(`ssh ... bash -s`),**不走 argv**。
|
||
# argv 会进远端 `ps` 输出 ⇒ 正文里带的密钥就等于公开。
|
||
#
|
||
# ★★ 凭据**全程不经过本 shell**:ssh 在 xop 的子进程里跑,
|
||
# `SSHPASS` 由 xop 注入成环境变量(`sshpass -e` 读它)。
|
||
#
|
||
# ★★ **xop 自己的 WARN 打在 stdout** ⇒ 用 **fd 3 分流**:
|
||
# 远端 stdout → fd3 → 临时文件;xop 自己的 stdout → /dev/null;
|
||
# stderr 留给调用方看诊断。
|
||
# ★★ **stderr 绝对不能一起收进 fd3**:ssh 客户端的
|
||
# `Warning: Permanently added '…'` 打在**客户端 stderr**,
|
||
# 一旦 `2>&3` 它照样混进返回值 ⇒ 同一个 bug 换个马甲复现。
|
||
# ⇒ 只引 stdout;远端命令需要看 stderr 时自己 `2>&1`。
|
||
local _out
|
||
_out=$(mktemp "${TMPDIR:-/tmp}/mpc-epg-remote.XXXXXX") || return 1
|
||
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
|
||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" 'bash -s' 1>&3" \
|
||
3>"$_out" >/dev/null <<<"$4"
|
||
cat "$_out"
|
||
rm -f "$_out"
|
||
}
|
||
|
||
remote_put() {
|
||
# $1=host $2=用户键名 $3=口令键名 $4=远端路径 —— 内容从**本脚本 stdin** 读
|
||
#
|
||
# ★★ 只传内容、不传脚本 ⇒ 密钥**不经过 argv**(argv 会进远端 ps)。
|
||
# 密钥全文只走 stdin 这条通道。
|
||
#
|
||
# ★★ **这里绝不能写 `< /dev/null`** ——
|
||
# 那会把调用方的**管道内容**丢掉(实测:写出的文件是 0 字节,
|
||
# 密钥根本没送达远端 ⇒ 控制面配的密钥与节点用的不是同一份 ⇒ 全 401,
|
||
# 且症状极难查)。
|
||
# ⇒ 只在 stdin **是 TTY** 时才断开(xop 在 TTY 下会等 Touch ID 超时)。
|
||
if [ -t 0 ]; then
|
||
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
|
||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
|
||
< /dev/null 2>&1
|
||
else
|
||
xop run --secret "SSHPASS=$3" --secret "TEE_USER=$2" -- \
|
||
sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@$1\" \"umask 077 && mkdir -p \$(dirname '$4') && cat > '$4'\"" \
|
||
2>&1
|
||
fi
|
||
}
|
||
|
||
if ! require_env; then
|
||
exit 2
|
||
fi
|
||
|
||
mkdir -p "$WORK"
|
||
|
||
printf '=== 真机集群端点公布门禁 ===\n'
|
||
printf '控制面 : %s:3020\n' "$HYGON_HOST"
|
||
printf '节点 AMD : %s\n' "$AMD_HOST"
|
||
printf '节点 CSV : %s\n' "$HYGON_HOST"
|
||
printf '共享密钥 : %d 字节\n' "${#CLUSTER_SECRET}"
|
||
printf '等端点 : %s 秒\n' "$EPG_TIMEOUT"
|
||
printf '\n'
|
||
|
||
# ── 0. 负向矩阵:端点公布的三道硬闸门 ─────────────────────────────────
|
||
#
|
||
# ★ 三条负向,每条都必须**真的拒**(不是警告):
|
||
# ① 非回环 + 无共享密钥 ⇒ 拒启动(否则等于零保护的公网控制面);
|
||
# ② 非回环 + 有密钥但缺 `--allow-remote` ⇒ 拒启动;
|
||
# ③ 错密钥 ⇒ 401。
|
||
#
|
||
# ★ 判据纪律:负向必须**用构造样例逐条破坏过**,且每条都要
|
||
# 「带期望拒绝特征」—— 只判「失败」会恒真。
|
||
#
|
||
# ★ ① ② 是**启动期**负向(不需要控制面已在跑)⇒ 放在起控制面**之前**。
|
||
# ③ 是**运行期**负向(要控制面起来)⇒ 放在起控制面**之后**。
|
||
neg_gate() {
|
||
# $1=标签 $2=远端命令 $3=期望出现在输出里的拒绝特征
|
||
local label=$1 cmd=$2 want=$3 o
|
||
o=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$cmd")
|
||
if printf '%s' "$o" | grep -q "$want"; then
|
||
ok "负向·${label}:按预期拒绝"
|
||
return 0
|
||
fi
|
||
fail "负向·${label}:没看到拒绝特征 '${want}',实际输出:${o}"
|
||
return 1
|
||
}
|
||
|
||
# ★ 格式串以 `---` 开头会被 bash 的 printf 当成选项 ⇒ 用 `%s` 传参。
|
||
printf '%s\n' '--- 负向矩阵:端点公布前的硬闸门 ---'
|
||
# ★ 密钥**不进 argv**:从**文件**读进环境(文件此时可能还不存在,
|
||
# 所以用本机的 secret 内容经 stdin 传给远端 —— 见 remote_put)。
|
||
printf '%s' "$CLUSTER_SECRET" | remote_put "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"$CLUSTER_DIR/cluster.secret" >/dev/null
|
||
|
||
# ★★ **必须校验密钥真的送到了**(不能假设)。
|
||
# 实测踩过:`remote_put` 里写了 `< /dev/null` ⇒ 把调用方的**管道内容**
|
||
# 整个丢掉 ⇒ 远端文件是 **0 字节** ⇒ 远端读到空密钥 ⇒ 全 401,
|
||
# 而症状是「自报收不到」,极难往「密钥没送达」上想。
|
||
want_len=${#CLUSTER_SECRET}
|
||
got_len=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"wc -c < $CLUSTER_DIR/cluster.secret 2>/dev/null | tr -d ' '")
|
||
if [ "${got_len:-0}" = "$want_len" ] && [ "$want_len" -ge 32 ]; then
|
||
ok "集群密钥已送达海光机(${got_len} 字节)"
|
||
else
|
||
fail "集群密钥没送达海光机(期望 ${want_len} 字节,得到 '${got_len:-空}')—— \
|
||
密钥通道断了(remote_put 的 stdin 被重定向覆盖?)"
|
||
exit 1
|
||
fi
|
||
|
||
neg_gate '非回环无密钥拒启动' \
|
||
"cd $CLUSTER_DIR && MPC_HOSTD_SHARED_SECRET= ./mpc control-plane serve --listen 0.0.0.0:3099 --allow-remote 2>&1 | head -3" \
|
||
'共享密钥'
|
||
neg_gate '有密钥但缺 --allow-remote 拒启动' \
|
||
"cd $CLUSTER_DIR && SECRET=\$(cat $CLUSTER_DIR/cluster.secret) && MPC_HOSTD_SHARED_SECRET=\"\$SECRET\" ./mpc control-plane serve --listen 0.0.0.0:3099 2>&1 | head -3" \
|
||
'allow-remote'
|
||
|
||
# ── 1. 起控制面(海光机)────────────────────────────────────────────────
|
||
#
|
||
# ★ 只杀**自己起的**那个控制面(按 pid 文件),**绝不** pkill 全局 ——
|
||
# `pkill -f 'mpc control-plane serve'` 会**匹配到执行它的这个 shell 自身**
|
||
# (远端 ssh 的 cmdline 整段含这个串)⇒ **自杀** ⇒ 后面的 nohup 根本没机会跑
|
||
# ⇒ cp.log 是**上一轮的残留** ⇒ 判定读到旧日志说「起来了」⇒ **假绿**。
|
||
#
|
||
# ★★ 控制面的**全局**绑定材料(--session-id / --pubkey / --measurement)
|
||
# 这里不给 ⇒ 全局绑定是全零。这**不是**缺陷:本脚本提交的 `/desired`
|
||
# 每条会话都自带完整绑定(session_id / session_pubkey /
|
||
# code_measurement / site),对账器取的是 `d.binding`
|
||
# (`reconciler.rs`:`d.binding.clone().unwrap_or(self.binding)`)——
|
||
# 全局绑定**只在会话没自带绑定时**兜底,而这里永远不会走到。
|
||
# 钉死这条的测试:`per_session_binding_overrides_the_global_one`。
|
||
# ★ 真要给全局绑定,三件必须同时给,且 code_measurement 必须是
|
||
# 节点声明的度量(见下面的「物料预检」),否则 admit 直接拒。
|
||
printf '\n--- 起控制面 ---\n'
|
||
out=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"cd $CLUSTER_DIR
|
||
if [ -f $CLUSTER_DIR/cp.pid ]; then
|
||
kill \"\$(cat $CLUSTER_DIR/cp.pid)\" 2>/dev/null || true
|
||
rm -f $CLUSTER_DIR/cp.pid
|
||
fi
|
||
sleep 1
|
||
SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
export MPC_HOSTD_SHARED_SECRET=\"\$SECRET\"
|
||
unset SECRET
|
||
nohup ./mpc control-plane serve --listen 0.0.0.0:3020 --hostd-port 3010 --allow-remote > cp.log 2>&1 &
|
||
echo \$! > $CLUSTER_DIR/cp.pid
|
||
sleep 3
|
||
cat cp.log")
|
||
printf '%s\n' "$out" | sed 's/^/ /'
|
||
if printf '%s\n' "$out" | grep -q 'control-plane: 监听'; then
|
||
ok "控制面已起($(printf '%s\n' "$out" | grep -o '监听 [^(]*' | head -1))"
|
||
else
|
||
fail "控制面没起来"
|
||
exit 1
|
||
fi
|
||
|
||
# ★★ 负向(**运行期**):错密钥必须 401。
|
||
#
|
||
# ★★ 关键:必须有**正向对照**。
|
||
# 只判「错密钥不是 200」的话 —— 控制面**没起来**时 curl 连不上,
|
||
# 返回码是 `000`,`000 != 200` ⇒ **判通过** ⇒ 假绿。
|
||
# ⇒ 先断言「正确密钥拿到 200」,再断言「错密钥拿到 401」。
|
||
printf '\n--- 负向矩阵:鉴权 ---\n'
|
||
code_ok=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -o /dev/null -w '%{http_code}' -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/nodes")
|
||
if [ "$code_ok" = "200" ]; then
|
||
ok "正向·正确密钥可查注册表(200)"
|
||
else
|
||
fail "正向·正确密钥查注册表失败(期望 200,得到 '${code_ok}')—— 控制面没起来?"
|
||
exit 1
|
||
fi
|
||
neg_gate '错密钥 401' \
|
||
"curl -s -o /dev/null -w '%{http_code}' -m 8 -H 'Authorization: Bearer wrong-secret-000000000000000000000000000' http://127.0.0.1:3020/nodes" \
|
||
'401'
|
||
|
||
# ── 2. 物料与节点参数 ──────────────────────────────────────────────────
|
||
#
|
||
# ★★★ 这段是本脚本与「自报脚本」最大的差别:集群面要**真的起 guest**,
|
||
# 所以必须给出 guest 侧的**全部**物料:
|
||
# · initrd(guest 镜像)
|
||
# · 芯片验签器(hostd 的 `--attest-verifier`)—— ★ 没有它就没有
|
||
# `chip_sig=true` ⇒ 端点**按策略不公布**(`require_chip_sig=true`)。
|
||
# · 真实双网卡(socket 跨 guest + tap 进宿主网段访问 KBS)
|
||
# · KBS 端点(节点描述里的 `kbs_endpoint`)—— guest 要靠它取密钥。
|
||
#
|
||
# ★ 度量必须**非全零**(全零 ⇒ 节点永远选不中,admit 要求 has_measurement)。
|
||
# 真值读节点描述里的 `measurement=`(OCI manifest digest),见「物料预检」。
|
||
#
|
||
# ★★ 网卡参数:**每个 argv 元素一个 flag**(`--guest-netdev -netdev
|
||
# --guest-netdev socket,id=...`)—— 不做「一个 flag 吃掉后面所有 token」
|
||
# 的解析(值本身可能以 `--` 开头,猜错就是给 qemu 传了错的 argv)。
|
||
|
||
# 两侧的 KBS 端口与网段(与 tee-pair-attest-e2e.sh 同口径 —— 两侧各一个 KBS,
|
||
# 各自做**本机**芯片的验签:共用一个 KBS 意味着「把海光的报告拿到 AMD 机上验」。
|
||
AMD_KBS_PORT=${MPC_AMD_KBS_PORT:-18093}
|
||
AMD_BR=${MPC_AMD_BR:-mpcbr-pa}
|
||
AMD_TAP=${MPC_AMD_TAP:-mpctap-pa}
|
||
AMD_BR_IP=${MPC_AMD_BR_IP:-10.93.0.1/24}
|
||
AMD_GUEST_IP=${MPC_AMD_GUEST_IP:-10.93.0.2/24}
|
||
# ★★★ 网卡 MAC 必须与真机既有口径**逐字一致**(real-machines.env 的 D/E 段)。
|
||
# guest 的 init.sh 按 MAC **精确匹配**网卡(`iface_by_mac`)⇒ 匹配不到直接
|
||
# `die "找不到数据网卡"`。这里曾用 52:54:00:00:0a:xx(QEMU 惯用前缀),
|
||
# 与真机在跑的 02:00:00:00:0a:xx 不一致 ⇒ guest 必die ⇒ 端点永不公布。
|
||
AMD_DATA_MAC=${MPC_AMD_DATA_MAC:-02:00:00:00:0a:01}
|
||
AMD_KBS_MAC=${MPC_AMD_KBS_MAC:-02:00:00:00:0a:11}
|
||
HY_KBS_PORT=${MPC_HY_KBS_PORT:-18094}
|
||
HY_BR=${MPC_HY_BR:-mpcbr-pb}
|
||
HY_TAP=${MPC_HY_TAP:-mpctap-pb}
|
||
HY_BR_IP=${MPC_HY_BR_IP:-10.94.0.1/24}
|
||
HY_GUEST_IP=${MPC_HY_GUEST_IP:-10.94.0.2/24}
|
||
HY_DATA_MAC=${MPC_HY_DATA_MAC:-02:00:00:00:0a:02}
|
||
HY_KBS_MAC=${MPC_HY_KBS_MAC:-02:00:00:00:0a:12}
|
||
LINK_PORT=${MPC_TEE_LINK_PORT:-19777}
|
||
|
||
# ★★★ 会话材料必须与真机 KBS 仓库里**已铺好**的那份一致。
|
||
#
|
||
# KBS 的资源目录布局是 <res>/<repo>/<kind>/<tag>,tag = 会话 id。
|
||
# guest 取 psk/seed/root-key 时用的就是本轮 session id ⇒
|
||
# session id 与已铺的资源对不上 ⇒ KBS 404 ⇒ guest die ⇒ 端点永不公布。
|
||
# 真机上 tee-pair-attest-e2e.sh 铺的是 MPC_TEE_SESSION_ID(缺省 abab…),
|
||
# ⇒ 这里**必须复用同一份**,不能另起一个 e1e1…。
|
||
EPG_SESSION_ID=${MPC_EPG_SESSION_ID:-${MPC_TEE_SESSION_ID:-$(printf 'ab%.0s' $(seq 1 32))}}
|
||
EPG_PUBKEY=${MPC_EPG_PUBKEY:-${MPC_TEE_PUBKEY:-$(printf 'cd%.0s' $(seq 1 32))}}
|
||
# ★ 绑定的 site = **算绑定的一方**(控制面 = alice)。
|
||
# 它与「节点自己的 site」(AMD=alice / CSV=bob)**不是同一件事** ——
|
||
# 集群面跨网段选址时两者必然不同(这正是 bind_site 存在的理由)。
|
||
EPG_SITE=${MPC_EPG_SITE:-alice}
|
||
|
||
# ── 2'. 物料预检(必须在起 KBS / 起 hostd **之前**)────────────────────
|
||
#
|
||
# ★★★ 顺序是硬约束:`start_kbs` 的绑定重算要用 `EPG_MEASUREMENT`,
|
||
# `start_hostd` 要用 `AMD_TCB` / `HY_TCB`。早先这段放在 KBS 之后,
|
||
# `set -u` 下直接 unbound 崩溃(症状还伪装成「KBS 没起来」的假红)。
|
||
#
|
||
# ★ 度量的**唯一真相源 = 节点描述文件里的 `measurement=`**(OCI manifest
|
||
# digest)。`sha256sum initrd.img` 与之完全无关:guest 校验的是镜像内
|
||
# `/etc/mpc-tee/manifest.digest`,用 initrd 的 sha 会让
|
||
# `mpc.tee.manifest=` 与镜像对不上 ⇒ guest 一启动就 die。
|
||
read_node_field() {
|
||
# $1=host $2=user $3=pass $4=远端节点描述路径 $5=字段名 $6=匹配正则(BRE)
|
||
remote "$1" "$2" "$3" \
|
||
"sed -n 's/^$5=\($6\)\$/\1/p' '$4' | head -1"
|
||
}
|
||
|
||
amd_meas=$(read_node_field "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
|
||
"$REMOTE_DIR/node" measurement '[0-9a-fA-F]\{64\}')
|
||
hy_meas=$(read_node_field "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"$REMOTE_DIR/node" measurement '[0-9a-fA-F]\{64\}')
|
||
if [ "${#amd_meas}" -ne 64 ] || [ "${#hy_meas}" -ne 64 ]; then
|
||
fail "读不出节点描述里的度量(AMD='${amd_meas}' CSV='${hy_meas}')—— \
|
||
先跑 tee-pair-attest-e2e.sh 铺物料(它把 OCI manifest digest 写进节点描述)"
|
||
exit 1
|
||
fi
|
||
if [ "$amd_meas" != "$hy_meas" ]; then
|
||
fail "两侧镜像度量不一致(AMD=${amd_meas} CSV=${hy_meas})—— \
|
||
期望态只能 pin 一份度量,另一侧节点永远选不中"
|
||
exit 1
|
||
fi
|
||
EPG_MEASUREMENT=$amd_meas
|
||
printf ' 镜像度量(唯一真相源) = %s\n' "$EPG_MEASUREMENT"
|
||
|
||
# ★ TCB 也**只读节点描述**,不猜默认值:它参与 `user_data` 的绑定值计算
|
||
# (`SessionBinding::user_data(platform, tcb)`),猜错 ⇒ KBS 重算的绑定值
|
||
# 与 guest 采报告用的那份不一致 ⇒ 证明永远判不过。
|
||
AMD_TCB=$(read_node_field "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
|
||
"$REMOTE_DIR/node" tcb '[0-9]\{1,\}')
|
||
HY_TCB=$(read_node_field "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"$REMOTE_DIR/node" tcb '[0-9]\{1,\}')
|
||
case "$AMD_TCB" in ''|*[!0-9]*) fail "读不出 AMD 节点 TCB('${AMD_TCB}')—— 不猜默认值" ; exit 1 ;; esac
|
||
case "$HY_TCB" in ''|*[!0-9]*) fail "读不出 CSV 节点 TCB('${HY_TCB}')—— 不猜默认值" ; exit 1 ;; esac
|
||
printf ' 节点 TCB = AMD %s / CSV %s\n' "$AMD_TCB" "$HY_TCB"
|
||
|
||
# ★ hostd 的 `--attest-chain-dir` 与 KBS 的 `--chain-dir` **必须指向已存在的
|
||
# 目录**(`build_chip_verifier()` 显式校验:不存在就拒启动 —— 真机常离线,
|
||
# 目录不存在会退化成联网取证书 ⇒ `chip_sig` 恒 false)。
|
||
# AMD 侧的 SNP 证书链缓存目录由本脚本建;CSV 侧用厂商自带目录。
|
||
remote "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
|
||
"mkdir -p '$REMOTE_DIR/snp-chain'" >/dev/null
|
||
if ! remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"test -d /opt/hygon/csv/confidential-containers/scripts"; then
|
||
fail "海光机缺 CSV 证书链目录 /opt/hygon/csv/confidential-containers/scripts"
|
||
exit 1
|
||
fi
|
||
|
||
start_hostd() {
|
||
# $1=label $2=host $3=user $4=pass $5=platform $6=site $7=qemu $8=fw $9=kernel
|
||
# $10=initrd $11=meas $12=kbs_ep $13=netdev $14=kparams
|
||
# $15=tcb $16=chain_dir $17=role $18=guest_endpoint
|
||
#
|
||
# ★★★ bash 的 `$10` 是 `${1}0`(第 1 位参数后接字面量 0),**不是**第 10 位!
|
||
# 早先这里写 `$10`..`$17` ⇒ `initrd=AMD0` / `meas=AMD1` … 全部错位,
|
||
# 症状是 `--node-measurement AMD1`(4 位)被 hostd 拒、脚本却继续跑。
|
||
# 必须用 `${10}`..`${18}`。
|
||
local label=$1 host=$2 user=$3 pass=$4 platform=$5 site=$6 qemu=$7 fw=$8 kernel=$9
|
||
local initrd=${10} meas=${11} kbs_ep=${12} netdev=${13} kparams=${14}
|
||
local tcb=${15} chain_dir=${16} role=${17} guest_ep=${18}
|
||
local verifier
|
||
|
||
# ★ 芯片验签器:按平台分派。
|
||
# AMD → snp-verify-attestation.sh(KDS / VCEK 链)
|
||
# 海光 → csv-verify-attestation.sh(厂商官方验签器)
|
||
# ★ 没有验签器 ⇒ `chip_sig=false` ⇒ 端点**按策略不公布**
|
||
# (`require_chip_sig=true`)—— 那是**诚实的**失败,不是缺陷。
|
||
#
|
||
# ★ 证书链目录走**独立选项** `--attest-chain-dir`,**不能**塞进
|
||
# `--attest-verifier-arg`:argparse 遇到「以 - 开头的值」会把它
|
||
# 当成下一个选项 ⇒ 实测报 "expected one argument"。
|
||
local chain_flags=""
|
||
case "$platform" in
|
||
snp) verifier="$REMOTE_DIR/snp-verify-attestation.sh"
|
||
chain_dir=${chain_dir:-$REMOTE_DIR/snp-chain} ;;
|
||
csv) verifier="$REMOTE_DIR/csv-verify-attestation.sh"
|
||
chain_dir=${chain_dir:-/opt/hygon/csv/confidential-containers/scripts} ;;
|
||
*) verifier="" ;;
|
||
esac
|
||
if [ -n "$verifier" ]; then
|
||
if ! remote "$host" "$user" "$pass" "test -x '$verifier'"; then
|
||
fail "${label}:验签器不存在或不可执行(${verifier})—— \
|
||
没有它就没有 chip_sig=true,端点按策略不会公布"
|
||
return 1
|
||
fi
|
||
if [ -n "$chain_dir" ]; then
|
||
chain_flags="--attest-chain-dir $chain_dir"
|
||
fi
|
||
fi
|
||
|
||
# ★★ 密钥:先推到远端 0600 文件(内容走 stdin,不进 argv)。
|
||
printf '%s' "$CLUSTER_SECRET" | remote_put "$host" "$user" "$pass" \
|
||
"$CLUSTER_DIR/cluster.secret" >/dev/null
|
||
|
||
# ★ 网卡参数:**每个 argv 元素一个 flag**。
|
||
# 数据面(socket,二层,跨 guest)+ KBS 面(tap,三层,进宿主网段)。
|
||
local netdev_flags=""
|
||
local a
|
||
for a in $netdev; do
|
||
netdev_flags="$netdev_flags --guest-netdev $a"
|
||
done
|
||
local kparam_flags=""
|
||
for a in $kparams; do
|
||
kparam_flags="$kparam_flags --guest-kernel-param $a"
|
||
done
|
||
|
||
local script
|
||
script=$(cat <<EOS
|
||
cd $CLUSTER_DIR
|
||
if [ -f $CLUSTER_DIR/hostd.pid ]; then
|
||
kill "\$(cat $CLUSTER_DIR/hostd.pid)" 2>/dev/null || true
|
||
rm -f $CLUSTER_DIR/hostd.pid
|
||
fi
|
||
sleep 1
|
||
# ★★ 清掉上一轮遗留的 qemu:guest halt 后 qemu **不退出**(项目已知事实:
|
||
# Flash device refused suspend),而 socket netdev 的 listen 端口是
|
||
# **每机唯一**的 ⇒ 遗留 qemu 会一直占着该端口 ⇒ 本轮 create 起 qemu 时
|
||
# 报 can't bind ... Address already in use ⇒ guest 永远起不来 ⇒
|
||
# 端点永不公布。症状极具误导性:控制面 / 自报 / KBS 全绿,只有 guest 没起。
|
||
# ★ 按**端口**找占用者并 kill,**不用 pkill -f**(会匹配到执行它的 shell)。
|
||
OLD_QEMU=\$(ss -ltnp 2>/dev/null | grep -E ':$LINK_PORT[[:space:]]' | sed -n 's/.*pid=\([0-9][0-9]*\).*/\1/p' | sort -u)
|
||
for p in \$OLD_QEMU; do kill "\$p" 2>/dev/null || true; done
|
||
i=0
|
||
while [ \$i -lt 50 ]; do
|
||
ss -ltn 2>/dev/null | grep -qE ':$LINK_PORT[[:space:]]' || break
|
||
sleep 0.2
|
||
i=\$((i+1))
|
||
done
|
||
if ss -ltn 2>/dev/null | grep -qE ':$LINK_PORT[[:space:]]'; then
|
||
echo LINK_PORT_STILL_BUSY
|
||
exit 1
|
||
fi
|
||
echo LINK_PORT_FREE
|
||
SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
export MPC_HOSTD_SHARED_SECRET="\$SECRET"
|
||
unset SECRET
|
||
nohup ./mpc hostd \\
|
||
--listen 0.0.0.0:3010 \\
|
||
--allow-remote \\
|
||
--control-plane $HYGON_HOST:3020 \\
|
||
--node-platform $platform \\
|
||
--node-site $site \\
|
||
--node-host $host \\
|
||
--node-tcb $tcb \\
|
||
--node-qemu $qemu \\
|
||
--node-firmware $fw \\
|
||
--node-kernel $kernel \\
|
||
--node-initrd $initrd \\
|
||
--node-measurement $meas \\
|
||
--node-capacity 2 \\
|
||
--node-kbc online \\
|
||
--node-kbs-endpoint $kbs_ep \\
|
||
--report-interval 5 \\
|
||
--guest-endpoint $guest_ep \\
|
||
--attest-verifier $verifier \\
|
||
$chain_flags \\
|
||
$netdev_flags \\
|
||
$kparam_flags \\
|
||
> hostd.log 2>&1 &
|
||
echo \$! > $CLUSTER_DIR/hostd.pid
|
||
sleep 3
|
||
cat hostd.log
|
||
EOS
|
||
)
|
||
local o
|
||
o=$(remote "$host" "$user" "$pass" "$script")
|
||
printf '%s\n' "$o" | sed 's/^/ /'
|
||
if printf '%s\n' "$o" | grep -qi 'hostd: 监听'; then
|
||
ok "$label hostd 已起"
|
||
return 0
|
||
fi
|
||
fail "$label hostd 没起来"
|
||
return 1
|
||
}
|
||
|
||
# ── 3. 起两台 hostd(带自报 + 验签器 + 真机网卡)────────────────────────
|
||
#
|
||
# ★ 两侧各起一个 KBS(不共用)—— 见 tee-pair-attest-e2e.sh 的理由。
|
||
# KBS 要做**芯片验签**,验签器与证书链都只在**本机**的 /opt 下才有。
|
||
# ⇒ 本脚本先把两侧的 KBS 起起来(复用 kbs-net.sh + 已有资源目录)。
|
||
start_kbs() {
|
||
# $1=label $2=host $3=user $4=pass $5=verifier $6=chain_dir $7=br $8=tap
|
||
# $9=br_ip $10=port $11=token_key $12=resources $13=platform $14=site $15=tcb
|
||
local label=$1 host=$2 user=$3 pass=$4 verifier=$5 chain=$6 br=$7 tap=$8
|
||
local br_ip=$9 port=${10} token_key=${11} resources=${12}
|
||
local platform=${13} site=${14} tcb=${15}
|
||
local o
|
||
o=$(remote "$host" "$user" "$pass" "set -u
|
||
export MPC_KBS_BRIDGE=$br
|
||
export MPC_KBS_TAP=$tap
|
||
export MPC_KBS_BRIDGE_IP=$br_ip
|
||
export MPC_KBS_PORT=$port
|
||
export MPC_KBS_TOKEN_KEY_FILE=$token_key
|
||
export MPC_KBS_RESOURCES=$resources
|
||
export MPC_KBS_SESSION=$EPG_SESSION_ID
|
||
export MPC_KBS_VERIFIER=$verifier
|
||
export MPC_KBS_VERIFIER_ARGS=
|
||
export MPC_KBS_CHAIN_DIR=$chain
|
||
export MPC_KBS_PIDFILE=$CLUSTER_DIR/kbs.pid
|
||
# ★★★ KBS 侧的绑定材料 —— **缺任何一项,KBS 重算出来的绑定值就与
|
||
# guest 采报告时用的那份不一致** ⇒ 判定报「报告与本轮会话不匹配」
|
||
# ⇒ KBS 403 ⇒ guest 取不到密钥 ⇒ 端点**永不公布**。
|
||
# 症状极具误导性:guest 起来了、KBS 在跑、就是端点不出现,
|
||
# 而排查方向会被带到「对账器 / 调度器 / 证明链」上,真因是
|
||
# **KBS 启动时少给了几个环境变量**。
|
||
#
|
||
# · MPC_KBS_PLATFORM —— 平台必须显式给。serve.py 的缺省是 csv,
|
||
# 于是 AMD 机上那个 KBS 会拿 csv 去判 SNP 证明包 ⇒ 直接拒收。
|
||
# · MPC_KBS_SITE / MPC_KBS_PUBKEY / MPC_KBS_MEASUREMENT ——
|
||
# 参与绑定值重算的四个要素(session_id 由 --session 给)。
|
||
# site 必须是**绑定的 site**(alice),不是节点自己的 site。
|
||
# · MPC_KBS_PIN —— 准入批准的镜像度量(与 measurement 同源但语义独立)。
|
||
# · MPC_KBS_TCB —— **节点的实际 TCB**(参与绑定值计算);
|
||
# MPC_KBS_MIN_TCB 是门槛(只做准入比较)。两者不能混:
|
||
# 漏传 --tcb 会让重算的绑定值用 tcb=0 ⇒ 报「报告与本轮会话不匹配」。
|
||
# · MPC_KBS_MPC_BIN —— 判定由框架二进制做(mpc tee attest-check),
|
||
# Python 只搬运字节。没有它 ⇒ 严格模式下所有证明都被拒。
|
||
export MPC_KBS_PLATFORM=$platform
|
||
export MPC_KBS_SITE=$site
|
||
export MPC_KBS_PUBKEY=$EPG_PUBKEY
|
||
export MPC_KBS_MEASUREMENT=$EPG_MEASUREMENT
|
||
export MPC_KBS_PIN=$EPG_MEASUREMENT
|
||
export MPC_KBS_TCB=$tcb
|
||
export MPC_KBS_MIN_TCB=3
|
||
export MPC_KBS_MPC_BIN=$CLUSTER_DIR/mpc
|
||
bash $REMOTE_DIR/kbs-net.sh up 2>&1 | tail -5
|
||
# ★★★ 本轮实例的**正向证据**。
|
||
#
|
||
# kbs-net.sh 打印 kbs_net_up 只说明「端口在监听」,**不**说明
|
||
# 「是本轮参数起的」。旧实例占端口时新实例会 bind 失败退出,
|
||
# 而 kbs-net.sh 只看端口 ⇒ 假绿(根因已在 kbs-net.sh 里修:
|
||
# 先按端口清旧 + 端口未释放就拒)。这里再钉一层:
|
||
# pidfile 里的 pid 必须活着,且它的命令行必须带**本轮**
|
||
# --session 与 --mpc 路径 ⇒ 旧参数实例一律不算通过。
|
||
#
|
||
# ★ 这条同时是**否定式判据的正向锚点**:只判「端口有响应」
|
||
# 会恒真(旧实例也会响应),必须验到归属。
|
||
PID=\$(cat $CLUSTER_DIR/kbs.pid 2>/dev/null || true)
|
||
if [ -z \"\$PID\" ] || ! kill -0 \"\$PID\" 2>/dev/null; then
|
||
echo EPG_KBS_NO_PID
|
||
exit 1
|
||
fi
|
||
CMD=\$(tr '\0' ' ' < /proc/\$PID/cmdline 2>/dev/null || true)
|
||
# ★ 归属检查用 grep -qF + **单引号**:整段远端脚本嵌在本地的双引号
|
||
# 字符串里,普通双引号会提前结束本地字符串(本轮踩过:拼接后引号
|
||
# 全丢,printf 的 CMD 被词分割 ⇒ 判据假红),须写成转义的引号;
|
||
# 而 case 模式里去掉引号后,空格又把模式拆成多个 word(远端报语法
|
||
# 错误、只看到半截)。单引号在本地双引号内只是字面字符,且能包住
|
||
# 含空格的匹配串。
|
||
if printf '%s' \"\$CMD\" | grep -qF -- '--session $EPG_SESSION_ID' && printf '%s' \"\$CMD\" | grep -qF -- '--mpc $CLUSTER_DIR/mpc'; then
|
||
echo EPG_KBS_OWNED_OK
|
||
else
|
||
echo EPG_KBS_STALE
|
||
exit 1
|
||
fi")
|
||
printf '%s\n' "$o" | sed 's/^/ /'
|
||
# ★ 只认**本轮实例**的正向锚点。
|
||
# 早先这里用 `grep -Eiq 'kbs_net_up|...'` + 「端口探活」兜底 ——
|
||
# 两者都是**恒真型**判据:旧 KBS 占着端口时照样命中,
|
||
# 于是拿到的是上一轮参数(session / 绑定材料 / mpc 路径全不对),
|
||
# 证明永远判不过 ⇒ 端点永不公布,排查方向被带到证明链上。
|
||
if printf '%s\n' "$o" | grep -q 'EPG_KBS_OWNED_OK'; then
|
||
ok "$label KBS 已起(本轮实例,端口 ${port})"
|
||
return 0
|
||
fi
|
||
fail "$label KBS 不是本轮实例(输出:${o})"
|
||
return 1
|
||
}
|
||
|
||
printf '\n--- 起两侧 KBS ---\n'
|
||
start_kbs 'AMD' "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" \
|
||
"$REMOTE_DIR/snp-verify-attestation.sh" "$REMOTE_DIR/snp-chain" \
|
||
"$AMD_BR" "$AMD_TAP" "$AMD_BR_IP" "$AMD_KBS_PORT" \
|
||
"$REMOTE_DIR/kbs-token.key" "$REMOTE_DIR/kbs-res" snp "$EPG_SITE" "$AMD_TCB" || FAIL_N=$((FAIL_N + 1))
|
||
start_kbs 'CSV' "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"$REMOTE_DIR/csv-verify-attestation.sh" "/opt/hygon/csv/confidential-containers/scripts" \
|
||
"$HY_BR" "$HY_TAP" "$HY_BR_IP" "$HY_KBS_PORT" \
|
||
"$REMOTE_DIR/kbs-token.key" "$REMOTE_DIR/kbs-res" csv "$EPG_SITE" "$HY_TCB" || FAIL_N=$((FAIL_N + 1))
|
||
|
||
# ★ KBS 资源必须在(guest 要凭 token 取 psk/seed/root-key)。
|
||
# 缺了就取不到密钥 ⇒ guest 走不到会话 ⇒ 端点不公布(诚实失败)。
|
||
for pair in "AMD:$AMD_HOST:$AMD_USER_KEY:$AMD_PASS_KEY" "CSV:$HYGON_HOST:$HYGON_USER_KEY:$HYGON_PASS_KEY"; do
|
||
tag=${pair%%:*}; rest=${pair#*:}
|
||
host=${rest%%:*}; rest=${rest#*:}
|
||
user=${rest%%:*}; pass=${rest#*:}
|
||
for kind in psk seed root-key; do
|
||
if ! remote "$host" "$user" "$pass" \
|
||
"test -s $REMOTE_DIR/kbs-res/mpc/$kind/$EPG_SESSION_ID"; then
|
||
fail "${tag}:KBS 资源缺失($kind / ${EPG_SESSION_ID})—— \
|
||
guest 取不到密钥,端点不会公布。先跑 tee-pair-attest-e2e.sh 铺资源。"
|
||
FAIL_N=$((FAIL_N + 1))
|
||
fi
|
||
done
|
||
done
|
||
if [ "$FAIL_N" -eq 0 ]; then
|
||
ok "两侧 KBS 资源就位(psk / seed / root-key)"
|
||
fi
|
||
|
||
printf '\n--- 起节点 hostd ---\n'
|
||
# ★★★ 网卡参数:
|
||
# · 数据面 = socket netdev(跨 guest,二层)
|
||
# · KBS 面 = tap netdev(三层,进宿主网段访问本机 KBS)
|
||
# 两张卡不能合成(见 kbs-net.sh 的说明)。
|
||
#
|
||
# ★ MAC 用**真机既有口径**(02:00:00:00:0a:xx),guest 按 MAC 精确认卡。
|
||
# ★ tap 必须带 `ifname=` 与 `script=no`:
|
||
# · ifname 指到 kbs-net.sh 建好的那个 tap(两边名字必须同源);
|
||
# · script=no —— 否则 qemu 去跑 /etc/qemu-ifup,真机上没有该脚本 ⇒
|
||
# "network script .../qemu-ifup failed with status 256" ⇒ 直接起不来。
|
||
AMD_NETDEV="-netdev socket,id=mpcnet0,listen=0.0.0.0:$LINK_PORT -device virtio-net-pci,netdev=mpcnet0,mac=$AMD_DATA_MAC -netdev tap,id=mpctap0,ifname=$AMD_TAP,script=no -device virtio-net-pci,netdev=mpctap0,mac=$AMD_KBS_MAC"
|
||
HY_NETDEV="-netdev socket,id=mpcnet0,listen=0.0.0.0:$LINK_PORT -device virtio-net-pci,netdev=mpcnet0,mac=$HY_DATA_MAC -netdev tap,id=mpctap0,ifname=$HY_TAP,script=no -device virtio-net-pci,netdev=mpctap0,mac=$HY_KBS_MAC"
|
||
|
||
# ★ 度量 / TCB / 证书链目录都在上面的「物料预检」里取好(顺序硬约束:
|
||
# `start_kbs` 的绑定重算要用 `EPG_MEASUREMENT`,必须先于它定义)。
|
||
|
||
# ★★★ guest 必需的内核参数(**每个参数一个 flag**)。
|
||
#
|
||
# 框架的 argv 已经带了 mpc.tee.manifest / session / kbs / user_data /
|
||
# site / platform(admit 产出的),所以**不重复给**。
|
||
# 这里补的是**部署层的事实**(框架不知道的那些):
|
||
# · mpc.role —— guest 要靠它决定角色(alice / bob / none)。
|
||
# ★ 端点公布这条链路只需要「跑证明门控」,不需要跨 guest 密文会话
|
||
# ⇒ 角色用 none ⇒ 不要求数据面网卡(guest 的 init.sh 对 role=none
|
||
# 不强制数据面卡)。但 KBS 面那张卡**必须**在(要访问宿主 KBS)。
|
||
# · mpc.tee.data_mac / kbs_mac —— guest 按 MAC 精确认卡(不给就认不出)。
|
||
# · mpc.tee.ip —— guest 在 tap 网段里的地址(与宿主 KBS 同网段)。
|
||
# · mpc.tee.kbs_repo —— KBS 资源仓库名(默认 mpc,与 serve.py 的布局一致)。
|
||
AMD_KPARAMS="mpc.role=none mpc.tee.kbs_repo=mpc mpc.tee.data_mac=$AMD_DATA_MAC mpc.tee.kbs_mac=$AMD_KBS_MAC mpc.tee.ip=$AMD_GUEST_IP"
|
||
HY_KPARAMS="mpc.role=none mpc.tee.kbs_repo=mpc mpc.tee.data_mac=$HY_DATA_MAC mpc.tee.kbs_mac=$HY_KBS_MAC mpc.tee.ip=$HY_GUEST_IP"
|
||
|
||
# ★★★ `--guest-endpoint` 必须是 **guest 能路由到的**宿主地址。
|
||
#
|
||
# 它**不是** `--listen`(`0.0.0.0` 对 guest 没有意义)。
|
||
# guest 在 tap 网段里(10.93.0.2 / 10.94.0.2),与管理网(192.168.1.x)
|
||
# **不互通** ⇒ 填管理网 IP 时 guest 连不上宿主 ⇒ 传不回证明材料
|
||
# ⇒ 宿主判定停在 pending ⇒ 端点永不公布。
|
||
# ⇒ 填 **tap 网段里的宿主 bridge 地址**(KBS 绑的那个地址)。
|
||
# 代价:hostd 的管理端口只监听 0.0.0.0,tap 网段也能连上 —— 这正是
|
||
# 「跨网段暴露」要显式 `--allow-remote` + 共享密钥的原因。
|
||
AMD_GUEST_ENDPOINT="${AMD_BR_IP%%/*}:3010"
|
||
HY_GUEST_ENDPOINT="${HY_BR_IP%%/*}:3010"
|
||
|
||
start_hostd 'AMD' "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" snp alice \
|
||
/opt/kata/bin/qemu-system-x86_64 \
|
||
/opt/kata/share/ovmf/AMDSEV.fd \
|
||
/opt/kata/share/kata-containers/vmlinuz-6.12.36-160-confidential \
|
||
"$REMOTE_DIR/initrd.img" "$EPG_MEASUREMENT" \
|
||
"http://${AMD_BR_IP%%/*}:$AMD_KBS_PORT" "$AMD_NETDEV" \
|
||
"$AMD_KPARAMS" "$AMD_TCB" "$REMOTE_DIR/snp-chain" none "$AMD_GUEST_ENDPOINT" \
|
||
|| FAIL_N=$((FAIL_N + 1))
|
||
|
||
start_hostd 'CSV' "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" csv bob \
|
||
/opt/confidential-containers/bin/qemu-system-x86_64 \
|
||
/opt/confidential-containers/share/ovmf/HYGONCSV.fd \
|
||
/opt/confidential-containers/share/kata-containers/vmlinuz-5.10.134-102cc-csv-hygon-gpu \
|
||
"$REMOTE_DIR/initrd.img" "$EPG_MEASUREMENT" \
|
||
"http://${HY_BR_IP%%/*}:$HY_KBS_PORT" "$HY_NETDEV" \
|
||
"$HY_KPARAMS" "$HY_TCB" "/opt/hygon/csv/confidential-containers/scripts" none "$HY_GUEST_ENDPOINT" \
|
||
|| FAIL_N=$((FAIL_N + 1))
|
||
|
||
if [ "$FAIL_N" -ne 0 ]; then
|
||
fail "节点 hostd 没全部起来(${FAIL_N} 项失败)—— 后续判据无意义"
|
||
exit 1
|
||
fi
|
||
|
||
# ── 4. 设期望态(站点端的产出)─────────────────────────────────────────
|
||
#
|
||
# ★ 这条 HTTP 请求的**形状**就是站点端 `site_admit` 的产出:
|
||
# { "sessions": [ { id, platform, min_tcb, pinned_measurement,
|
||
# session_id, session_pubkey, code_measurement, site } ] }
|
||
#
|
||
# ★ `code_measurement` 必须是**节点声明的度量** —— admit 会校验
|
||
# 「绑定度量 == 节点度量」,不一致 ⇒ 准入拒绝(会话永远排不上)。
|
||
# ★ `site` 是**绑定方**的 site(alice)—— 它与「节点自己的 site」(bob)**不同**,
|
||
# 这正是跨网段暴露场景;`user_data` 的第一段哈希绑的就是它。
|
||
printf '\n--- 设期望态 ---\n'
|
||
DESIRED="$WORK/desired.json"
|
||
cat > "$DESIRED" <<EOF
|
||
{"sessions":[{"id":"epg1","platform":"sev-snp","min_tcb":3,"require_attestation":true,"session_id":"$EPG_SESSION_ID","session_pubkey":"$EPG_PUBKEY","code_measurement":"$EPG_MEASUREMENT","site":"$EPG_SITE"}]}
|
||
EOF
|
||
printf '%s\n' " 期望态:$(cat "$DESIRED")"
|
||
|
||
# ★ 期望态里写的是 platform=sev-snp ⇒ 选址只会落在 AMD 节点
|
||
# (两侧镜像度量同源,度量本身不能区分节点;平台过滤才是决定因素)。
|
||
# code_measurement pin 的是**同一份 OCI manifest digest**,
|
||
# 不是「指定节点」—— 是绑定的自然结果。
|
||
code_desired=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
cat > $CLUSTER_DIR/desired.json <<'JSONEOF'
|
||
$(cat "$DESIRED")
|
||
JSONEOF
|
||
curl -s -o /dev/null -w '%{http_code}' -m 10 -X POST \
|
||
-H \"Authorization: Bearer \$SECRET\" -H 'Content-Type: application/json' \
|
||
--data-binary @$CLUSTER_DIR/desired.json http://127.0.0.1:3020/desired")
|
||
if [ "$code_desired" = "204" ]; then
|
||
ok "期望态已提交(204)"
|
||
else
|
||
fail "期望态提交失败(期望 204,得到 '${code_desired}')"
|
||
exit 1
|
||
fi
|
||
|
||
# ── 5. 等端点出现(正向)───────────────────────────────────────────────
|
||
#
|
||
# ★★ 这是整条链路的**唯一**判据来源:`GET /sessions` 的 `sessions` 数组。
|
||
# 控制面内部走的是 `reconciler.proven_endpoints()` ——
|
||
# 它只列「证据成立 **且** 按发布策略可公布」的会话。
|
||
#
|
||
# ★ 轮询而不是一次性查:芯片验签要联网拉证书链(首次可达 90 秒),
|
||
# guest 采证明 + KBS 验签 + 回传 + 宿主判定 + 对账,串起来要几分钟。
|
||
printf '\n--- 等端点出现(正向) ---\n'
|
||
sessions=""
|
||
epg_ok=0
|
||
elapsed=0
|
||
while [ "$elapsed" -lt "$EPG_TIMEOUT" ]; do
|
||
sessions=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/sessions")
|
||
n_sessions=$(printf '%s' "$sessions" | grep -o '"session_id"' | wc -l | tr -d ' ')
|
||
if [ "${n_sessions:-0}" -ge 1 ]; then
|
||
epg_ok=1
|
||
break
|
||
fi
|
||
sleep "$EPG_POLL"
|
||
elapsed=$((elapsed + EPG_POLL))
|
||
printf ' ... 已等 %d 秒(sessions=%s)\n' "$elapsed" "${n_sessions:-0}"
|
||
done
|
||
printf '%s\n' "$sessions" | sed 's/^/ /'
|
||
|
||
# ★★ **正向没过 ⇒ 后面一律不判**。
|
||
# 「sessions 数组为空」在没有正向对照时是**恒真**的 ——
|
||
# 控制面没起、没节点、没会话,它都为空。
|
||
if [ "$epg_ok" -ne 1 ]; then
|
||
fail "正向:端点没出现(等 ${EPG_TIMEOUT} 秒)—— \
|
||
证明链或对账链没走通。**负向判据在此恒真,故不判**。"
|
||
printf '\n=== 结果:%d 通过 / %d 失败 ===\n' "$OK_N" "$FAIL_N"
|
||
printf '%s\n' "--- 控制面对账结论 ---"
|
||
remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/report" | sed 's/^/ /'
|
||
printf '\n--- 海光机 hostd 日志尾部 ---\n'
|
||
remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"tail -25 $CLUSTER_DIR/hostd.log 2>/dev/null" | sed 's/^/ /'
|
||
exit 1
|
||
fi
|
||
ok "正向·控制面公布了已证明通过的会话端点(${n_sessions} 条)"
|
||
|
||
# ★ 正向的**内容**判据:端点必须指向**真实节点地址**,且带 session_id。
|
||
# 只判「数组非空」不够 —— 一个空壳端点也能让数组非空。
|
||
if printf '%s' "$sessions" | grep -q "\"endpoint\":\"$AMD_HOST:3010\""; then
|
||
ok "正向·端点指向真实节点($AMD_HOST:3010)"
|
||
else
|
||
fail "正向·端点不是预期节点(期望 $AMD_HOST:3010):${sessions}"
|
||
fi
|
||
if printf '%s' "$sessions" | grep -q '"session_id":"epg1"'; then
|
||
ok "正向·端点带正确的 session_id(epg1)"
|
||
else
|
||
fail "正向·端点的 session_id 不对:${sessions}"
|
||
fi
|
||
|
||
# ── 6. 负向:证明不过 ⇒ 端点零外泄 ─────────────────────────────────────
|
||
#
|
||
# ★★ 怎么造一个「证明不过」的会话?
|
||
# 把期望态换成一个**绑定度量对不上**的会话(`code_measurement` 用一个
|
||
# 与任何节点都不匹配的度量)⇒ 准入就拒(会话绑定与节点镜像度量不一致)
|
||
# ⇒ 不会有任何会话被创建 ⇒ 端点**零外泄**。
|
||
#
|
||
# ★ 这条路走的是**同一份**「端点绝不外泄」逻辑:
|
||
# 控制面侧的 `proven_endpoints()` 只列已落地的会话;
|
||
# 准入被拒 ⇒ 没有落地会话 ⇒ 端点不外泄。
|
||
# 而**不是**脚本自己判断「不该公布」。
|
||
#
|
||
# ★★ 判据纪律(**这是本脚本最容易假绿的地方**):
|
||
# 1. 先记录**旧的** sessions 集合(正向时它是**非空**的);
|
||
# 2. 提交坏的期望态 ⇒ 等对账跑完;
|
||
# 3. 断言新的 sessions 集合**不含**那条坏会话
|
||
# —— 注意:**只断言「坏会话不在」是不够的**,
|
||
# 因为旧的那条可能还在(期望态是**替换**不是叠加);
|
||
# 4. ★ 所以判据是:**坏会话 id 一个都不在里面**(按 session_id 精确匹配),
|
||
# 同时**至少断言**控制面对账结论里那条坏会话**有失败记录**(带原因)。
|
||
# 5. ★★ 「坏会话不在 sessions 里」若没有第 4 步的失败记录做锚点,
|
||
# 就可能恒为真(控制面压根没收到这条期望态)。
|
||
printf '\n--- 负向:证明不过 ⇒ 端点零外泄 ---\n'
|
||
BAD_SESSION_ID=$(printf 'b1%.0s' $(seq 1 32))
|
||
BAD_MEAS=$(printf 'ff%.0s' $(seq 1 32))
|
||
BAD_DESIRED="$WORK/desired-bad.json"
|
||
cat > "$BAD_DESIRED" <<EOF
|
||
{"sessions":[{"id":"epg-bad","platform":"sev-snp","min_tcb":3,"require_attestation":true,"session_id":"$BAD_SESSION_ID","session_pubkey":"$EPG_PUBKEY","code_measurement":"$BAD_MEAS","site":"alice"}]}
|
||
EOF
|
||
code_bad=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
cat > $CLUSTER_DIR/desired-bad.json <<'JSONEOF'
|
||
$(cat "$BAD_DESIRED")
|
||
JSONEOF
|
||
curl -s -o /dev/null -w '%{http_code}' -m 10 -X POST \
|
||
-H \"Authorization: Bearer \$SECRET\" -H 'Content-Type: application/json' \
|
||
--data-binary @$CLUSTER_DIR/desired-bad.json http://127.0.0.1:3020/desired")
|
||
if [ "$code_bad" = "204" ]; then
|
||
ok "坏期望态已提交(204)"
|
||
else
|
||
fail "坏期望态提交失败(期望 204,得到 '${code_bad}')"
|
||
exit 1
|
||
fi
|
||
|
||
# 等对账跑完(默认对账周期 10 秒;多等两轮)。
|
||
sleep 25
|
||
report=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/report")
|
||
sessions_bad=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/sessions")
|
||
printf ' report : %s\n' "$report"
|
||
printf ' sessions : %s\n' "$sessions_bad"
|
||
|
||
# ① 坏会话**不在**已公布端点里(按 session_id 精确匹配)。
|
||
if printf '%s' "$sessions_bad" | grep -q 'epg-bad'; then
|
||
fail "负向:证明不过的会话 'epg-bad' 竟然出现在已公布端点里 —— 端点外泄了!"
|
||
else
|
||
ok "负向·证明不过的会话未出现在已公布端点里"
|
||
fi
|
||
|
||
# ② ★ 失败记录**有**这条会话(带原因)—— 这是否定式判据的**正向锚点**。
|
||
# 没有它,「不在 sessions 里」可能只是「期望态没被收到」。
|
||
if printf '%s' "$report" | grep -q 'epg-bad'; then
|
||
ok "负向·控制面对账结论里有失败记录(带原因)"
|
||
else
|
||
fail "负向·对账结论里没有 'epg-bad' 的失败记录 —— \
|
||
「不在 sessions 里」可能是恒真(期望态压根没被收到)"
|
||
fi
|
||
|
||
# ③ 失败记录必须**带原因**(排查的关键)。
|
||
reason=$(printf '%s' "$report" | sed -n 's/.*"id":"epg-bad","reason":"\([^"]*\)".*/\1/p' | head -1)
|
||
if [ -n "$reason" ]; then
|
||
ok "负向·失败记录带原因:${reason}"
|
||
else
|
||
fail "负向·失败记录没有原因字段:${report}"
|
||
fi
|
||
|
||
# ── 7. 收尾:把期望态清掉(别把实例留在两台真机上)────────────────────
|
||
printf '\n--- 收尾 ---\n'
|
||
remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -o /dev/null -m 10 -X POST \
|
||
-H \"Authorization: Bearer \$SECRET\" -H 'Content-Type: application/json' \
|
||
--data-binary '{\"sessions\":[]}' http://127.0.0.1:3020/desired" >/dev/null
|
||
sleep 15
|
||
rest=$(remote "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" \
|
||
"SECRET=\$(cat $CLUSTER_DIR/cluster.secret)
|
||
curl -s -m 8 -H \"Authorization: Bearer \$SECRET\" http://127.0.0.1:3020/sessions")
|
||
if printf '%s' "$rest" | grep -q '"endpoint"'; then
|
||
fail "期望态清空后仍有端点公布:${rest}"
|
||
else
|
||
ok "期望态清空后端点已收回(实例被回收)"
|
||
fi
|
||
|
||
printf '\n=== 结果:%d 通过 / %d 失败 ===\n' "$OK_N" "$FAIL_N"
|
||
[ "$FAIL_N" -eq 0 ] || exit 1
|
||
echo "CLUSTER_ENDPOINT_GATE_OK: 真 KBS 验签后端点才公布;证明不过时端点零外泄"
|