AMD SEV-SNP(192.168.1.7, alice) 与海光 CSV(192.168.1.102, bob) 跨两台物理机, 各自在真加密 VM 内完成 PSK 双向认证 + ChaCha20-Poly1305 密文会话, 两侧都还原出 value | 35.000000,判据 TEE_PAIR_OK。 新资产: - deploy/tee/real-machine/tee-pair-e2e.sh 一键复现(编译→OCI→分发→双机→判定) - deploy/tee/real-machine/guest-watch.sh 后台起 guest + 轮询完成标记 + 收尾 - deploy/tee/real-machine/check-pair-verdict.py 唯一判定实现 - tools/selftest-tee-pair-verdict.py 判据自测(主门禁第 19 条) 修掉的四个真缺口: 1. guest halt 后 qemu 不退出 ⇒ 前台 ssh 永久挂死(会话已成功但判据没跑到 ⇒ 假红) 2. 判据字符串写错("mpc selftest 全部通过" vs 真实 "全部通过")⇒ 假红 3. 串口没落盘 ⇒ guest stdout 全丢,判据无从采集 4. 采集日志被 xop 掩码(rootfs_files → ro****fs_files)⇒ 判据只认稳定后缀 判据纪律:判定只有一份实现(编排与门禁自测共用同一份),每条判据都用构造样例 逐条破坏过(13/13),证明能真的把结论推翻。 另修 tools/selftest-chain-opa.py 的门禁计数守卫:不再硬编码 "18/18", 改为从 ci.sh 实际解析条目编号(连续 + 分母一致),避免加条即假红。 诚实边界:本轮跑的是离线演练密钥,不宣称密钥分发链路; pair-run.sh 不做芯片证明互验,不宣称两端互验过对方芯片报告。
243 lines
11 KiB
Bash
Executable File
243 lines
11 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# 跨两台 TEE 真机各起一个加密 guest,跑一次带 PSK 的密文会话。
|
||
#
|
||
# 凭据只走 xop 键名(环境变量指定),脚本里没有任何明文口令。
|
||
# 编排决策在本地,远端只执行 guest-role.sh —— 与「框架直接调度 TEE」一致。
|
||
#
|
||
# 必需输入(环境变量):
|
||
# MPC_TEE_MPC_BIN Linux 静态 mpc 二进制
|
||
# MPC_TEE_INITRD oci-image.py pack 产出的 initrd
|
||
# MPC_TEE_AMD_NODE AMD 节点描述文件
|
||
# MPC_TEE_HYGON_NODE 海光节点描述文件
|
||
# MPC_TEE_MANIFEST OCI manifest digest(64 hex)
|
||
# 可选:MPC_TEE_KBC(默认 offline_fs_kbc::null)、MPC_TEE_SESSION_ID、
|
||
# MPC_TEE_PUBKEY、MPC_TEE_*_HOST、MPC_TEE_*_USER_KEY / *_PASS_KEY、
|
||
# MPC_TEE_LOG_DIR、MPC_TEE_DRY_RUN=1
|
||
set -u
|
||
|
||
HERE=$(cd "$(dirname "$0")" && pwd)
|
||
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
|
||
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
|
||
AMD_USER_KEY=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
|
||
AMD_PASS_KEY=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
|
||
HYGON_USER_KEY=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
|
||
HYGON_PASS_KEY=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
|
||
REMOTE_DIR=${MPC_TEE_REMOTE_DIR:-/tmp/mpc-tee-run}
|
||
LOG_DIR=${MPC_TEE_LOG_DIR:-/tmp/mpc-tee-logs}
|
||
LINK_PORT=${MPC_TEE_LINK_PORT:-19777}
|
||
MANIFEST=${MPC_TEE_MANIFEST:-}
|
||
SID=${MPC_TEE_SESSION_ID:-$(printf 'ab%.0s' $(seq 1 32))}
|
||
PK=${MPC_TEE_PUBKEY:-$(printf 'cd%.0s' $(seq 1 32))}
|
||
KBC=${MPC_TEE_KBC:-offline_fs_kbc::null}
|
||
SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAuthentications=password -o PubkeyAuthentication=no -o ConnectTimeout=20"
|
||
|
||
need() {
|
||
if [ ! -f "$1" ]; then echo "缺少文件: $1" >&2; exit 2; fi
|
||
}
|
||
need "$HERE/run-guest.py"
|
||
need "$HERE/guest-role.sh"
|
||
need "$HERE/guest-watch.sh"
|
||
need "${MPC_TEE_MPC_BIN:-/nonexistent}"
|
||
need "${MPC_TEE_INITRD:-/nonexistent}"
|
||
need "${MPC_TEE_AMD_NODE:-/nonexistent}"
|
||
need "${MPC_TEE_HYGON_NODE:-/nonexistent}"
|
||
case "$MANIFEST" in
|
||
[0-9a-fA-F][0-9a-fA-F]*) [ "${#MANIFEST}" -eq 64 ] || { echo "MANIFEST 必须 64 位 hex" >&2; exit 2; } ;;
|
||
*) echo "MANIFEST 必须 64 位 hex" >&2; exit 2 ;;
|
||
esac
|
||
|
||
stage() {
|
||
local dst=$1 node=$2 variant=$3
|
||
mkdir -p "$dst"
|
||
cp "${MPC_TEE_MPC_BIN}" "$dst/mpc"
|
||
cp "${MPC_TEE_INITRD}" "$dst/initrd.img"
|
||
cp "$HERE/run-guest.py" "$dst/run-guest.py"
|
||
cp "$HERE/guest-role.sh" "$dst/guest-role.sh"
|
||
cp "$HERE/guest-watch.sh" "$dst/guest-watch.sh"
|
||
sed "s|^initrd=.*|initrd=$REMOTE_DIR/initrd.img|" "$node" > "$dst/node"
|
||
cat > "$dst/env.sh" <<EOF
|
||
export MPC_TEE_RUN_DIR=$REMOTE_DIR
|
||
export MPC_TEE_NODE_FILE=$REMOTE_DIR/node
|
||
export MPC_TEE_MPC_BIN=$REMOTE_DIR/mpc
|
||
export MPC_TEE_MANIFEST=$MANIFEST
|
||
export MPC_TEE_KBC=$KBC
|
||
export MPC_TEE_SESSION_ID=$SID
|
||
export MPC_TEE_PUBKEY=$PK
|
||
export MPC_TEE_AMD_HOST=$AMD_HOST
|
||
export MPC_TEE_LINK_PORT=$LINK_PORT
|
||
export MPC_TEE_VARIANT=$variant
|
||
# ★ 串口必须落盘:guest 的 stdout 默认会丢。
|
||
#
|
||
# 框架 argv 里是 "-nographic" + "-serial stdio",两个前端抢同一个 stdio,
|
||
# AMD 真机上 guest init 的输出**一行都收不到**。run-guest.py 支持
|
||
# MPC_TEE_SERIAL_LOG,把串口换成 chardev file 后端,内容直接落文件。
|
||
# 没有这一行,判据「两侧都输出 value | 35.000000」根本无从采集 ——
|
||
# 采集不到不等于没发生,但**也不能当成发生了**。
|
||
export MPC_TEE_SERIAL_LOG=$REMOTE_DIR/serial.log
|
||
EOF
|
||
}
|
||
|
||
scpto() {
|
||
local host=$1 user_key=$2 pass_key=$3 src=$4
|
||
# ★ `scp -O` 不能省:新版 scp 默认走 SFTP 子系统,而两台真机的 sshd
|
||
# 没开 SFTP ⇒ 报 "Permission denied"(但同一台机的 `ssh` 一切正常,
|
||
# 极易误判成密码错了)。`-O` 强制走传统 scp 协议。
|
||
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
|
||
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \"mkdir -p $REMOTE_DIR\" && \
|
||
sshpass -e scp -O $SSHO $src/* \"\$TEE_USER@$host:$REMOTE_DIR/\"" \
|
||
< /dev/null
|
||
}
|
||
|
||
# 取回远端串口日志。
|
||
#
|
||
# ★ 必须单独取:**guest 的 stdout 只能从串口文件里拿**。远端命令的
|
||
# stdout 只含 qemu 自身的启动/退出信息,不含 guest 内部日志。
|
||
#
|
||
# ★ 采集链路上有一层**掩码**:xop 的密钥泄漏防护会把 `root` 这类疑似
|
||
# 密钥片段的子串替换成 `ro****【xop禁止将密钥泄漏】`。真机实测:
|
||
# guest init 打的 `rootfs_files: verified` 变成
|
||
# `ro****【xop禁止将密钥泄漏】fs_files: verified`。
|
||
# 所以判定器只认稳定后缀(`fs_files` / `fs_links`),不认会被掩码的词。
|
||
fetch_log() {
|
||
local host=$1 user_key=$2 pass_key=$3 dst=$4
|
||
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
|
||
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \
|
||
\"cat $REMOTE_DIR/serial.log 2>/dev/null || true\"" \
|
||
< /dev/null > "$dst" 2>/dev/null || true
|
||
}
|
||
|
||
# ★ 不要在这里加「前台 ssh 起 guest」的函数。
|
||
# guest 里 halt 之后 qemu 不退出,前台 ssh 会永久挂住 ——
|
||
# 2026-11-07 实测踩过:会话已成功(两侧都 35.000000),
|
||
# 脚本却卡在等 ssh 返回,判据一行没跑到(假红)。
|
||
# 要起 guest 一律走 remote_bg → guest-watch.sh。
|
||
|
||
remote_bg() {
|
||
local host=$1 user_key=$2 pass_key=$3 role=$4 timeout_s=$5
|
||
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
|
||
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \
|
||
\"MPC_TEE_RUN_DIR=$REMOTE_DIR bash $REMOTE_DIR/guest-watch.sh $role $timeout_s\"" \
|
||
< /dev/null
|
||
}
|
||
|
||
STAGE_A=$(mktemp -d /tmp/mpc-tee-stage-a.XXXXXX)
|
||
STAGE_B=$(mktemp -d /tmp/mpc-tee-stage-b.XXXXXX)
|
||
stage "$STAGE_A" "${MPC_TEE_AMD_NODE}" ""
|
||
stage "$STAGE_B" "${MPC_TEE_HYGON_NODE}" "csv2"
|
||
mkdir -p "$LOG_DIR"
|
||
|
||
if [ "${MPC_TEE_DRY_RUN:-0}" = "1" ]; then
|
||
echo "=== dry-run(不连机) ==="
|
||
echo "AMD $AMD_HOST role=alice node=${MPC_TEE_AMD_NODE}"
|
||
echo "HYGON $HYGON_HOST role=bob node=${MPC_TEE_HYGON_NODE} variant=csv2"
|
||
echo "manifest=$MANIFEST kbc=$KBC link_port=$LINK_PORT"
|
||
echo "staged files (AMD):"; ls -1 "$STAGE_A"
|
||
echo "staged files (HYGON):"; ls -1 "$STAGE_B"
|
||
echo "env.sh (AMD):"; cat "$STAGE_A/env.sh"
|
||
rm -rf "$STAGE_A" "$STAGE_B"
|
||
exit 0
|
||
fi
|
||
|
||
echo "=== 分发物料到两台 TEE 宿主 ==="
|
||
scpto "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" "$STAGE_A" || exit 2
|
||
scpto "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$STAGE_B" || exit 2
|
||
rm -rf "$STAGE_A" "$STAGE_B"
|
||
|
||
# 清掉上一轮的串口日志 —— 否则判据会读到**旧**日志里的 35.000000,
|
||
# 把「这次没跑成」误判成「跑成了」。这是判据自指的经典坑。
|
||
#
|
||
# 两台机各自用自己的凭据键名,不能拿 AMD 的去清海光的。
|
||
clean_remote_log() {
|
||
local host=$1 user_key=$2 pass_key=$3
|
||
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
|
||
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \
|
||
\"rm -f $REMOTE_DIR/serial.log\"" < /dev/null >/dev/null 2>&1 || true
|
||
}
|
||
clean_remote_log "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY"
|
||
clean_remote_log "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY"
|
||
|
||
GUEST_TIMEOUT_S=${MPC_TEE_GUEST_TIMEOUT:-300}
|
||
|
||
echo "=== 起 AMD SNP guest (alice) ==="
|
||
# ★ 用 guest-watch.sh(后台 + 轮询完成标记),不用前台 ssh。
|
||
# 原因见 guest-watch.sh 的文件头:guest halt 之后 qemu 不退出,
|
||
# 前台 ssh 会永久挂住 —— 上一版就是「事实成功、判据假红」。
|
||
remote_bg "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" alice "$GUEST_TIMEOUT_S" \
|
||
> "$LOG_DIR/alice.log" 2>&1 &
|
||
P_ALICE=$!
|
||
|
||
# 等 AMD 的 socket 端口进 LISTEN —— 这是「bob 有地方可连」的唯一依据。
|
||
# ★ 只看第一行 / 只看进程存活都是不够的。
|
||
ready=0
|
||
for _ in $(seq 1 60); do
|
||
if xop run --secret "SSHPASS=$AMD_PASS_KEY" --secret "TEE_USER=$AMD_USER_KEY" -- \
|
||
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$AMD_HOST\" \"ss -ltn | grep -q ':$LINK_PORT '\"" \
|
||
< /dev/null > /dev/null 2>&1; then
|
||
ready=1
|
||
break
|
||
fi
|
||
sleep 0.5
|
||
done
|
||
echo "snp_socket_listening=$ready ($AMD_HOST:$LINK_PORT)"
|
||
|
||
echo "=== 起 海光 CSV guest (bob) ==="
|
||
remote_bg "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" bob "$GUEST_TIMEOUT_S" \
|
||
> "$LOG_DIR/bob.log" 2>&1
|
||
RC=$?
|
||
wait "$P_ALICE" 2>/dev/null || true
|
||
|
||
# ★ 取回两侧**串口**日志。远端命令的 stdout 只有 qemu 自身信息,
|
||
# guest 内部日志只在串口文件里。
|
||
fetch_log "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" "$LOG_DIR/alice.serial"
|
||
fetch_log "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$LOG_DIR/bob.serial"
|
||
|
||
clean() { grep -v "WARN NetworkGuard\|WARN FileGuard\|Permanently added" "$1" | tail -45; }
|
||
echo "=== AMD SNP guest (watch) ==="; clean "$LOG_DIR/alice.log"
|
||
echo "=== 海光 CSV guest (watch) ==="; clean "$LOG_DIR/bob.log"
|
||
echo "bob_guest_rc=$RC"
|
||
|
||
# --- 判据 ------------------------------------------------------------------
|
||
#
|
||
# ★ 判定逻辑只有一份实现:check-pair-verdict.py。
|
||
# 主门禁的自测(tools/selftest-tee-pair-verdict.py)测的是**同一个脚本**,
|
||
# 避免「编排脚本里一份、门禁里另一份」这种双份真相源 ——
|
||
# 那种情况下门禁全绿也不代表真机上的判定是对的。
|
||
#
|
||
# 判定项(每项独立输出,便于定位):
|
||
# 1) 两侧都有 `value | 35.000000`(两方各 3 个数的乘积和)
|
||
# 2) 两侧都有 `oci_layers: verified`(运行期完整性链通过)
|
||
# 3) 两侧都有 `rootfs_files: verified`(活 rootfs 文件清单校验)
|
||
# 4) 两侧都有 `manifest_digest=<64hex>` 且**与本轮的 MANIFEST 一致**
|
||
# 5) 两侧都有 selftest 的「全部通过」
|
||
# 6) 两侧都有 guest 完成标记 `MPC TEE GUEST DONE`
|
||
# 7) 两侧都**没有** `MPC_FAIL:`(fail-closed)
|
||
#
|
||
# 只判第 1 项不够:分片交换可能在一个没校验镜像完整性的 guest 里发生。
|
||
# 只判「进程退出码 0」更不够 —— guest 里 halt -f 之后的退出码与成功无关。
|
||
python3 "$HERE/check-pair-verdict.py" \
|
||
--manifest "$MANIFEST" \
|
||
--alice "$LOG_DIR/alice.serial" \
|
||
--bob "$LOG_DIR/bob.serial"
|
||
VERDICT_RC=$?
|
||
|
||
# watch 层的完成标记也要看:串口日志可能是**旧**的(采集失败),
|
||
# 而 watch 的标记能证明这一轮真的跑到了结束。
|
||
FAIL=0
|
||
for pair in "alice:$LOG_DIR/alice.log" "bob:$LOG_DIR/bob.log"; do
|
||
tag=${pair%%:*}; f=${pair#*:}
|
||
grep -q "GUEST_DONE_MARK_SEEN" "$f" || {
|
||
echo "判定[$tag]: watch 未见 GUEST_DONE_MARK_SEEN"; FAIL=1; }
|
||
done
|
||
|
||
echo "--- alice 串口尾部 ---"; tail -25 "$LOG_DIR/alice.serial" 2>/dev/null
|
||
echo "--- bob 串口尾部 ---"; tail -25 "$LOG_DIR/bob.serial" 2>/dev/null
|
||
|
||
if [ "$FAIL" -eq 0 ] && [ "$VERDICT_RC" -eq 0 ]; then
|
||
echo "TEE_PAIR_OK: 两侧均在真 TEE 内完成密文会话并还原出 35.000000"
|
||
else
|
||
echo "TEE_PAIR_FAIL: 见上面的逐项判定"
|
||
fi
|
||
echo "完整日志: $LOG_DIR/alice.log $LOG_DIR/bob.log $LOG_DIR/alice.serial $LOG_DIR/bob.serial"
|
||
[ "$FAIL" -eq 0 ] && [ "$VERDICT_RC" -eq 0 ] && [ "$RC" -eq 0 ] && exit 0
|
||
exit 1
|