Files
admin 5a0e6e389e feat(tee): 真 TEE 跨物理机双 guest 密文会话跑通,挖出并修掉四个真缺口
AMD SEV-SNP(192.168.1.7, alice) 与海光 CSV(192.168.1.102, bob) 跨两台物理机,
各自在真加密 VM 内完成 PSK 双向认证 + ChaCha20-Poly1305 密文会话,
两侧都还原出 value | 35.000000,判据 TEE_PAIR_OK。

新资产:
- deploy/tee/real-machine/tee-pair-e2e.sh  一键复现(编译→OCI→分发→双机→判定)
- deploy/tee/real-machine/guest-watch.sh   后台起 guest + 轮询完成标记 + 收尾
- deploy/tee/real-machine/check-pair-verdict.py  唯一判定实现
- tools/selftest-tee-pair-verdict.py        判据自测(主门禁第 19 条)

修掉的四个真缺口:
1. guest halt 后 qemu 不退出 ⇒ 前台 ssh 永久挂死(会话已成功但判据没跑到 ⇒ 假红)
2. 判据字符串写错("mpc selftest 全部通过" vs 真实 "全部通过")⇒ 假红
3. 串口没落盘 ⇒ guest stdout 全丢,判据无从采集
4. 采集日志被 xop 掩码(rootfs_files → ro****fs_files)⇒ 判据只认稳定后缀

判据纪律:判定只有一份实现(编排与门禁自测共用同一份),每条判据都用构造样例
逐条破坏过(13/13),证明能真的把结论推翻。

另修 tools/selftest-chain-opa.py 的门禁计数守卫:不再硬编码 "18/18",
改为从 ci.sh 实际解析条目编号(连续 + 分母一致),避免加条即假红。

诚实边界:本轮跑的是离线演练密钥,不宣称密钥分发链路;
pair-run.sh 不做芯片证明互验,不宣称两端互验过对方芯片报告。
2026-11-07 23:06:32 +08:00

243 lines
11 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env bash
# 跨两台 TEE 真机各起一个加密 guest,跑一次带 PSK 的密文会话。
#
# 凭据只走 xop 键名(环境变量指定),脚本里没有任何明文口令。
# 编排决策在本地,远端只执行 guest-role.sh —— 与「框架直接调度 TEE」一致。
#
# 必需输入(环境变量):
# MPC_TEE_MPC_BIN Linux 静态 mpc 二进制
# MPC_TEE_INITRD oci-image.py pack 产出的 initrd
# MPC_TEE_AMD_NODE AMD 节点描述文件
# MPC_TEE_HYGON_NODE 海光节点描述文件
# MPC_TEE_MANIFEST OCI manifest digest(64 hex)
# 可选:MPC_TEE_KBC(默认 offline_fs_kbc::null)、MPC_TEE_SESSION_ID、
# MPC_TEE_PUBKEY、MPC_TEE_*_HOST、MPC_TEE_*_USER_KEY / *_PASS_KEY、
# MPC_TEE_LOG_DIR、MPC_TEE_DRY_RUN=1
set -u
HERE=$(cd "$(dirname "$0")" && pwd)
AMD_HOST=${MPC_TEE_AMD_HOST:-192.168.1.7}
HYGON_HOST=${MPC_TEE_HYGON_HOST:-192.168.1.102}
AMD_USER_KEY=${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}
AMD_PASS_KEY=${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}
HYGON_USER_KEY=${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}
HYGON_PASS_KEY=${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}
REMOTE_DIR=${MPC_TEE_REMOTE_DIR:-/tmp/mpc-tee-run}
LOG_DIR=${MPC_TEE_LOG_DIR:-/tmp/mpc-tee-logs}
LINK_PORT=${MPC_TEE_LINK_PORT:-19777}
MANIFEST=${MPC_TEE_MANIFEST:-}
SID=${MPC_TEE_SESSION_ID:-$(printf 'ab%.0s' $(seq 1 32))}
PK=${MPC_TEE_PUBKEY:-$(printf 'cd%.0s' $(seq 1 32))}
KBC=${MPC_TEE_KBC:-offline_fs_kbc::null}
SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAuthentications=password -o PubkeyAuthentication=no -o ConnectTimeout=20"
need() {
if [ ! -f "$1" ]; then echo "缺少文件: $1" >&2; exit 2; fi
}
need "$HERE/run-guest.py"
need "$HERE/guest-role.sh"
need "$HERE/guest-watch.sh"
need "${MPC_TEE_MPC_BIN:-/nonexistent}"
need "${MPC_TEE_INITRD:-/nonexistent}"
need "${MPC_TEE_AMD_NODE:-/nonexistent}"
need "${MPC_TEE_HYGON_NODE:-/nonexistent}"
case "$MANIFEST" in
[0-9a-fA-F][0-9a-fA-F]*) [ "${#MANIFEST}" -eq 64 ] || { echo "MANIFEST 必须 64 位 hex" >&2; exit 2; } ;;
*) echo "MANIFEST 必须 64 位 hex" >&2; exit 2 ;;
esac
stage() {
local dst=$1 node=$2 variant=$3
mkdir -p "$dst"
cp "${MPC_TEE_MPC_BIN}" "$dst/mpc"
cp "${MPC_TEE_INITRD}" "$dst/initrd.img"
cp "$HERE/run-guest.py" "$dst/run-guest.py"
cp "$HERE/guest-role.sh" "$dst/guest-role.sh"
cp "$HERE/guest-watch.sh" "$dst/guest-watch.sh"
sed "s|^initrd=.*|initrd=$REMOTE_DIR/initrd.img|" "$node" > "$dst/node"
cat > "$dst/env.sh" <<EOF
export MPC_TEE_RUN_DIR=$REMOTE_DIR
export MPC_TEE_NODE_FILE=$REMOTE_DIR/node
export MPC_TEE_MPC_BIN=$REMOTE_DIR/mpc
export MPC_TEE_MANIFEST=$MANIFEST
export MPC_TEE_KBC=$KBC
export MPC_TEE_SESSION_ID=$SID
export MPC_TEE_PUBKEY=$PK
export MPC_TEE_AMD_HOST=$AMD_HOST
export MPC_TEE_LINK_PORT=$LINK_PORT
export MPC_TEE_VARIANT=$variant
# ★ 串口必须落盘:guest 的 stdout 默认会丢。
#
# 框架 argv 里是 "-nographic" + "-serial stdio",两个前端抢同一个 stdio,
# AMD 真机上 guest init 的输出**一行都收不到**。run-guest.py 支持
# MPC_TEE_SERIAL_LOG,把串口换成 chardev file 后端,内容直接落文件。
# 没有这一行,判据「两侧都输出 value | 35.000000」根本无从采集 ——
# 采集不到不等于没发生,但**也不能当成发生了**。
export MPC_TEE_SERIAL_LOG=$REMOTE_DIR/serial.log
EOF
}
scpto() {
local host=$1 user_key=$2 pass_key=$3 src=$4
# ★ `scp -O` 不能省:新版 scp 默认走 SFTP 子系统,而两台真机的 sshd
# 没开 SFTP ⇒ 报 "Permission denied"(但同一台机的 `ssh` 一切正常,
# 极易误判成密码错了)。`-O` 强制走传统 scp 协议。
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \"mkdir -p $REMOTE_DIR\" && \
sshpass -e scp -O $SSHO $src/* \"\$TEE_USER@$host:$REMOTE_DIR/\"" \
< /dev/null
}
# 取回远端串口日志。
#
# ★ 必须单独取:**guest 的 stdout 只能从串口文件里拿**。远端命令的
# stdout 只含 qemu 自身的启动/退出信息,不含 guest 内部日志。
#
# ★ 采集链路上有一层**掩码**:xop 的密钥泄漏防护会把 `root` 这类疑似
# 密钥片段的子串替换成 `ro****【xop禁止将密钥泄漏】`。真机实测:
# guest init 打的 `rootfs_files: verified` 变成
# `ro****【xop禁止将密钥泄漏】fs_files: verified`。
# 所以判定器只认稳定后缀(`fs_files` / `fs_links`),不认会被掩码的词。
fetch_log() {
local host=$1 user_key=$2 pass_key=$3 dst=$4
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \
\"cat $REMOTE_DIR/serial.log 2>/dev/null || true\"" \
< /dev/null > "$dst" 2>/dev/null || true
}
# ★ 不要在这里加「前台 ssh 起 guest」的函数。
# guest 里 halt 之后 qemu 不退出,前台 ssh 会永久挂住 ——
# 2026-11-07 实测踩过:会话已成功(两侧都 35.000000),
# 脚本却卡在等 ssh 返回,判据一行没跑到(假红)。
# 要起 guest 一律走 remote_bg → guest-watch.sh。
remote_bg() {
local host=$1 user_key=$2 pass_key=$3 role=$4 timeout_s=$5
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \
\"MPC_TEE_RUN_DIR=$REMOTE_DIR bash $REMOTE_DIR/guest-watch.sh $role $timeout_s\"" \
< /dev/null
}
STAGE_A=$(mktemp -d /tmp/mpc-tee-stage-a.XXXXXX)
STAGE_B=$(mktemp -d /tmp/mpc-tee-stage-b.XXXXXX)
stage "$STAGE_A" "${MPC_TEE_AMD_NODE}" ""
stage "$STAGE_B" "${MPC_TEE_HYGON_NODE}" "csv2"
mkdir -p "$LOG_DIR"
if [ "${MPC_TEE_DRY_RUN:-0}" = "1" ]; then
echo "=== dry-run(不连机) ==="
echo "AMD $AMD_HOST role=alice node=${MPC_TEE_AMD_NODE}"
echo "HYGON $HYGON_HOST role=bob node=${MPC_TEE_HYGON_NODE} variant=csv2"
echo "manifest=$MANIFEST kbc=$KBC link_port=$LINK_PORT"
echo "staged files (AMD):"; ls -1 "$STAGE_A"
echo "staged files (HYGON):"; ls -1 "$STAGE_B"
echo "env.sh (AMD):"; cat "$STAGE_A/env.sh"
rm -rf "$STAGE_A" "$STAGE_B"
exit 0
fi
echo "=== 分发物料到两台 TEE 宿主 ==="
scpto "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" "$STAGE_A" || exit 2
scpto "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$STAGE_B" || exit 2
rm -rf "$STAGE_A" "$STAGE_B"
# 清掉上一轮的串口日志 —— 否则判据会读到**旧**日志里的 35.000000,
# 把「这次没跑成」误判成「跑成了」。这是判据自指的经典坑。
#
# 两台机各自用自己的凭据键名,不能拿 AMD 的去清海光的。
clean_remote_log() {
local host=$1 user_key=$2 pass_key=$3
xop run --secret "SSHPASS=$pass_key" --secret "TEE_USER=$user_key" -- \
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$host\" \
\"rm -f $REMOTE_DIR/serial.log\"" < /dev/null >/dev/null 2>&1 || true
}
clean_remote_log "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY"
clean_remote_log "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY"
GUEST_TIMEOUT_S=${MPC_TEE_GUEST_TIMEOUT:-300}
echo "=== 起 AMD SNP guest (alice) ==="
# ★ 用 guest-watch.sh(后台 + 轮询完成标记),不用前台 ssh。
# 原因见 guest-watch.sh 的文件头:guest halt 之后 qemu 不退出,
# 前台 ssh 会永久挂住 —— 上一版就是「事实成功、判据假红」。
remote_bg "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" alice "$GUEST_TIMEOUT_S" \
> "$LOG_DIR/alice.log" 2>&1 &
P_ALICE=$!
# 等 AMD 的 socket 端口进 LISTEN —— 这是「bob 有地方可连」的唯一依据。
# ★ 只看第一行 / 只看进程存活都是不够的。
ready=0
for _ in $(seq 1 60); do
if xop run --secret "SSHPASS=$AMD_PASS_KEY" --secret "TEE_USER=$AMD_USER_KEY" -- \
sh -c "sshpass -e ssh $SSHO \"\$TEE_USER@$AMD_HOST\" \"ss -ltn | grep -q ':$LINK_PORT '\"" \
< /dev/null > /dev/null 2>&1; then
ready=1
break
fi
sleep 0.5
done
echo "snp_socket_listening=$ready ($AMD_HOST:$LINK_PORT)"
echo "=== 起 海光 CSV guest (bob) ==="
remote_bg "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" bob "$GUEST_TIMEOUT_S" \
> "$LOG_DIR/bob.log" 2>&1
RC=$?
wait "$P_ALICE" 2>/dev/null || true
# ★ 取回两侧**串口**日志。远端命令的 stdout 只有 qemu 自身信息,
# guest 内部日志只在串口文件里。
fetch_log "$AMD_HOST" "$AMD_USER_KEY" "$AMD_PASS_KEY" "$LOG_DIR/alice.serial"
fetch_log "$HYGON_HOST" "$HYGON_USER_KEY" "$HYGON_PASS_KEY" "$LOG_DIR/bob.serial"
clean() { grep -v "WARN NetworkGuard\|WARN FileGuard\|Permanently added" "$1" | tail -45; }
echo "=== AMD SNP guest (watch) ==="; clean "$LOG_DIR/alice.log"
echo "=== 海光 CSV guest (watch) ==="; clean "$LOG_DIR/bob.log"
echo "bob_guest_rc=$RC"
# --- 判据 ------------------------------------------------------------------
#
# ★ 判定逻辑只有一份实现:check-pair-verdict.py。
# 主门禁的自测(tools/selftest-tee-pair-verdict.py)测的是**同一个脚本**,
# 避免「编排脚本里一份、门禁里另一份」这种双份真相源 ——
# 那种情况下门禁全绿也不代表真机上的判定是对的。
#
# 判定项(每项独立输出,便于定位):
# 1) 两侧都有 `value | 35.000000`(两方各 3 个数的乘积和)
# 2) 两侧都有 `oci_layers: verified`(运行期完整性链通过)
# 3) 两侧都有 `rootfs_files: verified`(活 rootfs 文件清单校验)
# 4) 两侧都有 `manifest_digest=<64hex>` 且**与本轮的 MANIFEST 一致**
# 5) 两侧都有 selftest 的「全部通过」
# 6) 两侧都有 guest 完成标记 `MPC TEE GUEST DONE`
# 7) 两侧都**没有** `MPC_FAIL:`(fail-closed)
#
# 只判第 1 项不够:分片交换可能在一个没校验镜像完整性的 guest 里发生。
# 只判「进程退出码 0」更不够 —— guest 里 halt -f 之后的退出码与成功无关。
python3 "$HERE/check-pair-verdict.py" \
--manifest "$MANIFEST" \
--alice "$LOG_DIR/alice.serial" \
--bob "$LOG_DIR/bob.serial"
VERDICT_RC=$?
# watch 层的完成标记也要看:串口日志可能是**旧**的(采集失败),
# 而 watch 的标记能证明这一轮真的跑到了结束。
FAIL=0
for pair in "alice:$LOG_DIR/alice.log" "bob:$LOG_DIR/bob.log"; do
tag=${pair%%:*}; f=${pair#*:}
grep -q "GUEST_DONE_MARK_SEEN" "$f" || {
echo "判定[$tag]: watch 未见 GUEST_DONE_MARK_SEEN"; FAIL=1; }
done
echo "--- alice 串口尾部 ---"; tail -25 "$LOG_DIR/alice.serial" 2>/dev/null
echo "--- bob 串口尾部 ---"; tail -25 "$LOG_DIR/bob.serial" 2>/dev/null
if [ "$FAIL" -eq 0 ] && [ "$VERDICT_RC" -eq 0 ]; then
echo "TEE_PAIR_OK: 两侧均在真 TEE 内完成密文会话并还原出 35.000000"
else
echo "TEE_PAIR_FAIL: 见上面的逐项判定"
fi
echo "完整日志: $LOG_DIR/alice.log $LOG_DIR/bob.log $LOG_DIR/alice.serial $LOG_DIR/bob.serial"
[ "$FAIL" -eq 0 ] && [ "$VERDICT_RC" -eq 0 ] && [ "$RC" -eq 0 ] && exit 0
exit 1