From fc0dcec93b5a799d8562b659d35fe52da04f8ddd Mon Sep 17 00:00:00 2001 From: admin Date: Sun, 8 Nov 2026 19:41:31 +0800 Subject: [PATCH] =?UTF-8?q?feat(tee):=20=E5=9B=BA=E5=8C=96=E7=9C=9F?= =?UTF-8?q?=E6=9C=BA=E5=8F=8C=E6=9C=BA=E9=87=8D=E8=B7=91=E7=8E=AF=E5=A2=83?= =?UTF-8?q?=EF=BC=8C=E8=A1=A5=E9=BD=90=E9=A2=84=E6=A3=80=E4=B8=8E=E7=97=87?= =?UTF-8?q?=E7=8A=B6=E9=80=9F=E6=9F=A5=EF=BC=8C=E9=81=BF=E5=85=8D=E6=AF=8F?= =?UTF-8?q?=E6=AC=A1=E4=BB=8E=E9=9B=B6=E6=8E=A2=E7=B4=A2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 核实结论:这两天 AMD / 海光真机测试内容**早已在仓库** —— 36 个脚本、 288 行复现 README、630 行 FINDINGS、nodes 真机路径样例、fixtures 真实 CSV/SNP 报告与证书链。真正导致「每次重跑重新拼」的只有三处缺口: 参数散在 5+ 个脚本头部、没有预检、踩坑结论按探索时间组织不好按症状查。 - 新增 real-machines.env.example:2026-11-08 证明门控 + 双 guest 会话合流 跑通那组值的脱敏快照。28 个变量与脚本 ${VAR:-default} 逐字一致(已自动 核对,无一处笔误);凭据只放 xop 键名;区分组级与编排层实例级变量, 运行时生成项明确标注「不要手填」。 - 新增 preflight-real-machine.sh:本地工具 / xop 键 / 参数一致性 / SSH / 远端物料一次性报缺;缺环境显式 SKIP 或 FAIL,不静默通过; --self-test 用 6 个构造样例逐条破坏参数判据(7/7),证明非恒绿。 只查环境,不产生 TEE_PAIR_OK 之类业务结论。 - README 增「重跑前先看」:三步重跑、参数真相源、17 条症状→根因→处置 速查表、/tmp 60+ 探索脚本处置说明(过程产物,结论已沉淀,不许重跑确认)。 - INDEX §2/§3/§6 与 CLAUDE.md 登记;.gitignore 屏蔽本地实际 env 配置。 校验:bash -n、lint-shell-vars 33 脚本无隐患、预检自测 7/0、离线实跑 ok=15 SKIP=1 FAIL=0、判据零依赖自测 22/0、diff --check、路径与密钥扫描 全过。未改 tools/ci.sh,门禁条数仍为 22。 --- .gitignore | 4 + CLAUDE.md | 8 +- deploy/tee/real-machine/README.md | 65 +++++ .../real-machine/preflight-real-machine.sh | 239 ++++++++++++++++++ .../real-machine/real-machines.env.example | 89 +++++++ docs/INDEX.md | 15 +- 6 files changed, 416 insertions(+), 4 deletions(-) create mode 100755 deploy/tee/real-machine/preflight-real-machine.sh create mode 100644 deploy/tee/real-machine/real-machines.env.example diff --git a/.gitignore b/.gitignore index 8550674..6c8774b 100644 --- a/.gitignore +++ b/.gitignore @@ -37,3 +37,7 @@ __pycache__/ # FISCO 节点二进制 52M,不进 git;由 build-and-push.sh 从 FISCO_BIN 拷进临时 context deploy/k8s/fisco/*.bin + +# 真机本地实际配置(从 real-machines.env.example 复制后按现场改;只放 xop 键名, +# 但仍可能含现场 IP / 内部路径,不进 git)。仓库只留脱敏样例。 +deploy/tee/real-machine/real-machines.env diff --git a/CLAUDE.md b/CLAUDE.md index ecef3ed..c041eb9 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -490,7 +490,13 @@ AMD SNP(alice)+ 海光 CSV(bob)两侧**各自**完成 **部署与复现** - `deploy/k8s/fisco/README.md` — 链迁 k8s 的 SOP、账本迁移、持久化证据、回滚与边界 -- `deploy/tee/real-machine/README.md` — 真机证明门控 + 双 guest 会话 e2e 复现 +- `deploy/tee/real-machine/README.md` — 真机证明门控 + 双 guest 会话 e2e 复现; + **开头「重跑前先看」** 有重跑三步、参数真相源、症状 → 根因 → 处置速查表 +- `deploy/tee/real-machine/real-machines.env.example` — **双机参数唯一集中入口** + (IP / xop 键名 / MAC / 网段 / 端口 / 超时),脱敏可 source;换机器改这一份, + 别逐个脚本 export。`real-machines.env` 是本地实际配置,已 gitignore +- `deploy/tee/real-machine/preflight-real-machine.sh` — 重跑前一次性报缺 + (工具 / xop 键 / 参数一致性 / 远端物料);`--self-test` 负向矩阵,缺环境显式 SKIP/FAIL - `demo/k8s/README.md` — 站点部署与 PVC 持久化 - `tools/fisco-realnode/README.md` — 真链复现工具索引、环境变量、审计轨迹、密钥边界 diff --git a/deploy/tee/real-machine/README.md b/deploy/tee/real-machine/README.md index 99a7e81..a2b2b91 100644 --- a/deploy/tee/real-machine/README.md +++ b/deploy/tee/real-machine/README.md @@ -4,6 +4,71 @@ xop 键名经环境变量注入,PSK / seed / 根密钥由 KBS 下发(或离线演练层), 仓库里只有占位值与示例节点描述。 +## 重跑前先看(2026-11-08 起) + +**脚本、判据、真机样例都已经在仓库里**,别再去 `/tmp` 翻旧脚本或重新拼参数: +36 个脚本 + `nodes/*.node.example`(真机 qemu / 固件 / 内核路径 / TCB) ++ `fixtures/`(真实 CSV 报告 2548B、SNP 报告、两侧证书链、采集时的 `session.env`)。 +前两天「每次从零调整」的根源只有三个:参数散在 5+ 个脚本头部、没有预检、 +踩坑结论按探索时间写在 630 行文档里不好按症状查。这三处已补齐: + +### 三步重跑 + +```bash +cd deploy/tee/real-machine +cp real-machines.env.example real-machines.env # 已 gitignore,按现场改 +set -a; . ./real-machines.env; set +a +./preflight-real-machine.sh # 一次性报缺:工具 / xop 键 / 参数 / 远端物料 +./tee-pair-attest-e2e.sh # 一键:编译 → OCI → 双 KBS → 双 guest → 双判据 +./tee-pair-attest-negative.sh # 负向:证明被拒 ⇒ 拿不到密钥 +``` + +- **`real-machines.env.example` 是参数的唯一集中入口**:IP / xop 键名 / MAC / 网段 / + 端口 / 超时全在里面,变量名与脚本 `${VAR:-default}` 逐字一致。换机器改这一份, + **不要逐个脚本 export**。凭据只放 xop 键名,不放明文口令。 +- **`preflight-real-machine.sh` 只查环境,不判业务**:`TEE_PAIR_OK` / + `TEE_ATTEST_GATE_OK` 仍只由 `check-pair-verdict.py` / `check-attest-verdict.py` 判定。 + `--skip-remote` 离线查、`--self-test` 用 6 个构造样例逐条破坏参数判据(非恒绿)。 + 缺环境一律显式 `SKIP` / `FAIL`,不静默当通过。 +- 编排层生成的变量(`MPC_TEE_MPC_BIN` / `MPC_TEE_MANIFEST` / `MPC_KBS_PLATFORM` / + `MPC_KBS_TOKEN_KEY_FILE` …)**不要手填**,见 env 样例 H 段。 + +### 症状 → 根因 → 处置(速查) + +调环境时按「症状」查这张表,不用通读 `docs/REAL_MACHINE_FINDINGS.md`: + +| 症状 | 根因 | 处置 / 权威位置 | +|---|---|---| +| `Platform is already owned` | direct boot 缺 `kernel-hashes=on` 或 pflash(报错具误导性) | 框架 `PlatformProfile` 已修;**别在部署层覆盖** `-machine` / 固件 / CPU。`nodes/*.node.example` 注释、`docs/TEE_DIRECT_LAUNCH.md` | +| `os error 11`(EAGAIN,像 KBS 挂了) | 证明提交超时 10s < KBS 判定超时 30s | `ATTEST_POST_TIMEOUT_SECS=90`;`docs/REAL_MACHINE_FINDINGS.md` §10.8 | +| KBS 403「平台不一致」 | `serve.py --platform` 缺省 `csv`,AMD 机拿 csv 判 SNP | KBS **显式** `--platform`;编排层按 `PLATFORM_OF_GRP` 注入。`kbs-net.sh`、`pair-attest-run.sh` | +| KBS 起不来 / token 无效 | token 密钥须在**远端**生成 | `MPC_KBS_TOKEN_KEY_FILE` 读入,不落命令行。`kbs-net.sh:158` | +| 会话通了但取不到密钥,或反之 | 想把 `socket`(二层)与 `tap`(三层)合成一张卡 | **两张卡,不能合成**。`tee-pair-attest-e2e.sh` 文件头 | +| 偶发认错网卡 | 按 `/sys/class/net` 枚举顺序(= PCI slot 顺序,会漂) | **按 MAC 认**,认不到就 die。同上 | +| `IPv6 duplicate address fe80::... detected` | 两侧数据面 MAC 相同(同二层域抢地址;会话照样跑通 ⇒ 隐患) | 两侧 MAC 必须不同,已有判据。`check-pair-verdict.py`、env 样例 D/E 段 | +| 前台 `ssh` 永久挂住 | guest halt 后 qemu 不退出 | 起 guest 一律走 `guest-watch.sh`(后台 + 轮询 `MPC TEE GUEST DONE`) | +| 串口无输出 / 日志丢 | `-nographic` + `-serial stdio` 抢 stdio;init 未建 `/dev/console` | `MPC_TEE_SERIAL_LOG` 换 chardev file;init 用 `mknod` + `exec > /dev/console 2>&1` | +| `Connection refused`,但宿主端口已 LISTEN | **假就绪信号**:qemu 一启就 listen,guest 内 bind 要等证明验签完成 | 证明门控判据必须**独立于**会话判据。`check-attest-verdict.py`、§10.6 | +| 连接预算耗尽 / 两侧表现不对称 | `SESSION_WAIT_BUDGET_SECS=180` 与 `connect_within` / `accept_within` 不对称 | 两侧对称;看门狗 420 > 180(先看到真原因再被杀)。§10.5、env 样例 C 段 | +| `MAC verify failed` 永不命中 | 海光官方 SM2 签名**不覆盖 MAC**,是死判据 | 已去掉,别再加回来。`docs/REAL_MACHINE_FINDINGS.md` §1 | +| `ro****【xop...】fs_files: verified` | xop 密钥防护把 `root` 误判成密钥片段 | 判据只认稳定后缀 `fs_files` / `fs_links` | +| `open /dev/csv-guest failed` | 报告必须在 **CSV guest 内**取,宿主没有该设备 | `capture-csv-report.sh` + `csv-attest-request.c`(支持自定义挑战值) | +| 截断报告也打印 `verify success` | 官方验签器对截断报告 **fail-open** | wrapper 自卡长度 == 2548 字节。`csv-verify-attestation.sh` | +| 官方验签器悄悄联网 | 缺证书时会联网下载 | 链校验模式强制 `unshare -rn` 断网。同上、`docs/REAL_MACHINE_FINDINGS.md` §2 | +| 绑定值对不上,报错像「重放攻击」 | 手工抄 site / measurement / tcb,或没还原 `anonce` 混淆 | 用采集时的 `session.env` 重算;`csv-report-restore.py --field all`。`fixtures/csv/session.env` | +| `scp -r` 把目录铺平 / 真机冒出 `._*` | `scp -r` 语义 + macOS tar 注入 AppleDouble | 用 `tar` 传目录、`COPYFILE_DISABLE=1` | + +### `/tmp` 里那 60+ 个探索脚本怎么办 + +`amd7-kds-*.sh` / `amd7-vcek-*.sh` / `amd7-ghcb-*.sh` / `amd7-clean*.sh` 等是 +2026-11-07 的**探针与清扫过程产物**(probe / sweep / dump),不是运行依赖。 +它们的结论已经沉淀到 `snp-verify-attestation.sh`(KDS 取 VCEK 链 + 证书链校验)、 +`selftest-snp-verify.py`、`snp-attest-matrix.sh` 与 `docs/REAL_MACHINE_FINDINGS.md`。 +**不要整批拷进仓库,也不要重跑一遍去「确认」** —— 那正是「从零探索」。 +真机报告与证书链的可复现样本已在 `fixtures/`,可直接喂自测。 + +--- + ## 前置物料 1. **Linux 静态 `mpc`**(macOS 上交叉编译): diff --git a/deploy/tee/real-machine/preflight-real-machine.sh b/deploy/tee/real-machine/preflight-real-machine.sh new file mode 100755 index 0000000..d864456 --- /dev/null +++ b/deploy/tee/real-machine/preflight-real-machine.sh @@ -0,0 +1,239 @@ +#!/usr/bin/env bash +# 真机双机 e2e **重跑前**的环境预检:一次性把「缺什么 / 哪项不对」报出来, +# 而不是等 tee-pair-attest-e2e.sh 跑起来再逐个撞错、回头翻 630 行探索结论。 +# +# 用法: +# ./preflight-real-machine.sh # 本地 + 远端全查 +# ./preflight-real-machine.sh --skip-remote # 不连真机(离线查看配置是否有问题) +# ./preflight-real-machine.sh --self-test # 零依赖:逐条破坏参数判据,验证非恒绿 +# ./preflight-real-machine.sh --env /path/to.env +# +# ★ 只做**环境检查**,不产生任何业务判据结论: +# TEE_PAIR_OK / TEE_ATTEST_GATE_OK 仍只由 check-pair-verdict.py / +# check-attest-verdict.py 判定。两份判定实现 = 没有门禁。 +# ★ 缺环境一律显式 SKIP 或 FAIL,绝不静默当成通过。 +# ★ 凭据只经 xop 键名注入,本脚本不取值、不打印口令。 +set -u + +HERE=$(cd "$(dirname "$0")" && pwd) +REPO=$(cd "$HERE/../../.." && pwd) +SSHO="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o PreferredAuthentications=password -o PubkeyAuthentication=no -o ConnectTimeout=20" + +OK_N=0 +SKIP_N=0 +FAIL_N=0 + +ok() { OK_N=$((OK_N + 1)); printf 'ok %s\n' "$1"; } +skip() { SKIP_N=$((SKIP_N + 1)); printf 'SKIP %s\n' "$1"; } +fail() { FAIL_N=$((FAIL_N + 1)); printf 'FAIL %s\n' "$1" >&2; } +warn() { printf 'WARN %s\n' "$1"; } + +# ── 纯判据:参数一致性(不连机、不依赖外部工具,可被 --self-test 逐条破坏)── +net_prefix() { + local s=${1%%/*} + printf '%s' "${s%.*}" +} + +mac_shape_ok() { + local m=$1 part + local IFS=: + set -- $m + [ "$#" -eq 6 ] || return 1 + for part in "$@"; do + [ "${#part}" -eq 2 ] || return 1 + case "$part" in *[!0-9a-fA-F]*) return 1 ;; esac + done + return 0 +} + +# 参数:amd_mac hy_mac amd_br_ip hy_br_ip guest_timeout wait_budget amd_port hy_port +verify_params() { + local amd_mac=$1 hy_mac=$2 amd_net=$3 hy_net=$4 timeout=$5 budget=$6 amd_port=$7 hy_port=$8 + mac_shape_ok "$amd_mac" || { printf 'MAC 格式不对: %s\n' "${amd_mac}"; return 1; } + mac_shape_ok "$hy_mac" || { printf 'MAC 格式不对: %s\n' "${hy_mac}"; return 1; } + [ "$amd_mac" != "$hy_mac" ] || { + printf '两侧数据面 MAC 相同(同一二层域会 IPv6 冲突,且会话照样跑通 ⇒ 隐患)\n'; return 1; } + [ "$(net_prefix "$amd_net")" != "$(net_prefix "$hy_net")" ] || { + printf '两侧 KBS 网段相同(两台宿主的 bridge 会撞,guest 认错路由)\n'; return 1; } + case "${timeout}${budget}" in *[!0-9]*) printf '超时必须是整数\n'; return 1 ;; esac + [ "$timeout" -gt "$budget" ] || { + printf 'guest 看门狗 %ss 未大于连接预算 %ss(会只看到「被杀」看不到真原因)\n' "${timeout}" "${budget}"; return 1; } + [ "$amd_port" != "$hy_port" ] || { + printf '两侧 KBS 端口相同\n'; return 1; } + return 0 +} + +selftest() { + local good="02:00:00:00:0a:01 02:00:00:00:0a:02 10.93.0.1/24 10.94.0.1/24 420 180 18093 18094" + local ok_n=0 bad_n=0 name expect out rc + printf '=== 参数判据负向自测(每条都要能被构造样例推翻)===\n' + + set -- $good + out=$(verify_params "$@" 2>&1); rc=$? + if [ "$rc" -eq 0 ]; then printf 'ok 正向对照:合法参数通过\n'; ok_n=$((ok_n + 1)); + else printf 'FAIL 正向对照竟然失败:%s\n' "$out"; bad_n=$((bad_n + 1)); fi + + check_bad() { + name=$1; expect=$2; shift 2 + out=$(verify_params "$@" 2>&1); rc=$? + if [ "$rc" -eq 0 ]; then + printf 'FAIL %s:判据恒真(坏样例竟然通过)\n' "$name"; bad_n=$((bad_n + 1)); return + fi + case "$out" in + *"$expect"*) printf 'ok %s\n' "$name"; ok_n=$((ok_n + 1)) ;; + *) printf 'FAIL %s:期望特征未命中,实际=%s\n' "$name" "$out"; bad_n=$((bad_n + 1)) ;; + esac + } + + set -- $good + check_bad '负向① 两侧数据面 MAC 相同' 'MAC 相同' \ + "$2" "$2" "$3" "$4" "$5" "$6" "$7" "$8" + set -- $good + check_bad '负向② 两侧 KBS 网段相同' '网段相同' \ + "$1" "$2" "$3" "$3" "$5" "$6" "$7" "$8" + set -- $good + check_bad '负向③ 看门狗不大于连接预算' '看门狗' \ + "$1" "$2" "$3" "$4" 120 "$6" "$7" "$8" + set -- $good + check_bad '负向④ 两侧 KBS 端口撞车' '端口相同' \ + "$1" "$2" "$3" "$4" "$5" "$6" "$7" "$7" + set -- $good + check_bad '负向⑤ MAC 格式坏' 'MAC 格式' \ + 'not-a-mac' "$2" "$3" "$4" "$5" "$6" "$7" "$8" + set -- $good + check_bad '负向⑥ 超时非整数' '整数' \ + "$1" "$2" "$3" "$4" abc "$6" "$7" "$8" + + printf -- '---\n判据自测:%s 通过 / %s 失败\n' "$ok_n" "$bad_n" + [ "$bad_n" -eq 0 ] +} + +# ── 环境检查 ------------------------------------------------------------- +have() { command -v "$1" >/dev/null 2>&1; } + +check_local_tools() { + local t + for t in xop sshpass python3 cargo docker ssh scp awk; do + if have "$t"; then ok "本地工具 ${t}"; else fail "缺本地工具 ${t}"; fi + done + if [ -f "${REPO}/.cargo/config.toml" ]; then ok 'musl 链接配置 .cargo/config.toml'; + else fail '缺 .cargo/config.toml(guest 静态产物依赖 rust-lld + crt-static)'; fi + if [ -d "${REPO}/deploy/tee/real-machine" ]; then ok '真机脚本目录完整'; + else fail '真机脚本目录缺失'; fi +} + +check_xop_keys() { + local keys list k + keys="${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user} ${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass} ${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user} ${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}" + if ! have xop; then skip 'xop 键检查(xop 未安装)'; return; fi + # ★ stdin 必须重定向,否则 xop 会等 Touch ID 超时;不打印完整清单,只报缺哪个键。 + list=$(xop list < /dev/null 2>/dev/null) || { fail 'xop list 失败(凭据未就绪?)'; return; } + for k in $keys; do + case "$list" in + *"$k"*) ok "xop 键 ${k}" ;; + *) fail "缺 xop 键 ${k}" ;; + esac + done +} + +check_params() { + local out rc + out=$(verify_params "$1" "$2" "$3" "$4" "$5" 180 "$6" "$7" 2>&1); rc=$? + if [ "$rc" -eq 0 ]; then ok '参数一致性(MAC / 网段 / 端口 / 超时顺序)'; + else fail "参数不一致:${out}"; fi +} + +remote_cmd() { + local host=$1 uk=$2 pk=$3 cmd=$4 + xop run --secret "SSHPASS=${pk}" --secret "TEE_USER=${uk}" -- \ + sh -c "sshpass -e ssh ${SSHO} \"\$TEE_USER@${host}\" \"${cmd}\"" < /dev/null 2>&1 +} + +node_value() { + awk -F= -v k="$2" '$1 == k { print substr($0, index($0, "=") + 1) }' "$1" +} + +check_remote_side() { + local label=$1 host=$2 uk=$3 pk=$4 node=$5 out + out=$(remote_cmd "$host" "$uk" "$pk" 'echo REMOTE_OK' 2>&1) + case "$out" in + *REMOTE_OK*) ok "${label} SSH 可达(${host})" ;; + *) fail "${label} SSH 不可达(${host}):${out}"; return ;; + esac + if [ ! -f "$node" ]; then fail "${label} 缺节点描述 ${node}"; return; fi + local qemu fw kernel + qemu=$(node_value "$node" qemu) + fw=$(node_value "$node" firmware) + kernel=$(node_value "$node" kernel) + out=$(remote_cmd "$host" "$uk" "$pk" \ + "test -x ${qemu} && test -f ${fw} && test -f ${kernel} && echo MATERIALS_OK" 2>&1) + case "$out" in + *MATERIALS_OK*) ok "${label} 远端物料(qemu / 固件 / 内核)" ;; + *) fail "${label} 远端物料缺失(qemu=${qemu} fw=${fw} kernel=${kernel}):${out}" ;; + esac + warn "${label} 建 tap/bridge 需要 root;若远端非 root,请确认 kbs-net.sh 的提权方式" +} + +main() { + local env_file="${HERE}/real-machines.env" skip_remote=0 + while [ "$#" -gt 0 ]; do + case "$1" in + --self-test) selftest; return $? ;; + --skip-remote) skip_remote=1; shift ;; + --env) env_file=$2; shift 2 ;; + -h|--help) sed -n '2,18p' "$0"; return 0 ;; + *) printf '未知参数:%s\n' "$1" >&2; return 2 ;; + esac + done + + printf '=== 真机双机 e2e 重跑预检 ===\n' + if [ -f "$env_file" ]; then + # shellcheck disable=SC1090 + . "$env_file" && ok "已加载环境配置 ${env_file}" + else + warn "未找到 ${env_file}(从 real-machines.env.example 复制);以下用脚本默认值核对" + fi + + check_local_tools + check_xop_keys + check_params \ + "${MPC_AMD_DATA_MAC:-02:00:00:00:0a:01}" \ + "${MPC_HY_DATA_MAC:-02:00:00:00:0a:02}" \ + "${MPC_AMD_BR_IP:-10.93.0.1/24}" \ + "${MPC_HY_BR_IP:-10.94.0.1/24}" \ + "${MPC_TEE_GUEST_TIMEOUT:-420}" \ + "${MPC_AMD_KBS_PORT:-18093}" \ + "${MPC_HY_KBS_PORT:-18094}" + + if [ "$skip_remote" -eq 1 ]; then + skip '远端 SSH / 物料检查(--skip-remote)' + elif ! have xop || ! have sshpass; then + skip '远端 SSH / 物料检查(缺 xop 或 sshpass)' + else + check_remote_side 'AMD SNP' \ + "${MPC_TEE_AMD_HOST:-192.168.1.7}" \ + "${MPC_TEE_AMD_USER_KEY:-tee_amd_7_user}" \ + "${MPC_TEE_AMD_PASS_KEY:-tee_amd_7_pass}" \ + "${HERE}/nodes/amd-sev-snp.node.example" + check_remote_side '海光 CSV' \ + "${MPC_TEE_HYGON_HOST:-192.168.1.102}" \ + "${MPC_TEE_HYGON_USER_KEY:-tee_hg_102_user}" \ + "${MPC_TEE_HYGON_PASS_KEY:-tee_hg_102_pass}" \ + "${HERE}/nodes/hygon-csv2.node.example" + fi + + printf -- '---\n汇总:ok=%s SKIP=%s FAIL=%s\n' "$OK_N" "$SKIP_N" "$FAIL_N" + if [ "$FAIL_N" -gt 0 ]; then + printf '预检未通过:先修 FAIL 项,再跑 ./tee-pair-attest-e2e.sh\n' >&2 + return 1 + fi + if [ "$SKIP_N" -gt 0 ]; then + printf '有 SKIP 项(已显式列出,不是静默通过);远端未核验\n' + printf '本地预检通过:可以跑 ./tee-pair-attest-e2e.sh,但远端状态仍未验证\n' + else + printf '预检通过(含远端):可以跑 ./tee-pair-attest-e2e.sh\n' + fi + return 0 +} + +main "$@" diff --git a/deploy/tee/real-machine/real-machines.env.example b/deploy/tee/real-machine/real-machines.env.example new file mode 100644 index 0000000..e6740aa --- /dev/null +++ b/deploy/tee/real-machine/real-machines.env.example @@ -0,0 +1,89 @@ +# 真机双机环境配置样例 —— 2026-11-08「证明门控 + 跨物理机密文会话」跑通的那一组值。 +# +# 用法(在本目录或仓库根均可): +# cp real-machines.env.example real-machines.env # 本地实际配置,已 gitignore +# set -a; . ./real-machines.env; set +a +# ./preflight-real-machine.sh # 一次性报缺,别靠跑起来再试错 +# ./tee-pair-attest-e2e.sh # 一键:编译 → OCI → 双 KBS → 双 guest → 双判据 +# +# ★ 这是**参数的唯一集中入口**。以前这些值散在 pair-run.sh / pair-attest-run.sh / +# tee-pair-attest-e2e.sh / kbs-net.sh / kbc-*.sh 的 ${VAR:-default} 里,换机器或换网段 +# 要逐个脚本翻、逐个 export —— 那就是「每次从零调整」的根源。改这里即可。 +# ★ 变量名与脚本里的 ${VAR:-default} **逐字一致**;不要改名,不要另起一套别名。 +# ★ 凭据只放 **xop 键名**,绝不放明文口令。脚本内部统一走 +# `xop run --secret SSHPASS=<键名> -- ... < /dev/null`,键名泄露不等于口令泄露。 +# ★ 一键脚本会用 ${VAR:-default} 读取;已 source 的值优先,脚本默认值只是兜底。 +# ★ 判据逻辑不在这里:本文件只描述环境,不产生任何「通过 / 失败」结论。 + +# ── A. 两台真机与凭据键名(换机器只改这一段)──────────────────────────── +# .7 = AMD SEV-SNP(本身是 SNP guest 虚机);.102 = 海光 CSV(裸机 / hypervisor) +export MPC_TEE_AMD_HOST=192.168.1.7 +export MPC_TEE_HYGON_HOST=192.168.1.102 +export MPC_TEE_AMD_USER_KEY=tee_amd_7_user +export MPC_TEE_AMD_PASS_KEY=tee_amd_7_pass +export MPC_TEE_HYGON_USER_KEY=tee_hg_102_user +export MPC_TEE_HYGON_PASS_KEY=tee_hg_102_pass + +# 远端物料目录 / 本地串口日志目录(两侧同名,互不干扰因为是两台机器) +export MPC_TEE_REMOTE_DIR=/tmp/mpc-tee-run-attestpair +export MPC_TEE_LOG_DIR=/tmp/mpc-tee-logs +export MPC_TEE_WORK=/tmp/mpc-tee-attest-e2e + +# ── B. 本地构建 ───────────────────────────────────────────────────────── +export MPC_TEE_ALPINE_IMAGE=alpine:3.18 +# 跨 guest 的 qemu socket 监听端口(二层点对点,不是 KBS 端口) +export MPC_TEE_LINK_PORT=19777 + +# ── C. 超时(有依赖顺序,别乱改)──────────────────────────────────────── +# mpc_node::SESSION_WAIT_BUDGET_SECS = 180(两侧必须对称)。 +# guest 看门狗必须**大于**连接预算:先看到「连接预算耗尽」这个真原因, +# 再轮到看门狗杀进程。看到 GUEST_TIMEOUT 只知道「被杀了」,那是假安全感。 +export MPC_TEE_GUEST_TIMEOUT=420 + +# ── D. 拓扑:AMD 侧(组级参数,编排层会转成实例级 MPC_TEE_*)──────────── +export MPC_AMD_KBS_PORT=18093 +export MPC_AMD_BR=mpcbr-pa +export MPC_AMD_TAP=mpctap-pa +export MPC_AMD_BR_IP=10.93.0.1/24 +export MPC_AMD_GUEST_IP=10.93.0.2/24 +# 固定 MAC 不是随机:guest 按 MAC 认卡,变了就认不到。 +export MPC_AMD_DATA_MAC=02:00:00:00:0a:01 +export MPC_AMD_KBS_MAC=02:00:00:00:0a:11 + +# ── E. 拓扑:海光侧 ───────────────────────────────────────────────────── +export MPC_HY_KBS_PORT=18094 +export MPC_HY_BR=mpcbr-pb +export MPC_HY_TAP=mpctap-pb +export MPC_HY_BR_IP=10.94.0.1/24 +export MPC_HY_GUEST_IP=10.94.0.2/24 +export MPC_HY_DATA_MAC=02:00:00:00:0a:02 +export MPC_HY_KBS_MAC=02:00:00:00:0a:12 + +# ★★ 两侧网段必须不同(KBS 各在宿主 bridge 上)、两侧数据面 MAC 必须不同 +# (socket netdev 是同一个二层域,MAC 相同 ⇒ IPv6 冲突,且会话照样跑通 ⇒ 隐患)。 +# 预检脚本会逐条破坏验证过,不是口头约束。 +# ★ 两张网卡不能合成一张:跨 guest 走 socket(二层),访问宿主 KBS 走 tap(三层)。 +# socket 侧没路由到宿主网段,tap 侧够不到跨 guest 对端 —— 合成必挂。 + +# ── F. 演练用会话值(不要用于生产)────────────────────────────────────── +export MPC_TEE_SESSION_ID=abababababababababababababababababababababababababababababababab +export MPC_TEE_PUBKEY=cdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcdcd + +# ── G. 可选开关 ───────────────────────────────────────────────────────── +# export MPC_TEE_DRY_RUN=1 # 只跑到 dry-run,不连真机 +# export MPC_TEE_KBC=offline_fs_kbc::null # 离线演练密钥(不经过证明,只跑会话) + +# ── H. 运行时生成,**不要手填**(列出来只是为了避免误以为漏配)────────── +# MPC_TEE_MPC_BIN / MPC_TEE_INITRD / MPC_TEE_AMD_NODE / MPC_TEE_HYGON_NODE +# MPC_TEE_MANIFEST ← 从 oci-image.py build 输出解析,不许手抄 +# MPC_TEE_DATA_MAC / MPC_TEE_KBS_MAC / MPC_TEE_GUEST_IP / MPC_TEE_TAP +# MPC_KBS_BRIDGE / MPC_KBS_BRIDGE_IP / MPC_KBS_PORT / MPC_KBS_SESSION +# MPC_KBS_TOKEN_KEY_FILE ← 远端生成,值为 ${MPC_TEE_REMOTE_DIR}/kbs-token.key +# MPC_KBS_PLATFORM / MPC_KBS_VERIFIER / MPC_KBS_CHAIN_DIR +# ← 编排层按平台分派:AMD 走 KDS/VCEK,海光走官方验签器 +# MPC_KBS_MEASUREMENT / MPC_KBS_PIN / MPC_KBS_TCB / MPC_KBS_MIN_TCB +# MPC_TEE_SERIAL_LOG ← 串口必须落盘,否则 guest stdout 会丢 +# +# ★ 区分「组级」与「实例级」:上面 D/E 段的 MPC_AMD_* / MPC_HY_* 是两组配置, +# pair-attest-run.sh 会按当前 guest 角色挑一组,转成 MPC_TEE_* / MPC_KBS_* +# 注入远端。别在 env 里同时写实例级变量,会覆盖编排层的分派。 diff --git a/docs/INDEX.md b/docs/INDEX.md index 3221d81..201e4c7 100644 --- a/docs/INDEX.md +++ b/docs/INDEX.md @@ -49,7 +49,8 @@ | 跑真链验收 | `tools/selftest-fisco-contract.py`(`--self-test` 零依赖) | 自己拼交易;`fisco-realnode-probe.py`(历史契约,未销账) | | 查门禁条数 / 跑全量闸门 | `tools/ci.sh` | 任何文档里写的数字 | | 查链端点 / 链配置 | `tools/fisco-realnode/example.chain.json` + `deploy/k8s/fisco/README.md` | `127.0.0.1:20200`(旧本机容器,已停) | -| 复现真机证明门控 | `deploy/tee/real-machine/README.md` | `docs/REAL_MACHINE_FINDINGS.md` 第 7/9 节的「当时边界」 | +| 复现真机证明门控 | `deploy/tee/real-machine/README.md`(开头「重跑前先看」) | `docs/REAL_MACHINE_FINDINGS.md` 第 7/9 节的「当时边界」 | +| 重跑真机双机 e2e:配置 / 预检 / 症状速查 | `deploy/tee/real-machine/real-machines.env.example` + `preflight-real-machine.sh` + 该 README 速查表 | 逐个脚本 export 参数;去 `/tmp` 翻 60+ 个探索脚本 | | 部署 / 回滚链节点 | `deploy/k8s/fisco/`(含 `migrate-ledger.sh`、`README.md`) | 手动 `docker start fisco-gm`(会与 k8s 链分叉) | | 看真链实证期的审计轨迹 | `tools/fisco-realnode/README.md` | `/tmp`(会被清) | | 查两台真机硬事实 / 踩坑 | `docs/REAL_MACHINE_FINDINGS.md`(第 10 节最新) | 记忆或口头结论 | @@ -98,7 +99,11 @@ ### D 部署与复现 `deploy/k8s/fisco/README.md`(链迁移 SOP / 账本 / 回滚 / 边界)、 -`deploy/tee/real-machine/README.md`(真机 e2e)、`deploy/tee/README.md`、 +`deploy/tee/real-machine/README.md`(真机 e2e;**开头有重跑三步、参数真相源与症状速查表**)、 +`deploy/tee/real-machine/real-machines.env.example`(**双机参数唯一集中入口**,脱敏、可 source)、 +`deploy/tee/real-machine/preflight-real-machine.sh`(重跑前环境预检,`--self-test` 负向矩阵)、 +`deploy/tee/real-machine/nodes/*.node.example` + `fixtures/`(真机路径与真实报告 / 证书链样本)、 +`deploy/tee/README.md`、 `deploy/tee/oci/README.md`、`deploy/ray/README.md`、 `demo/README.md`、`demo/k8s/README.md`(站点 + PVC)、 `tools/fisco-realnode/README.md`(复现工具与审计轨迹)、 @@ -164,4 +169,8 @@ 9. **架构结论只改 `docs/ARCHITECTURE_SYSTEM.md`**:新增 / 变更组件、边界、端点先改它, 再跑 `python3 tools/render-share-html.py`(重新生成 `.html`)与 `--check`(校验同步)。 HTML 是**派生产物不许手改**;历史决策文档正文不因架构变更而改写。 - 文档里写「部署了什么」必须区分 [实证] 实证 / [桩验] 桩验 / [设计] 设计角色,不许把蓝图写成现状。 + 文档里写「部署了什么」必须区分 [实证] / [桩验] / [设计] / [禁用],不许把蓝图写成现状。 +10. **真机参数只认 `deploy/tee/real-machine/real-machines.env.example`**:换机器 / 换网段 + 改这一份,不要逐个脚本 export;重跑前先 `preflight-real-machine.sh`(`--self-test` + 用构造样例钉死参数判据非恒绿)。`/tmp` 的 60+ 个探索脚本是过程产物,结论已 + 沉淀进验签器与 `REAL_MACHINE_FINDINGS.md`,**不许整批入库或重跑确认**。