# 05 · 上板动作清单(Zynq-7015 / ACZ7015) > 目标:把已经**在 QEMU 上验证过**的 OP-TEE 4.11 + Rust TA 搬到真实 Zynq-7015 板子上。 > 状态:QEMU 侧已完成(见 `02-P0-RESULTS.md`);**板级动作全部未执行**。 > 本文只写「在板子上要做什么、按什么顺序、怎么判断成功」;原理与设计见 `01/03/04`。 --- ## 0. 先决条件(不满足就别开工) | # | 项 | 状态 | 说明 | |---|---|---|---| | 0.1 | **选哪块板** | ⚠️ 待定 | `192.168.1.233` 是**生产网关**(board-agent + EasyTier + 公网入口),团队红线写明不要碰;`192.168.1.234` 的 SD 卡已坏(`mmc error -110` × 206、`/` 只读)。**建议:新板或修好卡的 .234** | | 0.2 | **内核源码 + DTS** | ❌ 未确认 | 板上是 `4.14.0-xilinx #52` 自编内核(2023-07)。**拿不到源码这条路直接断**:开 OP-TEE 必须重编内核;`.config` 可从 `/proc/config.gz` 反推,DTS 拿不到就只能重写 | | 0.3 | 串口 | 需确认 | 115200 8N1,能看 U-Boot / 内核日志(板上 TTL 排针) | | 0.4 | JTAG | 可选但强烈建议 | 6 针焊盘需自焊排针;FSBL 阶段调 OP-TEE 基本离不开 | | 0.5 | 完整备份 | **必须** | 至少备份:QSPI 内容、SD 卡全盘、`/lib/firmware/*`、`/etc/init.d/{xdma,gateway}`、`/boot`。OP-TEE 改动会动到启动链,没有备份就没有回滚 | | 0.6 | `PLATFORM_FLAVOR` 核对 | 待做 | `plat-zynq7k` 默认 flavor 是 `zc702`,本板是 ACZ7015,**UART 基址/内存布局必须核**(见 §3.1) | 记录一份板子现状(改动前跑一遍,留底): ```sh uname -a; cat /proc/cmdline; cat /proc/device-tree/model; echo grep -E "^MemTotal|^Hardware" /proc/meminfo /proc/cpuinfo cat /proc/iomem | head -40 # 看 reserved-memory 与 amba_pl 占位 zcat /proc/config.gz | grep -E "CONFIG_(TEE|OPTEE|ARM_LPAE|STRICT_DEVMEM)" ls /dev/tee* 2>/dev/null || echo NO_TEE # 期望:现在没有 busybox devmem 0xF8000530 # IDCODE,0x0373B093 = XC7Z015 busybox devmem 0xF8000430 # TZ_DDR_RAM 当前值(改之前记下来) ``` --- ## 1. 阶段 P1 · 让 OP-TEE 在安全世界跑起来 ### 1.1 关键前提:A9 没有虚拟化扩展 Zynq-7000 的 Cortex-A9 **没有 ARMv7 VE**(无 HYP 模式、无 KVM),但**有 TrustZone**。 所以这里走的是 **OP-TEE 自己当 secure monitor**(Monitor 模式),**不需要 ATF** —— 这点和 QEMU 那套(ATF 当 BL1/BL2/BL31、BL32=OP-TEE)**完全不同,别照搬 QEMU 的启动链**。 ### 1.2 两条启动集成路线 | 路线 | 做法 | 优点 | 代价 | |---|---|---|---| | **A(推荐)** | 改 FSBL:初始化 DDR/时钟后,把 `tee.bin` 载入 TZDRAM,切到 Monitor 模式跳过去 | 最干净,OP-TEE 拿到完整控制权;和后续 secure boot 链一致 | 要动 FSBL(Xilinx SDK/Vitis 里改 `fsbl` 源码),要改 bootgen 的 `.bif` | | B(过渡) | U-Boot 里 `bootm` 加载 OP-TEE 镜像后再起内核 | 不动 FSBL,试错快 | U-Boot 已跑过一段,TCB 变大;只适合先验证能不能跑 | 先按 **B 验证可行性**,确认 OP-TEE 能在本板跑通,再改 A 固化。 ### 1.3 编译(在 Linux 构建机上,不是板子上) ```sh export CROSS_COMPILE=arm-linux-gnueabihf- cd optee_os make -j$(nproc) PLATFORM=zynq7k CFG_ARM32_core=y O=out/zynq7k # 产物:out/zynq7k/core/tee.bin、tee-raw.bin、tee-header_v2.bin / tee-pager_v2.bin / tee-pageable_v2.bin # 同时产出 TA dev kit:out/zynq7k/export-ta_arm32 ``` 已验证的事实(QEMU 阶段):**`PLATFORM=zynq7k` 能编过**,产出 `tee.bin` 391 KB (仓库里的 `artifacts/tee-zynq7k.bin` 就是这个)。`plat-zynq7k/conf.mk` 已经强制了: `CFG_ARM32_core=y`、`CFG_GIC=y`、`CFG_CDNS_UART=y`、双核、`CFG_PL310`、A9 的 NMFI workaround、 `CFG_BOOT_SECONDARY_REQUEST`(CPU1 启动机制已存在,**不需要自己写 `plat_cpu_on`**)。 ### 1.4 三个必须核对的板级参数 | 参数 | 在哪 | 核对方法 | |---|---|---| | **UART 基址** | `plat-zynq7k/platform_config.h` + `PLATFORM_FLAVOR` | 本板串口接在 PS UART0(`0xE0000000`) 还是 UART1(`0xE0001000`)?看 `dmesg \| grep -i uart` 或 `/proc/device-tree/amba/serial@*`。**错了就完全没有输出**(QEMU 阶段就是被类似问题坑了半天) | | **TZDRAM 地址/大小** | `platform_config.h` 的 `TZDRAM_BASE/SIZE`、`SHMEM_BASE/SIZE` | 默认值面向 zc702(1GB 板),本板只有 **512MB**,必须重算(见 §2) | | **GIC 型号/基址** | `CFG_GIC` 相关 | Zynq 是 PL390/GIC-400 兼容,`0xF8F00100`(CPU IF)/`0xF8F01000`(Dist),与 zc702 一致,一般不用改 | ### 1.5 判定成功 串口(**secure 侧**,如果板上只接了一个串口就注意:OP-TEE 的 console 走它自己配的 UART, QEMU 上就是第二个串口 —— 板子上如果只有一个串口,`CFG_CDNS_UART` 指的那个口就是唯一输出, 别再犯「以为它死了其实在看别的口」的错): ``` I/TC: OP-TEE version: 4.11.0 ... I/TC: Primary CPU initializing I/TC: Primary CPU switching to normal world boot ``` 看到最后一行 = secure monitor 正常交棒回正常世界。 --- ## 2. 阶段 P2 · 内存划分(最容易一次搞死板子的一步) ### 2.1 三处必须一致 DDR 安全区要被**三个地方**同时认可,缺一处就是「Linux 起不来」或「安全区形同虚设」: 1. **硬件**:`TZ_DDR_RAM`(`0xF8000430`,Zynq-7000 上每 bit 管 64 MB) 2. **OP-TEE**:`TZDRAM_BASE/SIZE` 3. **Linux DT**:`reserved-memory` 里对应节点(`no-map`) ### 2.2 本板已有的占位,绝对不能压 ``` 0x01800000 PL ring / KTB1 ← .233/.234 上已有,踩过就卡死 0x01840000 PL ring 2 0x01880000 DEK 发布区(DEK2 / RDEK) ``` 历史上就是因为 PL ring 地址没落进 DTB 保留区,板子被内核内存踩到直接卡死。 **新划的安全区必须与上面三块、以及 DT 里所有 `reserved-memory` 无交集。** 建议候选:`0x1C000000 - 0x20000000`(64 MB),落地前用 `cat /proc/iomem` 逐段比一遍。 ### 2.3 操作顺序(顺序错了很难回滚) ``` ① 先只改 DT 的 reserved-memory(不动 TZ_DDR_RAM)→ 起一次 期望:MemTotal 从 ~509 MB 掉到 ~445 MB,系统正常 ② 再让 OP-TEE 用这块(TZDRAM_BASE 指向它)→ 起一次 ③ 最后把 TZ_DDR_RAM 的对应 bit 置为 secure → 起一次 ④ 三步都过,才去谈业务 ``` ⚠️ **`TZ_DDR_RAM` 的置位极性必须按 UG1019 §3 复核**(哪位对应哪段、0/1 谁是 secure)。 写错的现象是「Linux 起不来」或「安全区没生效」,而且从现象反推极其困难 —— 改之前把 `busybox devmem 0xF8000430` 原值记下来。 ### 2.4 判定成功 ```sh grep MemTotal /proc/meminfo # 少了约 64 MB dmesg | grep -i "reserved" # 能看到 op-tee 的 reserved 段 # OP-TEE 侧:启动日志里 TEE_RAM / TZDRAM 地址与预期一致 ``` --- ## 3. 阶段 P3 · 内核 + 用户态 ### 3.1 内核 ```sh # 在拿到的 4.14 内核源码上 CONFIG_TEE=y CONFIG_OPTEE=y CONFIG_OPTEE_SHM_NUM_PRIV_POOLS=1 # 视版本 CONFIG_STRICT_DEVMEM=y # 建议同时开,堵 /dev/mem ``` `make olddefconfig` 之后**务必 `grep '^CONFIG_OPTEE=y' .config` 确认** —— merge_config 之后静默落回 `# CONFIG_OPTEE is not set` 是常见事故(QEMU 阶段踩过)。 ### 3.2 设备树:optee 节点**必须带 interrupts** ```dts firmware { optee { compatible = "linaro,optee-tz"; method = "smc"; interrupts = <0 35 4>; /* 具体 SPI 号按本板空闲中断选 */ interrupt-parent = <&intc>; }; }; ``` > **这是 QEMU 阶段最贵的一课**:只写 `compatible` + `method` 时,驱动会报 > `optee: error -ENXIO: IRQ index 0 not found`,`/dev/tee0` 根本不出现。 > 原因是 OP-TEE 4.x 默认开 async notif,Linux 驱动因此强制要求中断。 > 板上同理,别以为「Zynq 不一样」。 ### 3.3 用户态 ```sh # 交叉编译(同一套命令,换 TA dev kit 目录即可) make -C optee_client CROSS_COMPILE=arm-linux-gnueabihf- make -C optee_client/tee-supplicant CC=arm-linux-gnueabihf-gcc LD=arm-linux-gnueabihf-gcc \ CROSS_COMPILE=arm-linux-gnueabihf- LDFLAGS="-L/out/libteec" ``` 板子上: ```sh cp libteec.so* /usr/lib/ && ldconfig cp tee-supplicant /usr/bin/ cp xxx.ta /lib/optee_armtz/.ta tee-supplicant -d /dev/teepriv0 & # 常驻,建议做成 systemd 服务 ls /dev/tee0 /dev/teepriv0 # 期望出现 ``` ### 3.4 判定成功 ```sh optee_examples/hello_world # 或本仓库的 hello_ca # 期望:能打开 session、调用 TA、拿回结果 ``` --- ## 4. 阶段 P4 · Rust TA 上板 **代码一行都不用改**(QEMU 上跑的就是 armv7): ```sh export TA_DEV_KIT_DIR=/out/zynq7k/export-ta_arm32 export CARGO_TARGET_ARM_UNKNOWN_LINUX_GNUEABIHF_LINKER=arm-linux-gnueabihf-gcc export CC_arm_unknown_linux_gnueabihf=arm-linux-gnueabihf-gcc export RUSTUP_TOOLCHAIN=nightly-2026-08-05 # 以 SDK rust-toolchain.toml 为准 # TA 必须作为 teaclave-sdk/examples/ta workspace 的成员 printf '{\n__elf_phdr_info;\ntrace_ext_prefix;\ntrace_level;\nta_head;\n};\n' > examples/ta/dyn_list cargo build -p hello_rust-rs-ta --target arm-unknown-linux-gnueabihf --release python3 $TA_DEV_KIT_DIR/scripts/sign_encrypt.py sign-enc --uuid \ --in --out hello_rust.ta --key $TA_DEV_KIT_DIR/keys/default_ta.pem ``` > ⚠️ `default_ta.pem` 只是**开发用**签名密钥。量产必须换成自己的,且**私钥不进仓库**。 > 更关键:真要做安全启动,TA 签名公钥得编进 `tee.bin`(`CFG_...`/`ta_pub_key.c`), > 否则攻击者可以换 TA。 上板判定:`hello_ca` 打印 `INC_VALUE: 41 -> 42` / `ALL OK`(和 QEMU 输出一模一样)。 --- ## 5. 阶段 P5 · 把 DEK 下沉进 TA(这一步才有业务价值) 现状(`.233` 上实测):`provision_dek.sh` 把「DEK」经 `/dev/mem` 写进 DDR `0x1FF80000`, 再让**不可信的宿主**通过 PCIe C2H DMA 取走。方向是反的 —— 等于把钥匙快递给小偷。 正确形态: ``` [容器/宿主] 只发「加密这段数据」的请求 ↓ [TA] 持有 K_device(= HKDF(K_seed, Device DNA ‖ eFuse USER)),永不导出 ↓ [PL 安全岛] 密钥寄存器 write-only、AES-GCM 流水线、单调计数器 ``` 关键点: - **K_tpm 现在是全舰队共享**(同一份 BOOT.bin → 同一把),单机失守等于全舰队 DEK 可解 → 用 Device DNA 派生每机唯一 `K_device`,不改硬件、不多烧一位 eFuse - **明文镜像副本必须先清干净**:`.234` 的 SD 卡上躺着两份明文签名 `BOOT.BIN`, 里面 `K_tpm` 是裸的 —— eFuse 花的钱被一个 647 KB 的文件抵掉了 - **L3 启动链是真空档**:`uEnv.txt` 用 `bootz` 起 kernel,不验签。 OP-TEE 再好也管不了「内核被换掉」这件事(见 `03-TRUST-CHAIN.md`) --- ## 6. 验收清单 - [ ] `PLATFORM=zynq7k` 编出 `tee.bin`,串口看到 `OP-TEE version: 4.11.0` - [ ] `I/TC: Primary CPU switching to normal world boot` 后内核正常启动 - [ ] `MemTotal` 减少量 = 安全区大小,且与 DT `reserved-memory` 一致 - [ ] `dmesg | grep optee` 出现 `initialized driver`,`/dev/tee0` + `/dev/teepriv0` 存在 - [ ] `tee-supplicant` 常驻,无反复退出 - [ ] Rust CA 调 Rust TA 返回 `INC_VALUE: 41 -> 42` - [ ] `tee-supplicant` 重启后 TA 仍可加载(安全存储路径通) - [ ] 断电重启 3 次,以上全部复现(不是偶然) - [ ] 原有业务(`board-agent` / EasyTier / PL 逻辑)没被破坏 ## 7. 风险与回滚 | 风险 | 触发条件 | 回滚 | |---|---|---| | 板子起不来 | TZ_DDR_RAM 写错 / TZDRAM 与保留区重叠 | 还原 QSPI 镜像 + SD 备份;JTAG 重新下载 FSBL | | OP-TEE 无输出 | UART 基址错 / flavor 不对 | 换 flavor 或改 `platform_config.h` 重编 | | `/dev/tee0` 不出现 | DT 缺 `interrupts`(最容易) | 按 §3.2 补 | | 内核 panic 在 reserved-memory | 与 `0x0180_0000` 系列冲突 | 改地址,别硬顶 | | **eFuse 不可逆** | 烧 `AES_ONLY` / `JTAG_DIS` | **没有回滚**。所有 eFuse 动作必须排在 L3 验签补完之后,且先留一台不烧的样机 |