Files
ssw 60b6fa6f7b vault: 设备绑定密钥 + 密封存储(宿主 16 用例 / QEMU VAULT_ALL_OK / 签名验收通过)
- src/vault-core: no_std 密码学核心(HKDF 派生、AES-256-GCM、两条水位线防回滚)
- src/ta-vault / src/ca-vault: TA 薄壳与 selftest 客户端
- build/p1_vault_qemu.sh: QEMU 全链,判据 VAULT_ALL_OK
- build/p2_ta_keys_qemu.sh: TA 公钥编进 tee.bin,默认密钥签的被拒
- build/gen_ta_keys.sh: 自建签名密钥
- docs/07-VAULT-TA.md: 设计 + 已验证/未验证清单
- CLAUDE.md 雷区 11-16:user_ta_header、嵌套 workspace、ARCH=arm、SIGPIPE、TA_PUBLIC_KEY、heredoc 变量
2026-10-28 14:37:04 +08:00

329 lines
17 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# HANDOFF:在 ACZ7015(Zynq-7015)上跑通 OP-TEE,并用 Rust 写 TA / CA
> 目标板:`192.168.1.233`(团队称"生产网关板")
> 交付人:AI 侧已完成调研与方案设计;执行人:接下这份文档的工程师
> 日期:2026-10-27
> ## ✅ P0 已实测完成(2026-10-27 13:15)
> `optee_os` 用 **`PLATFORM=zynq7k`** 编译通过(`tee.elf` 4.4MB / `tee.bin` 391KB);
> Rust TA 编出 ARM32 ELF 并**签名、`verify` 通过**(`hello_rust.ta` 79KB)。
> **详见 [P0-RESULTS.md](./P0-RESULTS.md),那里有 5 个必须纠正的认知和可复现步骤。**
> 未完成的只有「运行」(需要 arm32 Linux + rootfs + QEMU,见 P0-RESULTS §5)。
---
## 0. 开工前必须先解决的三件事(否则做不下去)
### 0.1 `.233` 现在连不上
```
2026-10-27 20:05 实测:ping 100% 丢包;22 / 18080 / 1891 端口全部 closed
对照:192.168.1.234 的 22 端口 OPEN
```
**动作**:先确认板子上电、网线、IP。若它现在是生产在用(见 0.2),不要贸然断电。
### 0.2 ⚠️ `.233` 是生产网关,团队自己的红线写着"不要碰"
团队 `CTO_VERIFY_2026-10-27` 文档 §红线原文:**"不要碰 `.233`(生产网关)"**。
而 `.233` 上跑着:
- `board-agent` + EasyTier(`--no-tun --socks5 1080`)
- 入站映射 `:18080 → host:8080`、`:12222 → host:22`、`:1891`
- 公网入口 `https://43.138.177.28:1880`(VPS nginx → EasyTier → .233)
**跑 OP-TEE 必须做这几件事,每一件都会中断生产**:
1. 重编内核(开 `CONFIG_TEE` / `CONFIG_OPTEE`)→ 换 `zImage`
2. 改设备树(加 `optee` 节点 + reserved-memory)→ 换 `system.dtb`
3. 改启动镜像(把 `tee.bin` 放进启动链)→ 重刷 QSPI 或改 SD 启动文件
4. 划走 64 MB 安全内存 → 系统可用内存从 512 MB 降到 ~448 MB
**建议(需拍板)**:
| 选项 | 说明 |
|---|---|
| **A. 用 `.234`**(推荐) | 它已在线,且本来就是实验用板。但注意:`/` 已只读、SD 坏道 206 次,**必须先换卡** |
| **B. 第三台** | 最干净。若手上有第三块 ACZ7015,优先用它 |
| **C. 坚持用 `.233`** | 必须先做:① 摘掉公网入口 ② 通知使用方下线 ③ 整盘备份 SD(`dd` 到镜像)④ 记录当前 `zImage`/`dtb`/`BOOT.BIN` 的 sha256,保证可回滚 |
**本 handoff 按"可以刷机"来写,板子可以替换——技术内容与板号无关。**
### 0.3 Gate 0:内核源码在不在?(最大的不确定性)
板上内核是厂商镜像:`Linux 4.14.0-xilinx #52 SMP PREEMPT Thu Jul 6 11:01:45 CST 2023`,**自编内核**(`ovo@orz`)。
开 OP-TEE 必须重编内核。所以需要:
- [ ] 这颗内核的**源码树**(Xilinx `linux-xlnx` 4.14 分支 + 板级改动)
- [ ] 板子的 **DTS**(`system.dtb` 对应的 `.dts`)
- [ ] 当前的 **`.config`**(板上有 `/proc/config.gz`,可直接取)
- [ ] 交叉编译工具链(`arm-linux-gnueabihf-`)
**如果拿不到内核源码,这条路走不通**——只能换成一个能拿到源码的内核版本(Xilinx 4.14 主线 + 自己重写 DTS),工作量会翻倍。**这一步必须在动手前确认清楚。**
---
## 1. 验收标准(Definition of Done)
全部满足才算"跑通":
| # | 验收项 | 判定方式 |
|---|---|---|
| 1 | OP-TEE OS 起来 | 串口出现 `OP-TEE` 版本 banner;Linux `dmesg` 有 `optee: initialized` |
| 2 | `xtest` 通过 | `xtest` 跑完,**除 RPMB 相关项外无 FAIL**(本板无 eMMC/RPMB,见 §6.3) |
| 3 | **Rust TA 跑通** | no-std / arm32 的 `.ta` 能被 CA 打开 session 并返回正确结果 |
| 4 | **Rust CA 跑通** | Rust 写的 CA 调通 `optee-teec`,`cargo` 直接产出可执行文件 |
| 5 | 隔离成立 | TA 内生成一个 32 字节密钥,**普通世界 root 从任意地址都读不到**(`/dev/mem` + 搜索验证) |
| 6 | **无回归** | 原有 PL(XDMA)+ `board-agent` 仍正常;系统可用内存 ≥ 440 MB |
---
## 2. 板子事实(已核实 / 待复核)
| 项 | 值 | 来源 |
|---|---|---|
| SoC | XC7Z015(Zynq-7015),双核 Cortex-A9 @667MHz,**armv7l** | 实测 IDCODE `0x0373B093` |
| TrustZone | ✅ 有(OP-TEE 走 Monitor 模式,**不需要虚拟化扩展**) | 芯片手册 + 实测无 VE |
| 内存 | 512 MB DDR3(`MemTotal ≈ 509396 kB`) | 实测 |
| 存储 | **QSPI 16MB + SD 槽(16GB)**;**无板载 eMMC、无 RPMB** | 实测(`.234`;`.233` 待复核) |
| 内核 | 4.14.0-xilinx #52,2023-07-06 自编 | 实测 |
| TEE 现状 | **无**:`/dev/tee*` 不存在,`CONFIG_TEE` 未开 | 实测(`.234` 上确认,`.233` 同镜像族,待复核) |
| PL | XDMA 设计,由 `/etc/init.d/gateway`(`.233`)在 **Linux 起来后**加载明文 bitstream | 实测 |
| 启动 | QSPI → FSBL → U-Boot → `uEnv.txt` 的 `sdboot` → 从 SD 载 `system.bit`/`zImage`/`system.dtb` → `bootz` | 实测 |
| SD 健康 | `.233` 0 次超时(12:00 数据);`.234` 206 次 + 只读 | 实测 |
---
## 3. 技术路线(为什么这么选)
### 3.1 OP-TEE 在 Zynq-7000 上的定位
```
非安全世界(Linux) 安全世界(OP-TEE)
容器/应用 TA(可信应用)
↓ libteec ↑
/dev/tee0 ← optee 驱动 → SMC → OP-TEE OS(Monitor 模式,EL3 等价)
↓
安全 DDR(TZ_DDR_RAM 划出 64MB)
```
- Zynq-7000 的 OP-TEE **没有 ATF**(那是 ZynqMP)。OP-TEE OS 自己就是 secure monitor,直接跑在 Monitor 模式。
- **A9 无虚拟化扩展不影响 OP-TEE**(TEE 用 TrustZone,不是 VE)。但反过来也成立:**上了 OP-TEE 也依然不能跑 KVM**。
### 3.2 启动链的两个模型(必须现场判定用哪个)
| | Model A:FSBL 直接跳 tee(推荐) | Model B:U-Boot `bootm` 加载 tee |
|---|---|---|
| 流程 | FSBL 载入 `tee.bin` 到 DDR → **切 Monitor 模式跳入** → OP-TEE 初始化 → 跳 U-Boot(NS) | U-Boot 在安全态 `bootm` tee 镜像 → tee 自我安装为 monitor → 返回 U-Boot(NS) |
| 改动 | 需改 FSBL(设置 `SCR.NS`、CPSR=MON、传 NS 入口地址) | 不需改 FSBL,但 U-Boot 需要有对应支持 |
| 风险 | FSBL 改动要重新做 `BOOT.bin`(`.234` 上还要重新签名加密) | U-Boot 侧行为要实测 |
**判定方法**:看现有 `BOOT.bin` 的 `.bif`(或从 `bootgen` 的 partition 表)里有没有第三个 partition 指向 DDR 高地址;以及 FSBL 里有没有 monitor-mode 跳转代码。团队 `tools/mkenc` 仓库里有 `.bif` 生成逻辑,先读它。
**建议**:先按 **Model A** 做。它是 Zynq-7000 上 OP-TEE 的标准形态,且控制点清晰。
### 3.3 Rust 怎么写(关键结论:32 位可用)
| | 方案 | 结论 |
|---|---|---|
| **TA(安全世界)** | Teaclave TrustZone SDK 的 `optee-utee` crate(no_std) | ✅ **已实测通过**:target `arm-unknown-linux-gnueabihf`,产出 ELF32 ARM 并签名成功。**但不要用 SDK 的 `make`**(`cargo-optee` 因 `edition2024` 编不过),直接 `cargo build` + 手工补 `dyn_list` + 指定交叉链接器,完整命令见 P0-RESULTS §3 |
| **CA(正常世界)** | `optee-teec` crate(std) | ✅ 普通 Rust 程序,链接 `libteec` |
| **OP-TEE OS 本体** | C | ❌ 不可能用 Rust 重写,接受 |
**Rust 侧的硬约束(必须提前接受)**:
1. **TA 是 `no_std`**:没有 `std`、没有 `thread`、没有 `fs`。要用 `alloc` 得自己接 allocator;SDK 提供移植版 std 但那是实验特性,**先用 no-std**。
2. **工具链钉死 nightly**:SDK 用 `nightly-2024-05-15` + `rust-src` 组件 + `Xargo`(no-std 需要自编 core)。别用系统里的 stable。
3. **TA 是单线程**:任何 `thread` 相关调用会 panic。
4. **参数字段是 `unsafe` 的**:`TEE_Param` 指向的共享内存,CA 侧仍可并发修改 → **拿到参数先拷进自己的 buffer 再用**。
5. **TA 要签名**:用 optee_os 导出的 `sign_encrypt.py` + dev key(`default_ta.pem`)。生产要换自己的 key,且公钥要烧进 `tee.bin`。
6. **UUID 必须唯一**,否则加载冲突。
---
## 4. 分阶段 WBS
### P0|QEMU 上先把 Rust TA 跑通(零硬件风险,1–2 天)
**目的**:在碰板子之前,把"Rust 写 TA"这条链验证完。这一步和 Zynq 无关,用 `vexpress-qemu_virt` armv7。
```bash
# 1) 起环境(Linux x86_64 主机,Docker 或裸机)
git clone https://github.com/OP-TEE/build.git optee-build && cd optee-build
# 用 qemu_virt 的 armv7 配置
make -f qemu_virt.mk CFG_ARM32_core=y toolchains
make -f qemu_virt.mk CFG_ARM32_core=y # 编译 optee_os + optee_client + optee_test
make -f qemu_virt.mk CFG_ARM32_core=y run # 起 QEMU,登录 root
# 2) 目标机(QEMU 内)
xtest # 先确认 C 的 TEE 正常
# 3) Rust TA/CA 骨架(本目录 optee-rust/ 下已备)
cd optee-rust && ./build.sh # 产出 hello_rust.ta + hello_ca
# 拷进 QEMU:scp 或 9p mount,然后
mkdir -p /lib/optee_armtz && cp hello_rust.ta /lib/optee_armtz/
tee-supplicant & # 若未自启
./hello_ca # 期望输出 OK / 结果值
```
**P0 通过标准**:`xtest` 无非 RPMB 的 FAIL + `hello_ca` 打印正确结果。
> 在 QEMU 上就把 Rust 的编译/签名/加载问题全踩完,上板时只剩"平台适配"。这一步省下来的时间远大于投入。
### P1|OP-TEE OS 在板上 bring-up(3–5 天)
1. 取 `optee_os`,用 `PLATFORM=zynq` 编译:
```bash
make PLATFORM=zynq CROSS_COMPILE=arm-linux-gnueabihf- \
CFG_ARM32_core=y CFG_TEE_CORE_NB_CORE=2 \
CFG_WITH_LPAE=n CFG_WITH_PAGER=n \
CFG_ARM_GICV3=n CFG_CORE_ARM64=n
# 产物:out/arm-plat-zynq/core/tee.bin
```
**注意**:`plat-zynq` 上游是 legacy 状态,2022 年那套 Zynq-7000 完整改进(安全态 SPL 启动、DDR firewall、HUK、TZ-aware 外设)**未合入上游、issue #5605 已 stale 关闭**。准备好自己啃。
2. 划安全内存:写 `TZ_DDR_RAM`(`0xF8000430`),每位对应 **64 MB**。
⚠️ **置位极性(哪一位是 secure)必须按 UG1019 §3 复核后再写**。写错的结果是"Linux 起不来"或"安全区形同虚设",且不容易从现象反推。
3. 改 FSBL:载 `tee.bin` 到 DDR → 切 Monitor 模式 → 跳入(Model A)。
4. 重新生成 `BOOT.bin`。
- 若在 `.234` 上做:**必须用同一个 `K_boot` 加密 + 用 `ppk.pem` 签名**,否则起不来(该板已烧 RSA_EN + AES key)
- 若在 `.233` 上做:它还是原厂 2023-07 状态(未加密),可以直接动态链接生成,简单得多 → **这也是为什么推荐换板**
5. 串口看 banner,确认 `OP-TEE` 起来了、U-Boot 正常接力。
**P1 卡点预警**:SMP(CPU1 上电)在 Zynq-7000 上需要平台自己的 `plat_cpu_on`(A9 不用 PSCI)。上游 `plat-zynq` 这块是弱项,可能要自己补。
### P2|Linux 侧接通(2–3 天)
1. 内核开:`CONFIG_TEE=y`、`CONFIG_OPTEE=y`、`CONFIG_OPTEE_SHM_NUM_PRIV_POOLS=1`
2. DTS 加:
```dts
/ {
firmware {
optee: optee {
compatible = "linaro,optee-tz";
method = "smc";
};
};
reserved-memory {
#address-cells = <1>;
#size-cells = <1>;
ranges;
optee_sec: optee@0x1C000000 {
reg = <0x1C000000 0x04000000>; /* 64MB,与 TZ_DDR_RAM 必须一致 */
no-map;
};
};
};
```
3. 用户态装:`tee-supplicant`、`libteec.so`、`xtest`
4. `dmesg | grep optee` 看到 `initialized`;`xtest` 跑通
### P3|Rust TA/CA 上板(2–3 天)
1. 交叉编译 `optee-utee`(no-std, arm32)+ `optee-teec`(std, armv7)
2. `.ta` 签名(`sign_encrypt.py` + `default_ta.pem`)
3. 拷到 `/lib/optee_armtz/`,跑 CA
4. 验证隔离:TA 里生成密钥 → 普通世界用 `/dev/mem` + 扫描内存,确认找不到
### P4|(可选)把 DEK 下沉进 TA(这条才是真正的业务价值,5–10 天)
这才是上 OP-TEE 的目的:把 `K_tpm`/`KEK`/`DEK` 从普通世界 DDR(`0x01800000` / `0x01880000` 明文可读)搬进安全世界,普通世界只能"用"不能"读"。
---
## 5. 内存地图(这块最容易出事)
`.233` 上已经有一处踩过的坑:**XDMA ring 地址不在 DTB 保留区,踩到内核内存导致板子卡死**(团队文档 §"板子卡死根因",已迁到 `0x01800000`/`0x01840000`)。
加 OP-TEE 后要新增 64 MB 安全区,**必须逐项确认不重叠**:
| 区域 | 地址 | 用途 | 与 OP-TEE 的关系 |
|---|---|---|---|
| DDR 起始 | `0x00000000` | Linux 内存 | 不动 |
| PL ring / KTB1 | `0x01800000` | XDMA ring(`.233`);KTB1(`.234`) | ⚠️ **不能落进安全区** |
| PL ring 2 | `0x01840000` | XDMA ring | ⚠️ 同上 |
| DEK 发布区 | `0x01880000` | DEK(`.234`) | ⚠️ 同上 |
| 旧 DEK 位置 | `0x1FF80000` | P0 时期用过,已废弃 | ⚠️ 若安全区取顶部 64MB,正好覆盖它 |
| **建议安全区** | `0x1C000000`–`0x20000000` | OP-TEE(64 MB) | 需在 DT `reserved-memory` + `TZ_DDR_RAM` **两处一致** |
**检查清单**:
- [ ] `cat /proc/device-tree/reserved-memory/*/reg` 列出所有保留区
- [ ] 安全区与所有保留区、所有 PL 地址无交集
- [ ] `TZ_DDR_RAM` 的值与 DT `reserved-memory` 完全对应
- [ ] `MemTotal` 应减少 ~64 MB(从 509 MB 降到 ~445 MB)
- [ ] 上电后 `board-agent` 的 ring 收发正常(这是最容易回归的功能)
---
## 6. 已知坑(按踩到的概率排序)
### 6.1 平台名是 `plat-zynq7k`(不是 `plat-zynq`),但它能直接编过
```
make PLATFORM=zynq7k CFG_ARM32_core=y O=out/zynq7k # ✅ 实测通过
make PLATFORM=zynq ... # ❌ plat-zynq/sub.mk: No such file
```
`plat-zynq7k/conf.mk` 里已经强制了 `CFG_ARM32_core=y`、`CFG_GIC=y`、`CFG_CDNS_UART=y`、`CFG_TEE_CORE_NB_CORE=2`、`CFG_PL310(_LOCKED)`,还有 A9 的 **NMFI workaround**,并提供 `CFG_BOOT_SECONDARY_REQUEST=y`(CPU1 bring-up 机制)。
**所以"要自己写 `plat_cpu_on`"这条要降级**——机制在平台里。真正的适配点在:
- `PLATFORM_FLAVOR ?= zc702` → 要按 **ACZ7015** 核对 UART 基址、DDR 大小、PL310 配置
- 缺 `plat_get_huk`(Zynq 没有内置 HUK,要自己用 Device DNA 造)
- 缺外设安全属性 / DDR firewall 的初始化(只影响"更严格隔离",不影响跑通)
### 6.2 SMP 与 GIC
A9 双核不用 PSCI;`CFG_ARM_GICV3=n`(Zynq 是 GIC-400/GICv2)。中断路由到安全世界要改 `TZ_ICD_*`,注意别把 Linux 要用的中断抢走。
### 6.3 没有 RPMB,`xtest` 会有一批 FAIL
本板**无 eMMC、无 RPMB**(`.234` 实测 `NO_RPMB`)。OP-TEE 的安全存储会落到 REE 文件系统(`/data/tee`)。后果:
- `xtest` 里 RPMB 相关用例会 fail/skip → **验收标准写成"除 RPMB 外无 FAIL"**
- **防回滚能力弱**(SECURE_STORAGE 的 rollback 保护依赖 RPMB)
### 6.4 PL 加载与 OP-TEE 的冲突
`.233` 目前由 `/etc/init.d/gateway` 在 **Linux 起来后**用 `fpga_manager` 加载明文 `xdma_bram.bin`。上了 OP-TEE 之后:
- 这条路径依然可用(OP-TEE 不管 PL 配置),但**它仍然是"root 可换 PL 逻辑"的洞**
- 若同时要做 PL 安全岛,应改成 FSBL 阶段加载 + 加密(属另一条工作线)
### 6.5 内存只有 512 MB
切 64 MB 给安全世界后剩 ~448 MB。`devtmpfs` 已占 240 MB,`/var/volatile` 是 tmpfs → 加 OP-TEE 后要留意 OOM。建议 `CFG_WITH_PAGER=n`(少占),`CFG_TEE_RAM_VA_SIZE` 用默认。
### 6.6 工具链版本
内核是 2023 年的 4.14;`optee_os` 新版对 GCC 版本有要求。建议用 `arm-linux-gnueabihf-gcc` 7.x–9.x 区间,别用太新的。
---
## 7. Rust 交付骨架(本目录 `optee-rust/`)
```
optee-rust/
├── HANDOFF.md ← 本文
├── build.sh ← 一键构建(TA+CA),含签名;已过 bash -n 语法检查
├── ta/
│ ├── Cargo.toml
│ └── src/main.rs ← no_std Rust TA 骨架(CMD_INC_VALUE / CMD_ECHO)
└── ca/
├── Cargo.toml
└── src/main.rs ← std Rust CA 骨架
```
⚠️ 骨架代码是**按 Teaclave SDK 的 API 写的模板**,实际宏名/路径随 SDK 版本可能变化,**以 `<sdk>/examples/hello_world-rs` 为准对照修改**。
⚠️ `build.sh` 第 2 步(链接成 `.ta`)的命令是**模板**:`link.mk` 的实际参数请照 SDK examples 的 `ta/Makefile` 改。这一步是最可能需要手工调的地方。
---
## 8. 需要拍板/确认的事
| # | 问题 | 影响 |
|---|---|---|
| 1 | 用哪块板?(`.233` 生产 / `.234` 坏卡 / 第三台) | 决定要不要停机窗口 |
| 2 | **内核源码和 DTS 拿不拿得到?** | **Gate 0,拿不到就做不了** |
| 3 | 谁来啃 `plat-zynq` 的平台适配?(这是 C 语言的活,不是 Rust) | 工作量主要在这 |
| 4 | 目标只是"跑通 OP-TEE",还是最终要把 DEK 下沉进 TA? | 决定要不要做 P4 |
| 5 | 能否接受 `xtest` 里 RPMB 用例失败? | 验收标准 |
---
## 9. 一句话交接
**Rust 那部分不难**——Teaclave SDK 已支持 32 位 TA,QEMU 上一两天能跑通。
**难的是 Zynq-7000 的平台适配**:`plat-zynq` 是 legacy,SMP/HUK/中断路由都要自己补;而且它的前提是**先拿到内核源码和 DTS**。
**建议顺序**:P0(QEMU + Rust,零风险)→ 确认 Gate 0 → 换一块干净的板(别动生产 `.233`)→ P1 起 TEE → P2 接内核 → P3 上 Rust → P4 才谈业务。