From 39201143c5d1c74ba80e1a9f1d3a33d2a58fe9a1 Mon Sep 17 00:00:00 2001 From: admin Date: Thu, 12 Nov 2026 20:17:26 +0800 Subject: [PATCH] =?UTF-8?q?feat(armv7):=20=E4=BA=A4=E5=8F=89=E7=BC=96?= =?UTF-8?q?=E8=AF=91=2032=20=E4=BD=8D=20ARM=20=E5=B9=B3=E5=8F=B0=E5=8C=85?= =?UTF-8?q?=EF=BC=8C=E8=87=AA=E5=BB=BA=20pglite=20=E5=BC=95=E6=93=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 上游 pglite-rs 只有 aarch64/x86_64 四架构引擎,没有 armv7 ⇒ 自建。 上游认 PGLITE_LIB_DIR,用它喂自建的 libpglite.a + pglite-runtime.tar。 构建链(amd64 容器 + arm-linux-gnueabihf 交叉工具链 + zig cc 链接): - build-pglite-engine.sh / build-libpglite-cross.sh / relocate-runtime-cross.sh - zig-cc-armv7.sh(改写 -Wl,/abs/path + 注入 armhf sysroot) - build-armv7.sh(一键:引擎 → Rust 交叉编译 → arm/v7 容器冒烟) 三个坑(详见 docs/armv7-build.md): - strip="symbols" 让 rustc 重建 native 静态库时破坏全局符号 ⇒ 交叉构建强制 strip=none - PG configure 在 cross_compiling 时假定不支持 --export-dynamic ⇒ 强制 cache 变量 - 上游把 runtime 可移植化拆成独立脚本(RPATH + libpq + libz)⇒ 新增交叉版 release.sh 支持 --target :跳过宿主消费方编译自检改验架构, rlib 走隔离目录,解包目录名带 target 后缀(多平台互不覆盖)。 实测(linux/arm/v7 容器):initdb、单用户模式、pglite 读写探针、 sspf-admin 启动 + 14255 条示例数据、登录接口、CurrentUser 菜单树全部通过; 从发布包 tar 解出的二进制端到端复测同样通过。 --- CHANGELOG.md | 10 ++ docs/armv7-build.md | 278 ++++++++++++++++++++++++++++++ scripts/build-armv7.sh | 131 ++++++++++++++ scripts/build-libpglite-cross.sh | 148 ++++++++++++++++ scripts/build-pglite-engine.sh | 175 +++++++++++++++++++ scripts/release.sh | 105 +++++++++-- scripts/relocate-runtime-cross.sh | 85 +++++++++ scripts/zig-cc-armv7.sh | 99 +++++++++++ 8 files changed, 1014 insertions(+), 17 deletions(-) create mode 100644 docs/armv7-build.md create mode 100755 scripts/build-armv7.sh create mode 100755 scripts/build-libpglite-cross.sh create mode 100755 scripts/build-pglite-engine.sh create mode 100755 scripts/relocate-runtime-cross.sh create mode 100755 scripts/zig-cc-armv7.sh diff --git a/CHANGELOG.md b/CHANGELOG.md index b5dff79..3e119cd 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,15 @@ # CHANGELOG +## 2026-11-12(v0.5.0 内增量,不升版本号)—— armv7(32 位 ARM)交叉编译与发布 + +- 上游 `Midwess/pglite-rs` 只发布 aarch64/x86_64 四架构引擎,**没有 armv7** ⇒ 自建引擎:`pglite-rs-sys 0.2.7` 的 build.rs 认 `PGLITE_LIB_DIR`,用它喂自建引擎(上游 `engine-06c837c6a303-p3`,postgres-pglite commit `06c837c6a303…`)。 +- 新增 `scripts/build-pglite-engine.sh` / `build-libpglite-cross.sh` / `relocate-runtime-cross.sh` / `zig-cc-armv7.sh` / `build-armv7.sh`:amd64 容器 + `gcc-arm-linux-gnueabihf` 交叉工具链编 PostgreSQL 17.5,Rust 侧用 `zig cc` 链接(zig 自带 lld + armv7 libc)。**不走 qemu 原生编译**(apt 装依赖 9 分钟未完,PG 全量 make 要数小时)。 +- 踩平三个坑(都记在 `docs/armv7-build.md`):① 仓库 `strip="symbols"` 会让 rustc 重建 native 静态库、破坏 `ProcessStartupPacket`/`pgl_shmem_reset` 全局符号 ⇒ 交叉构建强制 `CARGO_PROFILE_RELEASE_STRIP=none`;② PG configure 在 `cross_compiling=yes` 时直接假定不支持 `--export-dynamic`(`postgres` 动态导出 0 符号 vs 官方 10802)⇒ 强制 cache 变量 + make 直传 `LDFLAGS_EX_BE`;③ 上游把 runtime 可移植化拆成独立的 `relocate-runtime.sh`(RPATH + libpq + libz)⇒ 新增交叉版补上。 +- `scripts/release.sh` 支持 `--target `:交叉出包跳过宿主消费方编译自检、改为二进制架构校验,rlib 走隔离目录 `target/rlibbuild-`,**解包目录名带 target 后缀**(同版本多平台互不覆盖)。 +- 实测(`linux/arm/v7` 容器):initdb 成功、单用户模式退出码 0、pglite 探针读写全通、sspf-admin 启动并导入 14255 条示例数据(1709 个数据文件)、`/api/oauth/Login` 返回 token、`/api/oauth/CurrentUser` 返回 99 菜单节点 + 6 路由。**从发布包 tar 解出的二进制端到端复测同样通过**。 +- 发布:Gitea Release `v0.5.0` 追加 `sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz`(平台包,自包含——runtime 已 `include_bytes!` 内嵌进二进制)与 `pglite-armv7-unknown-linux-gnueabihf.tar.gz` + `.sha256`(引擎,给二次开发者)。 +- 影响:不带 `--target` 时 `release.sh` 行为逐字不变;宿主机 x86_64 构建不受影响。 + ## v0.5.0(2026-11-04,业务库操作收进同一个 `Db`) - 新增 `Db::query_json_raw(sql, params)`:持 `Db.lock`、`row_to_json` 包裹、**不做 JSON 键归一**(`f_id` 原样返回),给自带归一语义的厚业务仓用。 diff --git a/docs/armv7-build.md b/docs/armv7-build.md new file mode 100644 index 0000000..1a35f63 --- /dev/null +++ b/docs/armv7-build.md @@ -0,0 +1,278 @@ +# armv7(32 位 ARM hard-float)交叉编译与发布 + +> 面向 Linux 32 位 ARM(`armv7-unknown-linux-gnueabihf`)的 sspf-admin 构建链。 +> 2026-11-12 建立。 + +--- + +## 1. 为什么需要自建引擎 + +平台后端把 PostgreSQL 引擎(`libpglite.a`)**静态链进二进制**。上游 +`Midwess/pglite-rs` 的预编译引擎只发布 4 个架构: + +| asset | 架构 | +|---|---| +| `pglite-aarch64-apple-darwin.tar.gz` | aarch64 macOS | +| `pglite-aarch64-unknown-linux-gnu.tar.gz` | aarch64 Linux | +| `pglite-x86_64-apple-darwin.tar.gz` | x86_64 macOS | +| `pglite-x86_64-unknown-linux-gnu.tar.gz` | x86_64 Linux | + +**没有 armv7** ⇒ `pglite-rs-sys` 的 build.rs 下载 `pglite-armv7-unknown-linux-gnueabihf.tar.gz` 会 404。 + +出路是官方给的 `PGLITE_LIB_DIR` 环境变量:build.rs 检测到它就不下载,直接用本机目录里的 +`libpglite.a` + `pglite-runtime.tar` + `pglite_native.h`。所以要自己交叉编译出这引擎。 + +**引擎版本必须与 crate 匹配**:`pglite-rs-sys 0.2.7` 的 build.rs 里写死了 +`ENGINE_TAG = "engine-06c837c6a303-p3"`,对应 +`electric-sql/postgres-pglite` 的 commit `06c837c6a30335169df786c610ed224bc51d81c0` +(分支 `REL_17_5-pglite`,PostgreSQL 17.5)。 + +--- + +## 2. 路线选择(都实测过) + +| 路线 | 结论 | +|---|---| +| A. `docker run --platform linux/arm/v7` 里原生编译 | ❌ qemu 模拟,apt 装依赖就跑了 9 分钟没完;PostgreSQL 全量 make 要数小时 | +| B. amd64 容器 + `gcc-arm-linux-gnueabihf` 交叉工具链 | ✅ **采用**。容器是原生 x86_64,编译速度正常 | + +Rust 侧用 **zig cc** 当链接器(zig 0.14.1 自带 lld 与 armv7 libc,免装交叉 libc)。 + +--- + +## 3. 三个必须记住的坑 + +这三个坑每一个都花了整轮编译周期才定位,且报错都发生在**离原因很远的地方**。 + +### 坑 1:`strip = "symbols"` 会破坏静态库的全局符号 + +**现象** +``` +ld.lld: error: undefined symbol: ProcessStartupPacket +ld.lld: error: undefined symbol: pgl_shmem_reset +ld.lld: error: undefined symbol: pgl_fd_reset +ld.lld: error: undefined symbol: pgl_xlog_fd_reset +``` + +**根因**:仓库根 `Cargo.toml` 的 `[profile.release] strip = "symbols"` 会让 rustc 在链接前 +**重建** native 静态库(落到 `target//release/deps/rustcXXXX/libpglite.a`)。 +重建时全局符号被破坏: + +| 符号 | 原件 | rustc 重建后 | +|---|---|---| +| `ProcessStartupPacket`(`backend_startup.o`) | `T` 全局 | `t` 局部 | +| `pgl_shmem_reset`(`shmem.o`) | `T` 全局 | **符号消失** | + +量化证据:重建后的归档比原件**小 3228 字节** —— 恰好 4 个 ARM 符号 × 24 字节符号表条目。 + +**规避**:交叉构建时覆盖 `CARGO_PROFILE_RELEASE_STRIP=none`。 +(宿主机 x86_64 构建不受影响,仓库默认 profile 不动。) + +> 排查提示:报错里出现 `deps/rustcXXXX/libpglite.a` 而不是你 `PGLITE_LIB_DIR` 指向的那个, +> 就是这个坑。对比办法: +> `nm -g --defined-only <原件>` vs `nm -g --defined-only `。 + +### 坑 2:交叉编译时 PostgreSQL configure 跳过 `--export-dynamic` 探测 + +**现象**(在 arm/v7 容器里起服务时) +``` +FATAL: could not load library ".../lib/postgresql/dict_snowball.so": + undefined symbol: CurrentMemoryContext +``` + +**根因**:PostgreSQL 的 `configure` 里有这么一段: + +```sh +if test "$cross_compiling" = yes; then + pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic="assuming no" +``` + +**交叉编译时它直接假定不支持**,于是 `LDFLAGS_EX_BE` 里没有 `-Wl,--export-dynamic` +⇒ `postgres` 不导出 backend 符号 ⇒ 扩展模块 `dlopen` 时解析不到。 + +量化证据: + +| | 动态导出符号数 | 含 `CurrentMemoryContext` | +|---|---|---| +| 官方 x86_64 `postgres` | **10802** | 是 | +| 自建 armv7 `postgres` | **0** | 否 | + +官方是本机编译,探测能真跑一次所以通过。 + +**规避**:configure 时强制 cache 变量 +```sh +ac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic=yes +``` +(已实测 `arm-linux-gnueabihf-gcc` 支持 `-Wl,--export-dynamic`,且确实导出符号。) + +### 坑 3:runtime tar 缺 libpq + 缺 RPATH + +**现象** +``` +[启动失败] 打开数据库失败: boot failed: initdb failed: +/tmp/pglite-rs-runtime-*/bin/initdb: error while loading shared libraries: +libpq.so.5: cannot open shared object file: No such file or directory +``` + +**根因**:上游把引擎构建和 runtime 可移植化**拆成两个脚本**: + +- `native/build-libpglite.sh` → 产出 `libpglite.a` + `pglite-runtime.tar` +- `native/relocate-runtime.sh` → **给 runtime 打 RPATH + 打包 libpq** + +第一版交叉脚本只做了前者。`relocate-runtime.sh` 在 Linux 下做三件事: + +1. `patchelf --set-rpath '$ORIGIN/../lib:$ORIGIN/..'` → `initdb` / `postgres` / `libpqwalreceiver.so` +2. 把 `lib/libpq.so*` 打进 runtime tar +3. 把 libpq 显式列进 tar 的文件参数 + +另外 armv7 目标机未必有 `libz.so.1`(官方 x86_64 包靠宿主系统提供),所以 `libz` 也要打包进去。 + +**规避**:`scripts/relocate-runtime-cross.sh`(本仓库新增,交叉版)。 + +> 排查提示:对比官方 runtime tar 的内容差异最快 —— +> `tar xf pglite-runtime.tar` 后看 `lib/` 下有没有 `libpq.so.5`, +> 再 `strings -a bin/initdb | grep '\$ORIGIN'` 看有没有 RPATH。 + +--- + +## 4. 脚本清单 + +| 脚本 | 作用 | +|---|---| +| `scripts/build-pglite-engine.sh` | 编排:下载源码 → 拉上游 native 脚本与补丁 → 容器内交叉编译 → 导出产物 | +| `scripts/build-libpglite-cross.sh` | 上游 `build-libpglite.sh` 的交叉变体(打补丁用 `patch -p1`,强制 export-dynamic) | +| `scripts/relocate-runtime-cross.sh` | 上游 `relocate-runtime.sh` 的交叉变体(RPATH + libpq + libz) | +| `scripts/zig-cc-armv7.sh` | cargo 交叉链接器包装器(改写 `-Wl,/abs/path` → 裸路径;注入 armhf sysroot) | +| `scripts/build-armv7.sh` | 一键入口:引擎 → Rust 交叉编译 → arm/v7 容器冒烟 | + +### 工具链镜像 + +```dockerfile +FROM debian:bookworm-slim +ENV DEBIAN_FRONTEND=noninteractive +RUN dpkg --add-architecture armhf \ + && sed -i 's|^deb |deb [arch=amd64,armhf] |' /etc/apt/sources.list.d/debian.sources \ + && apt-get update -qq \ + && apt-get install -y -qq --no-install-recommends clang llvm make bison flex \ + perl pkg-config ca-certificates file patchelf patch \ + gcc-arm-linux-gnueabihf libc6-dev-armhf-cross zlib1g-dev:armhf \ + && rm -rf /var/lib/apt/lists/* +``` + +镜像名 `pglite-armhf-toolchain:latest`。 + +> ⚠️ multiarch 是必须的:只有 `dpkg --add-architecture armhf` + sources 里加 +> `[arch=amd64,armhf]`,才能装 `zlib1g-dev:armhf`(否则 `Unable to locate package`)。 + +--- + +## 5. 一键构建 + +```bash +bash scripts/build-armv7.sh # 全流程 +bash scripts/build-armv7.sh --engine-only # 只建引擎 +bash scripts/build-armv7.sh --skip-engine # 只编二进制(复用已有引擎) +``` + +产物: + +``` +target/armv7-unknown-linux-gnueabihf/release/sspf-admin # ARM EABI5 可执行 +dist/pglite-engine-armv7/ # 引擎三件套 +├── libpglite.a +├── pglite-runtime.tar +├── pglite_native.h +└── sysroot/ # armhf 交叉 libc + zlib(供 zig cc 链接) +``` + +### sysroot 的由来 + +zig 自带 armv7 libc 但**不带 zlib**(`pglite-rs-sys` 会链 `-lz`), +所以从交叉工具链镜像里抽出 armhf 的 `libz.so.1` 与 libc 系列放本地: + +``` +sysroot/lib/ libz.so→libz.so.1, libc.so.6, libm.so.6, libdl.so.2, + libpthread.so.0, librt.so.1, libgcc_s.so.1, ld-linux-armhf.so.3 +sysroot/include/ zlib.h, zconf.h, arm-linux-gnueabihf/ +``` + +--- + +## 6. 验证 + +```bash +# 架构 +file target/armv7-unknown-linux-gnueabihf/release/sspf-admin +# → ELF 32-bit LSB pie executable, ARM, EABI5 version 1 (SYSV), dynamically linked, +# interpreter /lib/ld-linux-armhf.so.3 + +# 真跑(armhf 基础镜像,别用 amd64 的 debian:bookworm-slim) +docker run --rm --platform linux/arm/v7 \ + -v "$PWD/target/armv7-unknown-linux-gnueabihf/release/sspf-admin:/sspf-admin:ro" \ + -v /tmp/pgdata:/data arm32v7/debian:bookworm-slim \ + sh -c 'PGLITE_DIR=/data/pg PORT=30099 /sspf-admin' +``` + +### 2026-11-12 实测结果(全部在 `linux/arm/v7` 容器内) + +| 项 | 结果 | +|---|---| +| `initdb` | ✅ Success | +| `postgres` 单用户模式 | ✅ 退出码 0,输出两个 `backend>`(与官方 x86_64 一致) | +| pglite 探针(`open`→`SELECT 1`→`CREATE`→`INSERT`→`SELECT`) | ✅ 全通过,读回 `id=1 name=armv7` | +| sspf-admin 首次启动 | ✅ `sspf 0.5.0 已启动:http://127.0.0.1:30099` | +| 示例数据导入 | ✅ 14255 条语句,数据目录 1709 个文件 | +| `POST /api/oauth/Login`(admin/123456) | ✅ `{"code":200,...,"token":"lite-…"}` | +| `GET /api/oauth/CurrentUser`(带 token) | ✅ 85 KB 响应:99 个菜单节点 / 6 条路由 / `userInfo` 全字段 | +| 复用已有数据目录再启动 | ✅ 正常(WAL 恢复 `automatic recovery in progress` 后起服务) | + +> 🔴 **别把「被 kill -9 后的残留 `postmaster.pid`」当成 armv7 的 bug**: +> 下次启动会报 `FATAL: lock file "postmaster.pid" already exists` ⇒ +> `boot failed: backend main returned 1, expected 99`。这是强杀进程留下的状态,x86_64 同样如此。 +> 排查时先 `rm -f /postmaster.pid`。 + +### 端到端(从发布包 tar 解出来的二进制) + +```bash +tar -xzf dist/sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz -C /tmp/v +docker run --rm --platform linux/arm/v7 \ + -v /tmp/v:/app -v /tmp/d:/data arm32v7/debian:bookworm-slim \ + sh -c 'PGLITE_DIR=/data/pg PORT=30099 /app/sspf-v0.5.0-armv7-unknown-linux-gnueabihf/bin/sspf-admin' +``` + +实测:启动成功 + 示例数据导入完成 + 登录接口返回 token。 + +> 🔴 **runtime 是内嵌进二进制的**:`pglite-rs` 用 `include_bytes!(OUT_DIR/pglite-runtime.tar)` +> 把 runtime tar 烤进二进制 ⇒ **目标机不需要额外的引擎文件**,发布包自包含。 +> (`dist/pglite-engine-armv7/` 只是给「想自己链接引擎的二次开发者」用的独立 asset。) + +--- + +## 7. 发布 + +`scripts/release.sh` 支持 `--target `: + +```bash +bash scripts/release.sh --target armv7-unknown-linux-gnueabihf +``` + +与宿主机构建的区别: + +- 二进制取自 `target//release/sspf-admin` +- **跳过**宿主机消费方编译自检(消费方是 x86_64 的,链不上 armv7 库),改为**架构校验** + (`file` 结果必须含 `ARM`/`EABI`) +- rlib 用独立隔离目录 `target/rlibbuild-`,避免和宿主机的 rlib 互相覆盖 +- **解包目录名带 target 后缀**:`dist/sspf-vX.Y.Z-/` ⇒ 同版本多平台**互不覆盖** +- 包名 `sspf-v${VERSION}-${triple}.tar.gz` +- README 头部标注目标平台 + +### 发布物 + +| asset | 内容 | +|---|---| +| `sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz` | 平台包(预编译二进制 + rlib 闭包 + crate 源码) | +| `pglite-armv7-unknown-linux-gnueabihf.tar.gz` | armv7 引擎(`libpglite.a` + `pglite-runtime.tar` + `pglite_native.h`),命名与上游一致 | +| `*.sha256` | 校验和(`sha256sum -c` 可直接用) | + +> 平台包是**自包含**的(runtime 已内嵌),引擎包只给需要自己链接引擎的二次开发者。 + diff --git a/scripts/build-armv7.sh b/scripts/build-armv7.sh new file mode 100755 index 0000000..0b46263 --- /dev/null +++ b/scripts/build-armv7.sh @@ -0,0 +1,131 @@ +#!/usr/bin/env bash +# +# build-armv7.sh —— 一键交叉编译 armv7 版 sspf-admin(Linux 32 位 ARM, hard-float) +# +# 🔴 为什么需要这个脚本(2026-11-12): +# ssw-platform 的后端把 PostgreSQL 引擎(`libpglite.a`)**静态链进二进制**。 +# 上游 `pglite-rs` 只发布 x86_64 / aarch64 的 darwin 与 linux-gnu 预编译引擎, +# **没有 armv7** ⇒ 要出 armv7 包必须自己交叉编译引擎 + 交叉链接 Rust 侧。 +# +# 两条路的取舍(都实测过): +# A. arm/v7 容器内原生编译(qemu 模拟)—— ❌ apt 装依赖就跑了 9 分钟, +# PostgreSQL 全量 make 在 qemu 下要数小时,不可行。 +# B. amd64 容器 + arm-linux-gnueabihf 交叉工具链 —— ✅ 本脚本。 +# 容器是原生 x86_64,编译速度正常;Rust 侧用 zig cc 当 linker +# (zig 0.14.1 自带 lld 与 armv7 libc,免装交叉 libc)。 +# +# 产物: +# target/armv7-unknown-linux-gnueabihf/release/sspf-admin (ARM EABI5 可执行) +# dist/pglite-engine-armv7/ (引擎:libpglite.a + runtime + 头文件) +# +# 用法: +# bash scripts/build-armv7.sh # 只编译二进制 +# bash scripts/build-armv7.sh --engine-only # 只编译引擎 +# bash scripts/build-armv7.sh --skip-engine # 复用已有引擎,只重编二进制 +# +# 环境变量: +# PGLITE_ENGINE_TAG 上游引擎 tag(默认 engine-06c837c6a303-p3) +# PG_SRC_COMMIT postgres-pglite 源码 commit(默认该 tag 对应的 06c837c6a303…) +# ENGINE_DIR 引擎产物目录(默认 dist/pglite-engine-armv7) +# SKIP_DOWNLOAD=1 复用已下载的源码 tarball +# +set -euo pipefail + +cd "$(dirname "$0")/.." +REPO_ROOT="$(pwd)" + +ENGINE_TAG="${PGLITE_ENGINE_TAG:-engine-06c837c6a303-p3}" +PG_SRC_COMMIT="${PG_SRC_COMMIT:-06c837c6a30335169df786c610ed224bc51d81c0}" +ENGINE_DIR="${ENGINE_DIR:-${REPO_ROOT}/dist/pglite-engine-armv7}" +TARGET_TRIPLE="armv7-unknown-linux-gnueabihf" +WORK="${WORK:-/tmp/sspf-armv7-build}" + +ENGINE_ONLY=0 +SKIP_ENGINE=0 +for a in "$@"; do + case "$a" in + --engine-only) ENGINE_ONLY=1 ;; + --skip-engine) SKIP_ENGINE=1 ;; + -h|--help) sed -n '1,40p' "$0"; exit 0 ;; + *) echo "未知参数: $a" >&2; exit 2 ;; + esac +done + +# ── 1. 引擎 ────────────────────────────────────────────────── +if [[ "${SKIP_ENGINE}" == "0" ]]; then + echo "==> [1/3] 构建 armv7 PGlite 引擎(上游 ${ENGINE_TAG})" + bash "${REPO_ROOT}/scripts/build-pglite-engine.sh" \ + --engine-tag "${ENGINE_TAG}" \ + --pg-commit "${PG_SRC_COMMIT}" \ + --out "${ENGINE_DIR}" \ + --work "${WORK}" +else + echo "==> [1/3] 跳过引擎构建(复用 ${ENGINE_DIR})" +fi + +if [[ "${ENGINE_ONLY}" == "1" ]]; then + echo "==> 仅引擎模式完成: ${ENGINE_DIR}" + exit 0 +fi + +# ── 2. Rust 侧交叉编译 ─────────────────────────────────────── +echo "==> [2/3] 交叉编译 sspf-admin → ${TARGET_TRIPLE}" +# 🔴 链接器用 zig cc:zig 自带 lld + armv7 glibc 头/库,免去装 armhf 交叉 libc。 +# CARGO_TARGET__LINKER 是 cargo 的官方约定(不需要改仓库 .cargo/config)。 +# 包装脚本在 scripts/zig-cc-armv7.sh(改写 -Wl,/path + 注入 sysroot)。 +# 🔴 PGLITE_LIB_DIR 让 pglite-rs-sys 的 build.rs 用我们自建的引擎, +# 而不是去 GitHub 下不存在的 armv7 预编译包。 +export PGLITE_LIB_DIR="${ENGINE_DIR}" + +# 🔴🔴 **必须关掉 strip**(2026-11-12 定位,踩了两轮才找到): +# 仓库根 Cargo.toml 的 `[profile.release] strip = "symbols"` 会让 rustc 在链接前 +# **重建** native 静态库(放到 `deps/rustcXXXX/libpglite.a`),重建时把 +# `ProcessStartupPacket` 从全局 `T` 降级成局部 `t`、`pgl_shmem_reset` 直接消失 +# ⇒ 链接期报 undefined symbol: ProcessStartupPacket / pgl_shmem_reset / ... +# (实测:重建后的归档比原件小 3228 字节,恰好 4 个 ARM 符号 × 24 字节) +# ⇒ 规避办法:本次交叉构建覆盖 strip=none。 +# ⚠️ 只影响交叉构建,仓库默认 profile 不动(宿主机 x86_64 构建不受影响)。 +export CARGO_PROFILE_RELEASE_STRIP="${CARGO_PROFILE_RELEASE_STRIP:-none}" + +# 🔴 zig cc 不认 `-Wl,/abs/path` 合并写法(报 unsupported linker arg), +# 用仓库里的包装脚本改写成裸路径;它还会注入 armhf sysroot(提供 -lz)。 +export ZIG_SYSROOT="${ZIG_SYSROOT:-${ENGINE_DIR}/sysroot}" +export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER="${REPO_ROOT}/scripts/zig-cc-armv7.sh" + +echo " 引擎目录(PGLITE_LIB_DIR): ${ENGINE_DIR}" +echo " 链接器(zig cc): ${CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER}" +echo " sysroot: ${ZIG_SYSROOT}" +echo " strip: ${CARGO_PROFILE_RELEASE_STRIP}(交叉构建必须 none,见脚本注释)" +cargo build --release --target "${TARGET_TRIPLE}" -p sspf-admin + +BIN="target/${TARGET_TRIPLE}/release/sspf-admin" +[[ -x "${BIN}" ]] || { echo "!! 找不到 ${BIN}" >&2; exit 1; } +file "${BIN}" + +# ── 3. 冒烟:在 arm/v7 容器里真跑一下 ───────────────────────── +echo "==> [3/3] arm/v7 容器冒烟(起服务 → 探活 → 停)" +SMOKE_DIR="${WORK}/smoke" +DATA_DIR="${WORK}/pgdata" +mkdir -p "${SMOKE_DIR}" "${DATA_DIR}" +cp "${BIN}" "${SMOKE_DIR}/sspf-admin" +# 🔴 用 arm32v7/debian:bookworm-slim(armhf 基础镜像)而不是 debian:bookworm-slim: +# 后者是 amd64 镜像,--platform linux/arm/v7 拉下来还得 qemu 转译,白白慢。 +docker run --rm --platform linux/arm/v7 \ + -v "${SMOKE_DIR}:/app:ro" -v "${DATA_DIR}:/data" \ + arm32v7/debian:bookworm-slim sh -c ' + cd /tmp && PGLITE_DIR=/data/pg PORT=30077 /app/sspf-admin > /tmp/srv.log 2>&1 & + PID=$! + for i in $(seq 1 90); do + if wget -q -O /dev/null http://127.0.0.1:30077/api/oauth/CurrentUser 2>/dev/null; then + echo "HTTP-OK"; break + fi + kill -0 $PID 2>/dev/null || break + sleep 2 + done + head -30 /tmp/srv.log + kill $PID 2>/dev/null + ' 2>&1 | tail -30 + +echo "" +echo "✅ armv7 产物: ${BIN}" +echo " 引擎: ${ENGINE_DIR}" diff --git a/scripts/build-libpglite-cross.sh b/scripts/build-libpglite-cross.sh new file mode 100755 index 0000000..b3b15e4 --- /dev/null +++ b/scripts/build-libpglite-cross.sh @@ -0,0 +1,148 @@ +#!/bin/bash +# build-libpglite-cross.sh —— 上游 build-libpglite.sh 的**交叉编译**变体 +# +# 🔴 为什么需要它:上游脚本假定「configure && make 在本机跑」,产出本机架构的 +# libpglite.a。本项目要 armv7 产物 ⇒ 必须在 amd64 宿主上交叉编译出 ARM 的 +# 静态库(qemu 原生编译太慢,实测 apt 装依赖就跑了 9 分钟还没完)。 +# +# 与上游脚本的差异(只有这些,其余流程逐字照抄): +# 1. CC 换成交叉 gcc(arm-linux-gnueabihf-gcc),并加 --host=arm-linux-gnueabihf +# 2. configure 传 CC/CFLAGS/AR/RANLIB 等交叉变量 +# 3. 生成的 libpglite.a 用交叉 ar(宿主 ar 也能做,但用目标 ar 更稳) +# 4. 不跑 relocate-runtime.sh(那是给本机跑的 patchelf/initdb 校验) +# +# 产物:native/out/libpglite.a(ARM EABI5)+ native/out/pglite-runtime.tar +set -euo pipefail + +ROOT="$(cd "$(dirname "$0")/.." && pwd)" +SRC="${PGLITE_SRC:-${ROOT}/postgres-pglite}" +# 🔴 OUT 必须落在挂载卷里(容器内 /work),否则产物留在容器可写层,宿主取不到。 +OUT="${PGLITE_OUT:-${ROOT}/native/out}" + +TARGET="${TARGET:-arm-linux-gnueabihf}" +CC="${CC:-${TARGET}-gcc}" +AR="${AR:-${TARGET}-ar}" +RANLIB="${RANLIB:-${TARGET}-ranlib}" +HOST="${HOST:-${TARGET}}" + +BUILD="$OUT/build" +PREFIX="$OUT/install" + +mkdir -p "$BUILD" "$PREFIX" "$OUT" +# 🔴 交叉编译时 configure 需要在 build 目录里写 Makefile.global 等;OUT 必须在挂载卷上 +# (容器里 /work 是 bind mount),否则宿主拿不到 libpglite.a。 +echo "==> OUT=${OUT}" +echo "==> SRC=${SRC}" + +# ── 打补丁(上游 0001~0005,Linux 相关)────────────────────── +# 🔴 源码可能是 tarball 解压来的(**没有 .git**)⇒ `git apply` 用不了, +# 必须走 `patch -p1`。而且补丁**打不上必须报错**:静默跳过会得到一个 +# 缺符号的 libpglite.a(ProcessStartupPacket / pgl_shmem_reset 未导出), +# 错误会推迟到最终链接才爆,浪费整个交叉编译周期。 +for p in "$ROOT"/native/patches/*.patch; do + b="$(basename "$p")" + # Windows 专用补丁在 Linux 上不适用(上游就是按平台挑的) + case "$b" in *win32*) continue ;; esac + if patch -d "$SRC" -p1 --forward --dry-run < "$p" >/dev/null 2>&1; then + patch -d "$SRC" -p1 --forward < "$p" >/dev/null + echo "patched: $b" + elif patch -d "$SRC" -p1 --forward --dry-run -R < "$p" >/dev/null 2>&1; then + echo "already applied: $b" + else + echo "FATAL: patch does not apply: $b" >&2 + echo " (补丁必须全部打上,否则引擎缺导出符号,链接期才爆)" >&2 + exit 1 + fi +done + +# ── pglitec + native 胶水层 ─────────────────────────────────── +PGLITEC_COMPAT="-include stdlib.h -include stdbool.h" +"$CC" -O2 -fPIC $PGLITEC_COMPAT -Dexit=pgl_native_exit -c "$SRC/pglite/src/pglitec/pglitec.c" -o "$OUT/pglitec.o" +"$CC" -O2 -fPIC -I"$ROOT/native" -c "$ROOT/native/pglite_native.c" -o "$OUT/pglite_native.o" +"$CC" -O2 -fPIC -I"$ROOT/native" -c "$ROOT/native/pglite_reset.c" -o "$OUT/pglite_reset.o" +"$CC" -O2 -fPIC -I"$ROOT/native" -c "$ROOT/native/pglite_static_ext.c" -o "$OUT/pglite_static_ext.o" + +# ── configure(交叉)───────────────────────────────────────── +# 🔴🔴 **必须强制 export-dynamic**(2026-11-12 定位): +# PostgreSQL 的 configure 在**交叉编译时直接跳过** `--export-dynamic` 探测: +# if test "$cross_compiling" = yes; then +# pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic="assuming no" +# ⇒ `LDFLAGS_EX_BE` 里就没有 `-Wl,--export-dynamic` +# ⇒ `postgres` 不导出 backend 符号(实测:官方 10802 个 vs 自建 0 个) +# ⇒ 扩展模块 dlopen 时解析不到 CurrentMemoryContext 等符号: +# FATAL: could not load library ".../dict_snowball.so": +# undefined symbol: CurrentMemoryContext +# +# 本机编译(官方 x86_64 包)时探测能跑通,所以官方没这问题。 +# 交叉编译必须强制打开(已实测 arm-linux-gnueabihf-gcc 支持该标志且确实导出符号)。 +# +# ⚠️ cache 变量名带 `pg` 前缀(configure 里是 pgac_cv_prog_cc_...), +# 写成 ac_cv_... 会被忽略 —— 实测传了 ac_cv_ 之后 LDFLAGS_EX_BE 仍是空的。 +# 双保险:既传 cache 变量,也直接给 make 传 LDFLAGS_EX_BE(后者一定生效)。 +EXPORT_DYNAMIC_CACHE="${EXPORT_DYNAMIC_CACHE:-pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic=yes}" +export LDFLAGS_EX_BE="${LDFLAGS_EX_BE:--Wl,--export-dynamic}" + +if [[ ! -f "$BUILD/config.status" ]]; then + (cd "$BUILD" && "$SRC/configure" \ + --prefix="$PREFIX" \ + --host="$HOST" \ + --build="$(uname -m)-pc-linux-gnu" \ + --without-icu \ + --without-readline \ + --with-zlib \ + CC="$CC" AR="$AR" RANLIB="$RANLIB" \ + CFLAGS="-O2 -fPIC -I/usr/arm-linux-gnueabihf/include" \ + ${EXPORT_DYNAMIC_CACHE}) +fi + +PGLITE_DEFS="-D__PGLITE__ -U_FORTIFY_SOURCE \ +-Dsystem=pgl_system -Dpopen=pgl_popen -Dpclose=pgl_pclose \ +-Dgeteuid=pgl_geteuid -Dgetuid=pgl_getuid -Dgetpwuid=pgl_getpwuid \ +-Dexit=pgl_exit \ +-Dmunmap=pgl_munmap \ +-Dfcntl=pgl_fcntl \ +-Datexit=pgl_atexit \ +-Dsetsockopt=pgl_setsockopt -Dgetsockopt=pgl_getsockopt -Dgetsockname=pgl_getsockname \ +-Drecv=pgl_recv -Dsend=pgl_send -Dconnect=pgl_connect \ +-Dpoll=pgl_poll \ +-Dshmget=pgl_shmget -Dshmat=pgl_shmat -Dshmdt=pgl_shmdt -Dshmctl=pgl_shmctl \ +-Dlongjmp=pgl_longjmp -Dsiglongjmp=pgl_siglongjmp \ +-Dsetitimer=pgl_native_setitimer" + +NPROC="${NPROC:-4}" +LINK_OBJS="$OUT/pglitec.o $OUT/pglite_native.o" + +rm -f "$BUILD/src/backend/main/main.o" "$BUILD/src/backend/main/objfiles.txt" \ + "$BUILD/src/bin/initdb/initdb.o" "$BUILD/src/backend/postgres" +# 🔴 LDFLAGS_EX_BE 必须带上 -Wl,--export-dynamic(见上方注释): +# 没有它,postgres 不导出 backend 符号,扩展模块 dlopen 时报 +# "undefined symbol: CurrentMemoryContext"。官方本机构建靠 configure 探测拿到, +# 交叉编译探测被跳过 ⇒ 必须手动给。 +make -C "$BUILD" -j"$NPROC" CC="$CC" COPT="$PGLITE_DEFS" \ + LDFLAGS_EX="$LINK_OBJS" LDFLAGS_EX_BE="$LDFLAGS_EX_BE" LDFLAGS_SL="" +make -C "$BUILD" install CC="$CC" COPT="$PGLITE_DEFS" \ + LDFLAGS_EX="$LINK_OBJS" LDFLAGS_EX_BE="$LDFLAGS_EX_BE" LDFLAGS_SL="" + +rm -f "$BUILD/src/backend/main/main.o" +make -C "$BUILD/src/backend/main" main.o CC="$CC" COPT="$PGLITE_DEFS -Dmain=pgl_backend_main" + +# ── 收集静态库 ─────────────────────────────────────────────── +BACKEND_OBJS="$(cd "$BUILD" && cat $(find src/backend src/timezone -name objfiles.txt) | tr ' ' '\n' | sed '/^$/d' | sort -u)" + +(cd "$BUILD" && { + echo "create libpglite.a" + for o in $BACKEND_OBJS; do echo "addmod $o"; done + echo "addlib src/common/libpgcommon_srv.a" + echo "addlib src/port/libpgport_srv.a" + echo "addmod ../pglitec.o"; echo "addmod ../pglite_native.o"; echo "addmod ../pglite_reset.o" + echo "addmod ../pglite_static_ext.o" + echo "save" + echo "end" +} | "$AR" -M && mv -f libpglite.a "$OUT/libpglite.a") + +# ── 运行时资产 ─────────────────────────────────────────────── +tar -C "$PREFIX" --exclude lib/postgresql/pgxs -cf "$OUT/pglite-runtime.tar" \ + share/postgresql lib/postgresql "bin/initdb" "bin/postgres" + +ls -lh "$OUT/libpglite.a" "$OUT/pglite-runtime.tar" +file "$OUT/libpglite.a" diff --git a/scripts/build-pglite-engine.sh b/scripts/build-pglite-engine.sh new file mode 100755 index 0000000..b4a7c39 --- /dev/null +++ b/scripts/build-pglite-engine.sh @@ -0,0 +1,175 @@ +#!/usr/bin/env bash +# +# build-pglite-engine.sh —— 交叉编译 PGlite 原生引擎(libpglite.a) +# +# 🔴 背景(2026-11-12): +# `pglite-rs-sys` 的 build.rs 会去 GitHub 下 `pglite-.tar.gz`。 +# 上游只发布 x86_64 / aarch64 的 darwin 与 linux-gnu,**没有 armv7** ⇒ 404。 +# 官方给的出路是 `PGLITE_LIB_DIR`:把自建的引擎目录指过去,build.rs 就不再下载。 +# +# 引擎 = PostgreSQL(electric-sql/postgres-pglite fork)编译成静态库 + 运行时资产。 +# 上游构建脚本 `native/build-libpglite.sh` 假定「本机编译」,这里需要一个**交叉**变体。 +# +# 为什么在 amd64 容器里交叉编(而不是 arm/v7 容器里原生编): +# arm/v7 容器 = qemu 模拟 ⇒ 实测 apt 装依赖就跑了 9 分钟,PostgreSQL 全量 make +# 要数小时,不可行。amd64 容器原生速度,交叉 gcc 产出 ARM 静态库。 +# +# 用法: +# bash scripts/build-pglite-engine.sh # 默认 armv7 +# bash scripts/build-pglite-engine.sh --target aarch64-unknown-linux-gnu +# bash scripts/build-pglite-engine.sh --skip-download # 复用已下源码 +# +# 环境变量: +# ENGINE_TAG 上游引擎 tag(默认 engine-06c837c6a303-p3) +# PG_COMMIT postgres-pglite commit(默认该 tag 对应的 06c837c6a303…) +# +set -euo pipefail + +ENGINE_TAG="${ENGINE_TAG:-engine-06c837c6a303-p3}" +PG_COMMIT="${PG_COMMIT:-06c837c6a30335169df786c610ed224bc51d81c0}" +TARGET="${TARGET:-armv7-unknown-linux-gnueabihf}" +OUT_DIR="" +WORK_DIR="" +SKIP_DOWNLOAD=0 + +while [[ $# -gt 0 ]]; do + case "$1" in + --engine-tag) ENGINE_TAG="$2"; shift 2 ;; + --pg-commit) PG_COMMIT="$2"; shift 2 ;; + --target) TARGET="$2"; shift 2 ;; + --out) OUT_DIR="$2"; shift 2 ;; + --work) WORK_DIR="$2"; shift 2 ;; + --skip-download) SKIP_DOWNLOAD=1; shift ;; + -h|--help) sed -n '1,30p' "$0"; exit 0 ;; + *) echo "未知参数: $1" >&2; exit 2 ;; + esac +done + +# armv7 → debian 交叉三元组;aarch64 同理 +case "${TARGET}" in + armv7-unknown-linux-gnueabihf) TRIPLE=arm-linux-gnueabihf; DOCKER_ARCH=linux/arm/v7 ;; + aarch64-unknown-linux-gnu) TRIPLE=aarch64-linux-gnu; DOCKER_ARCH=linux/arm64 ;; + *) echo "暂不支持的目标: ${TARGET}" >&2; exit 2 ;; +esac + +OUT_DIR="${OUT_DIR:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-${TARGET%%-*}}" +WORK_DIR="${WORK_DIR:-/tmp/pglite-engine-${TARGET%%-*}}" +mkdir -p "${OUT_DIR}" "${WORK_DIR}" +# 🔴 容器镜像里装了 armhf 交叉工具链 + multiarch 的 armhf libc/zlib; +# 镜像在 scripts/build-armv7.sh 的说明里(首次构建见下方 docker build)。 +if ! docker image inspect pglite-armhf-toolchain:latest >/dev/null 2>&1; then + echo "!! 缺少交叉工具链镜像 pglite-armhf-toolchain:latest" + echo " 先构建(一次性,约 1.5 分钟):" + echo " docker build -t pglite-armhf-toolchain:latest - <<'EOF'" + echo " FROM debian:bookworm-slim" + echo " ENV DEBIAN_FRONTEND=noninteractive" + echo " RUN dpkg --add-architecture armhf \\" + echo " && sed -i 's|^deb |deb [arch=amd64,armhf] |' /etc/apt/sources.list.d/debian.sources \\" + echo " && apt-get update -qq \\" + echo " && apt-get install -y -qq --no-install-recommends clang llvm make bison flex \\" + echo " perl pkg-config ca-certificates file patchelf \\" + echo " gcc-arm-linux-gnueabihf libc6-dev-armhf-cross zlib1g-dev:armhf \\" + echo " && rm -rf /var/lib/apt/lists/*" + echo " EOF" + exit 1 +fi + +echo "==> 目标: ${TARGET}(交叉三元组 ${TRIPLE})" +echo "==> 上游引擎 tag: ${ENGINE_TAG}" +echo "==> PostgreSQL 源码 commit: ${PG_COMMIT}" +echo "==> 产物目录: ${OUT_DIR}" + +# ── 1. 拉源码 ──────────────────────────────────────────────── +SRC_TAR="${WORK_DIR}/pg-src.tar.gz" +if [[ "${SKIP_DOWNLOAD}" == "0" || ! -f "${SRC_TAR}" ]]; then + echo "==> [1/3] 下载 postgres-pglite 源码" + # 🔴 GitHub 直连在本机很慢(~40KB/s)⇒ 用 API tarball 端点,且带重试。 + for i in $(seq 1 40); do + if curl -fsSL --max-time 900 \ + "https://api.github.com/repos/electric-sql/postgres-pglite/tarball/${PG_COMMIT}" \ + -o "${SRC_TAR}.part"; then + mv "${SRC_TAR}.part" "${SRC_TAR}" + echo " 下载完成: $(du -h "${SRC_TAR}" | cut -f1)" + break + fi + echo " retry ${i}($(stat -f '%z' "${SRC_TAR}.part" 2>/dev/null || echo 0) bytes)" + sleep 3 + done + [[ -s "${SRC_TAR}" ]] || { echo "!! 源码下载失败" >&2; exit 1; } + tar -tzf "${SRC_TAR}" >/dev/null 2>&1 || { echo "!! 源码包损坏" >&2; exit 1; } +else + echo "==> [1/3] 复用已有源码: ${SRC_TAR}" +fi + +echo "==> 解压源码" +SRC_DIR="${WORK_DIR}/postgres-pglite" +if [[ ! -f "${SRC_DIR}/configure" ]]; then + mkdir -p "${SRC_DIR}" + tar -xzf "${SRC_TAR}" -C "${SRC_DIR}" --strip-components=1 +fi +[[ -f "${SRC_DIR}/configure" ]] || { echo "!! 源码不完整(缺 configure)" >&2; exit 1; } + +# ── 2. 取上游 native 脚本 + 补丁 ───────────────────────────── +echo "==> [2/3] 拉取上游 native 构建脚本与补丁(${ENGINE_TAG})" +NATIVE_DIR="${WORK_DIR}/native" +mkdir -p "${NATIVE_DIR}/patches" +python3 - "${ENGINE_TAG}" "${NATIVE_DIR}" <<'PY' +import json, urllib.request, base64, os, sys +tag, out = sys.argv[1], sys.argv[2] +def get(path, dest): + url = f"https://api.github.com/repos/Midwess/pglite-rs/contents/{path}?ref={tag}" + req = urllib.request.Request(url, headers={"User-Agent": "curl/8"}) + with urllib.request.urlopen(req, timeout=60) as r: + d = json.load(r) + if isinstance(d, list): + for x in d: + get(x["path"], os.path.join(dest, x["name"])) + return + os.makedirs(os.path.dirname(dest) or ".", exist_ok=True) + open(dest, "wb").write(base64.b64decode(d["content"])) + print(" ", path) +files = ["build-libpglite.sh", "pglite_native.c", "pglite_native.h", + "pglite_reset.c", "pglite_static_ext.c"] +for f in files: + get(f"native/{f}", os.path.join(out, f)) +get("native/patches", os.path.join(out, "patches")) +PY + +# ── 3. 容器内交叉编译 ─────────────────────────────────────── +echo "==> [3/3] 容器内交叉编译引擎" +# 🔴 交叉版构建脚本随本仓走(scripts/build-libpglite-cross.sh),挂进容器 /work/native/ +# —— 它是上游 build-libpglite.sh 的交叉变体:只改 CC/--host/AR,其余逐字照抄。 +REPO_ROOT="$(cd "$(dirname "$0")/.." && pwd)" +docker run --rm \ + -v "${WORK_DIR}:/work" \ + -v "${OUT_DIR}:/out" \ + -v "${REPO_ROOT}/scripts/build-libpglite-cross.sh:/work/native/build-libpglite-cross.sh:ro" \ + -v "${REPO_ROOT}/scripts/relocate-runtime-cross.sh:/work/native/relocate-runtime-cross.sh:ro" \ + -e "TRIPLE=${TRIPLE}" \ + -e "TARGET_TRIPLE=${TARGET}" \ + -e "NPROC=${NPROC:-4}" \ + pglite-armhf-toolchain:latest \ + bash -c ' + set -euo pipefail + export CC=${TRIPLE}-gcc AR=${TRIPLE}-ar RANLIB=${TRIPLE}-ranlib + export HOST=${TRIPLE} TARGET=${TRIPLE} + # 🔴 OUT/PGLITE_SRC 指向挂载卷(/work),宿主才拿得到产物 + export PGLITE_SRC=/work/postgres-pglite PGLITE_OUT=/work/engine-out + cd /work + bash /work/native/build-libpglite-cross.sh + # 🔴 runtime 可移植化必须做(上游拆成了独立的 relocate-runtime.sh): + # 打 RPATH + 打包 libpq/libz,否则 initdb 报 + # "error while loading shared libraries: libpq.so.5" + bash /work/native/relocate-runtime-cross.sh + ' 2>&1 | tail -40 + +# 引擎产物从容器工作区搬到最终目录 +mkdir -p "${OUT_DIR}" +cp -f "${WORK_DIR}/engine-out/libpglite.a" "${OUT_DIR}/" 2>/dev/null || true +cp -f "${WORK_DIR}/engine-out/pglite-runtime.tar" "${OUT_DIR}/" 2>/dev/null || true +cp -f "${NATIVE_DIR}/pglite_native.h" "${OUT_DIR}/" 2>/dev/null || true + +echo "" +echo "==> 产物" +ls -lh "${OUT_DIR}/libpglite.a" "${OUT_DIR}/pglite-runtime.tar" +file "${OUT_DIR}/libpglite.a" diff --git a/scripts/release.sh b/scripts/release.sh index 2c08178..53abe9e 100755 --- a/scripts/release.sh +++ b/scripts/release.sh @@ -51,6 +51,15 @@ # bash scripts/release.sh 0.5.1 # 显式指定版本(覆盖 crates/sspf 的 version) # bash scripts/release.sh 0.5.1 --publish # 出包并**推到 Gitea Release**(tag v0.5.1) # bash scripts/release.sh --no-web # 不把静态前端塞进平台包(改用独立资产包) +# bash scripts/release.sh --target armv7-unknown-linux-gnueabihf --no-web +# # 交叉出包(包名带 target,同版本多平台共存) +# +# 🔴 **交叉编译出包**:`--target` 时二进制/rlib 从 `target//release` 取; +# 链接器与原生引擎由调用方通过 Cargo 约定提供,例如 +# CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER=/path/to/zig-armv7-cc +# PGLITE_LIB_DIR=/path/to/armv7-engine (含 libpglite.a + pglite-runtime.tar) +# 不配 --target 时行为逐字不变(仍出本机包)。本机消费方编译自检在交叉包上跳过 +# (rlib 与目标架构绑定,宿主机 rustc 链接不了),改为二进制架构校验。 # # 🔴 **JNPF 通用资产包单独分发**(2026-11-06): # 静态前端 + 示例数据库**只跟 JNPF 版本有关**,跟 sspf 版本 / OS / CPU / rust 工具链 / @@ -76,13 +85,16 @@ export REPO_ROOT="$(pwd)" # ── 1. 解析参数 + 决定版本号 ─────────────────────────────────── PUBLISH=0 WITH_WEB=1 +TARGET_ARG="" POSITIONAL=() -for _a in "$@"; do - case "${_a}" in - --publish) PUBLISH=1 ;; - --no-web) WITH_WEB=0 ;; - -h|--help) sed -n '1,72p' "$0"; exit 0 ;; - *) POSITIONAL+=("${_a}") ;; +while [[ $# -gt 0 ]]; do + case "$1" in + --publish) PUBLISH=1; shift ;; + --no-web) WITH_WEB=0; shift ;; + --target) TARGET_ARG="${2:?--target 需要 triple 参数}"; shift 2 ;; + --target=*) TARGET_ARG="${1#--target=}"; shift ;; + -h|--help) sed -n '1,82p' "$0"; exit 0 ;; + *) POSITIONAL+=("$1"); shift ;; esac done if [[ ${#POSITIONAL[@]} -ge 1 ]]; then @@ -100,23 +112,52 @@ fi # 🔴 目录/包名带 v 前缀,与 git tag(vX.Y.Z)对齐;crate 自身 version 是无 v 的 X.Y.Z PKG="sspf-v${VERSION}" DIST_DIR="dist" +# 🔴 目录名**先不带 target**:后面判定是否交叉编译后再决定是否加后缀 +# (交叉包与本机包必须各占一个目录,否则同版本轮流出包会互相顶掉)。 export PKG_DIR="${DIST_DIR}/${PKG}" # 🔴 目标平台(rlib 与 平台/架构 绑定,同一版本不同平台必须是不同的包) -TARGET="$(rustc -vV 2>/dev/null | sed -n 's/^host: //p')" -TARGET="${TARGET:-unknown}" +HOST_TARGET="$(rustc -vV 2>/dev/null | sed -n 's/^host: //p')" +HOST_TARGET="${HOST_TARGET:-unknown}" +if [[ -n "${TARGET_ARG}" ]]; then + TARGET="${TARGET_ARG}" + CROSS=1 + TARGET_FLAG="--target ${TARGET}" + BUILD_DIR="target/${TARGET}" + # 🔴 交叉出包的三项必需环境变量(详见 docs/armv7-build.md): + # 1. LINKER —— zig cc 包装器(改写 -Wl,/abs/path → 裸路径;注入 armhf sysroot) + # 2. ZIG_SYSROOT —— armhf 交叉 libc + zlib(zig 自带 libc 但不带 zlib) + # 3. CARGO_PROFILE_RELEASE_STRIP=none + # 仓库默认的 strip="symbols" 会让 rustc 重建 native 静态库时破坏全局符号 + # (ProcessStartupPacket / pgl_shmem_reset …)⇒ 链接期 undefined symbol。 + export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER="${CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER:-$(cd "$(dirname "$0")" && pwd)/zig-cc-armv7.sh}" + export ZIG_SYSROOT="${ZIG_SYSROOT:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-armv7/sysroot}" + export CARGO_PROFILE_RELEASE_STRIP="${CARGO_PROFILE_RELEASE_STRIP:-none}" + # PGLITE_LIB_DIR 指向自建引擎(上游没有 armv7 预编译包) + export PGLITE_LIB_DIR="${PGLITE_LIB_DIR:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-armv7}" + # 🔴 交叉包的**解包目录带 target 后缀**:与本机包并存,互不覆盖。 + export PKG_DIR="${DIST_DIR}/${PKG}-${TARGET}" +else + TARGET="${HOST_TARGET}" + CROSS=0 + TARGET_FLAG="" + BUILD_DIR="target" +fi # 本仓 git URL(README 里的「极端回退」写法用;去掉 .git 后缀) GIT_URL="$(git remote get-url origin 2>/dev/null | sed 's/\.git$//')" GIT_URL="${GIT_URL:-http://127.0.0.1:13300/ssw/ssw-platform}" echo "==> 出包版本: ${VERSION}" echo "==> 目标目录: ${PKG_DIR}" +echo "==> 目标平台: ${TARGET} $([[ "${CROSS}" == "1" ]] && echo '(交叉编译)' || echo '(本机)')" # ── 2. 编译预编译二进制 sspf-admin(平台侧 release 构建)────────── -echo "==> cargo build --release -p sspf-admin" -cargo build --release -p sspf-admin +echo "==> cargo build --release ${TARGET_FLAG} -p sspf-admin" +# 🔴 TARGET_FLAG 故意不加引号:空值时不传参;交叉时展开成 `--target ` +# (bash 3.2 的 set -u 下空数组展开会报 unbound,故用字符串而非数组)。 +cargo build --release ${TARGET_FLAG} -p sspf-admin -BIN="target/release/sspf-admin" +BIN="${BUILD_DIR}/release/sspf-admin" if [[ ! -x "${BIN}" ]]; then echo "!! 找不到预编译二进制: ${BIN}" >&2 exit 1 @@ -135,8 +176,16 @@ fi # 这会让 rlib 内嵌 LLVM22 的 bitcode;消费方链接时本机 ld(libLTO 21)解析不了 → # `could not parse bitcode object file` 链接失败。预编译分发的 rlib 必须只含原生目标码 # (embed-bitcode=false + lto=false),任何 LLVM 版本的链接器都能直链。实测已验证。 -export RLIB_TARGET="target/rlibbuild" -echo "==> cargo build --release -p sspf (隔离目录 ${RLIB_TARGET} 采集预编译 rlib 闭包)" +# 🔴 交叉包用独立隔离目录:否则 `cargo clean` 会把本机架构的 rlib 缓存一起清掉, +# 同一版号多平台轮流出包时每次都要重编。 +if [[ "${CROSS}" == "1" ]]; then + export RLIB_TARGET="target/rlibbuild-${TARGET}" + export RLIB_DEPS="${RLIB_TARGET}/${TARGET}/release/deps" +else + export RLIB_TARGET="target/rlibbuild" + export RLIB_DEPS="${RLIB_TARGET}/release/deps" +fi +echo "==> cargo build --release ${TARGET_FLAG} -p sspf (隔离目录 ${RLIB_TARGET} 采集预编译 rlib 闭包)" # 🔴🔴 构建前必须**清空隔离目录**!cargo 不会删除上一个 profile/feature 产生的旧 hash rlib, # 它们会残留在 deps/ 里;step 3.2.5 全量拷贝后 lib/ 会同时存在多个 hash 的 sspf/dep rlib, # 消费方 `--extern sspf=$(ls libsspf-*.rlib|head -1)` 可能选到**旧 hash 那个**(含 bitcode/旧 feature) @@ -145,10 +194,11 @@ echo "==> cargo build --release -p sspf (隔离目录 ${RLIB_TARGET} 采集预 echo "==> 清理隔离目录 ${RLIB_TARGET}(保证闭包单一 hash、无上一轮残留)" cargo clean --target-dir "${RLIB_TARGET}" 2>/dev/null || true echo " 🔴 关 lto/embed-bitcode:避免 rlib 内嵌 LLVM22 bitcode,消费方 ld(libLTO21) 链接失败" -CARGO_TARGET_DIR="${RLIB_TARGET}" cargo build --release -p sspf \ +CARGO_TARGET_DIR="${RLIB_TARGET}" cargo build --release ${TARGET_FLAG} -p sspf \ --config 'profile.release.lto=false' \ --config 'profile.release.embed-bitcode=false' -export RLIB_DEPS="${RLIB_TARGET}/release/deps" +# 🔴 交叉编译时 cargo 会把产物放进 `//release/deps`(本机构建则无 triple 层), +# RLIB_DEPS 已在上面按 CROSS 分支算好并导出给 python 收集器。 # ── 3. 组装目录 ──────────────────────────────────────────────── # 🔴 不直接删旧目录:dist 是构建产物,用「移到 /tmp」代替 `rm -rf`, @@ -295,6 +345,11 @@ cat > "${PKG_DIR}/README.md" < README.md" # ── 4. 打 tar.gz ─────────────────────────────────────────────── TAR="${DIST_DIR}/${PKG}-${TARGET}.tar.gz" -tar -czf "${TAR}" -C "${DIST_DIR}" "${PKG}" +# 🔴 tar 内层目录名与 PKG_DIR 保持一致(交叉包 = sspf-vX.Y.Z-) +tar -czf "${TAR}" -C "${DIST_DIR}" "$(basename "${PKG_DIR}")" TAR_SIZE="$(du -h "${TAR}" | cut -f1)" echo "==> 已打包: ${TAR} (${TAR_SIZE}) [target=${TARGET}]" @@ -452,7 +508,20 @@ for a in d: return 0 } -# ── 5. 自检:包内 path 依赖闭包能否被最小消费方离线编译 ──────── +# ── 5. 自检 ────────────────────────────────────────────────── +# 🔴 交叉包:宿主机 rustc 链接不了目标架构 rlib ⇒ 跳过两项「消费方编译」自检, +# 改为二进制架构校验(真实可运行性另由目标架构容器冒烟验证)。 +if [[ "${CROSS}" == "1" ]]; then + echo "==> 交叉包自检:校验 bin/sspf-admin 目标架构(跳过宿主机消费方编译)" + FILE_OUT="$(file "${PKG_DIR}/bin/sspf-admin")" + echo " ${FILE_OUT}" + case "${TARGET}" in + armv7*|arm-*) grep -qiE 'ARM|EABI' <<< "${FILE_OUT}" || { echo "!! ❌ 产物不是 ARM 架构" >&2; exit 1; } ;; + aarch64*) grep -qiE 'ARM64|aarch64|ARM aarch64' <<< "${FILE_OUT}" || { echo "!! ❌ 产物不是 ARM64 架构" >&2; exit 1; } ;; + x86_64*) grep -qiE 'x86-64|x86_64' <<< "${FILE_OUT}" || { echo "!! ❌ 产物不是 x86_64 架构" >&2; exit 1; } ;; + esac + echo "==> ✅ 自检通过:${TARGET} 二进制架构正确(lib/ 为目标架构 rlib,消费方需在同架构机器使用)" +else echo "==> 自检验证中(构造最小消费方,--offline 编译)" TMPCON="$(mktemp -d)" cat > "${TMPCON}/Cargo.toml" <&2; exit 1; } +command -v patchelf >/dev/null 2>&1 || { echo "FATAL: 容器内需要 patchelf" >&2; exit 1; } + +RPATH='$ORIGIN/../lib:$ORIGIN/..' + +# ── 1. 给引擎二进制打 RPATH ───────────────────────────────── +echo "==> 设置 RPATH: ${RPATH}" +for f in "$PREFIX/bin/initdb" "$PREFIX/bin/postgres" "$PREFIX/lib/postgresql/libpqwalreceiver.so"; do + [[ -f "$f" ]] || { echo " 跳过(不存在): $f"; continue; } + patchelf --set-rpath "$RPATH" "$f" + echo " patched: ${f#"$PREFIX"/}" +done + +# ── 2. 收集要打包进 runtime 的共享库 ────────────────────────── +# libpq 是 initdb 的硬依赖;libz 是 postgres 的硬依赖。 +# ⚠️ libz 在 armv7 目标机上未必存在 ⇒ 优先用系统 cross 的 armhf 版本打进去。 +LIBS="" +if compgen -G "$PREFIX/lib/libpq.so*" > /dev/null; then + LIBS="$(cd "$PREFIX" && ls lib/libpq.so* | tr '\n' ' ')" + echo "==> libpq: ${LIBS}" +fi + +ZLIBS="" +for cand in \ + /usr/arm-linux-gnueabihf/lib/libz.so.1 \ + /usr/lib/arm-linux-gnueabihf/libz.so.1 ; do + if [[ -f "$cand" ]]; then + cp -n "$cand" "$PREFIX/lib/" 2>/dev/null || true + ZLIBS="$(cd "$PREFIX" && ls lib/libz.so* 2>/dev/null | tr '\n' ' ')" + echo "==> libz: ${ZLIBS}(来自 ${cand})" + break + fi +done + +# ── 3. 重新打 runtime tar ───────────────────────────────────── +echo "==> 重新打包 pglite-runtime.tar" +tar -C "$PREFIX" --exclude lib/postgresql/pgxs -cf "$OUT/pglite-runtime.tar" \ + share/postgresql lib/postgresql "bin/initdb" "bin/postgres" ${LIBS} ${ZLIBS} + +# ── 4. 校验:解包出来跑 initdb --version ────────────────────── +V="$(mktemp -d)" +tar -C "$V" -xf "$OUT/pglite-runtime.tar" +echo "==> runtime 内容:" +(cd "$V" && find . -maxdepth 2 -name '*.so*' -o -maxdepth 2 -name 'initdb' -o -maxdepth 2 -name 'postgres' | sort) + +if command -v qemu-arm-static >/dev/null 2>&1; then + echo "==> 用 qemu 校验 initdb --version" + qemu-arm-static -L /usr/arm-linux-gnueabihf "$V/bin/initdb" --version +else + echo "!! 容器内无 qemu-arm-static,跳过 initdb 自检(宿主侧 arm/v7 容器再验)" +fi + +ls -lh "$OUT/pglite-runtime.tar" +echo "relocate-runtime-cross: $OUT/pglite-runtime.tar 已生成" diff --git a/scripts/zig-cc-armv7.sh b/scripts/zig-cc-armv7.sh new file mode 100755 index 0000000..fea3ebe --- /dev/null +++ b/scripts/zig-cc-armv7.sh @@ -0,0 +1,99 @@ +#!/bin/sh +# zig-cc-armv7.sh —— cargo 交叉链接器包装器(zig cc → armv7-linux-gnueabihf) +# +# 🔴 为什么需要它(2026-11-12): +# rustc 传给链接器的原生静态库参数长这样(`-Wl,+whole-archive` 的展开): +# -Wl,--whole-archive -Wl,/abs/path/libpglite.a -Wl,--no-whole-archive +# `zig cc` 的参数解析器**不接受** `-Wl,` 后面直接跟一个路径 +# (报 "unsupported linker arg: /abs/path/libpglite.a"), +# 但接受「裸路径」作为独立输入文件 ⇒ 这里把 `-Wl,/path` 还原成 `/path`。 +# `--whole-archive` / `--no-whole-archive` 两个开关原样保留,语义不变。 +# +# 用法(cargo 官方约定,无需改仓库 .cargo/config): +# export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER=<本脚本路径> +# export ZIG_SYSROOT= # 可选:提供 -lz 等系统库 +set -eu + +TARGET="${ZIG_TARGET:-arm-linux-gnueabihf}" +SYSROOT="${ZIG_SYSROOT:-}" + +TMPARGS="$(mktemp)" +trap 'rm -f "${TMPARGS}"' EXIT + +# 🔴 调试:ZIG_LOG=<文件> 时把改写后的完整参数落盘,便于排查链接失败 +if [ -n "${ZIG_LOG:-}" ]; then + { + echo "=== zig-cc-armv7.sh 原始参数 ===" + printf '%s\n' "$@" + } > "${ZIG_LOG}" 2>/dev/null || true +fi + +# 🔴 调试:把 rustc 实际传给链接器的 libpglite.a 副本留档(对比原件) +if [ -n "${ZIG_LOG:-}" ]; then + for a in "$@"; do + case "$a" in + */libpglite.a) + cp "$a" "${ZIG_LOG}.libpglite.a" 2>/dev/null || true + ;; + esac + done +fi + +for a in "$@"; do + case "$a" in + -Wl,/*) + # "-Wl,/abs/path" ⇒ "/abs/path"(zig cc 认裸路径,不认 -Wl, 合并形式) + printf '%s\0' "${a#-Wl,}" >> "${TMPARGS}" + ;; + *) + printf '%s\0' "${a}" >> "${TMPARGS}" + ;; + esac +done + +# 🔴 调试:把 rustc 实际传给链接器的 libpglite.a 副本留档(对比原件) +if [ -n "${ZIG_LOG:-}" ]; then + for a in "$@"; do + case "$a" in + *libpglite.a) + if [ -f "$a" ]; then + cp "$a" "${ZIG_LOG}.libpglite.a" 2>/dev/null || true + fi + ;; + esac + done +fi + +# 🔴 用 NUL 分隔重建参数,避免路径含空格时被拆开。 +# POSIX sh 没有数组,用 set -- 逐个 append。 +set -- +while IFS= read -r -d '' line; do + set -- "$@" "${line}" +done < "${TMPARGS}" + +# 🔴 zig 自带 libc 但**不带 zlib**(pglite-rs-sys 会链 -lz) +# ⇒ 指向自建的 armhf sysroot(里面有 libz.so + zlib.h + 交叉 libc 运行时)。 +if [ -n "${SYSROOT}" ]; then + set -- -I "${SYSROOT}/include" -L "${SYSROOT}/lib" "$@" +fi + +if [ -n "${ZIG_LOG:-}" ]; then + { + echo "=== 改写后参数 ===" + printf '%s\n' "$@" + echo "=== end ===" + } > "${ZIG_LOG}.final" 2>/dev/null || true + + # 🔴 改写后的裸路径副本才是链接器真正吃进去的那份,单独留档 + for a in "$@"; do + case "$a" in + *libpglite.a) + if [ -f "$a" ]; then + cp "$a" "${ZIG_LOG}.bare-libpglite.a" 2>/dev/null || true + fi + ;; + esac + done +fi + +exec zig cc -target "${TARGET}" "$@"