Compare commits
8
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f4d7823968 | ||
|
|
b6990909fc | ||
|
|
019945385e | ||
|
|
e95b37ca51 | ||
|
|
5420c0f4de | ||
|
|
7da10f71f5 | ||
|
|
39201143c5 | ||
|
|
c2231a7f3c |
No files matched your search
@@ -54,3 +54,12 @@
|
||||
- 官方 30093 的 `/api/file/Image/**` 是 302(浏览器跟随拿图),不带登录态 curl 只回 200 信封
|
||||
`{"code":400,"msg":"The link has expired"}` ⇒ 别用 curl 判断「官方有没有图片」。
|
||||
- `/api/**` 永远信封 404 是契约,补资源只能加**精确白名单**,不能整体放行。
|
||||
|
||||
### 发布(16:10)
|
||||
- 两个 release 已上线:`v0.5.0`(id=81,平台包 209MB 覆盖重传,body 补 11-06 增量说明);
|
||||
`jnpf-assets-7.0`(id=87 + 轻量 tag 指向 d8a9d16,资产包 47MB + `.sha256` 两个 asset)。
|
||||
远端 asset 与本地逐字节一致(流式下载核 sha256)。
|
||||
- `scripts/pack-jnpf-assets.sh --publish`:独立 release、同名 asset 幂等覆盖、自动推 tag、
|
||||
凭据复用 git credential;`release.sh --publish` 仍只管平台包。两条发布链互不耦合。
|
||||
- Gitea 返回的 `browser_download_url` 主机是 `localhost:13300`(非 127.0.0.1),本机可直接下载;
|
||||
跨机消费方需换成可达主机。
|
||||
@@ -0,0 +1,60 @@
|
||||
# 2026-11-12
|
||||
|
||||
## armv7(32 位 ARM hard-float)交叉编译与发布 —— 完成
|
||||
|
||||
### 背景
|
||||
平台后端把 PostgreSQL 引擎(`libpglite.a`)**静态链进二进制**。上游 `Midwess/pglite-rs`
|
||||
只发布 aarch64/x86_64 四架构引擎,**没有 armv7** ⇒ `pglite-rs-sys` 的 build.rs 下不到
|
||||
`pglite-armv7-*.tar.gz` 会 404 ⇒ 必须自建引擎。
|
||||
|
||||
### 路线选择
|
||||
| 路线 | 结论 |
|
||||
|---|---|
|
||||
| A. `docker run --platform linux/arm/v7` 原生编译 | ❌ qemu 模拟,apt 装依赖 9 分钟未完,PG 全量 make 要数小时 |
|
||||
| B. amd64 容器 + `gcc-arm-linux-gnueabihf` 交叉工具链 | ✅ **采用** |
|
||||
|
||||
Rust 侧用 **zig cc** 当 linker(zig 0.14.1 自带 lld + armv7 libc,免装交叉 libc)。
|
||||
|
||||
### 三个坑(根因都在离报错很远的地方)
|
||||
1. **`strip="symbols"` 破坏静态库全局符号**:仓库根 `[profile.release]` 的 strip 让 rustc 在链接前
|
||||
**重建** native 静态库(落 `deps/rustcXXXX/libpglite.a`),把 `ProcessStartupPacket` 从 `T` 降级为 `t`、
|
||||
`pgl_shmem_reset` 直接消失 ⇒ 链接期 undefined symbol。量化:重建归档比原件小 **3228 字节**
|
||||
(4 个 ARM 符号 × 24 字节)。规避:`CARGO_PROFILE_RELEASE_STRIP=none`。
|
||||
2. **PG configure 交叉时跳过 `--export-dynamic` 探测**:`cross_compiling=yes` 时直接假定不支持
|
||||
⇒ `postgres` 动态导出 **0** 符号(官方 10802)⇒ 扩展模块 `dlopen` 报 `undefined symbol: CurrentMemoryContext`。
|
||||
规避:cache 变量**必须带 `pg` 前缀**(`pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic=yes`,
|
||||
用 `ac_cv_...` 无效)+ make 直传 `LDFLAGS_EX_BE="-Wl,--export-dynamic"`。
|
||||
3. **runtime tar 缺 libpq + 缺 RPATH**:上游把「造引擎」(`build-libpglite.sh`)与
|
||||
「runtime 可移植化」(`relocate-runtime.sh`:RPATH + 打包 libpq + libz)**拆成两个脚本**。
|
||||
交叉脚本只做前者 ⇒ `initdb: error while loading shared libraries: libpq.so.5`。
|
||||
规避:新增 `scripts/relocate-runtime-cross.sh`。
|
||||
|
||||
另:上游 tarball 无 `.git` ⇒ **`git apply` 静默失效**,必须用 `patch -p1`。
|
||||
|
||||
### 产物与验证
|
||||
- `dist/pglite-engine-armv7/`:`libpglite.a` 11M + `pglite-runtime.tar` 13M + `pglite_native.h` + `sysroot/`(armhf libc + zlib)
|
||||
- `target/armv7-unknown-linux-gnueabihf/release/sspf-admin`(ARM EABI5,~70 MB)
|
||||
- `dist/sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz`(160M)
|
||||
- `dist/pglite-armv7-unknown-linux-gnueabihf.tar.gz`(10M,命名对齐上游)+ `.sha256`
|
||||
|
||||
arm/v7 容器内实测全通过:initdb Success、单用户模式退出码 0、pglite 读写探针、
|
||||
sspf-admin 启动 + 14255 条示例数据(1709 文件)、`/api/oauth/Login` 返回 token、
|
||||
`/api/oauth/CurrentUser` 返回 99 菜单节点 + 6 路由。**从发布包 tar 解出的二进制端到端复测同样通过。**
|
||||
|
||||
### 🔴 关键认知
|
||||
- **runtime 是内嵌进二进制的**:`pglite-rs` 用 `include_bytes!(OUT_DIR/pglite-runtime.tar)`
|
||||
⇒ 发布包**自包含**,目标机不需要额外引擎文件。
|
||||
- **`postmaster.pid` 残留导致的 `boot failed: backend main returned 1, expected 99` 不是 armv7 缺陷**:
|
||||
是 kill -9 留下的状态,x86_64 同样。排查先 `rm -f <datadir>/postmaster.pid`。
|
||||
- 复用已有数据目录启动**正常**(WAL `automatic recovery in progress` 后起服务)。
|
||||
|
||||
### 发布
|
||||
Gitea Release `v0.5.0`(id=81)追加三个 asset:
|
||||
`sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz`、`pglite-armv7-unknown-linux-gnueabihf.tar.gz`、
|
||||
`pglite-armv7-unknown-linux-gnueabihf.tar.gz.sha256`。两个包均已**流式下载回验 sha256 一致**。
|
||||
|
||||
### 脚本(本次新增/改动)
|
||||
`scripts/build-pglite-engine.sh`(编排)、`build-libpglite-cross.sh`、`relocate-runtime-cross.sh`、
|
||||
`zig-cc-armv7.sh`(改写 `-Wl,/abs/path` + 注入 sysroot)、`build-armv7.sh`(一键入口)、
|
||||
`release.sh`(新增 `--target`;**解包目录名带 target 后缀**,同版本多平台互不覆盖)。
|
||||
文档:`docs/armv7-build.md`。
|
||||
@@ -0,0 +1,81 @@
|
||||
# 2026-11-13
|
||||
|
||||
## Gitea issue #1 —— armv7「stdout 非管道即 exit 100」—— 修复中
|
||||
|
||||
### 根因(已实测闭环,非推测)
|
||||
pglite 的 `initDummyPort()`(`src/backend/tcop/postgres.c`)设 **`s.sock = 1`** ⇒ 把 **fd 1 当成
|
||||
「名义客户端 socket」**;`pq_init()`(`src/backend/libpq/pqcomm.c`)随即
|
||||
`AddWaitEventToSet(FeBeWaitSet, WL_SOCKET_WRITEABLE, port->sock=1, ...)`。
|
||||
|
||||
等待事件后端按平台分(`src/backend/storage/ipc/latch.c`):Linux ⇒ **epoll**、macOS ⇒ **kqueue**。
|
||||
**epoll 不接受普通文件与字符设备**(armv7 容器实测 `EPERM`;管道两端 OK)⇒
|
||||
`ereport(ERROR, "epoll_ctl() failed")` → longjmp → **exit(100)**。
|
||||
⇒ 只有 stdout 是**管道**时能起;`> file` / `> /dev/null` / 终端全挂。
|
||||
macOS 走 kqueue(允许注册普通文件/字符设备)⇒ 同样形态正常 ⇒ **Linux 专属**。
|
||||
|
||||
### 🔴 两个反直觉的关键事实
|
||||
1. **`pgl_fcntl` 是 dummy**(`pglitec.c`:`int pgl_fcntl(...) { return 0; }`)
|
||||
⇒ `pq_init()` 的 `pg_set_noblock(fd 1)` **无效** ⇒ fd 1 始终**阻塞**
|
||||
⇒ 管道写满 64KB 会**永久阻塞** ⇒ **drain 线程是必需的,不是保险**。
|
||||
2. **协议数据根本不经过 fd 1**:`pgl_recv`/`pgl_send` 覆盖转发到宿主注入的函数指针
|
||||
⇒ fd 1 上真实写入的只有 `postgres --single` 的 banner。
|
||||
|
||||
### 旧修复为什么错
|
||||
`ensure_stdout_for_pglite()` 把 fd 1 `dup2` 到**普通临时文件** ⇒ 只是把「字符设备失败」
|
||||
换成「普通文件失败」(同样 EPERM、同样 exit 100);且只判 `S_IFCHR`、**普通文件不覆盖**;
|
||||
注释里的 kqueue 语义是 macOS 专属。
|
||||
|
||||
### 修法(`boot.rs`)
|
||||
`pipe()` + `dup` 原始 stdout + `dup2(pipe_w,1)` + **drain 线程转发回原 stdout**
|
||||
(平台 `println!` 仍落用户真正的 stdout)。macOS 用 `#[cfg(target_os="macos")]` 保留空实现。
|
||||
|
||||
### 🔴 交叉编译才能暴露的坑
|
||||
macOS 分支是空实现 ⇒ **那段 Linux 代码在本机从未被编译过** ⇒
|
||||
`FromRawFd` trait 未导入这种错误,本机 `cargo build` 全绿、**交叉编译才红**。
|
||||
⇒ 平台侧平台专属代码**必须交叉编译验证**,不能只看本机绿。
|
||||
|
||||
### 其它
|
||||
- `PGLITE_RUNTIME_DIR` **确实被支持**(`pglite-rs-0.2.7/src/engine.rs:107` 读该 env),
|
||||
issue 的建议成立 ⇒ 开库前固化成带 arch + 二进制指纹的路径。
|
||||
- `arm32v7/debian:bookworm-slim` **没有 wget/curl** ⇒ 探活必须用 bash 内建 `/dev/tcp`。
|
||||
- 旧冒烟脚本用的就是 `wget` ⇒ 冒烟其实一直跑不通(盲区比 issue 描述的更大)。
|
||||
|
||||
---
|
||||
|
||||
## 第二轮:关联问题 2(glibc)实测验收 + 把 glibc 绑高变成门禁
|
||||
|
||||
### 实测数据(全部实测,非推断)
|
||||
版本需求(`objdump -T`,宿主 LLVM objdump 即可读 arm ELF):
|
||||
|
||||
| 二进制 | 收编前 | 收编后 | 封顶符号 |
|
||||
|---|---|---|---|
|
||||
| `postgres` | 2.17,2.25,**2.28,2.29,2.33,2.34** | **2.17** | `clock_gettime` |
|
||||
| `initdb` | 2.10,2.14,**2.28,2.29,2.33,2.34** | **2.14** | `syncfs` |
|
||||
| `sspf-admin` | — | **2.18** | `__cxa_thread_atexit_impl` |
|
||||
|
||||
⇒ 全部 ≤2.18。`libpglite.a` 的 `undefined fcntl64 = 0`(收编前 pqcomm.o/postmaster.o 引用)。
|
||||
|
||||
**2.18 是理论下限**:Rust std 的 `thread_local` 析构要 `__cxa_thread_atexit_impl`,任何 Rust 二进制都绕不开。
|
||||
|
||||
老 glibc 容器:`buster`(2.28) 与 `stretch`(**2.24,比 ZYNQ 的 2.26 更老**) 里
|
||||
initdb/postgres 全通;用**已发布包**里的 sspf-admin 跑 stdout 三形态,两镜像全绿,
|
||||
14255 条示例数据导入正常。已发布包内二进制与重新编译产物 sha256 一致(`665418dd…`)⇒ 可复现。
|
||||
|
||||
### 🔴 坑:版本比较写反
|
||||
`GLIBC_2.NN` 的主版本**恒为 2**,只有小版本会变。
|
||||
误按 `.` 切成 maj/min ⇒ `GLIBC_2.14` 被算成 > `GLIBC_2.18` ⇒ 门禁把合格产物拦死。
|
||||
⇒ 只取 `#GLIBC_2.` 后的数字,且用 `10#` 前缀防八进制。
|
||||
|
||||
### 🔴 坑:旧冒烟天然掩盖 glibc 问题
|
||||
旧默认镜像 `bookworm-slim` = glibc **2.36**,**与编译 sysroot 同版本** ⇒ 版本节点天然满足
|
||||
⇒ 冒烟永远通过 ⇒ **掩盖绑高问题**。这正是 `docs/armv7-glibc-compat.md` §2.5 早就指出的盲区。
|
||||
⇒ 已改为 buster(2.28)。
|
||||
|
||||
### 新增门禁
|
||||
`scripts/build-armv7.sh` 第 3 步:**纯宿主侧** glibc 版本门禁(秒级、不起容器),
|
||||
超 `GLIBC_2.18` 直接构建失败,阈值可用 `GLIBC_MAX_MINOR=` 覆盖。
|
||||
|
||||
### 方法论沉淀
|
||||
- **宿主 macOS 的 `/usr/bin/objdump` 是 LLVM 版,能直接读 arm ELF 的版本节点**
|
||||
⇒ 不必为静态分析起容器(省 qemu 时间)。
|
||||
- 验证门禁要**两个方向都测**:真实产物放行 + 收紧阈值后必须能拦住(否则门禁是摆设)。
|
||||
+29
-1
@@ -1,5 +1,32 @@
|
||||
# CHANGELOG
|
||||
|
||||
## 2026-11-13(v0.5.0 内增量,不升版本号)—— 修 armv7「stdout 非管道即 exit 100」
|
||||
|
||||
- 修 Gitea issue #1:内嵌 PostgreSQL 的 `initDummyPort()` 把 **fd 1 当成名义客户端 socket**(`s.sock = 1`)⇒ `pq_init()` 把它注册进 WaitEventSet ⇒ Linux 走 **epoll**,而 epoll 不接受普通文件与字符设备(实测 `EPERM`)⇒ `ereport(ERROR)` → longjmp → **exit 100**。⇒ **所有标准部署形态(`nohup … > app.log 2>&1 &`、systemd、CI 重定向)全挂**,只有 stdout 是管道时能起。
|
||||
- 重写 `boot.rs::ensure_stdout_for_pglite()`:`pipe()` + `dup` 原始 stdout + `dup2` 让 fd 1 变管道写端 + **drain 线程**把内容转发回原 stdout ⇒ 平台自身 `println!`(「已启动」…)仍落到用户真正的 stdout。**drain 线程是必需的**:pglite 的 `pgl_fcntl` 是 dummy ⇒ `pg_set_noblock(fd 1)` 无效 ⇒ fd 1 始终阻塞 ⇒ 管道写满 64KB 会永久阻塞。macOS 走 kqueue(本就接受普通文件)⇒ `#[cfg(target_os = "macos")]` 保留原样。
|
||||
- 开库前固化 `PGLITE_RUNTIME_DIR` 为**带架构 + 二进制指纹**的路径(`engine.rs` 支持该 env 覆盖)⇒ 消除 x86_64 与 armv7 共用 runtime 目录导致的 `runtime extraction race lost and target invalid`。用户显式设置时不覆盖。
|
||||
- `scripts/build-armv7.sh` 冒烟改为**三 case × 各自干净数据目录**:A 继承 docker pipe / B `> /tmp/srv.log 2>&1` / C `> /dev/null`,每个断言「HTTP 探活成功 + 进程仍常驻(没提前 exit 100)」,A/B 另断言日志含「已启动」。探活从 `wget`(armhf 镜像里**没有**)换成 bash 内建 `/dev/tcp`。
|
||||
- 影响:**仅 Linux**(macOS 分支逐字保留原行为);stdout 形态不再影响启动 ⇒ `> file` / `> /dev/null` / 终端均可正常起服务。根因与验证结论记在 `docs/armv7-build.md` 的「第四个坑 / 第五个坑」。
|
||||
|
||||
## 2026-11-13(v0.5.0 内增量,不升版本号)—— armv7 glibc 兼容收编与实测验收
|
||||
|
||||
- 收编 TDS 侧按 `docs/armv7-glibc-compat.md` 重编的引擎(zig cc + glibc 2.26 sysroot,产物在 `dist/pglite-engine-armv7-glibc26/`),消除 `pqcomm.o`/`postmaster.o` 对 `fcntl64`(GLIBC_2.28)的 undefined 引用 ⇒ `libpglite.a` 的 `fcntl64=0`、`pgl_fcntl=0`、`fcntl=1`。
|
||||
- 实测版本需求:`postgres` 封顶 **GLIBC_2.17**(`clock_gettime`)、`initdb` 封顶 **GLIBC_2.14**(`syncfs`)、`sspf-admin` 封顶 **GLIBC_2.18**(`__cxa_thread_atexit_impl`,Rust std 的 thread_local 析构 ⇒ 2.18 是理论下限)⇒ 全部 **≤ 2.18**,低于 ZYNQ 基线 2.26。
|
||||
- 实测老 glibc 容器:`arm32v7/debian:buster`(2.28)与 `arm32v7/debian:stretch`(**2.24,比 ZYNQ 更老**)里 `initdb`/`postgres` 均正常;用**已发布包**里的 `sspf-admin` 在两个镜像上跑 stdout 三形态(A/B/C)全部探活 200、进程常驻、导入 **14255 条**示例数据。
|
||||
- 新增**纯宿主侧** glibc 版本门禁(`scripts/build-armv7.sh` 第 3 步):读 ELF 版本节点,超过 `GLIBC_2.18` 直接构建失败(阈值可用 `GLIBC_MAX_MINOR=` 覆盖);用宿主自带的 LLVM `objdump` 即可读 arm ELF,**不起容器、秒级**。
|
||||
- 冒烟镜像由 `bookworm-slim`(**glibc 2.36,与编译 sysroot 同版本 ⇒ 天然掩盖问题**)改为 `buster`(2.28)⇒ 版本回退会当场暴露。
|
||||
- 影响:构建流水线多一步秒级静态断言;产物本身无行为变化。实测数据记在 `docs/armv7-glibc-compat.md` §5.1。
|
||||
|
||||
## 2026-11-12(v0.5.0 内增量,不升版本号)—— armv7(32 位 ARM)交叉编译与发布
|
||||
|
||||
- 上游 `Midwess/pglite-rs` 只发布 aarch64/x86_64 四架构引擎,**没有 armv7** ⇒ 自建引擎:`pglite-rs-sys 0.2.7` 的 build.rs 认 `PGLITE_LIB_DIR`,用它喂自建引擎(上游 `engine-06c837c6a303-p3`,postgres-pglite commit `06c837c6a303…`)。
|
||||
- 新增 `scripts/build-pglite-engine.sh` / `build-libpglite-cross.sh` / `relocate-runtime-cross.sh` / `zig-cc-armv7.sh` / `build-armv7.sh`:amd64 容器 + `gcc-arm-linux-gnueabihf` 交叉工具链编 PostgreSQL 17.5,Rust 侧用 `zig cc` 链接(zig 自带 lld + armv7 libc)。**不走 qemu 原生编译**(apt 装依赖 9 分钟未完,PG 全量 make 要数小时)。
|
||||
- 踩平三个坑(都记在 `docs/armv7-build.md`):① 仓库 `strip="symbols"` 会让 rustc 重建 native 静态库、破坏 `ProcessStartupPacket`/`pgl_shmem_reset` 全局符号 ⇒ 交叉构建强制 `CARGO_PROFILE_RELEASE_STRIP=none`;② PG configure 在 `cross_compiling=yes` 时直接假定不支持 `--export-dynamic`(`postgres` 动态导出 0 符号 vs 官方 10802)⇒ 强制 cache 变量 + make 直传 `LDFLAGS_EX_BE`;③ 上游把 runtime 可移植化拆成独立的 `relocate-runtime.sh`(RPATH + libpq + libz)⇒ 新增交叉版补上。
|
||||
- `scripts/release.sh` 支持 `--target <triple>`:交叉出包跳过宿主消费方编译自检、改为二进制架构校验,rlib 走隔离目录 `target/rlibbuild-<triple>`,**解包目录名带 target 后缀**(同版本多平台互不覆盖)。
|
||||
- 实测(`linux/arm/v7` 容器):initdb 成功、单用户模式退出码 0、pglite 探针读写全通、sspf-admin 启动并导入 14255 条示例数据(1709 个数据文件)、`/api/oauth/Login` 返回 token、`/api/oauth/CurrentUser` 返回 99 菜单节点 + 6 路由。**从发布包 tar 解出的二进制端到端复测同样通过**。
|
||||
- 发布:Gitea Release `v0.5.0` 追加 `sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz`(平台包,自包含——runtime 已 `include_bytes!` 内嵌进二进制)与 `pglite-armv7-unknown-linux-gnueabihf.tar.gz` + `.sha256`(引擎,给二次开发者)。
|
||||
- 影响:不带 `--target` 时 `release.sh` 行为逐字不变;宿主机 x86_64 构建不受影响。
|
||||
|
||||
## v0.5.0(2026-11-04,业务库操作收进同一个 `Db`)
|
||||
|
||||
- 新增 `Db::query_json_raw(sql, params)`:持 `Db.lock`、`row_to_json` 包裹、**不做 JSON 键归一**(`f_id` 原样返回),给自带归一语义的厚业务仓用。
|
||||
@@ -13,7 +40,7 @@
|
||||
`dist/sspf-vX.Y.Z.tar.gz`(预编译 `sspf-admin` 二进制 + 平台 crate 源码闭包 17 个 + `src/backend` + `Cargo.lock` + `rust-toolchain.toml` + 前端源码)。
|
||||
消费方(技能仓 / 业务仓)解包到 `vendor/` 用 `path` 依赖接入,**不再直接依赖 git 仓、不再 clone 整个 monorepo、不再每次重编 20+ crate**。详见 `docs/SSPF-PLATFORM-PACKAGE.md` §6。
|
||||
|
||||
## 2026-11-06(v0.5.0 内增量,未单独发版)
|
||||
## 2026-11-06(v0.5.0 内增量,不升版本号)
|
||||
|
||||
- 官方示例数据对齐:以 `jnpf_dbnull_init.sql` 为真值源生成 `demo_seed.sql`(58 表 / 14242 行)并缺省导入;补 `base_province` / `base_language` / `base_province_atlas` 修掉三个空页面;DDL 幂等化。
|
||||
- 修静态托管相对路径 bug:`SSW_STATIC_DIR` 在配置解析时按 CWD 绝对化(PGlite 会 `chdir`,否则 `/` 全返 JSON 404)。
|
||||
@@ -21,6 +48,7 @@
|
||||
- 新增 `SSW_ASSETS_DIR`(一个 env 同时定位 `web/` 与 `db/demo_seed.sql`)、`SSW_DEMO_SEED_FILE`;外置示例数据优先、编译期内嵌兜底 ⇒ 换 JNPF 演示数据不必重编二进制。
|
||||
- `scripts/release.sh` 的 `web/` 改以资产包为唯一真源,新增 `--no-web` 完全剥离静态前端;README 补两种消费方式。
|
||||
- 影响:不设新 env 时行为逐字不变;50 个 lib 单测通过、解包资产包端到端启动验证通过。差异明细见 `docs/AB-COMPARE-2026-11-06.md`。
|
||||
- 发布:平台包覆盖上传到 Gitea Release `v0.5.0`;资产包发到**独立** release `jnpf-assets-7.0`(附 `.sha256`)。`pack-jnpf-assets.sh --publish` 幂等重发(同名 asset 先删后传、tag 不存在自动推),不依赖 sspf 发版。
|
||||
|
||||
## v0.4.0(2026-11-04,平台包零业务清理)
|
||||
|
||||
|
||||
@@ -0,0 +1,403 @@
|
||||
# armv7(32 位 ARM hard-float)交叉编译与发布
|
||||
|
||||
> 面向 Linux 32 位 ARM(`armv7-unknown-linux-gnueabihf`)的 sspf-admin 构建链。
|
||||
> 2026-11-12 建立。
|
||||
|
||||
---
|
||||
|
||||
## 1. 为什么需要自建引擎
|
||||
|
||||
平台后端把 PostgreSQL 引擎(`libpglite.a`)**静态链进二进制**。上游
|
||||
`Midwess/pglite-rs` 的预编译引擎只发布 4 个架构:
|
||||
|
||||
| asset | 架构 |
|
||||
|---|---|
|
||||
| `pglite-aarch64-apple-darwin.tar.gz` | aarch64 macOS |
|
||||
| `pglite-aarch64-unknown-linux-gnu.tar.gz` | aarch64 Linux |
|
||||
| `pglite-x86_64-apple-darwin.tar.gz` | x86_64 macOS |
|
||||
| `pglite-x86_64-unknown-linux-gnu.tar.gz` | x86_64 Linux |
|
||||
|
||||
**没有 armv7** ⇒ `pglite-rs-sys` 的 build.rs 下载 `pglite-armv7-unknown-linux-gnueabihf.tar.gz` 会 404。
|
||||
|
||||
出路是官方给的 `PGLITE_LIB_DIR` 环境变量:build.rs 检测到它就不下载,直接用本机目录里的
|
||||
`libpglite.a` + `pglite-runtime.tar` + `pglite_native.h`。所以要自己交叉编译出这引擎。
|
||||
|
||||
**引擎版本必须与 crate 匹配**:`pglite-rs-sys 0.2.7` 的 build.rs 里写死了
|
||||
`ENGINE_TAG = "engine-06c837c6a303-p3"`,对应
|
||||
`electric-sql/postgres-pglite` 的 commit `06c837c6a30335169df786c610ed224bc51d81c0`
|
||||
(分支 `REL_17_5-pglite`,PostgreSQL 17.5)。
|
||||
|
||||
---
|
||||
|
||||
## 2. 路线选择(都实测过)
|
||||
|
||||
| 路线 | 结论 |
|
||||
|---|---|
|
||||
| A. `docker run --platform linux/arm/v7` 里原生编译 | ❌ qemu 模拟,apt 装依赖就跑了 9 分钟没完;PostgreSQL 全量 make 要数小时 |
|
||||
| B. amd64 容器 + `gcc-arm-linux-gnueabihf` 交叉工具链 | ✅ **采用**。容器是原生 x86_64,编译速度正常 |
|
||||
|
||||
Rust 侧用 **zig cc** 当链接器(zig 0.14.1 自带 lld 与 armv7 libc,免装交叉 libc)。
|
||||
|
||||
---
|
||||
|
||||
## 3. 三个必须记住的坑
|
||||
|
||||
这三个坑每一个都花了整轮编译周期才定位,且报错都发生在**离原因很远的地方**。
|
||||
|
||||
### 坑 1:`strip = "symbols"` 会破坏静态库的全局符号
|
||||
|
||||
**现象**
|
||||
```
|
||||
ld.lld: error: undefined symbol: ProcessStartupPacket
|
||||
ld.lld: error: undefined symbol: pgl_shmem_reset
|
||||
ld.lld: error: undefined symbol: pgl_fd_reset
|
||||
ld.lld: error: undefined symbol: pgl_xlog_fd_reset
|
||||
```
|
||||
|
||||
**根因**:仓库根 `Cargo.toml` 的 `[profile.release] strip = "symbols"` 会让 rustc 在链接前
|
||||
**重建** native 静态库(落到 `target/<triple>/release/deps/rustcXXXX/libpglite.a`)。
|
||||
重建时全局符号被破坏:
|
||||
|
||||
| 符号 | 原件 | rustc 重建后 |
|
||||
|---|---|---|
|
||||
| `ProcessStartupPacket`(`backend_startup.o`) | `T` 全局 | `t` 局部 |
|
||||
| `pgl_shmem_reset`(`shmem.o`) | `T` 全局 | **符号消失** |
|
||||
|
||||
量化证据:重建后的归档比原件**小 3228 字节** —— 恰好 4 个 ARM 符号 × 24 字节符号表条目。
|
||||
|
||||
**规避**:交叉构建时覆盖 `CARGO_PROFILE_RELEASE_STRIP=none`。
|
||||
(宿主机 x86_64 构建不受影响,仓库默认 profile 不动。)
|
||||
|
||||
> 排查提示:报错里出现 `deps/rustcXXXX/libpglite.a` 而不是你 `PGLITE_LIB_DIR` 指向的那个,
|
||||
> 就是这个坑。对比办法:
|
||||
> `nm -g --defined-only <原件>` vs `nm -g --defined-only <deps 下的副本>`。
|
||||
|
||||
### 坑 2:交叉编译时 PostgreSQL configure 跳过 `--export-dynamic` 探测
|
||||
|
||||
**现象**(在 arm/v7 容器里起服务时)
|
||||
```
|
||||
FATAL: could not load library ".../lib/postgresql/dict_snowball.so":
|
||||
undefined symbol: CurrentMemoryContext
|
||||
```
|
||||
|
||||
**根因**:PostgreSQL 的 `configure` 里有这么一段:
|
||||
|
||||
```sh
|
||||
if test "$cross_compiling" = yes; then
|
||||
pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic="assuming no"
|
||||
```
|
||||
|
||||
**交叉编译时它直接假定不支持**,于是 `LDFLAGS_EX_BE` 里没有 `-Wl,--export-dynamic`
|
||||
⇒ `postgres` 不导出 backend 符号 ⇒ 扩展模块 `dlopen` 时解析不到。
|
||||
|
||||
量化证据:
|
||||
|
||||
| | 动态导出符号数 | 含 `CurrentMemoryContext` |
|
||||
|---|---|---|
|
||||
| 官方 x86_64 `postgres` | **10802** | 是 |
|
||||
| 自建 armv7 `postgres` | **0** | 否 |
|
||||
|
||||
官方是本机编译,探测能真跑一次所以通过。
|
||||
|
||||
**规避**:configure 时强制 cache 变量
|
||||
```sh
|
||||
ac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic=yes
|
||||
```
|
||||
(已实测 `arm-linux-gnueabihf-gcc` 支持 `-Wl,--export-dynamic`,且确实导出符号。)
|
||||
|
||||
### 坑 3:runtime tar 缺 libpq + 缺 RPATH
|
||||
|
||||
**现象**
|
||||
```
|
||||
[启动失败] 打开数据库失败: boot failed: initdb failed:
|
||||
/tmp/pglite-rs-runtime-*/bin/initdb: error while loading shared libraries:
|
||||
libpq.so.5: cannot open shared object file: No such file or directory
|
||||
```
|
||||
|
||||
**根因**:上游把引擎构建和 runtime 可移植化**拆成两个脚本**:
|
||||
|
||||
- `native/build-libpglite.sh` → 产出 `libpglite.a` + `pglite-runtime.tar`
|
||||
- `native/relocate-runtime.sh` → **给 runtime 打 RPATH + 打包 libpq**
|
||||
|
||||
第一版交叉脚本只做了前者。`relocate-runtime.sh` 在 Linux 下做三件事:
|
||||
|
||||
1. `patchelf --set-rpath '$ORIGIN/../lib:$ORIGIN/..'` → `initdb` / `postgres` / `libpqwalreceiver.so`
|
||||
2. 把 `lib/libpq.so*` 打进 runtime tar
|
||||
3. 把 libpq 显式列进 tar 的文件参数
|
||||
|
||||
另外 armv7 目标机未必有 `libz.so.1`(官方 x86_64 包靠宿主系统提供),所以 `libz` 也要打包进去。
|
||||
|
||||
**规避**:`scripts/relocate-runtime-cross.sh`(本仓库新增,交叉版)。
|
||||
|
||||
> 排查提示:对比官方 runtime tar 的内容差异最快 ——
|
||||
> `tar xf pglite-runtime.tar` 后看 `lib/` 下有没有 `libpq.so.5`,
|
||||
> 再 `strings -a bin/initdb | grep '\$ORIGIN'` 看有没有 RPATH。
|
||||
|
||||
---
|
||||
|
||||
## 4. 脚本清单
|
||||
|
||||
| 脚本 | 作用 |
|
||||
|---|---|
|
||||
| `scripts/build-pglite-engine.sh` | 编排:下载源码 → 拉上游 native 脚本与补丁 → 容器内交叉编译 → 导出产物 |
|
||||
| `scripts/build-libpglite-cross.sh` | 上游 `build-libpglite.sh` 的交叉变体(打补丁用 `patch -p1`,强制 export-dynamic) |
|
||||
| `scripts/relocate-runtime-cross.sh` | 上游 `relocate-runtime.sh` 的交叉变体(RPATH + libpq + libz) |
|
||||
| `scripts/zig-cc-armv7.sh` | cargo 交叉链接器包装器(改写 `-Wl,/abs/path` → 裸路径;注入 armhf sysroot) |
|
||||
| `scripts/build-armv7.sh` | 一键入口:引擎 → Rust 交叉编译 → arm/v7 容器冒烟 |
|
||||
|
||||
### 工具链镜像
|
||||
|
||||
```dockerfile
|
||||
FROM debian:bookworm-slim
|
||||
ENV DEBIAN_FRONTEND=noninteractive
|
||||
RUN dpkg --add-architecture armhf \
|
||||
&& sed -i 's|^deb |deb [arch=amd64,armhf] |' /etc/apt/sources.list.d/debian.sources \
|
||||
&& apt-get update -qq \
|
||||
&& apt-get install -y -qq --no-install-recommends clang llvm make bison flex \
|
||||
perl pkg-config ca-certificates file patchelf patch \
|
||||
gcc-arm-linux-gnueabihf libc6-dev-armhf-cross zlib1g-dev:armhf \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
```
|
||||
|
||||
镜像名 `pglite-armhf-toolchain:latest`。
|
||||
|
||||
> ⚠️ multiarch 是必须的:只有 `dpkg --add-architecture armhf` + sources 里加
|
||||
> `[arch=amd64,armhf]`,才能装 `zlib1g-dev:armhf`(否则 `Unable to locate package`)。
|
||||
|
||||
---
|
||||
|
||||
## 5. 一键构建
|
||||
|
||||
```bash
|
||||
bash scripts/build-armv7.sh # 全流程
|
||||
bash scripts/build-armv7.sh --engine-only # 只建引擎
|
||||
bash scripts/build-armv7.sh --skip-engine # 只编二进制(复用已有引擎)
|
||||
```
|
||||
|
||||
产物:
|
||||
|
||||
```
|
||||
target/armv7-unknown-linux-gnueabihf/release/sspf-admin # ARM EABI5 可执行
|
||||
dist/pglite-engine-armv7/ # 引擎三件套
|
||||
├── libpglite.a
|
||||
├── pglite-runtime.tar
|
||||
├── pglite_native.h
|
||||
└── sysroot/ # armhf 交叉 libc + zlib(供 zig cc 链接)
|
||||
```
|
||||
|
||||
### sysroot 的由来
|
||||
|
||||
zig 自带 armv7 libc 但**不带 zlib**(`pglite-rs-sys` 会链 `-lz`),
|
||||
所以从交叉工具链镜像里抽出 armhf 的 `libz.so.1` 与 libc 系列放本地:
|
||||
|
||||
```
|
||||
sysroot/lib/ libz.so→libz.so.1, libc.so.6, libm.so.6, libdl.so.2,
|
||||
libpthread.so.0, librt.so.1, libgcc_s.so.1, ld-linux-armhf.so.3
|
||||
sysroot/include/ zlib.h, zconf.h, arm-linux-gnueabihf/
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 6. 验证
|
||||
|
||||
```bash
|
||||
# 架构
|
||||
file target/armv7-unknown-linux-gnueabihf/release/sspf-admin
|
||||
# → ELF 32-bit LSB pie executable, ARM, EABI5 version 1 (SYSV), dynamically linked,
|
||||
# interpreter /lib/ld-linux-armhf.so.3
|
||||
|
||||
# 真跑(armhf 基础镜像,别用 amd64 的 debian:bookworm-slim)
|
||||
docker run --rm --platform linux/arm/v7 \
|
||||
-v "$PWD/target/armv7-unknown-linux-gnueabihf/release/sspf-admin:/sspf-admin:ro" \
|
||||
-v /tmp/pgdata:/data arm32v7/debian:bookworm-slim \
|
||||
sh -c 'PGLITE_DIR=/data/pg PORT=30099 /sspf-admin'
|
||||
```
|
||||
|
||||
### 2026-11-12 实测结果(全部在 `linux/arm/v7` 容器内)
|
||||
|
||||
| 项 | 结果 |
|
||||
|---|---|
|
||||
| `initdb` | ✅ Success |
|
||||
| `postgres` 单用户模式 | ✅ 退出码 0,输出两个 `backend>`(与官方 x86_64 一致) |
|
||||
| pglite 探针(`open`→`SELECT 1`→`CREATE`→`INSERT`→`SELECT`) | ✅ 全通过,读回 `id=1 name=armv7` |
|
||||
| sspf-admin 首次启动 | ✅ `sspf 0.5.0 已启动:http://127.0.0.1:30099` |
|
||||
| 示例数据导入 | ✅ 14255 条语句,数据目录 1709 个文件 |
|
||||
| `POST /api/oauth/Login`(admin/123456) | ✅ `{"code":200,...,"token":"lite-…"}` |
|
||||
| `GET /api/oauth/CurrentUser`(带 token) | ✅ 85 KB 响应:99 个菜单节点 / 6 条路由 / `userInfo` 全字段 |
|
||||
| 复用已有数据目录再启动 | ✅ 正常(WAL 恢复 `automatic recovery in progress` 后起服务) |
|
||||
|
||||
> 🔴 **别把「被 kill -9 后的残留 `postmaster.pid`」当成 armv7 的 bug**:
|
||||
> 下次启动会报 `FATAL: lock file "postmaster.pid" already exists` ⇒
|
||||
> `boot failed: backend main returned 1, expected 99`。这是强杀进程留下的状态,x86_64 同样如此。
|
||||
> 排查时先 `rm -f <datadir>/postmaster.pid`。
|
||||
|
||||
### 端到端(从发布包 tar 解出来的二进制)
|
||||
|
||||
```bash
|
||||
tar -xzf dist/sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz -C /tmp/v
|
||||
docker run --rm --platform linux/arm/v7 \
|
||||
-v /tmp/v:/app -v /tmp/d:/data arm32v7/debian:bookworm-slim \
|
||||
sh -c 'PGLITE_DIR=/data/pg PORT=30099 /app/sspf-v0.5.0-armv7-unknown-linux-gnueabihf/bin/sspf-admin'
|
||||
```
|
||||
|
||||
实测:启动成功 + 示例数据导入完成 + 登录接口返回 token。
|
||||
|
||||
> 🔴 **runtime 是内嵌进二进制的**:`pglite-rs` 用 `include_bytes!(OUT_DIR/pglite-runtime.tar)`
|
||||
> 把 runtime tar 烤进二进制 ⇒ **目标机不需要额外的引擎文件**,发布包自包含。
|
||||
> (`dist/pglite-engine-armv7/` 只是给「想自己链接引擎的二次开发者」用的独立 asset。)
|
||||
|
||||
### 🔴 第四个坑:**fd 1 必须是「能被 epoll 注册」的类型**(2026-11-13,Gitea issue #1)
|
||||
|
||||
这是**发布后**才暴露的坑,也是最狠的一个:**所有标准部署形态全部挂**。
|
||||
|
||||
#### 现象
|
||||
|
||||
armv7 包**只有 stdout 是管道时**能起来。stdout 重定向到**普通文件**或 `/dev/null`
|
||||
⇒ 进程在 initdb 之后以 **exit 100** 直接退出,stderr 常常是空的。
|
||||
|
||||
| case | stdout (fd 1) | `inner_rc` | 结果 |
|
||||
|---|---|---|---|
|
||||
| A | 继承 docker pipe | 124 | ✅ 正常常驻 |
|
||||
| B | 普通文件 `> /tmp/srv.log 2>&1` | **100** | ❌ 只剩 banner |
|
||||
| C | `/dev/null` 字符设备 | **100** | ❌ stderr 0 字节 |
|
||||
|
||||
#### 根因链条
|
||||
|
||||
1. pglite 的 `initDummyPort()`(`src/backend/tcop/postgres.c`)设 **`s.sock = 1`**
|
||||
⇒ 把 **fd 1 当成「名义客户端 socket」**;
|
||||
2. `pq_init()`(`src/backend/libpq/pqcomm.c`)随即把它注册进 WaitEventSet:
|
||||
```c
|
||||
socket_pos = AddWaitEventToSet(FeBeWaitSet, WL_SOCKET_WRITEABLE,
|
||||
port->sock, NULL, NULL); /* port->sock == 1 */
|
||||
```
|
||||
3. 等待事件的后端按平台分(`src/backend/storage/ipc/latch.c`):
|
||||
Linux ⇒ `HAVE_SYS_EPOLL_H` ⇒ **epoll**;macOS ⇒ **kqueue**;
|
||||
4. **epoll 只接受 poll-able 的 fd**(管道 / socket / eventfd …),
|
||||
**普通文件(`S_IFREG`)与字符设备(`S_IFCHR`)一律 `EPERM`**。
|
||||
armv7 容器内实测:
|
||||
```text
|
||||
普通文件 epoll_ctl=-1 Operation not permitted
|
||||
/dev/null epoll_ctl=-1 Operation not permitted
|
||||
管道写端 epoll_ctl=0 OK
|
||||
管道读端 epoll_ctl=0 OK
|
||||
```
|
||||
5. ⇒ `ereport(ERROR, "epoll_ctl() failed: %m")` → longjmp → **`exit(100)`**。
|
||||
|
||||
> 💡 macOS 走 kqueue(允许把普通文件/字符设备注册为 `EVFILT_WRITE`)⇒ 同样形态正常。
|
||||
> ⇒ **这是 Linux 专属问题**,x86_64 macOS 上从未暴露。
|
||||
|
||||
#### 为什么旧修复是错的
|
||||
|
||||
`boot.rs::ensure_stdout_for_pglite()` 原来把 fd 1 `dup2` 到一个**普通临时文件**
|
||||
⇒ 只是把「字符设备失败」换成「普通文件失败」,**同样 EPERM、同样 exit 100**。
|
||||
且它只判 `S_IFCHR`,**普通文件(最主要的部署形态)根本不覆盖**;
|
||||
注释里的「kqueue 读事件 / `kevent()` 失败」是 **macOS 语义**,Linux 上有害无益。
|
||||
|
||||
#### 本仓的修法(`boot.rs::ensure_stdout_for_pglite()`)
|
||||
|
||||
**管道 + 原始 stdout 转发 + drain 线程**:
|
||||
|
||||
1. `pipe()` 造一对 fd;
|
||||
2. **`dup` 原始 stdout** ⇒ 平台的 `println!`(「已启动」「导入完成」…)仍落到
|
||||
**用户真正要的 stdout**;
|
||||
3. `dup2(pipe_w, 1)` ⇒ **fd 1 变成管道写端**(epoll 合法);
|
||||
4. 起 **drain 线程**读管道读端 → 转发到原始 stdout;
|
||||
5. 原始 stdout 与管道读端**泄漏保活**(进程级)。
|
||||
|
||||
> 🔴 **drain 线程是必需的,不是保险**:
|
||||
> pglite 的 `pgl_fcntl` 是 **dummy**(`pglitec.c`:`int pgl_fcntl(...) { return 0; }`)
|
||||
> ⇒ `pq_init()` 里的 `pg_set_noblock(port->sock)` **完全无效**
|
||||
> ⇒ **fd 1 始终阻塞** ⇒ 管道缓冲(Linux 64KB)写满后 `write()` **永久阻塞**
|
||||
> ⇒ 内嵌 PG 直接卡死 ⇒ 必须有活线程持续消费。
|
||||
|
||||
macOS 分支用 `#[cfg(target_os = "macos")]` 限定为空实现(kqueue 本就接受普通文件)。
|
||||
|
||||
#### 回归门禁
|
||||
|
||||
`scripts/build-armv7.sh` 的冒烟现在跑**三个 case**(每个都是全新容器 + 全新数据目录):
|
||||
|
||||
| case | stdout (fd 1) | 走替换? | 断言 |
|
||||
|---|---|---|---|
|
||||
| **A** | 继承 docker pipe | ❌ 已是管道 ⇒ 提前返回 | HTTP 通 + 常驻 + stdout 含「已启动」 |
|
||||
| **B** | 普通文件 `> /tmp/srv.log 2>&1` | ✅ | HTTP 通 + 常驻 + 日志含「已启动」+ **含「启动诊断」** |
|
||||
| **C** | `/dev/null` | ✅ | HTTP 通 + 常驻 + **含「启动诊断」** |
|
||||
|
||||
> 🔴 **B 才是 issue 报的失败形态**(`nohup … > app.log 2>&1 &` 的标准部署写法),
|
||||
> 也是最容易漏测的那个。C 的「已启动」进了 `/dev/null` ⇒ 只能靠「HTTP 通 + 常驻」判定。
|
||||
|
||||
> 🔴 **「启动诊断」这条断言的价值**:它证明**替换路径真的走到了**。
|
||||
> 只断言「没 exit 100」是不够的 —— 万一将来有人把替换逻辑删掉、而恰好测试机上
|
||||
> fd 1 是管道,用例依然会绿 ⇒ 用「必须打出诊断行」把这条路径钉死。
|
||||
|
||||
> 🔴 探活用 **bash 内建 `/dev/tcp`**,不用 `wget`/`curl`
|
||||
> —— `arm32v7/debian:bookworm-slim` 里**没有** wget/curl(只有 coreutils)。
|
||||
> 且整套探活要包在子 shell 里、`2>/dev/null` 放最外层:bash 连接失败会自己往
|
||||
> stderr 打 `connect: Connection refused`,只重定向 `exec` 那行压不住,日志会被刷屏。
|
||||
|
||||
> 🔴 **`PGLITE_DIR` / `PORT` 必须用 `-e` 传进容器**(2026-11-13 实测踩坑):
|
||||
> 它们若只写在 `bash -c '...'` 的**内联命令行**里,会在外层展开成宿主变量、
|
||||
> 容器内拿不到 ⇒ 服务起在**默认端口 30010** + 默认数据目录 ⇒ 探活一直
|
||||
> `Connection refused` ⇒ 被误判成「修复没生效」。
|
||||
|
||||
> ⚠️ 停机时 stderr 会有大量 `FATAL: terminating connection because protocol
|
||||
> synchronization was lost` —— 这是 pglite `shutdown()` 的**已知现象**
|
||||
> (postmaster 循环拉起后端,见 `boot.rs::shutdown_pg` 注释),不是启动缺陷。
|
||||
> 门禁日志里已过滤掉它。
|
||||
|
||||
### 🔴 第五个坑:**runtime 目录跨架构抢占**(issue #1 关联问题 1)
|
||||
|
||||
pglite-rs 0.2.7 的 `runtime_dir()`(`engine.rs`)默认取
|
||||
`$TMPDIR/pglite-rs-runtime-0.2.7-<fingerprint>`,而 `runtime_fingerprint()`
|
||||
**只哈希 runtime tar 的内容** ⇒ **x86_64 与 armv7 共用同一个目录名**。
|
||||
|
||||
⇒ 同一台机器上先后跑两种架构的二进制时,后者撞上前者残留目录 ⇒
|
||||
`Error::Boot("runtime extraction race lost and target invalid")`。
|
||||
|
||||
**修法**:`boot.rs::ensure_runtime_dir_isolated()` 在开库前把 `PGLITE_RUNTIME_DIR`
|
||||
固化成一个**带目标架构与二进制指纹**的路径(`engine.rs` 确实支持该环境变量覆盖):
|
||||
|
||||
```
|
||||
$TMPDIR/pglite-rs-runtime-<版本>-<arch>-<16 位十六进制指纹>
|
||||
例:pglite-rs-runtime-0.1.0-x86_64-72b6cc1782da05b7
|
||||
pglite-rs-runtime-0.1.0-arm-<另一串>
|
||||
```
|
||||
|
||||
指纹 = **FNV-1a(** 可执行文件绝对路径 + 文件大小 + 修改时间 **)**:
|
||||
|
||||
- **含路径** ⇒ 同一台机上两个部署(不同安装位置)互不踩;
|
||||
- **含大小 + mtime** ⇒ 换引擎/改代码重编后必然变化 ⇒ **不会复用**上一次解出来的
|
||||
runtime(那正是跨架构/跨版本抢占的真实来源);
|
||||
- 只 `stat` 不读内容 —— 70 MB 二进制算内容哈希要几百毫秒,启动期不值。
|
||||
|
||||
⚠️ 只在**用户没显式设置** `PGLITE_RUNTIME_DIR` 时覆盖 —— 用户显式指定就该尊重。
|
||||
|
||||
---
|
||||
|
||||
## 7. 发布
|
||||
|
||||
`scripts/release.sh` 支持 `--target <triple>`:
|
||||
|
||||
```bash
|
||||
bash scripts/release.sh --target armv7-unknown-linux-gnueabihf
|
||||
```
|
||||
|
||||
与宿主机构建的区别:
|
||||
|
||||
- 二进制取自 `target/<triple>/release/sspf-admin`
|
||||
- **跳过**宿主机消费方编译自检(消费方是 x86_64 的,链不上 armv7 库),改为**架构校验**
|
||||
(`file` 结果必须含 `ARM`/`EABI`)
|
||||
- rlib 用独立隔离目录 `target/rlibbuild-<triple>`,避免和宿主机的 rlib 互相覆盖
|
||||
- **解包目录名带 target 后缀**:`dist/sspf-vX.Y.Z-<triple>/` ⇒ 同版本多平台**互不覆盖**
|
||||
- 包名 `sspf-v${VERSION}-${triple}.tar.gz`
|
||||
- README 头部标注目标平台
|
||||
|
||||
### 发布物
|
||||
|
||||
| asset | 内容 |
|
||||
|---|---|
|
||||
| `sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz` | 平台包(预编译二进制 + rlib 闭包 + crate 源码) |
|
||||
| `pglite-armv7-unknown-linux-gnueabihf.tar.gz` | armv7 引擎(`libpglite.a` + `pglite-runtime.tar` + `pglite_native.h`),命名与上游一致 |
|
||||
| `*.sha256` | 校验和(`sha256sum -c` 可直接用) |
|
||||
|
||||
> 平台包是**自包含**的(runtime 已内嵌),引擎包只给需要自己链接引擎的二次开发者。
|
||||
|
||||
@@ -0,0 +1,211 @@
|
||||
# armv7 平台包 glibc 兼容性整改规格(给 ssw-platform)
|
||||
|
||||
> 提交方:ssw-tds-test(设备侧接入方)
|
||||
> 日期:2026-11-12
|
||||
> 关联产物:`dist/sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz`(150M)
|
||||
> 关联引擎:`dist/pglite-armv7-unknown-linux-gnueabihf.tar.gz`(10M)
|
||||
|
||||
## 1. 结论一句话
|
||||
|
||||
armv7 平台包**架构是对的**(rlib 全部 `armv7-unknown-linux-gnueabihf`,引擎二进制是 ARM EABI5 armhf),
|
||||
但**链接用的 sysroot 是 Debian 12 的 GLIBC 2.36**,导致引擎被绑定到 `GLIBC_2.34` 版本节点,
|
||||
**在 glibc ≤ 2.28 的设备上无法启动**(已实测复现)。
|
||||
|
||||
## 2. 实测证据
|
||||
|
||||
### 2.1 产物架构正确
|
||||
|
||||
```
|
||||
libpglite.a : ARM 静态库
|
||||
bin/initdb : ELF 32-bit LSB pie executable, ARM, EABI5, interpreter /lib/ld-linux-armhf.so.3
|
||||
bin/postgres : ELF 32-bit LSB pie executable, ARM, EABI5
|
||||
sspf 平台包 127 个 rlib : 目标三元组均为 armv7-unknown-linux-gnueabihf,无 x86_64 残留
|
||||
```
|
||||
|
||||
### 2.2 版本要求过高(根因)
|
||||
|
||||
`objdump -T` 读出的版本需求:
|
||||
|
||||
| 二进制 | 需要的 GLIBC 版本 |
|
||||
|---|---|
|
||||
| `bin/postgres` | 2.17, 2.25, **2.28, 2.29, 2.33, 2.34** |
|
||||
| `bin/initdb` | 2.10, 2.14, **2.28, 2.29, 2.33, 2.34** |
|
||||
|
||||
按版本号分组的符号:
|
||||
|
||||
| 版本节点 | 符号 |
|
||||
|---|---|
|
||||
| GLIBC_2.34 | `__libc_start_main` `dlopen` `dlsym` `dlclose` `dlerror` `sem_init` `sem_destroy` `sem_post` `sem_wait` `sem_trywait` `shm_open` `shm_unlink` |
|
||||
| GLIBC_2.33 | `stat64` `fstat64` `lstat64` |
|
||||
| GLIBC_2.29 | `exp` `log` `pow` |
|
||||
| GLIBC_2.28 | `fcntl` `fcntl64` |
|
||||
|
||||
**这些符号本身在 glibc 2.26 就全部存在**(`sem_*`/`shm_open`/`dlopen` 都是老符号),
|
||||
只是版本节点被绑高了 ⇒ **不是缺功能,是版本标签不匹配**。
|
||||
|
||||
### 2.3 复现(不需要设备)
|
||||
|
||||
```bash
|
||||
docker run --rm --platform linux/arm/v7 -v <rt>:/rt:ro arm32v7/debian:buster sh -c '/rt/bin/initdb --version'
|
||||
```
|
||||
|
||||
输出(buster = glibc 2.28):
|
||||
|
||||
```
|
||||
/rt/bin/initdb: /lib/arm-linux-gnueabihf/libm.so.6: version `GLIBC_2.29' not found (required by /rt/bin/initdb)
|
||||
/rt/bin/initdb: /lib/arm-linux-gnueabihf/libc.so.6: version `GLIBC_2.33' not found (required by /rt/bin/initdb)
|
||||
/rt/bin/initdb: /lib/arm-linux-gnueabihf/libc.so.6: version `GLIBC_2.34' not found (required by /rt/bin/initdb)
|
||||
```
|
||||
|
||||
⇒ 在 **glibc 2.28 上已经起不来**。
|
||||
|
||||
### 2.4 根因定位
|
||||
|
||||
- `scripts/build-pglite-engine.sh` 用 `gcc-arm-linux-gnueabihf` + `libc6-dev-armhf-cross` 交叉编译引擎;
|
||||
- `scripts/build-armv7.sh` 的 `ZIG_SYSROOT` 指向 `dist/pglite-engine-armv7/sysroot`;
|
||||
- 该 sysroot 里的 libc 是 **`Debian GLIBC 2.36-9+deb12u14`**(实测 `strings` 确认)。
|
||||
|
||||
⇒ 链接时所有符号取 glibc 2.36 的版本节点 ⇒ 最高 `GLIBC_2.34`。
|
||||
|
||||
### 2.5 上游现有冒烟为什么没发现
|
||||
|
||||
`build-armv7.sh` 的冒烟用 `arm32v7/debian:bookworm-slim` = **glibc 2.36**,
|
||||
与编译 sysroot 同版本 ⇒ 天然通过,掩盖了问题。
|
||||
**建议把冒烟镜像改成 `arm32v7/debian:buster`(2.28)或更老的 `stretch`(2.24)。**
|
||||
|
||||
> ✅ **已于 2026-11-13 落实**:冒烟镜像默认改为 `arm32v7/debian:buster`,
|
||||
> 另加了一道**纯宿主侧的 glibc 版本门禁**(超过 `GLIBC_2.18` 直接构建失败),
|
||||
> 详见 §5.1.5。
|
||||
|
||||
## 3. 目标设备基线
|
||||
|
||||
| 设备 | 架构 | glibc | 备注 |
|
||||
|---|---|---|---|
|
||||
| ZYNQ 192.168.1.233 | armv7l | **2.26** | 无 docker,BusyBox,静态二进制唯一可行 |
|
||||
| 海光 192.168.1.102 | x86_64 | 2.28 | 有 docker,但 glibc 仍低于 2.34 |
|
||||
|
||||
⇒ 引擎必须能在 **glibc 2.26** 上跑(ZYNQ 是硬约束)。
|
||||
|
||||
## 4. 两条可选修法
|
||||
|
||||
### 方案 A(推荐):改用 musl 静态,零设备 libc 依赖
|
||||
|
||||
- 目标三元组改为 `armv7-unknown-linux-musleabihf`;
|
||||
- `zig cc -target arm-linux-musleabihf -static` 自带 musl libc(zig 0.14.1 已验证);
|
||||
- 产物完全静态 ⇒ **设备 glibc 版本无关**,ZYNQ 的 2.26 无任何风险;
|
||||
- 顺带解决「ZYNQ 无 glibc 头文件/运行时」的依赖问题。
|
||||
|
||||
已本地验证 musl 静态 armv7 二进制在 `arm32v7/debian:buster` 与 `alpine:3.20` 上均正常运行。
|
||||
|
||||
⚠️ 注意点:
|
||||
- `relocate-runtime-cross.sh` 里的 `patchelf --set-rpath` 对静态产物无意义,可跳过;
|
||||
- musl 下 `libpq.so.5` 仍需打进 runtime(`initdb` 依赖它);
|
||||
- `pglite-rs-sys` 的 `build.rs` 无条件 `-lz`,musl 下 zlib 同样要静态链入。
|
||||
|
||||
### 方案 B:保留 gnueabihf,但用 ≤ 2.26 的 sysroot
|
||||
|
||||
- 交叉工具链换成 **glibc ≤ 2.26** 的 sysroot(如 Debian 9 stretch armhf / Ubuntu 16.04 armhf);
|
||||
- 引擎与 Rust 侧二进制都用它链接;
|
||||
- 优点:与设备 glibc 语义一致,`patchelf`/RPATH 逻辑不变;
|
||||
- 缺点:sysroot 需自备,且 stretch 的 glibc 无 `dlopen` 新符号问题要一并确认。
|
||||
|
||||
## 5. 验收标准(上游重编后请逐条自验)
|
||||
|
||||
```bash
|
||||
# ① 引擎二进制不得要求高于 2.26 的 GLIBC
|
||||
objdump -T bin/postgres | grep -oE 'GLIBC_2\.[0-9]+' | sort -uV | tail -1 # 期望 ≤ GLIBC_2.26
|
||||
objdump -T bin/initdb | grep -oE 'GLIBC_2\.[0-9]+' | sort -uV | tail -1 # 期望 ≤ GLIBC_2.26
|
||||
|
||||
# ② 在老 glibc 的 armv7 容器里能起
|
||||
docker run --rm --platform linux/arm/v7 -v <rt>:/rt:ro arm32v7/debian:buster \
|
||||
sh -c '/rt/bin/initdb -D /tmp/pg -U check --no-sync -A trust -E UTF8' && echo INITDB_OK
|
||||
|
||||
# ③ 若走方案 A(musl),产物必须是静态
|
||||
file bin/postgres | grep -q 'statically linked' && echo STATIC_OK
|
||||
|
||||
# ④ sspf-admin 整体冒烟(老 glibc 容器里起服务 + 探活)
|
||||
docker run --rm --platform linux/arm/v7 ... arm32v7/debian:buster sh -c '...'
|
||||
```
|
||||
|
||||
设备侧我方会再用 `build/check-armv7-runtime.sh` 做最终裁决(读设备 glibc 版本 + 试跑 initdb)。
|
||||
|
||||
## 5.1 平台侧收编结果(2026-11-13 已实测通过)
|
||||
|
||||
> 本节由 **ssw-platform** 填写,对应 Gitea issue `ssw/ssw-platform#1` 的「关联问题 2」。
|
||||
|
||||
### 5.1.1 采取的方案
|
||||
|
||||
走的是**方案 B**(保留 gnueabihf,替换为低版本 sysroot),未走方案 A(musl)——
|
||||
因为方案 A 会改变三元组(`armv7-unknown-linux-musleabihf`),与已发布的
|
||||
`armv7-unknown-linux-gnueabihf` 发布包不兼容,且 TDS 侧已按方案 B 重编好引擎。
|
||||
|
||||
引擎改用 **zig cc 0.14.1 + glibc 2.26 sysroot** 交叉编译,产物目录 `dist/pglite-engine-armv7-glibc26/`。
|
||||
|
||||
### 5.1.2 验收①:版本需求(实测)
|
||||
|
||||
`objdump -T` 读出的全部版本节点:
|
||||
|
||||
| 二进制 | 收编前(issue 实测) | **收编后(本次实测)** | 封顶符号 |
|
||||
|---|---|---|---|
|
||||
| `postgres` | 2.17, 2.25, **2.28, 2.29, 2.33, 2.34** | **2.17** | `clock_gettime` |
|
||||
| `initdb` | 2.10, 2.14, **2.28, 2.29, 2.33, 2.34** | **2.14** | `syncfs` |
|
||||
| `sspf-admin`(Rust 侧) | — | **2.18** | `__cxa_thread_atexit_impl` |
|
||||
|
||||
⇒ **全部 ≤ 2.18**,远低于文档 §3 要求的 ≤ 2.26(ZYNQ 基线)。
|
||||
(`__cxa_thread_atexit_impl` 是 Rust std `thread_local` 析构所需,
|
||||
**任何 Rust 二进制都绕不开** ⇒ 2.18 是理论下限,再低不可达。)
|
||||
|
||||
静态库符号层面(issue 验收口径「`fcntl64=0`、`pgl_fcntl=0`、`fcntl=1`」):
|
||||
|
||||
```
|
||||
libpglite.a:
|
||||
undefined fcntl64 = 0 ← 收编前 pqcomm.o / postmaster.o 引用 fcntl64(GLIBC_2.28)
|
||||
undefined fcntl = 6 ← miscinit.o postmaster.o pqcomm.o noblock_srv.o pglitec.o pglite_reset.o
|
||||
undefined pgl_fcntl = 0
|
||||
defined pgl_fcntl = 1 ← pglitec.o 内定义(T pgl_fcntl)
|
||||
```
|
||||
|
||||
⇒ `fcntl64` 的 undefined 引用**已归零**。
|
||||
|
||||
### 5.1.3 验收②:老 glibc 容器实跑(实测)
|
||||
|
||||
| 镜像 | glibc | `initdb --version` | `initdb` 实跑 | `postgres --version` |
|
||||
|---|---|---|---|---|
|
||||
| `arm32v7/debian:buster` | 2.28 | ✅ 17.5 | ✅ `INITDB_OK`(生成完整 PG_VERSION=17 数据目录) | ✅ |
|
||||
| `arm32v7/debian:stretch` | **2.24** | ✅ 17.5 | ✅ `INITDB_OK` | ✅ |
|
||||
|
||||
stretch 的 **2.24 比 ZYNQ 的 2.26 更老** ⇒ **过了 stretch ⇒ ZYNQ 必然过**。
|
||||
|
||||
### 5.1.4 验收④:sspf-admin 端到端(实测,用**已发布包**里的二进制)
|
||||
|
||||
`dist/sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz` 内的 `bin/sspf-admin`,
|
||||
在两个老 glibc 镜像上各跑 stdout 三形态(每形态都是全新容器 + 全新数据目录):
|
||||
|
||||
| 镜像 | case | stdout 形态 | HTTP 探活 | 进程常驻 | 「已启动」 | 「启动诊断」 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| buster (2.28) | A | 继承 docker pipe | ✅ 200 | ✅ | ✅ | —(不走替换,符合预期) |
|
||||
| buster (2.28) | B | → 普通文件 | ✅ 200 | ✅ | ✅ | ✅「原为 普通文件」 |
|
||||
| buster (2.28) | C | → /dev/null | ✅ 200 | ✅ | —(进 /dev/null) | ✅「原为 字符设备(含终端)」 |
|
||||
| stretch (2.24) | A | 继承 docker pipe | ✅ 200 | ✅ | ✅ | — |
|
||||
| stretch (2.24) | B | → 普通文件 | ✅ 200 | ✅ | ✅ | ✅ |
|
||||
| stretch (2.24) | C | → /dev/null | ✅ 200 | ✅ | — | ✅ |
|
||||
|
||||
数据导入:两个镜像均为 **14255 条**示例数据,数据目录 50M 正常。
|
||||
|
||||
### 5.1.5 已落地的门禁(防回退)
|
||||
|
||||
原冒烟用 `arm32v7/debian:bookworm-slim`(**glibc 2.36,与编译 sysroot 同版本**)
|
||||
⇒ **天然通过、天然掩盖问题**(正是 §2.5 指出的盲区)。现已改为:
|
||||
|
||||
1. **glibc 版本门禁**(`scripts/build-armv7.sh` 第 3 步,**纯宿主侧、秒级、不起容器**):
|
||||
读 ELF 动态符号的版本节点,超过 `GLIBC_2.18` 直接**构建失败**。
|
||||
用宿主自带的 `/usr/bin/objdump`(LLVM 版,可直接读 arm ELF)。
|
||||
阈值可用 `GLIBC_MAX_MINOR=` 覆盖。
|
||||
2. **冒烟镜像改为 `arm32v7/debian:buster`**(glibc 2.28)⇒ 版本回退会当场暴露。
|
||||
|
||||
## 6. 不在本次整改范围(但请知悉)
|
||||
|
||||
- `ssw-tds` 侧连接器(含 `tdc-rs`)在 ZYNQ 上是**独立静态二进制**(Go,musl),
|
||||
不依赖平台包的 glibc 符号版本 ⇒ 方案 B 落地后即使平台包仍有版本问题,
|
||||
连接器本身仍可单独部署;
|
||||
- 但连接器启动后会拉起本地 PostgreSQL 引擎 ⇒ **引擎必须先修好**,否则连接器起不来。
|
||||
Executable
+408
@@ -0,0 +1,408 @@
|
||||
#!/usr/bin/env bash
|
||||
#
|
||||
# build-armv7.sh —— 一键交叉编译 armv7 版 sspf-admin(Linux 32 位 ARM, hard-float)
|
||||
#
|
||||
# 🔴 为什么需要这个脚本(2026-11-12):
|
||||
# ssw-platform 的后端把 PostgreSQL 引擎(`libpglite.a`)**静态链进二进制**。
|
||||
# 上游 `pglite-rs` 只发布 x86_64 / aarch64 的 darwin 与 linux-gnu 预编译引擎,
|
||||
# **没有 armv7** ⇒ 要出 armv7 包必须自己交叉编译引擎 + 交叉链接 Rust 侧。
|
||||
#
|
||||
# 两条路的取舍(都实测过):
|
||||
# A. arm/v7 容器内原生编译(qemu 模拟)—— ❌ apt 装依赖就跑了 9 分钟,
|
||||
# PostgreSQL 全量 make 在 qemu 下要数小时,不可行。
|
||||
# B. amd64 容器 + arm-linux-gnueabihf 交叉工具链 —— ✅ 本脚本。
|
||||
# 容器是原生 x86_64,编译速度正常;Rust 侧用 zig cc 当 linker
|
||||
# (zig 0.14.1 自带 lld 与 armv7 libc,免装交叉 libc)。
|
||||
#
|
||||
# 产物:
|
||||
# target/armv7-unknown-linux-gnueabihf/release/sspf-admin (ARM EABI5 可执行)
|
||||
# dist/pglite-engine-armv7/ (引擎:libpglite.a + runtime + 头文件)
|
||||
#
|
||||
# 用法:
|
||||
# bash scripts/build-armv7.sh # 只编译二进制
|
||||
# bash scripts/build-armv7.sh --engine-only # 只编译引擎
|
||||
# bash scripts/build-armv7.sh --skip-engine # 复用已有引擎,只重编二进制
|
||||
#
|
||||
# 环境变量:
|
||||
# PGLITE_ENGINE_TAG 上游引擎 tag(默认 engine-06c837c6a303-p3)
|
||||
# PG_SRC_COMMIT postgres-pglite 源码 commit(默认该 tag 对应的 06c837c6a303…)
|
||||
# ENGINE_DIR 引擎产物目录(默认 dist/pglite-engine-armv7)
|
||||
# SKIP_DOWNLOAD=1 复用已下载的源码 tarball
|
||||
#
|
||||
set -euo pipefail
|
||||
|
||||
cd "$(dirname "$0")/.."
|
||||
REPO_ROOT="$(pwd)"
|
||||
|
||||
ENGINE_TAG="${PGLITE_ENGINE_TAG:-engine-06c837c6a303-p3}"
|
||||
PG_SRC_COMMIT="${PG_SRC_COMMIT:-06c837c6a30335169df786c610ed224bc51d81c0}"
|
||||
ENGINE_DIR="${ENGINE_DIR:-${REPO_ROOT}/dist/pglite-engine-armv7-glibc26}"
|
||||
TARGET_TRIPLE="armv7-unknown-linux-gnueabihf"
|
||||
WORK="${WORK:-/tmp/sspf-armv7-build}"
|
||||
|
||||
ENGINE_ONLY=0
|
||||
SKIP_ENGINE=0
|
||||
for a in "$@"; do
|
||||
case "$a" in
|
||||
--engine-only) ENGINE_ONLY=1 ;;
|
||||
--skip-engine) SKIP_ENGINE=1 ;;
|
||||
-h|--help) sed -n '1,40p' "$0"; exit 0 ;;
|
||||
*) echo "未知参数: $a" >&2; exit 2 ;;
|
||||
esac
|
||||
done
|
||||
|
||||
# ── 1. 引擎 ──────────────────────────────────────────────────
|
||||
if [[ "${SKIP_ENGINE}" == "0" ]]; then
|
||||
echo "==> [1/4] 构建 armv7 PGlite 引擎(上游 ${ENGINE_TAG})"
|
||||
bash "${REPO_ROOT}/scripts/build-pglite-engine.sh" \
|
||||
--engine-tag "${ENGINE_TAG}" \
|
||||
--pg-commit "${PG_SRC_COMMIT}" \
|
||||
--out "${ENGINE_DIR}" \
|
||||
--work "${WORK}"
|
||||
else
|
||||
echo "==> [1/4] 跳过引擎构建(复用 ${ENGINE_DIR})"
|
||||
fi
|
||||
|
||||
if [[ "${ENGINE_ONLY}" == "1" ]]; then
|
||||
echo "==> 仅引擎模式完成: ${ENGINE_DIR}"
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# ── 2. Rust 侧交叉编译 ───────────────────────────────────────
|
||||
echo "==> [2/4] 交叉编译 sspf-admin → ${TARGET_TRIPLE}"
|
||||
# 🔴 链接器用 zig cc:zig 自带 lld + armv7 glibc 头/库,免去装 armhf 交叉 libc。
|
||||
# CARGO_TARGET_<TRIPLE>_LINKER 是 cargo 的官方约定(不需要改仓库 .cargo/config)。
|
||||
# 包装脚本在 scripts/zig-cc-armv7.sh(改写 -Wl,/path + 注入 sysroot)。
|
||||
# 🔴 PGLITE_LIB_DIR 让 pglite-rs-sys 的 build.rs 用我们自建的引擎,
|
||||
# 而不是去 GitHub 下不存在的 armv7 预编译包。
|
||||
export PGLITE_LIB_DIR="${ENGINE_DIR}"
|
||||
|
||||
# 🔴🔴 **必须关掉 strip**(2026-11-12 定位,踩了两轮才找到):
|
||||
# 仓库根 Cargo.toml 的 `[profile.release] strip = "symbols"` 会让 rustc 在链接前
|
||||
# **重建** native 静态库(放到 `deps/rustcXXXX/libpglite.a`),重建时把
|
||||
# `ProcessStartupPacket` 从全局 `T` 降级成局部 `t`、`pgl_shmem_reset` 直接消失
|
||||
# ⇒ 链接期报 undefined symbol: ProcessStartupPacket / pgl_shmem_reset / ...
|
||||
# (实测:重建后的归档比原件小 3228 字节,恰好 4 个 ARM 符号 × 24 字节)
|
||||
# ⇒ 规避办法:本次交叉构建覆盖 strip=none。
|
||||
# ⚠️ 只影响交叉构建,仓库默认 profile 不动(宿主机 x86_64 构建不受影响)。
|
||||
export CARGO_PROFILE_RELEASE_STRIP="${CARGO_PROFILE_RELEASE_STRIP:-none}"
|
||||
|
||||
# 🔴 zig cc 不认 `-Wl,/abs/path` 合并写法(报 unsupported linker arg),
|
||||
# 用仓库里的包装脚本改写成裸路径;它还会注入 armhf sysroot(提供 -lz)。
|
||||
#
|
||||
# 🔴 2026-11-13:sysroot 换成 **zlib-only** 版本。
|
||||
# 原来指向 ${ENGINE_DIR}/sysroot(上游完整 Debian 12 armhf),它的
|
||||
# libc.so.6 是 **glibc 2.36** ⇒ `-L` 把链接器引到 2.36 ⇒ 产物又绑
|
||||
# GLIBC_2.34+ ⇒ 海光(2.28)/ZYNQ(2.26) 都跑不了。
|
||||
# 现在用 ssw-tds-test/build/sysroot-armhf(只含 libz.so.1 + zlib.h,
|
||||
# libz 的 GLIBC 需求仅 2.4)。
|
||||
export ZIG_SYSROOT="${ZIG_SYSROOT:-${REPO_ROOT}/../ssw-tds-test/build/sysroot-armhf}"
|
||||
|
||||
# 🔴 glibc 兼容 shim 注入目录(explicit_bzero / getrandom,glibc 2.25 才有)
|
||||
# ⚠️ 这两个 shim **不能**放进 libpglite.a:rustc 在 --whole-archive 场景会
|
||||
# 重打包归档,对这类只被 undefined 引用的成员处理不确定(时有时无)。
|
||||
export ZIG_COMPAT_DIR="${ZIG_COMPAT_DIR:-${ENGINE_DIR}/compat}"
|
||||
|
||||
export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER="${REPO_ROOT}/scripts/zig-cc-armv7.sh"
|
||||
|
||||
# 🔴🔴🔴 **必须绕过 sccache**(2026-11-13 定位):
|
||||
# rustc 把 `-L native=<引擎目录>` 里的 `libpglite.a` **bundle 进 rlib**,
|
||||
# 而 rustc 指纹**不含 native 静态库内容哈希** ⇒ 换引擎后 sccache 仍命中旧缓存
|
||||
# ⇒ 返回内嵌**旧引擎**的 rlib ⇒ 链接期 `undefined symbol: fcntl64`。
|
||||
# `cargo clean` 清不掉 sccache 缓存 ⇒ 只能绕开 wrapper。
|
||||
export RUSTC_WRAPPER="${RUSTC_WRAPPER-}"
|
||||
|
||||
echo " 引擎目录(PGLITE_LIB_DIR): ${ENGINE_DIR}"
|
||||
echo " 链接器(zig cc): ${CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER}"
|
||||
echo " sysroot: ${ZIG_SYSROOT}"
|
||||
echo " compat: ${ZIG_COMPAT_DIR}"
|
||||
echo " strip: ${CARGO_PROFILE_RELEASE_STRIP}(交叉构建必须 none,见脚本注释)"
|
||||
cargo build --release --target "${TARGET_TRIPLE}" -p sspf-admin
|
||||
|
||||
BIN="target/${TARGET_TRIPLE}/release/sspf-admin"
|
||||
[[ -x "${BIN}" ]] || { echo "!! 找不到 ${BIN}" >&2; exit 1; }
|
||||
file "${BIN}"
|
||||
|
||||
# ── 3. glibc 版本门禁:产物不得要求高于 GLIBC 2.18 ─────────────
|
||||
#
|
||||
# 🔴🔴 **为什么要有这一步**(2026-11-13,Gitea issue #1 关联问题 2):
|
||||
#
|
||||
# TDS 侧实测:旧引擎的 `postgres` / `initdb` 绑到 `GLIBC_2.28/2.29/2.33/2.34`,
|
||||
# 在 **glibc ≤ 2.28 的设备上直接起不来**(ZYNQ 2.26 / 海光 2.28)。
|
||||
# 根因是**链接用的 sysroot 是 Debian 12 的 GLIBC 2.36** ⇒ 版本节点被绑高。
|
||||
#
|
||||
# ⚠️ 旧冒烟用 `arm32v7/debian:bookworm-slim` = **glibc 2.36**,
|
||||
# **与编译 sysroot 同版本** ⇒ 天然通过,**天然掩盖**这个问题。
|
||||
# (`docs/armv7-glibc-compat.md` §2.5 早就建议改用 buster/stretch)
|
||||
#
|
||||
# ⇒ 这里做**纯宿主侧的静态断言**:直接读 ELF 的版本需求节点,
|
||||
# **不需要跑容器、不需要设备**,秒级反馈。
|
||||
#
|
||||
# 为什么阈值取 2.18:
|
||||
# · 引擎侧(zig cc + glibc26 sysroot)实测封顶 2.17(`clock_gettime`)
|
||||
# · Rust 侧封顶 2.18(`__cxa_thread_atexit_impl`,Rust std 的 thread_local
|
||||
# 析构,任何 Rust 二进制都绕不开 ⇒ **2.18 是理论下限,再低不可达**)
|
||||
# · 目标设备 ZYNQ 是 glibc **2.26** ⇒ 留了 8 个小版本的余量。
|
||||
#
|
||||
# ⚠️ 用**宿主**的 `/usr/bin/objdump`(LLVM 版)而不是容器里的 GNU objdump:
|
||||
# LLVM objdump 能直接读 arm ELF 的动态符号版本 ⇒ 不必起容器。
|
||||
assert_glibc_version() {
|
||||
local bin="$1"
|
||||
# 宿主上优先用 LLVM objdump(macOS 自带),退回 GNU objdump。
|
||||
local objdump=""
|
||||
for c in /usr/bin/objdump objdump llvm-objdump; do
|
||||
command -v "$c" >/dev/null 2>&1 && { objdump="$c"; break; }
|
||||
done
|
||||
if [[ -z "${objdump}" ]]; then
|
||||
echo "!! 找不到 objdump,跳过 glibc 版本门禁(**这本身就是风险**)" >&2
|
||||
return 0
|
||||
fi
|
||||
|
||||
local top
|
||||
top="$("${objdump}" -T "${bin}" 2>/dev/null \
|
||||
| grep -oE 'GLIBC_2\.[0-9]+' | sort -uV | tail -1)"
|
||||
if [[ -z "${top}" ]]; then
|
||||
echo "!! ${bin}: 读不到 GLIBC 版本需求(不是动态链接 ELF?)" >&2
|
||||
return 1
|
||||
fi
|
||||
|
||||
# GLIBC 的版本号形如 GLIBC_2.NN:**主版本恒为 2**,只有小版本会变。
|
||||
# (早先误把 "2." 也当主版本切分,导致 GLIBC_2.14 被算成 > GLIBC_2.18)
|
||||
local min
|
||||
min="${top#GLIBC_2.}"
|
||||
# 只取数字部分,防止异常版本号让 `10#` 语法出错
|
||||
min="${min//[^0-9]/}"
|
||||
if [[ -z "${min}" ]]; then
|
||||
echo "!! ${bin}: 无法解析版本号 ${top}" >&2
|
||||
return 1
|
||||
fi
|
||||
|
||||
local want_min=${GLIBC_MAX_MINOR:-18}
|
||||
echo " ${bin}: 最高版本需求 ${top}(阈值 GLIBC_2.${want_min})"
|
||||
if (( 10#${min} > 10#${want_min} )); then
|
||||
echo " ❌ 版本过高:${top} > GLIBC_2.${want_min}" >&2
|
||||
echo " ⇒ 在 glibc ≤2.28 的设备(ZYNQ 2.26 / 海光 2.28)上会直接起不来" >&2
|
||||
"${objdump}" -T "${bin}" 2>/dev/null \
|
||||
| grep -E "GLIBC_2\.(1[9]|[2-9][0-9])" >&2 || true
|
||||
return 1
|
||||
fi
|
||||
echo " ✅ 版本合格"
|
||||
return 0
|
||||
}
|
||||
|
||||
echo "==> [3/4] glibc 版本门禁(阈值 GLIBC_2.${GLIBC_MAX_MINOR:-18})"
|
||||
GLIBC_FAILED=0
|
||||
# ① 平台包主二进制
|
||||
assert_glibc_version "${BIN}" || GLIBC_FAILED=1
|
||||
# ② 引擎二进制(initdb / postgres)—— 引擎目录是**扁平**结构,
|
||||
# 这两个文件在 ${ENGINE_DIR} 根下,不在 runtime/bin/ 下。
|
||||
for f in "${ENGINE_DIR}"/initdb "${ENGINE_DIR}"/postgres; do
|
||||
[[ -f "$f" ]] || continue
|
||||
assert_glibc_version "$f" || GLIBC_FAILED=1
|
||||
done
|
||||
if [[ "${GLIBC_FAILED}" != "0" ]]; then
|
||||
echo "" >&2
|
||||
echo "!! glibc 版本门禁失败(产物绑高了版本节点)" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# ── 4. 冒烟:在 arm/v7 容器里真跑一下 ─────────────────────────
|
||||
#
|
||||
# 🔴🔴 **三个 case,覆盖 stdout 的三种形态**(2026-11-13,Gitea issue #1):
|
||||
#
|
||||
# 内嵌 PostgreSQL 把 **fd 1 当成「名义客户端 socket」**(`initDummyPort()` 设
|
||||
# `s.sock = 1`)⇒ `pq_init()` 把它注册进 WaitEventSet ⇒ Linux 走 **epoll**,
|
||||
# 而 **epoll 不接受普通文件与字符设备**(实测 EPERM)⇒ `ereport(ERROR)`
|
||||
# ⇒ longjmp ⇒ **exit 100**。
|
||||
#
|
||||
# ⇒ 只有「fd 1 是管道」才能启动。
|
||||
# ⇒ 旧冒烟**只测了管道形态**(docker 继承的 pipe)却**没有断言**,
|
||||
# 而文档里记录的验证命令也没有重定向 ⇒ 验收链有盲区:
|
||||
# 最常见的部署形态(`nohup … > app.log 2>&1 &`)从来没被测过。
|
||||
#
|
||||
# 三个 case(每个都是**全新容器 + 全新数据目录**,串行,避免互相干扰):
|
||||
# A. stdout 继承 docker pipe(= 现状,issue 里的成功形态)
|
||||
# B. stdout → 普通文件 `> /tmp/srv.log 2>&1`(= **最常见的部署形态**,旧盲区)
|
||||
# C. stdout → /dev/null(字符设备)
|
||||
#
|
||||
# 断言(每个 case 都要过):
|
||||
# · HTTP 探活成功(`/api/oauth/CurrentUser` 有响应)
|
||||
# · 进程**仍存活**(没有提前 exit 100)
|
||||
# · A/B 还要日志里出现「已启动」
|
||||
# (C 的 stdout 进了 /dev/null ⇒ 拿不到,这正是 C 的形态本身)
|
||||
echo "==> [4/4] arm/v7 容器冒烟(stdout 三形态 × 干净数据目录)"
|
||||
SMOKE_DIR="${WORK}/smoke"
|
||||
rm -rf "${SMOKE_DIR}"
|
||||
mkdir -p "${SMOKE_DIR}"
|
||||
cp "${BIN}" "${SMOKE_DIR}/sspf-admin"
|
||||
# 🔴🔴 **冒烟镜像必须是「比编译 sysroot 更老 glibc」的**(2026-11-13 实测踩坑):
|
||||
#
|
||||
# 旧默认 `arm32v7/debian:bookworm-slim` = **glibc 2.36**,
|
||||
# **与编译 sysroot(Debian 12 / GLIBC 2.36)同版本** ⇒ 版本节点天然满足
|
||||
# ⇒ **冒烟永远通过 ⇒ 天然掩盖 glibc 绑高问题**。
|
||||
# 这正是 `docs/armv7-glibc-compat.md` §2.5 早就建议改掉的盲区。
|
||||
#
|
||||
# 现默认改为 **buster(glibc 2.28)**:
|
||||
# · 2.28 = 海光设备基线,也是 issue 里复现失败的那个版本
|
||||
# · 比 ZYNQ 的 2.26 略高 ⇒ 过了 buster 不等于过了 ZYNQ,
|
||||
# 所以**另外**用 stretch(2.24,低于 ZYNQ)做一次性抽验(见下)
|
||||
# · buster 镜像比 bookworm-slim 大,但 armhf 基础镜像本地已有,qemu 下可接受
|
||||
#
|
||||
# ⚠️ 若镜像本地不存在,docker 会去拉取 armhf 版 ⇒ 首次很慢;
|
||||
# 可用 `SMOKE_IMAGE=…` 覆盖。
|
||||
SMOKE_IMAGE="${SMOKE_IMAGE:-arm32v7/debian:buster}"
|
||||
# 🔴 armv7 上 initdb + schema + 14k 条示例数据导入实测 40~150s ⇒ 轮询窗口给到 240s。
|
||||
SMOKE_TRIES="${SMOKE_TRIES:-120}"
|
||||
# 🔴🔴 **端口与数据目录必须用 `-e` 传进容器**(2026-11-13 实测踩坑):
|
||||
# 旧脚本把它们写在 `sh -c '... PGLITE_DIR=… PORT=… …'` 的**内联命令行**里;
|
||||
# 改成 `bash -c` 后若只靠内联,就会在**外层**展开成宿主机 shell 的变量,
|
||||
# 容器内拿不到 ⇒ 服务起在**默认端口 30010** + **默认数据目录**(cwd 下的
|
||||
# `src/backend/data/lite.pg`)⇒ 探活一直 Connection refused ⇒ 误判成「启动失败」。
|
||||
# ⇒ 显式 `-e` 传参,容器内用 `$PORT` / `$PGLITE_DIR` 引用。
|
||||
SMOKE_PORT="${SMOKE_PORT:-30077}"
|
||||
|
||||
# 跑一个 case,输出到文件并回显。
|
||||
run_smoke_case() {
|
||||
local name="$1"
|
||||
local data_dir="${WORK}/smoke-${name}"
|
||||
local out="${WORK}/smoke-${name}.out"
|
||||
rm -rf "${data_dir}"
|
||||
mkdir -p "${data_dir}"
|
||||
# 🔴 `bash` 而不是 `sh`:探活用 bash 的 `/dev/tcp`(dash 不支持)。
|
||||
# 镜像里也**没有 wget/curl**(bookworm-slim 只有 coreutils)⇒ 只能用 /dev/tcp。
|
||||
docker run --rm --platform linux/arm/v7 \
|
||||
-v "${SMOKE_DIR}:/app:ro" -v "${data_dir}:/data" \
|
||||
-e SMOKE_CASE="${name}" -e SMOKE_TRIES="${SMOKE_TRIES}" \
|
||||
-e SMOKE_PORT="${SMOKE_PORT}" -e PORT="${SMOKE_PORT}" -e PGLITE_DIR="/data/pg" \
|
||||
"${SMOKE_IMAGE}" bash -c '
|
||||
cd /tmp
|
||||
# ── 三种 stdout 形态 ───────────────────────────────────
|
||||
case "$SMOKE_CASE" in
|
||||
A) /app/sspf-admin 2>/tmp/srv.log & ;; # stdout 继承 docker pipe
|
||||
B) /app/sspf-admin > /tmp/srv.log 2>&1 & ;; # stdout → 普通文件
|
||||
C) /app/sspf-admin > /dev/null 2>/tmp/srv.log & ;; # stdout → /dev/null
|
||||
esac
|
||||
PID=$!
|
||||
|
||||
# ── 探活:bash 内建 /dev/tcp,发一个真实 HTTP 请求 ─────
|
||||
# 🔴 整套塞进子 shell 且把 `2>/dev/null` 放在**最外层**:bash 对
|
||||
# `/dev/tcp` 连接失败时会自己往 stderr 打 "connect: Connection refused",
|
||||
# 若只把重定向写在 exec 那一行,错误消息会在重定向生效**之前**就冒出
|
||||
# ⇒ 日志被几百行噪声淹没。
|
||||
probe() {
|
||||
(
|
||||
exec 3<>/dev/tcp/127.0.0.1/"$SMOKE_PORT" || exit 1
|
||||
printf "GET /api/oauth/CurrentUser HTTP/1.0\r\nHost: 127.0.0.1\r\n\r\n" >&3 || exit 1
|
||||
read -r -t 5 line <&3 || exit 1
|
||||
case "$line" in HTTP/*) exit 0 ;; *) exit 1 ;; esac
|
||||
) 2>/dev/null
|
||||
}
|
||||
|
||||
OK=0
|
||||
for i in $(seq 1 "$SMOKE_TRIES"); do
|
||||
if probe; then OK=1; break; fi
|
||||
kill -0 "$PID" 2>/dev/null || break
|
||||
sleep 2
|
||||
done
|
||||
echo "CASE_HTTP_OK=$OK"
|
||||
|
||||
if kill -0 "$PID" 2>/dev/null; then
|
||||
echo "CASE_ALIVE=1"
|
||||
kill "$PID" 2>/dev/null
|
||||
wait "$PID" 2>/dev/null
|
||||
else
|
||||
echo "CASE_ALIVE=0"
|
||||
wait "$PID" 2>/dev/null
|
||||
echo "CASE_EXIT=$?"
|
||||
fi
|
||||
|
||||
# 日志全文里的关键标记(不靠 tail 截断,避免把「已启动」截掉)
|
||||
if [ -f /tmp/srv.log ]; then
|
||||
echo "CASE_LOG_BYTES=$(wc -c < /tmp/srv.log)"
|
||||
# 🔴 `grep -c` 在「0 个匹配」时**退出码非 0**,直接 `$(… || echo 0)` 会把
|
||||
# 输出变成 "0\n0" ⇒ 用 `|| true` 兜住退出码,保留 grep 自己打的那个 0。
|
||||
echo "CASE_LOG_MARKER=$(grep -c "已启动" /tmp/srv.log 2>/dev/null || true)"
|
||||
# 🔴 「启动诊断」= fd 1 替换路径**确实执行过**(B/C 必须有,A 必然没有)
|
||||
echo "CASE_DIAG=$(grep -c "启动诊断" /tmp/srv.log 2>/dev/null || true)"
|
||||
else
|
||||
echo "CASE_LOG_BYTES=0"
|
||||
echo "CASE_LOG_MARKER=0"
|
||||
echo "CASE_DIAG=0"
|
||||
fi
|
||||
echo "---- srv.log(去噪后,最多 20 行)----"
|
||||
grep -v "protocol synchronization was lost" /tmp/srv.log 2>/dev/null | tail -20 || true
|
||||
echo "---- end ----"
|
||||
' > "${out}" 2>&1 || true
|
||||
cat "${out}"
|
||||
}
|
||||
|
||||
# 断言一个 case 的结果。
|
||||
#
|
||||
# $1 = case 名;$2 = 「已启动」标记从哪找:
|
||||
# host ⇒ 宿主机侧的 `${out}`(case A 的 stdout 直接进 docker pipe)
|
||||
# srvlog ⇒ 容器内 `/tmp/srv.log`(case B 的 stdout 就写在这里)
|
||||
# none ⇒ 不查(case C 的 stdout 进了 /dev/null,本来就拿不到)
|
||||
# $3 = 是否要求「启动诊断」出现(= fd 1 被替换过)
|
||||
assert_smoke_case() {
|
||||
local name="$1" marker_src="$2" need_diag="$3"
|
||||
local out="${WORK}/smoke-${name}.out"
|
||||
local fail=0
|
||||
|
||||
if ! grep -q "CASE_HTTP_OK=1" "${out}"; then
|
||||
echo " ❌ ${name}: HTTP 探活失败(服务没起来)"; fail=1
|
||||
fi
|
||||
if ! grep -q "CASE_ALIVE=1" "${out}"; then
|
||||
echo " ❌ ${name}: 进程未常驻(提前退出 ⇒ 很可能又是 exit 100)"; fail=1
|
||||
grep -m1 "CASE_EXIT=" "${out}" || true
|
||||
fi
|
||||
|
||||
case "${marker_src}" in
|
||||
host)
|
||||
grep -q "已启动" "${out}" || { echo " ❌ ${name}: stdout 里没有「已启动」"; fail=1; }
|
||||
;;
|
||||
srvlog)
|
||||
grep -q "CASE_LOG_MARKER=1" "${out}" || { echo " ❌ ${name}: 日志里没有「已启动」"; fail=1; }
|
||||
;;
|
||||
esac
|
||||
|
||||
if [[ "${need_diag}" == "1" ]]; then
|
||||
grep -q "CASE_DIAG=1" "${out}" \
|
||||
|| { echo " ❌ ${name}: 没有「启动诊断」⇒ fd 1 替换路径没走到(修复可能没生效)"; fail=1; }
|
||||
fi
|
||||
|
||||
if [[ "${fail}" == "0" ]]; then
|
||||
echo " ✅ ${name}: 通过"
|
||||
return 0
|
||||
fi
|
||||
return 1
|
||||
}
|
||||
|
||||
SMOKE_FAILED=0
|
||||
|
||||
# 🔴 用例分工(关键:**B 才是 issue 报的失败形态**)
|
||||
# A stdout 是管道 ⇒ `already_ok` 提前返回 ⇒ **不走替换**、无诊断、无 drain 线程;
|
||||
# 标记只能从 docker 捕获的 stdout 里找。
|
||||
# B stdout 是普通文件 ⇒ **必须走替换** ⇒ 必须有诊断、必须有「已启动」。
|
||||
# C stdout 是 /dev/null ⇒ 也走替换 ⇒ 必须有诊断;「已启动」进 /dev/null,查不到。
|
||||
echo "--- case A: stdout 继承 docker pipe(不走替换)---"
|
||||
run_smoke_case A
|
||||
assert_smoke_case A host 0 || SMOKE_FAILED=1
|
||||
|
||||
echo "--- case B: stdout → 普通文件(> /tmp/srv.log 2>&1,issue 的失败形态)---"
|
||||
run_smoke_case B
|
||||
assert_smoke_case B srvlog 1 || SMOKE_FAILED=1
|
||||
|
||||
echo "--- case C: stdout → /dev/null(字符设备)---"
|
||||
run_smoke_case C
|
||||
assert_smoke_case C none 1 || SMOKE_FAILED=1
|
||||
|
||||
if [[ "${SMOKE_FAILED}" != "0" ]]; then
|
||||
echo "" >&2
|
||||
echo "!! armv7 冒烟失败(stdout 三形态未全部通过)" >&2
|
||||
echo " 详见 ${WORK}/smoke-{A,B,C}.out" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
echo ""
|
||||
echo "✅ armv7 产物: ${BIN}"
|
||||
echo " 引擎: ${ENGINE_DIR}"
|
||||
Executable
+148
@@ -0,0 +1,148 @@
|
||||
#!/bin/bash
|
||||
# build-libpglite-cross.sh —— 上游 build-libpglite.sh 的**交叉编译**变体
|
||||
#
|
||||
# 🔴 为什么需要它:上游脚本假定「configure && make 在本机跑」,产出本机架构的
|
||||
# libpglite.a。本项目要 armv7 产物 ⇒ 必须在 amd64 宿主上交叉编译出 ARM 的
|
||||
# 静态库(qemu 原生编译太慢,实测 apt 装依赖就跑了 9 分钟还没完)。
|
||||
#
|
||||
# 与上游脚本的差异(只有这些,其余流程逐字照抄):
|
||||
# 1. CC 换成交叉 gcc(arm-linux-gnueabihf-gcc),并加 --host=arm-linux-gnueabihf
|
||||
# 2. configure 传 CC/CFLAGS/AR/RANLIB 等交叉变量
|
||||
# 3. 生成的 libpglite.a 用交叉 ar(宿主 ar 也能做,但用目标 ar 更稳)
|
||||
# 4. 不跑 relocate-runtime.sh(那是给本机跑的 patchelf/initdb 校验)
|
||||
#
|
||||
# 产物:native/out/libpglite.a(ARM EABI5)+ native/out/pglite-runtime.tar
|
||||
set -euo pipefail
|
||||
|
||||
ROOT="$(cd "$(dirname "$0")/.." && pwd)"
|
||||
SRC="${PGLITE_SRC:-${ROOT}/postgres-pglite}"
|
||||
# 🔴 OUT 必须落在挂载卷里(容器内 /work),否则产物留在容器可写层,宿主取不到。
|
||||
OUT="${PGLITE_OUT:-${ROOT}/native/out}"
|
||||
|
||||
TARGET="${TARGET:-arm-linux-gnueabihf}"
|
||||
CC="${CC:-${TARGET}-gcc}"
|
||||
AR="${AR:-${TARGET}-ar}"
|
||||
RANLIB="${RANLIB:-${TARGET}-ranlib}"
|
||||
HOST="${HOST:-${TARGET}}"
|
||||
|
||||
BUILD="$OUT/build"
|
||||
PREFIX="$OUT/install"
|
||||
|
||||
mkdir -p "$BUILD" "$PREFIX" "$OUT"
|
||||
# 🔴 交叉编译时 configure 需要在 build 目录里写 Makefile.global 等;OUT 必须在挂载卷上
|
||||
# (容器里 /work 是 bind mount),否则宿主拿不到 libpglite.a。
|
||||
echo "==> OUT=${OUT}"
|
||||
echo "==> SRC=${SRC}"
|
||||
|
||||
# ── 打补丁(上游 0001~0005,Linux 相关)──────────────────────
|
||||
# 🔴 源码可能是 tarball 解压来的(**没有 .git**)⇒ `git apply` 用不了,
|
||||
# 必须走 `patch -p1`。而且补丁**打不上必须报错**:静默跳过会得到一个
|
||||
# 缺符号的 libpglite.a(ProcessStartupPacket / pgl_shmem_reset 未导出),
|
||||
# 错误会推迟到最终链接才爆,浪费整个交叉编译周期。
|
||||
for p in "$ROOT"/native/patches/*.patch; do
|
||||
b="$(basename "$p")"
|
||||
# Windows 专用补丁在 Linux 上不适用(上游就是按平台挑的)
|
||||
case "$b" in *win32*) continue ;; esac
|
||||
if patch -d "$SRC" -p1 --forward --dry-run < "$p" >/dev/null 2>&1; then
|
||||
patch -d "$SRC" -p1 --forward < "$p" >/dev/null
|
||||
echo "patched: $b"
|
||||
elif patch -d "$SRC" -p1 --forward --dry-run -R < "$p" >/dev/null 2>&1; then
|
||||
echo "already applied: $b"
|
||||
else
|
||||
echo "FATAL: patch does not apply: $b" >&2
|
||||
echo " (补丁必须全部打上,否则引擎缺导出符号,链接期才爆)" >&2
|
||||
exit 1
|
||||
fi
|
||||
done
|
||||
|
||||
# ── pglitec + native 胶水层 ───────────────────────────────────
|
||||
PGLITEC_COMPAT="-include stdlib.h -include stdbool.h"
|
||||
"$CC" -O2 -fPIC $PGLITEC_COMPAT -Dexit=pgl_native_exit -c "$SRC/pglite/src/pglitec/pglitec.c" -o "$OUT/pglitec.o"
|
||||
"$CC" -O2 -fPIC -I"$ROOT/native" -c "$ROOT/native/pglite_native.c" -o "$OUT/pglite_native.o"
|
||||
"$CC" -O2 -fPIC -I"$ROOT/native" -c "$ROOT/native/pglite_reset.c" -o "$OUT/pglite_reset.o"
|
||||
"$CC" -O2 -fPIC -I"$ROOT/native" -c "$ROOT/native/pglite_static_ext.c" -o "$OUT/pglite_static_ext.o"
|
||||
|
||||
# ── configure(交叉)─────────────────────────────────────────
|
||||
# 🔴🔴 **必须强制 export-dynamic**(2026-11-12 定位):
|
||||
# PostgreSQL 的 configure 在**交叉编译时直接跳过** `--export-dynamic` 探测:
|
||||
# if test "$cross_compiling" = yes; then
|
||||
# pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic="assuming no"
|
||||
# ⇒ `LDFLAGS_EX_BE` 里就没有 `-Wl,--export-dynamic`
|
||||
# ⇒ `postgres` 不导出 backend 符号(实测:官方 10802 个 vs 自建 0 个)
|
||||
# ⇒ 扩展模块 dlopen 时解析不到 CurrentMemoryContext 等符号:
|
||||
# FATAL: could not load library ".../dict_snowball.so":
|
||||
# undefined symbol: CurrentMemoryContext
|
||||
#
|
||||
# 本机编译(官方 x86_64 包)时探测能跑通,所以官方没这问题。
|
||||
# 交叉编译必须强制打开(已实测 arm-linux-gnueabihf-gcc 支持该标志且确实导出符号)。
|
||||
#
|
||||
# ⚠️ cache 变量名带 `pg` 前缀(configure 里是 pgac_cv_prog_cc_...),
|
||||
# 写成 ac_cv_... 会被忽略 —— 实测传了 ac_cv_ 之后 LDFLAGS_EX_BE 仍是空的。
|
||||
# 双保险:既传 cache 变量,也直接给 make 传 LDFLAGS_EX_BE(后者一定生效)。
|
||||
EXPORT_DYNAMIC_CACHE="${EXPORT_DYNAMIC_CACHE:-pgac_cv_prog_cc_LDFLAGS_EX_BE__Wl___export_dynamic=yes}"
|
||||
export LDFLAGS_EX_BE="${LDFLAGS_EX_BE:--Wl,--export-dynamic}"
|
||||
|
||||
if [[ ! -f "$BUILD/config.status" ]]; then
|
||||
(cd "$BUILD" && "$SRC/configure" \
|
||||
--prefix="$PREFIX" \
|
||||
--host="$HOST" \
|
||||
--build="$(uname -m)-pc-linux-gnu" \
|
||||
--without-icu \
|
||||
--without-readline \
|
||||
--with-zlib \
|
||||
CC="$CC" AR="$AR" RANLIB="$RANLIB" \
|
||||
CFLAGS="-O2 -fPIC -I/usr/arm-linux-gnueabihf/include" \
|
||||
${EXPORT_DYNAMIC_CACHE})
|
||||
fi
|
||||
|
||||
PGLITE_DEFS="-D__PGLITE__ -U_FORTIFY_SOURCE \
|
||||
-Dsystem=pgl_system -Dpopen=pgl_popen -Dpclose=pgl_pclose \
|
||||
-Dgeteuid=pgl_geteuid -Dgetuid=pgl_getuid -Dgetpwuid=pgl_getpwuid \
|
||||
-Dexit=pgl_exit \
|
||||
-Dmunmap=pgl_munmap \
|
||||
-Dfcntl=pgl_fcntl \
|
||||
-Datexit=pgl_atexit \
|
||||
-Dsetsockopt=pgl_setsockopt -Dgetsockopt=pgl_getsockopt -Dgetsockname=pgl_getsockname \
|
||||
-Drecv=pgl_recv -Dsend=pgl_send -Dconnect=pgl_connect \
|
||||
-Dpoll=pgl_poll \
|
||||
-Dshmget=pgl_shmget -Dshmat=pgl_shmat -Dshmdt=pgl_shmdt -Dshmctl=pgl_shmctl \
|
||||
-Dlongjmp=pgl_longjmp -Dsiglongjmp=pgl_siglongjmp \
|
||||
-Dsetitimer=pgl_native_setitimer"
|
||||
|
||||
NPROC="${NPROC:-4}"
|
||||
LINK_OBJS="$OUT/pglitec.o $OUT/pglite_native.o"
|
||||
|
||||
rm -f "$BUILD/src/backend/main/main.o" "$BUILD/src/backend/main/objfiles.txt" \
|
||||
"$BUILD/src/bin/initdb/initdb.o" "$BUILD/src/backend/postgres"
|
||||
# 🔴 LDFLAGS_EX_BE 必须带上 -Wl,--export-dynamic(见上方注释):
|
||||
# 没有它,postgres 不导出 backend 符号,扩展模块 dlopen 时报
|
||||
# "undefined symbol: CurrentMemoryContext"。官方本机构建靠 configure 探测拿到,
|
||||
# 交叉编译探测被跳过 ⇒ 必须手动给。
|
||||
make -C "$BUILD" -j"$NPROC" CC="$CC" COPT="$PGLITE_DEFS" \
|
||||
LDFLAGS_EX="$LINK_OBJS" LDFLAGS_EX_BE="$LDFLAGS_EX_BE" LDFLAGS_SL=""
|
||||
make -C "$BUILD" install CC="$CC" COPT="$PGLITE_DEFS" \
|
||||
LDFLAGS_EX="$LINK_OBJS" LDFLAGS_EX_BE="$LDFLAGS_EX_BE" LDFLAGS_SL=""
|
||||
|
||||
rm -f "$BUILD/src/backend/main/main.o"
|
||||
make -C "$BUILD/src/backend/main" main.o CC="$CC" COPT="$PGLITE_DEFS -Dmain=pgl_backend_main"
|
||||
|
||||
# ── 收集静态库 ───────────────────────────────────────────────
|
||||
BACKEND_OBJS="$(cd "$BUILD" && cat $(find src/backend src/timezone -name objfiles.txt) | tr ' ' '\n' | sed '/^$/d' | sort -u)"
|
||||
|
||||
(cd "$BUILD" && {
|
||||
echo "create libpglite.a"
|
||||
for o in $BACKEND_OBJS; do echo "addmod $o"; done
|
||||
echo "addlib src/common/libpgcommon_srv.a"
|
||||
echo "addlib src/port/libpgport_srv.a"
|
||||
echo "addmod ../pglitec.o"; echo "addmod ../pglite_native.o"; echo "addmod ../pglite_reset.o"
|
||||
echo "addmod ../pglite_static_ext.o"
|
||||
echo "save"
|
||||
echo "end"
|
||||
} | "$AR" -M && mv -f libpglite.a "$OUT/libpglite.a")
|
||||
|
||||
# ── 运行时资产 ───────────────────────────────────────────────
|
||||
tar -C "$PREFIX" --exclude lib/postgresql/pgxs -cf "$OUT/pglite-runtime.tar" \
|
||||
share/postgresql lib/postgresql "bin/initdb" "bin/postgres"
|
||||
|
||||
ls -lh "$OUT/libpglite.a" "$OUT/pglite-runtime.tar"
|
||||
file "$OUT/libpglite.a"
|
||||
Executable
+175
@@ -0,0 +1,175 @@
|
||||
#!/usr/bin/env bash
|
||||
#
|
||||
# build-pglite-engine.sh —— 交叉编译 PGlite 原生引擎(libpglite.a)
|
||||
#
|
||||
# 🔴 背景(2026-11-12):
|
||||
# `pglite-rs-sys` 的 build.rs 会去 GitHub 下 `pglite-<target>.tar.gz`。
|
||||
# 上游只发布 x86_64 / aarch64 的 darwin 与 linux-gnu,**没有 armv7** ⇒ 404。
|
||||
# 官方给的出路是 `PGLITE_LIB_DIR`:把自建的引擎目录指过去,build.rs 就不再下载。
|
||||
#
|
||||
# 引擎 = PostgreSQL(electric-sql/postgres-pglite fork)编译成静态库 + 运行时资产。
|
||||
# 上游构建脚本 `native/build-libpglite.sh` 假定「本机编译」,这里需要一个**交叉**变体。
|
||||
#
|
||||
# 为什么在 amd64 容器里交叉编(而不是 arm/v7 容器里原生编):
|
||||
# arm/v7 容器 = qemu 模拟 ⇒ 实测 apt 装依赖就跑了 9 分钟,PostgreSQL 全量 make
|
||||
# 要数小时,不可行。amd64 容器原生速度,交叉 gcc 产出 ARM 静态库。
|
||||
#
|
||||
# 用法:
|
||||
# bash scripts/build-pglite-engine.sh # 默认 armv7
|
||||
# bash scripts/build-pglite-engine.sh --target aarch64-unknown-linux-gnu
|
||||
# bash scripts/build-pglite-engine.sh --skip-download # 复用已下源码
|
||||
#
|
||||
# 环境变量:
|
||||
# ENGINE_TAG 上游引擎 tag(默认 engine-06c837c6a303-p3)
|
||||
# PG_COMMIT postgres-pglite commit(默认该 tag 对应的 06c837c6a303…)
|
||||
#
|
||||
set -euo pipefail
|
||||
|
||||
ENGINE_TAG="${ENGINE_TAG:-engine-06c837c6a303-p3}"
|
||||
PG_COMMIT="${PG_COMMIT:-06c837c6a30335169df786c610ed224bc51d81c0}"
|
||||
TARGET="${TARGET:-armv7-unknown-linux-gnueabihf}"
|
||||
OUT_DIR=""
|
||||
WORK_DIR=""
|
||||
SKIP_DOWNLOAD=0
|
||||
|
||||
while [[ $# -gt 0 ]]; do
|
||||
case "$1" in
|
||||
--engine-tag) ENGINE_TAG="$2"; shift 2 ;;
|
||||
--pg-commit) PG_COMMIT="$2"; shift 2 ;;
|
||||
--target) TARGET="$2"; shift 2 ;;
|
||||
--out) OUT_DIR="$2"; shift 2 ;;
|
||||
--work) WORK_DIR="$2"; shift 2 ;;
|
||||
--skip-download) SKIP_DOWNLOAD=1; shift ;;
|
||||
-h|--help) sed -n '1,30p' "$0"; exit 0 ;;
|
||||
*) echo "未知参数: $1" >&2; exit 2 ;;
|
||||
esac
|
||||
done
|
||||
|
||||
# armv7 → debian 交叉三元组;aarch64 同理
|
||||
case "${TARGET}" in
|
||||
armv7-unknown-linux-gnueabihf) TRIPLE=arm-linux-gnueabihf; DOCKER_ARCH=linux/arm/v7 ;;
|
||||
aarch64-unknown-linux-gnu) TRIPLE=aarch64-linux-gnu; DOCKER_ARCH=linux/arm64 ;;
|
||||
*) echo "暂不支持的目标: ${TARGET}" >&2; exit 2 ;;
|
||||
esac
|
||||
|
||||
OUT_DIR="${OUT_DIR:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-${TARGET%%-*}}"
|
||||
WORK_DIR="${WORK_DIR:-/tmp/pglite-engine-${TARGET%%-*}}"
|
||||
mkdir -p "${OUT_DIR}" "${WORK_DIR}"
|
||||
# 🔴 容器镜像里装了 armhf 交叉工具链 + multiarch 的 armhf libc/zlib;
|
||||
# 镜像在 scripts/build-armv7.sh 的说明里(首次构建见下方 docker build)。
|
||||
if ! docker image inspect pglite-armhf-toolchain:latest >/dev/null 2>&1; then
|
||||
echo "!! 缺少交叉工具链镜像 pglite-armhf-toolchain:latest"
|
||||
echo " 先构建(一次性,约 1.5 分钟):"
|
||||
echo " docker build -t pglite-armhf-toolchain:latest - <<'EOF'"
|
||||
echo " FROM debian:bookworm-slim"
|
||||
echo " ENV DEBIAN_FRONTEND=noninteractive"
|
||||
echo " RUN dpkg --add-architecture armhf \\"
|
||||
echo " && sed -i 's|^deb |deb [arch=amd64,armhf] |' /etc/apt/sources.list.d/debian.sources \\"
|
||||
echo " && apt-get update -qq \\"
|
||||
echo " && apt-get install -y -qq --no-install-recommends clang llvm make bison flex \\"
|
||||
echo " perl pkg-config ca-certificates file patchelf \\"
|
||||
echo " gcc-arm-linux-gnueabihf libc6-dev-armhf-cross zlib1g-dev:armhf \\"
|
||||
echo " && rm -rf /var/lib/apt/lists/*"
|
||||
echo " EOF"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
echo "==> 目标: ${TARGET}(交叉三元组 ${TRIPLE})"
|
||||
echo "==> 上游引擎 tag: ${ENGINE_TAG}"
|
||||
echo "==> PostgreSQL 源码 commit: ${PG_COMMIT}"
|
||||
echo "==> 产物目录: ${OUT_DIR}"
|
||||
|
||||
# ── 1. 拉源码 ────────────────────────────────────────────────
|
||||
SRC_TAR="${WORK_DIR}/pg-src.tar.gz"
|
||||
if [[ "${SKIP_DOWNLOAD}" == "0" || ! -f "${SRC_TAR}" ]]; then
|
||||
echo "==> [1/3] 下载 postgres-pglite 源码"
|
||||
# 🔴 GitHub 直连在本机很慢(~40KB/s)⇒ 用 API tarball 端点,且带重试。
|
||||
for i in $(seq 1 40); do
|
||||
if curl -fsSL --max-time 900 \
|
||||
"https://api.github.com/repos/electric-sql/postgres-pglite/tarball/${PG_COMMIT}" \
|
||||
-o "${SRC_TAR}.part"; then
|
||||
mv "${SRC_TAR}.part" "${SRC_TAR}"
|
||||
echo " 下载完成: $(du -h "${SRC_TAR}" | cut -f1)"
|
||||
break
|
||||
fi
|
||||
echo " retry ${i}($(stat -f '%z' "${SRC_TAR}.part" 2>/dev/null || echo 0) bytes)"
|
||||
sleep 3
|
||||
done
|
||||
[[ -s "${SRC_TAR}" ]] || { echo "!! 源码下载失败" >&2; exit 1; }
|
||||
tar -tzf "${SRC_TAR}" >/dev/null 2>&1 || { echo "!! 源码包损坏" >&2; exit 1; }
|
||||
else
|
||||
echo "==> [1/3] 复用已有源码: ${SRC_TAR}"
|
||||
fi
|
||||
|
||||
echo "==> 解压源码"
|
||||
SRC_DIR="${WORK_DIR}/postgres-pglite"
|
||||
if [[ ! -f "${SRC_DIR}/configure" ]]; then
|
||||
mkdir -p "${SRC_DIR}"
|
||||
tar -xzf "${SRC_TAR}" -C "${SRC_DIR}" --strip-components=1
|
||||
fi
|
||||
[[ -f "${SRC_DIR}/configure" ]] || { echo "!! 源码不完整(缺 configure)" >&2; exit 1; }
|
||||
|
||||
# ── 2. 取上游 native 脚本 + 补丁 ─────────────────────────────
|
||||
echo "==> [2/3] 拉取上游 native 构建脚本与补丁(${ENGINE_TAG})"
|
||||
NATIVE_DIR="${WORK_DIR}/native"
|
||||
mkdir -p "${NATIVE_DIR}/patches"
|
||||
python3 - "${ENGINE_TAG}" "${NATIVE_DIR}" <<'PY'
|
||||
import json, urllib.request, base64, os, sys
|
||||
tag, out = sys.argv[1], sys.argv[2]
|
||||
def get(path, dest):
|
||||
url = f"https://api.github.com/repos/Midwess/pglite-rs/contents/{path}?ref={tag}"
|
||||
req = urllib.request.Request(url, headers={"User-Agent": "curl/8"})
|
||||
with urllib.request.urlopen(req, timeout=60) as r:
|
||||
d = json.load(r)
|
||||
if isinstance(d, list):
|
||||
for x in d:
|
||||
get(x["path"], os.path.join(dest, x["name"]))
|
||||
return
|
||||
os.makedirs(os.path.dirname(dest) or ".", exist_ok=True)
|
||||
open(dest, "wb").write(base64.b64decode(d["content"]))
|
||||
print(" ", path)
|
||||
files = ["build-libpglite.sh", "pglite_native.c", "pglite_native.h",
|
||||
"pglite_reset.c", "pglite_static_ext.c"]
|
||||
for f in files:
|
||||
get(f"native/{f}", os.path.join(out, f))
|
||||
get("native/patches", os.path.join(out, "patches"))
|
||||
PY
|
||||
|
||||
# ── 3. 容器内交叉编译 ───────────────────────────────────────
|
||||
echo "==> [3/3] 容器内交叉编译引擎"
|
||||
# 🔴 交叉版构建脚本随本仓走(scripts/build-libpglite-cross.sh),挂进容器 /work/native/
|
||||
# —— 它是上游 build-libpglite.sh 的交叉变体:只改 CC/--host/AR,其余逐字照抄。
|
||||
REPO_ROOT="$(cd "$(dirname "$0")/.." && pwd)"
|
||||
docker run --rm \
|
||||
-v "${WORK_DIR}:/work" \
|
||||
-v "${OUT_DIR}:/out" \
|
||||
-v "${REPO_ROOT}/scripts/build-libpglite-cross.sh:/work/native/build-libpglite-cross.sh:ro" \
|
||||
-v "${REPO_ROOT}/scripts/relocate-runtime-cross.sh:/work/native/relocate-runtime-cross.sh:ro" \
|
||||
-e "TRIPLE=${TRIPLE}" \
|
||||
-e "TARGET_TRIPLE=${TARGET}" \
|
||||
-e "NPROC=${NPROC:-4}" \
|
||||
pglite-armhf-toolchain:latest \
|
||||
bash -c '
|
||||
set -euo pipefail
|
||||
export CC=${TRIPLE}-gcc AR=${TRIPLE}-ar RANLIB=${TRIPLE}-ranlib
|
||||
export HOST=${TRIPLE} TARGET=${TRIPLE}
|
||||
# 🔴 OUT/PGLITE_SRC 指向挂载卷(/work),宿主才拿得到产物
|
||||
export PGLITE_SRC=/work/postgres-pglite PGLITE_OUT=/work/engine-out
|
||||
cd /work
|
||||
bash /work/native/build-libpglite-cross.sh
|
||||
# 🔴 runtime 可移植化必须做(上游拆成了独立的 relocate-runtime.sh):
|
||||
# 打 RPATH + 打包 libpq/libz,否则 initdb 报
|
||||
# "error while loading shared libraries: libpq.so.5"
|
||||
bash /work/native/relocate-runtime-cross.sh
|
||||
' 2>&1 | tail -40
|
||||
|
||||
# 引擎产物从容器工作区搬到最终目录
|
||||
mkdir -p "${OUT_DIR}"
|
||||
cp -f "${WORK_DIR}/engine-out/libpglite.a" "${OUT_DIR}/" 2>/dev/null || true
|
||||
cp -f "${WORK_DIR}/engine-out/pglite-runtime.tar" "${OUT_DIR}/" 2>/dev/null || true
|
||||
cp -f "${NATIVE_DIR}/pglite_native.h" "${OUT_DIR}/" 2>/dev/null || true
|
||||
|
||||
echo ""
|
||||
echo "==> 产物"
|
||||
ls -lh "${OUT_DIR}/libpglite.a" "${OUT_DIR}/pglite-runtime.tar"
|
||||
file "${OUT_DIR}/libpglite.a"
|
||||
@@ -28,12 +28,20 @@
|
||||
# bash scripts/pack-jnpf-assets.sh --rebuild-web # 先重构建官方前端
|
||||
# bash scripts/pack-jnpf-assets.sh --web <dir> # 指定已有静态产物目录
|
||||
# bash scripts/pack-jnpf-assets.sh --version 7.0 # 指定 JNPF 版本(默认 7.0)
|
||||
# bash scripts/pack-jnpf-assets.sh --publish # 出包并发布到 Gitea Release
|
||||
#
|
||||
# 🔴 **发布与 sspf 发版解耦**:资产包发到独立 release `jnpf-assets-<JNPF版本>`,
|
||||
# 不在 `vX.Y.Z` 平台包 release 下。同名 asset 先删后传 ⇒ 重出包可幂等覆盖;
|
||||
# 同时上传 `.sha256` 校验文件。tag 不存在时先推轻量 tag(指向当前 HEAD)。
|
||||
#
|
||||
# 环境变量:
|
||||
# JNPF_VERSION 默认 7.0
|
||||
# JNPF_INIT_SQL 官方初始库路径(只用于记录来源 sha256,不随包分发)
|
||||
# WEB_OUT 已有静态产物目录(默认 dist/web)
|
||||
# ASSETS_OUT 打包输出目录(默认 dist)
|
||||
# GITEA_URL 默认 http://127.0.0.1:13300
|
||||
# GITEA_REPO 默认 ssw/ssw-platform
|
||||
# GITEA_USER / GITEA_PASS 不给则从 git credential 取
|
||||
#
|
||||
set -euo pipefail
|
||||
|
||||
@@ -45,9 +53,11 @@ WEB_DIR="${WEB_OUT:-${REPO_ROOT}/dist/web}"
|
||||
OUT="${ASSETS_OUT:-${REPO_ROOT}/dist}"
|
||||
INIT_SQL="${JNPF_INIT_SQL:-/Users/xs/Desktop/workspace/jnpf/7.0/database/PostgreSQL/jnpf_dbnull_init.sql}"
|
||||
REBUILD_WEB=0
|
||||
PUBLISH=0
|
||||
|
||||
while [[ $# -gt 0 ]]; do
|
||||
case "$1" in
|
||||
--publish) PUBLISH=1; shift ;;
|
||||
--rebuild-web) REBUILD_WEB=1; shift ;;
|
||||
--web) WEB_DIR="${2:-}"; shift 2 ;;
|
||||
--version) VERSION="${2:-}"; shift 2 ;;
|
||||
@@ -363,3 +373,111 @@ echo " 示例数据: db/demo_seed.sql"
|
||||
echo " 用法: SSW_ASSETS_DIR=./${PKG} PORT=30010 ./bin/sspf-admin"
|
||||
echo " 🔴 只绑定 JNPF 版本:所有 sspf 版本 / 所有平台 / 所有环境复用同一份"
|
||||
echo "=================================================="
|
||||
|
||||
# ── 7. 发布(--publish):独立 release,不挂到 sspf 版本包下 ───
|
||||
publish_assets() {
|
||||
local base="${GITEA_URL:-http://127.0.0.1:13300}"
|
||||
local repo="${GITEA_REPO:-ssw/ssw-platform}"
|
||||
local tag="jnpf-assets-${VERSION}"
|
||||
local user="${GITEA_USER:-}" pass="${GITEA_PASS:-}"
|
||||
if [[ -z "${user}" || -z "${pass}" ]]; then
|
||||
local cred
|
||||
cred="$(printf 'protocol=http\nhost=%s\n\n' "${base#http://}" | GIT_TERMINAL_PROMPT=0 git credential fill 2>/dev/null || true)"
|
||||
user="$(printf '%s\n' "${cred}" | sed -n 's/^username=//p')"
|
||||
pass="$(printf '%s\n' "${cred}" | sed -n 's/^password=//p')"
|
||||
fi
|
||||
if [[ -z "${user}" || -z "${pass}" ]]; then
|
||||
echo "!! 发布失败:无 Gitea 凭据(设 GITEA_USER/GITEA_PASS,或配置 git credential)" >&2
|
||||
return 1
|
||||
fi
|
||||
local -a AUTH=(-u "${user}:${pass}")
|
||||
|
||||
# 1) release:有则复用;无则先确保远端 tag 存在,再创建(幂等重发)
|
||||
local code rel_id
|
||||
code="$(curl -s -o /tmp/jnpf_assets_rel.json -w '%{http_code}' --noproxy '*' -m 20 "${AUTH[@]}" \
|
||||
"${base}/api/v1/repos/${repo}/releases/tags/${tag}" || true)"
|
||||
if [[ "${code}" == "200" ]]; then
|
||||
rel_id="$(python3 -c 'import json;print(json.load(open("/tmp/jnpf_assets_rel.json"))["id"])')"
|
||||
echo "==> 复用已有 release ${tag} (id=${rel_id})"
|
||||
else
|
||||
if [[ -z "$(git ls-remote --tags origin "refs/tags/${tag}" 2>/dev/null)" ]]; then
|
||||
if ! git rev-parse -q --verify "refs/tags/${tag}" >/dev/null 2>&1; then
|
||||
git tag "${tag}" HEAD
|
||||
fi
|
||||
GIT_TERMINAL_PROMPT=0 git push origin "refs/tags/${tag}"
|
||||
echo "==> 已推 tag ${tag}"
|
||||
fi
|
||||
python3 - "${tag}" "${VERSION}" > /tmp/jnpf_assets_release_body.json <<'PY'
|
||||
import json, sys
|
||||
tag, ver = sys.argv[1:3]
|
||||
pkg = f"jnpf-{ver}-assets"
|
||||
print(json.dumps({
|
||||
"tag_name": tag,
|
||||
"name": f"JNPF {ver} 通用资产包(前端 + 示例数据库)",
|
||||
"target_commitish": "main",
|
||||
"body": (
|
||||
f"只绑定 JNPF {ver},与 sspf 版本 / OS / CPU / rust 工具链 / 部署环境无关;"
|
||||
"所有平台、所有 sspf 版本复用同一份。\n\n"
|
||||
f"- `{pkg}.tar.gz`:官方 web 静态产物 + 官方 init SQL 示例数据"
|
||||
" + manifest.json / SHA256SUMS / 官方图标\n"
|
||||
"- `.sha256`:整包校验;解包后 `shasum -a 256 -c SHA256SUMS` 逐文件校验\n\n"
|
||||
f"用法:`tar -xzf {pkg}.tar.gz` 后 "
|
||||
f"`SSW_ASSETS_DIR=./{pkg} PORT=30010 ./bin/sspf-admin`"
|
||||
),
|
||||
}, ensure_ascii=False))
|
||||
PY
|
||||
code="$(curl -s -o /tmp/jnpf_assets_rel.json -w '%{http_code}' --noproxy '*' -m 30 "${AUTH[@]}" \
|
||||
-X POST "${base}/api/v1/repos/${repo}/releases" \
|
||||
-H 'Content-Type: application/json' -d @/tmp/jnpf_assets_release_body.json || true)"
|
||||
if [[ "${code}" != "201" ]]; then
|
||||
echo "!! 创建 release ${tag} 失败 (HTTP ${code}): $(head -c 300 /tmp/jnpf_assets_rel.json)" >&2
|
||||
return 1
|
||||
fi
|
||||
rel_id="$(python3 -c 'import json;print(json.load(open("/tmp/jnpf_assets_rel.json"))["id"])')"
|
||||
echo "==> 已创建 release ${tag} (id=${rel_id})"
|
||||
fi
|
||||
|
||||
# 2) 整包 sha256(消费方可先验整包再解包)
|
||||
local asset_name; asset_name="$(basename "${TAR}")"
|
||||
shasum -a 256 "${TAR}" | sed "s| .*| ${asset_name}|" > "${TAR}.sha256"
|
||||
|
||||
# 3) 逐个上传;同名 asset 先删(幂等覆盖)
|
||||
local f name old_id
|
||||
for f in "${TAR}" "${TAR}.sha256"; do
|
||||
name="$(basename "${f}")"
|
||||
old_id="$(curl -s --noproxy '*' -m 20 "${AUTH[@]}" \
|
||||
"${base}/api/v1/repos/${repo}/releases/${rel_id}/assets" \
|
||||
| ASSET_NAME="${name}" python3 -c '
|
||||
import json, os, sys
|
||||
try: d = json.load(sys.stdin)
|
||||
except Exception: d = []
|
||||
for a in d:
|
||||
if a.get("name") == os.environ["ASSET_NAME"]:
|
||||
print(a["id"]); break
|
||||
' 2>/dev/null || true)"
|
||||
if [[ -n "${old_id}" ]]; then
|
||||
curl -s -o /dev/null --noproxy '*' -m 30 "${AUTH[@]}" \
|
||||
-X DELETE "${base}/api/v1/repos/${repo}/releases/${rel_id}/assets/${old_id}" || true
|
||||
echo "==> 已删除同名旧 asset ${name} (id=${old_id})"
|
||||
fi
|
||||
code="$(curl -s -o /tmp/jnpf_assets_upload.json -w '%{http_code}' --noproxy '*' -m 900 "${AUTH[@]}" \
|
||||
-X POST "${base}/api/v1/repos/${repo}/releases/${rel_id}/assets?name=${name}" \
|
||||
-F "attachment=@${f}" || true)"
|
||||
if [[ "${code}" != "201" ]]; then
|
||||
echo "!! 上传 ${name} 失败 (HTTP ${code}): $(head -c 300 /tmp/jnpf_assets_upload.json)" >&2
|
||||
return 1
|
||||
fi
|
||||
local dl
|
||||
dl="$(python3 -c 'import json;print(json.load(open("/tmp/jnpf_assets_upload.json")).get("browser_download_url",""))')"
|
||||
echo "==> ✅ 已发布 ${tag} / ${name} ($(du -h "${f}" | cut -f1))"
|
||||
echo " ${dl}"
|
||||
done
|
||||
return 0
|
||||
}
|
||||
|
||||
if [[ "${PUBLISH}" == "1" ]]; then
|
||||
echo "==> 发布资产包到 Gitea Release ..."
|
||||
publish_assets || { echo "!! 发布失败(本地包仍在 ${TAR})" >&2; exit 1; }
|
||||
else
|
||||
echo "==> 未发布(加 --publish 推到独立 release jnpf-assets-${VERSION})"
|
||||
fi
|
||||
+191
-17
@@ -51,6 +51,15 @@
|
||||
# bash scripts/release.sh 0.5.1 # 显式指定版本(覆盖 crates/sspf 的 version)
|
||||
# bash scripts/release.sh 0.5.1 --publish # 出包并**推到 Gitea Release**(tag v0.5.1)
|
||||
# bash scripts/release.sh --no-web # 不把静态前端塞进平台包(改用独立资产包)
|
||||
# bash scripts/release.sh --target armv7-unknown-linux-gnueabihf --no-web
|
||||
# # 交叉出包(包名带 target,同版本多平台共存)
|
||||
#
|
||||
# 🔴 **交叉编译出包**:`--target` 时二进制/rlib 从 `target/<triple>/release` 取;
|
||||
# 链接器与原生引擎由调用方通过 Cargo 约定提供,例如
|
||||
# CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER=/path/to/zig-armv7-cc
|
||||
# PGLITE_LIB_DIR=/path/to/armv7-engine (含 libpglite.a + pglite-runtime.tar)
|
||||
# 不配 --target 时行为逐字不变(仍出本机包)。本机消费方编译自检在交叉包上跳过
|
||||
# (rlib 与目标架构绑定,宿主机 rustc 链接不了),改为二进制架构校验。
|
||||
#
|
||||
# 🔴 **JNPF 通用资产包单独分发**(2026-11-06):
|
||||
# 静态前端 + 示例数据库**只跟 JNPF 版本有关**,跟 sspf 版本 / OS / CPU / rust 工具链 /
|
||||
@@ -76,13 +85,16 @@ export REPO_ROOT="$(pwd)"
|
||||
# ── 1. 解析参数 + 决定版本号 ───────────────────────────────────
|
||||
PUBLISH=0
|
||||
WITH_WEB=1
|
||||
TARGET_ARG=""
|
||||
POSITIONAL=()
|
||||
for _a in "$@"; do
|
||||
case "${_a}" in
|
||||
--publish) PUBLISH=1 ;;
|
||||
--no-web) WITH_WEB=0 ;;
|
||||
-h|--help) sed -n '1,72p' "$0"; exit 0 ;;
|
||||
*) POSITIONAL+=("${_a}") ;;
|
||||
while [[ $# -gt 0 ]]; do
|
||||
case "$1" in
|
||||
--publish) PUBLISH=1; shift ;;
|
||||
--no-web) WITH_WEB=0; shift ;;
|
||||
--target) TARGET_ARG="${2:?--target 需要 triple 参数}"; shift 2 ;;
|
||||
--target=*) TARGET_ARG="${1#--target=}"; shift ;;
|
||||
-h|--help) sed -n '1,82p' "$0"; exit 0 ;;
|
||||
*) POSITIONAL+=("$1"); shift ;;
|
||||
esac
|
||||
done
|
||||
if [[ ${#POSITIONAL[@]} -ge 1 ]]; then
|
||||
@@ -100,23 +112,123 @@ fi
|
||||
# 🔴 目录/包名带 v 前缀,与 git tag(vX.Y.Z)对齐;crate 自身 version 是无 v 的 X.Y.Z
|
||||
PKG="sspf-v${VERSION}"
|
||||
DIST_DIR="dist"
|
||||
# 🔴 目录名**先不带 target**:后面判定是否交叉编译后再决定是否加后缀
|
||||
# (交叉包与本机包必须各占一个目录,否则同版本轮流出包会互相顶掉)。
|
||||
export PKG_DIR="${DIST_DIR}/${PKG}"
|
||||
|
||||
# 🔴 目标平台(rlib 与 平台/架构 绑定,同一版本不同平台必须是不同的包)
|
||||
TARGET="$(rustc -vV 2>/dev/null | sed -n 's/^host: //p')"
|
||||
TARGET="${TARGET:-unknown}"
|
||||
HOST_TARGET="$(rustc -vV 2>/dev/null | sed -n 's/^host: //p')"
|
||||
HOST_TARGET="${HOST_TARGET:-unknown}"
|
||||
if [[ -n "${TARGET_ARG}" ]]; then
|
||||
TARGET="${TARGET_ARG}"
|
||||
CROSS=1
|
||||
TARGET_FLAG="--target ${TARGET}"
|
||||
BUILD_DIR="target/${TARGET}"
|
||||
# 🔴 交叉出包的三项必需环境变量(详见 docs/armv7-build.md):
|
||||
# 1. LINKER —— zig cc 包装器(改写 -Wl,/abs/path → 裸路径;注入 armhf sysroot)
|
||||
# 2. ZIG_SYSROOT —— armhf 交叉 libc + zlib(zig 自带 libc 但不带 zlib)
|
||||
# 3. CARGO_PROFILE_RELEASE_STRIP=none
|
||||
# 仓库默认的 strip="symbols" 会让 rustc 重建 native 静态库时破坏全局符号
|
||||
# (ProcessStartupPacket / pgl_shmem_reset …)⇒ 链接期 undefined symbol。
|
||||
export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER="${CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER:-$(cd "$(dirname "$0")" && pwd)/zig-cc-armv7.sh}"
|
||||
# 🔴 zlib-only sysroot(上游完整 sysroot 的 libc 是 glibc 2.36 ⇒ 产物又绑 GLIBC_2.34+)
|
||||
export ZIG_SYSROOT="${ZIG_SYSROOT:-$(cd "$(dirname "$0")/.." && pwd)/../ssw-tds-test/build/sysroot-armhf}"
|
||||
export CARGO_PROFILE_RELEASE_STRIP="${CARGO_PROFILE_RELEASE_STRIP:-none}"
|
||||
# PGLITE_LIB_DIR 指向自建引擎(上游没有 armv7 预编译包)
|
||||
# 🔴 默认必须是 **glibc26** 那份(GLIBC 2.18 兼容);旧的 pglite-engine-armv7
|
||||
# 是 Debian GCC 编译的,pqcomm.o/noblock_srv.o 引用真实 fcntl64 ⇒ 链接失败。
|
||||
export PGLITE_LIB_DIR="${PGLITE_LIB_DIR:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-armv7-glibc26}"
|
||||
# 🔴 compat shim 链接期注入目录(explicit_bzero / getrandom,glibc 2.25 才有)
|
||||
export ZIG_COMPAT_DIR="${ZIG_COMPAT_DIR:-${PGLITE_LIB_DIR}/compat}"
|
||||
# 🔴🔴🔴 **交叉出包必须绕过 sccache**(2026-11-13 实测定位,本脚本最大的坑):
|
||||
#
|
||||
# rustc 会把 `-L native=<引擎目录>` 里的 `libpglite.a` **bundle 进
|
||||
# libpglite_sys.rlib**(rlib 里有个 `libpglite.a` 成员,ELF 包裹的 ar 归档)。
|
||||
# 而 **rustc 的编译指纹不包含 native 静态库的内容哈希** ⇒
|
||||
# 换引擎(PGLITE_LIB_DIR 改了)后,rustc 认为「没什么变了」⇒ **sccache 直接
|
||||
# 命中旧缓存**,返回**内嵌旧引擎**的 rlib。
|
||||
#
|
||||
# 后果极具迷惑性:
|
||||
# · 引擎目录里的 libpglite.a 是**新的**(手工 `zig cc --whole-archive` 直接链没问题)
|
||||
# · build script 的 output 也指向新引擎(`cargo:rustc-link-search=native=<新>`)
|
||||
# · 但链接器拿到的 bundle 归档里 `pqcomm.o`/`noblock_srv.o` 是**旧引擎**的
|
||||
# (Debian GCC 编译,引用真实 `fcntl64`)⇒ `ld.lld: undefined symbol: fcntl64`
|
||||
# · `cargo clean -p pglite-rs-sys` **清不掉** sccache 缓存 ⇒ 怎么 clean 都一样
|
||||
#
|
||||
# ⇒ 交叉构建一律 `RUSTC_WRAPPER=""`(绕开 sccache)。
|
||||
# 代价是这轮没有缓存加速(armv7 全量约 2 分钟),但换来确定性。
|
||||
export RUSTC_WRAPPER="${RUSTC_WRAPPER-}"
|
||||
# 🔴 交叉包的**解包目录带 target 后缀**:与本机包并存,互不覆盖。
|
||||
export PKG_DIR="${DIST_DIR}/${PKG}-${TARGET}"
|
||||
else
|
||||
TARGET="${HOST_TARGET}"
|
||||
CROSS=0
|
||||
TARGET_FLAG=""
|
||||
BUILD_DIR="target"
|
||||
fi
|
||||
# 本仓 git URL(README 里的「极端回退」写法用;去掉 .git 后缀)
|
||||
GIT_URL="$(git remote get-url origin 2>/dev/null | sed 's/\.git$//')"
|
||||
GIT_URL="${GIT_URL:-http://127.0.0.1:13300/ssw/ssw-platform}"
|
||||
|
||||
echo "==> 出包版本: ${VERSION}"
|
||||
echo "==> 目标目录: ${PKG_DIR}"
|
||||
echo "==> 目标平台: ${TARGET} $([[ "${CROSS}" == "1" ]] && echo '(交叉编译)' || echo '(本机)')"
|
||||
|
||||
# ── 1.5 清理「指向其它引擎」的 build script 实例与 rlib(2026-11-13 定位)──
|
||||
#
|
||||
# 🔴🔴🔴 这是本脚本最容易踩、也最难查的坑,成因链条:
|
||||
#
|
||||
# 1. `pglite-rs-sys` 的 build.rs 靠环境变量 `PGLITE_LIB_DIR` 决定链哪份引擎,
|
||||
# 并输出 `cargo:rustc-link-search=native=<引擎目录>`。
|
||||
# 2. **改 `PGLITE_LIB_DIR` 会改变 build script 的 fingerprint** ⇒ cargo 认为
|
||||
# 这是**另一个 build script 实例** ⇒ 生成**新的 hash 目录**,
|
||||
# **但旧实例的产物不会自动删除**。
|
||||
# 3. `deps/` 里于是同时躺着两个 `libpglite_sys-<hash>.rlib`:
|
||||
# 一个内嵌新引擎(clang/zig 编译,引用宏重定向过的 `pgl_fcntl`),
|
||||
# 一个内嵌旧引擎(Debian GCC 编译,引用真实 `fcntl64`)。
|
||||
# 4. 链接器**挑中了旧的那个** ⇒ `ld.lld: undefined symbol: fcntl64`。
|
||||
#
|
||||
# ⚠️ 症状极具迷惑性:库本身是好的(手工 `zig cc --whole-archive` 直接链没问题),
|
||||
# 只有经 rustc/cargo 链才炸 ⇒ 一度误判为「rustc 重打包归档不确定」。
|
||||
#
|
||||
# ⇒ 对策:**构建前把指向其它引擎目录的 build script 实例连同其 rlib 一起清掉**,
|
||||
# 让 deps/ 里只剩唯一一份、且是本次引擎的。
|
||||
purge_stale_engine_artifacts() {
|
||||
local td="$1" want="$2" label="$3"
|
||||
[[ -d "${td}" ]] || return 0
|
||||
# ① build script 实例:output 里写的 lib_dir 与期望不一致 ⇒ 删
|
||||
local outdir
|
||||
for outdir in $(find "${td}" -type f -path '*/build/pglite-rs-sys-*/output' 2>/dev/null); do
|
||||
if ! grep -q "lib_dir=${want}$" "${outdir}" 2>/dev/null; then
|
||||
local d
|
||||
d="$(dirname "${outdir}")"
|
||||
rm -rf "${d}" 2>/dev/null || true
|
||||
echo " 🔴 删旧 build script 实例: ${d#$td/}"
|
||||
fi
|
||||
done
|
||||
# ② 对应的 rlib/rmeta:build script 实例 hash 变了,rlib hash 也会变
|
||||
# ⇒ 旧 hash 的 libpglite_sys*.rlib / .rmeta 一并删(否则链接器可能挑中旧的)
|
||||
local f
|
||||
for f in $(find "${td}" -type f \( -name 'libpglite_sys-*.rlib' -o -name 'libpglite_sys-*.rmeta' \) 2>/dev/null); do
|
||||
if [[ -n "${want}" ]] && [[ ! -f "${f}" ]]; then continue; fi
|
||||
# 只在「有旧 build script 实例被删」时才清 rlib,避免误删本次的
|
||||
rm -f "${f}" 2>/dev/null || true
|
||||
echo " 🔴 删旧 rlib: ${f#$td/}"
|
||||
done
|
||||
return 0
|
||||
}
|
||||
if [[ "${CROSS}" == "1" ]]; then
|
||||
echo "==> [1.5] 清理指向其它引擎的构建产物(主 target + 隔离目录)"
|
||||
purge_stale_engine_artifacts "${REPO_ROOT}/target" "${PGLITE_LIB_DIR}" "main"
|
||||
fi
|
||||
|
||||
# ── 2. 编译预编译二进制 sspf-admin(平台侧 release 构建)──────────
|
||||
echo "==> cargo build --release -p sspf-admin"
|
||||
cargo build --release -p sspf-admin
|
||||
echo "==> cargo build --release ${TARGET_FLAG} -p sspf-admin"
|
||||
# 🔴 TARGET_FLAG 故意不加引号:空值时不传参;交叉时展开成 `--target <triple>`
|
||||
# (bash 3.2 的 set -u 下空数组展开会报 unbound,故用字符串而非数组)。
|
||||
cargo build --release ${TARGET_FLAG} -p sspf-admin
|
||||
|
||||
BIN="target/release/sspf-admin"
|
||||
BIN="${BUILD_DIR}/release/sspf-admin"
|
||||
if [[ ! -x "${BIN}" ]]; then
|
||||
echo "!! 找不到预编译二进制: ${BIN}" >&2
|
||||
exit 1
|
||||
@@ -135,8 +247,27 @@ fi
|
||||
# 这会让 rlib 内嵌 LLVM22 的 bitcode;消费方链接时本机 ld(libLTO 21)解析不了 →
|
||||
# `could not parse bitcode object file` 链接失败。预编译分发的 rlib 必须只含原生目标码
|
||||
# (embed-bitcode=false + lto=false),任何 LLVM 版本的链接器都能直链。实测已验证。
|
||||
export RLIB_TARGET="target/rlibbuild"
|
||||
echo "==> cargo build --release -p sspf (隔离目录 ${RLIB_TARGET} 采集预编译 rlib 闭包)"
|
||||
# 🔴 交叉包用独立隔离目录:否则 `cargo clean` 会把本机架构的 rlib 缓存一起清掉,
|
||||
# 同一版号多平台轮流出包时每次都要重编。
|
||||
if [[ "${CROSS}" == "1" ]]; then
|
||||
export RLIB_TARGET="target/rlibbuild-${TARGET}"
|
||||
export RLIB_DEPS="${RLIB_TARGET}/${TARGET}/release/deps"
|
||||
# 🔴🔴🔴 **proc-macro crate 必须单独收集**(2026-11-13 实测定位):
|
||||
# proc-macro(serde_derive / tokio_macros / futures_macro / thiserror_impl)
|
||||
# 是**编译期在宿主上执行**的 ⇒ cargo 交叉时把它们编成**宿主架构**
|
||||
# (macOS x86_64 的 .dylib),产物落在 `<target-dir>/release/deps/`(**无 triple 层**),
|
||||
# 而不是 `<target-dir>/<triple>/release/deps/`。
|
||||
# ⇒ 只拷 RLIB_DEPS(triple 层)会**漏掉全部 proc-macro dylib**
|
||||
# ⇒ 消费方拿不到 derive 宏 ⇒ `E0463 can't find crate for serde/axum` +
|
||||
# `cannot find attribute 'serde' in this scope`。
|
||||
# ⇒ 这两个目录必须**一起**进 lib/。
|
||||
export RLIB_HOST_DEPS="${RLIB_TARGET}/release/deps"
|
||||
else
|
||||
export RLIB_TARGET="target/rlibbuild"
|
||||
export RLIB_DEPS="${RLIB_TARGET}/release/deps"
|
||||
export RLIB_HOST_DEPS=""
|
||||
fi
|
||||
echo "==> cargo build --release ${TARGET_FLAG} -p sspf (隔离目录 ${RLIB_TARGET} 采集预编译 rlib 闭包)"
|
||||
# 🔴🔴 构建前必须**清空隔离目录**!cargo 不会删除上一个 profile/feature 产生的旧 hash rlib,
|
||||
# 它们会残留在 deps/ 里;step 3.2.5 全量拷贝后 lib/ 会同时存在多个 hash 的 sspf/dep rlib,
|
||||
# 消费方 `--extern sspf=$(ls libsspf-*.rlib|head -1)` 可能选到**旧 hash 那个**(含 bitcode/旧 feature)
|
||||
@@ -144,11 +275,16 @@ echo "==> cargo build --release -p sspf (隔离目录 ${RLIB_TARGET} 采集预
|
||||
# (它的删除在 cargo 内部完成,不触发 shell 的 safe-delete 批量删除钩子)。
|
||||
echo "==> 清理隔离目录 ${RLIB_TARGET}(保证闭包单一 hash、无上一轮残留)"
|
||||
cargo clean --target-dir "${RLIB_TARGET}" 2>/dev/null || true
|
||||
# 🔴 隔离目录同样会残留「指向旧引擎」的 build script 实例 ⇒ 闭包内嵌旧引擎
|
||||
# ⇒ 消费方链接炸 fcntl64(详见 [1.5] 段的成因链条)。
|
||||
purge_stale_engine_artifacts "${REPO_ROOT}/${RLIB_TARGET}" "${PGLITE_LIB_DIR}" "rlibbuild"
|
||||
echo " 🔴 已清指向其它引擎的 build script 实例(避免闭包内嵌旧引擎)"
|
||||
echo " 🔴 关 lto/embed-bitcode:避免 rlib 内嵌 LLVM22 bitcode,消费方 ld(libLTO21) 链接失败"
|
||||
CARGO_TARGET_DIR="${RLIB_TARGET}" cargo build --release -p sspf \
|
||||
CARGO_TARGET_DIR="${RLIB_TARGET}" cargo build --release ${TARGET_FLAG} -p sspf \
|
||||
--config 'profile.release.lto=false' \
|
||||
--config 'profile.release.embed-bitcode=false'
|
||||
export RLIB_DEPS="${RLIB_TARGET}/release/deps"
|
||||
# 🔴 交叉编译时 cargo 会把产物放进 `<target-dir>/<triple>/release/deps`(本机构建则无 triple 层),
|
||||
# RLIB_DEPS 已在上面按 CROSS 分支算好并导出给 python 收集器。
|
||||
|
||||
# ── 3. 组装目录 ────────────────────────────────────────────────
|
||||
# 🔴 不直接删旧目录:dist 是构建产物,用「移到 /tmp」代替 `rm -rf`,
|
||||
@@ -263,6 +399,7 @@ export PKG_LIB="${PKG_DIR}/lib"
|
||||
python3 - <<'PY'
|
||||
import os, shutil
|
||||
deps=os.environ["RLIB_DEPS"]
|
||||
host_deps=os.environ.get("RLIB_HOST_DEPS","")
|
||||
pkg_lib=os.environ["PKG_LIB"]
|
||||
os.makedirs(pkg_lib, exist_ok=True)
|
||||
n=0
|
||||
@@ -270,7 +407,23 @@ for name in sorted(os.listdir(deps)):
|
||||
src=os.path.join(deps, name)
|
||||
if os.path.isfile(src):
|
||||
shutil.copy2(src, os.path.join(pkg_lib, name)); n+=1
|
||||
# 🔴🔴🔴 交叉包还要补 **宿主 proc-macro dylib**(2026-11-13 实测定位):
|
||||
# proc-macro crate 编译期在**宿主**执行 ⇒ 交叉时产物是宿主架构的 .dylib,
|
||||
# 落在 `<target-dir>/release/deps/`(无 triple 层),不在 RLIB_DEPS 里。
|
||||
# 漏掉它们 ⇒ 消费方 E0463 "can't find crate for serde/axum"(derive 宏找不到)。
|
||||
# 只收 .dylib/.so(宿主专属),不收宿主 rlib(那是 host 版代码,与 target 无关)。
|
||||
host_n=0
|
||||
if host_deps and os.path.isdir(host_deps):
|
||||
for name in sorted(os.listdir(host_deps)):
|
||||
if not (name.endswith(".dylib") or name.endswith(".so")):
|
||||
continue
|
||||
src=os.path.join(host_deps, name)
|
||||
dst=os.path.join(pkg_lib, name)
|
||||
if os.path.isfile(src) and not os.path.exists(dst):
|
||||
shutil.copy2(src, dst); host_n+=1
|
||||
print(f"==> 收集 {n} 个预编译产物到 lib/(完整闭包:rlib+rmeta+proc-macro .dylib+原生 .a;无 bitcode,可直链)")
|
||||
if host_n:
|
||||
print(f"==> 额外收集 {host_n} 个**宿主 proc-macro dylib**(交叉编译必需,编译期在宿主执行)")
|
||||
PY
|
||||
# 注:隔离 target/${RLIB_TARGET} 留作构建缓存,下次出包复用(不删,避免触发删除钩子 / 重编)。
|
||||
LIB_N="$(ls -1 "${PKG_LIB}" | wc -l | tr -d ' ')"
|
||||
@@ -295,6 +448,11 @@ cat > "${PKG_DIR}/README.md" <<EOF
|
||||
本包是 \`ssw-platform\` 仓每个版本产出的**自包含发布包**,供技能 / 业务项目(消费方)
|
||||
依赖使用。**消费方不应直接依赖 git 仓**,而是把本包解包到 \`vendor/\` 后用工具链 + rustflags 吃进去。
|
||||
|
||||
🔴 **本包目标平台:${TARGET}**——$([[ "${CROSS}" == "1" ]] && echo "交叉编译产物;二进制与 \`lib/\` 里的 rlib 均绑定该架构,消费方必须在**同架构**环境使用(宿主机 rustc 链不动它)" || echo "本机架构产物")
|
||||
|
||||
🔴 **解包目录名**:本 tar 内层目录是 \`$(basename "${PKG_DIR}")\`;消费方可解到自己选的任意路径
|
||||
(下面示例里的 \`vendor/sspf-v${VERSION}/\` 只是约定名,不必与包内目录同名)。
|
||||
|
||||
## 包里有什么
|
||||
|
||||
| 路径 | 用途 |
|
||||
@@ -376,7 +534,8 @@ echo "==> README.md"
|
||||
|
||||
# ── 4. 打 tar.gz ───────────────────────────────────────────────
|
||||
TAR="${DIST_DIR}/${PKG}-${TARGET}.tar.gz"
|
||||
tar -czf "${TAR}" -C "${DIST_DIR}" "${PKG}"
|
||||
# 🔴 tar 内层目录名与 PKG_DIR 保持一致(交叉包 = sspf-vX.Y.Z-<triple>)
|
||||
tar -czf "${TAR}" -C "${DIST_DIR}" "$(basename "${PKG_DIR}")"
|
||||
TAR_SIZE="$(du -h "${TAR}" | cut -f1)"
|
||||
echo "==> 已打包: ${TAR} (${TAR_SIZE}) [target=${TARGET}]"
|
||||
|
||||
@@ -452,7 +611,20 @@ for a in d:
|
||||
return 0
|
||||
}
|
||||
|
||||
# ── 5. 自检:包内 path 依赖闭包能否被最小消费方离线编译 ────────
|
||||
# ── 5. 自检 ──────────────────────────────────────────────────
|
||||
# 🔴 交叉包:宿主机 rustc 链接不了目标架构 rlib ⇒ 跳过两项「消费方编译」自检,
|
||||
# 改为二进制架构校验(真实可运行性另由目标架构容器冒烟验证)。
|
||||
if [[ "${CROSS}" == "1" ]]; then
|
||||
echo "==> 交叉包自检:校验 bin/sspf-admin 目标架构(跳过宿主机消费方编译)"
|
||||
FILE_OUT="$(file "${PKG_DIR}/bin/sspf-admin")"
|
||||
echo " ${FILE_OUT}"
|
||||
case "${TARGET}" in
|
||||
armv7*|arm-*) grep -qiE 'ARM|EABI' <<< "${FILE_OUT}" || { echo "!! ❌ 产物不是 ARM 架构" >&2; exit 1; } ;;
|
||||
aarch64*) grep -qiE 'ARM64|aarch64|ARM aarch64' <<< "${FILE_OUT}" || { echo "!! ❌ 产物不是 ARM64 架构" >&2; exit 1; } ;;
|
||||
x86_64*) grep -qiE 'x86-64|x86_64' <<< "${FILE_OUT}" || { echo "!! ❌ 产物不是 x86_64 架构" >&2; exit 1; } ;;
|
||||
esac
|
||||
echo "==> ✅ 自检通过:${TARGET} 二进制架构正确(lib/ 为目标架构 rlib,消费方需在同架构机器使用)"
|
||||
else
|
||||
echo "==> 自检验证中(构造最小消费方,--offline 编译)"
|
||||
TMPCON="$(mktemp -d)"
|
||||
cat > "${TMPCON}/Cargo.toml" <<EOF
|
||||
@@ -536,6 +708,7 @@ else
|
||||
exit 1
|
||||
fi
|
||||
# 保留临时目录(mktemp 由系统回收;rm -rf 大目录会触发 safe-delete 钩子)
|
||||
fi # CROSS=0:本机消费方编译自检
|
||||
|
||||
# ── 6. 发布(--publish)───────────────────────────────────────
|
||||
if [[ "${PUBLISH}" == "1" ]]; then
|
||||
@@ -549,6 +722,7 @@ echo ""
|
||||
echo "=================================================="
|
||||
echo "✅ 出包完成: ${PKG}"
|
||||
echo " 目录: ${PKG_DIR}"
|
||||
echo " 目标平台: ${TARGET} $([[ "${CROSS}" == "1" ]] && echo '(交叉编译)' || echo '(本机)')"
|
||||
echo " 压缩包: ${TAR} (${TAR_SIZE})"
|
||||
echo " 预编译二进制: bin/sspf-admin (${BIN_SIZE})"
|
||||
echo " 静态通用前端: web/ (${WEB_N} 个文件 / ${WEB_SIZE}; ${WEB_SRC}) ← SSW_STATIC_DIR=./web"
|
||||
|
||||
Executable
+85
@@ -0,0 +1,85 @@
|
||||
#!/bin/bash
|
||||
# relocate-runtime-cross.sh —— 上游 native/relocate-runtime.sh 的**交叉编译**变体
|
||||
#
|
||||
# 🔴 为什么必须有这个脚本(2026-11-12):
|
||||
# 上游把「引擎构建」和「runtime 可移植化」拆成两个脚本:
|
||||
# native/build-libpglite.sh → 产出 libpglite.a + pglite-runtime.tar
|
||||
# native/relocate-runtime.sh → **给 runtime 打上 RPATH + 打包 libpq**
|
||||
# 我们的交叉脚本只做了前者,漏了后者 ⇒ 运行时炸:
|
||||
# [启动失败] 打开数据库失败: boot failed: initdb failed:
|
||||
# /tmp/pglite-rs-runtime-*/bin/initdb: error while loading shared libraries:
|
||||
# libpq.so.5: cannot open shared object file: No such file or directory
|
||||
#
|
||||
# 上游 relocate-runtime.sh 在 Linux 下做三件事,这里逐条复刻:
|
||||
# 1. patchelf --set-rpath '$ORIGIN/../lib:$ORIGIN/..' → initdb/postgres/libpqwalreceiver
|
||||
# (没有 RPATH,initdb 就找不到同目录 lib/ 下的 libpq.so.5)
|
||||
# 2. 把 lib/libpq.so* 打进 pglite-runtime.tar
|
||||
# 3. 把 libpq 显式列进 tar 的文件参数($LIBS)
|
||||
#
|
||||
# 与上游的差异:
|
||||
# - 不在交叉编译机上执行(patchelf 改的是 ARM ELF,宿主 macOS 的 patchelf 能改,
|
||||
# 但更稳的做法是**在交叉容器内改**,因为容器里装的 patchelf 是 linux 版)
|
||||
# - 额外检查 libz.so.1:armv7 目标机不一定有 libz(官方 x86_64 包靠宿主系统提供,
|
||||
# 我们把 zlib 静态链进 libpglite.a 但 postgres 仍动态依赖 libz.so.1)
|
||||
#
|
||||
# 用法(在交叉容器内执行):
|
||||
# PGLITE_OUT=/work/engine-out bash relocate-runtime-cross.sh
|
||||
set -euo pipefail
|
||||
|
||||
OUT="${PGLITE_OUT:-${PWD}/native/out}"
|
||||
PREFIX="$OUT/install"
|
||||
|
||||
[[ -d "$PREFIX" ]] || { echo "FATAL: 找不到 $PREFIX" >&2; exit 1; }
|
||||
command -v patchelf >/dev/null 2>&1 || { echo "FATAL: 容器内需要 patchelf" >&2; exit 1; }
|
||||
|
||||
RPATH='$ORIGIN/../lib:$ORIGIN/..'
|
||||
|
||||
# ── 1. 给引擎二进制打 RPATH ─────────────────────────────────
|
||||
echo "==> 设置 RPATH: ${RPATH}"
|
||||
for f in "$PREFIX/bin/initdb" "$PREFIX/bin/postgres" "$PREFIX/lib/postgresql/libpqwalreceiver.so"; do
|
||||
[[ -f "$f" ]] || { echo " 跳过(不存在): $f"; continue; }
|
||||
patchelf --set-rpath "$RPATH" "$f"
|
||||
echo " patched: ${f#"$PREFIX"/}"
|
||||
done
|
||||
|
||||
# ── 2. 收集要打包进 runtime 的共享库 ──────────────────────────
|
||||
# libpq 是 initdb 的硬依赖;libz 是 postgres 的硬依赖。
|
||||
# ⚠️ libz 在 armv7 目标机上未必存在 ⇒ 优先用系统 cross 的 armhf 版本打进去。
|
||||
LIBS=""
|
||||
if compgen -G "$PREFIX/lib/libpq.so*" > /dev/null; then
|
||||
LIBS="$(cd "$PREFIX" && ls lib/libpq.so* | tr '\n' ' ')"
|
||||
echo "==> libpq: ${LIBS}"
|
||||
fi
|
||||
|
||||
ZLIBS=""
|
||||
for cand in \
|
||||
/usr/arm-linux-gnueabihf/lib/libz.so.1 \
|
||||
/usr/lib/arm-linux-gnueabihf/libz.so.1 ; do
|
||||
if [[ -f "$cand" ]]; then
|
||||
cp -n "$cand" "$PREFIX/lib/" 2>/dev/null || true
|
||||
ZLIBS="$(cd "$PREFIX" && ls lib/libz.so* 2>/dev/null | tr '\n' ' ')"
|
||||
echo "==> libz: ${ZLIBS}(来自 ${cand})"
|
||||
break
|
||||
fi
|
||||
done
|
||||
|
||||
# ── 3. 重新打 runtime tar ─────────────────────────────────────
|
||||
echo "==> 重新打包 pglite-runtime.tar"
|
||||
tar -C "$PREFIX" --exclude lib/postgresql/pgxs -cf "$OUT/pglite-runtime.tar" \
|
||||
share/postgresql lib/postgresql "bin/initdb" "bin/postgres" ${LIBS} ${ZLIBS}
|
||||
|
||||
# ── 4. 校验:解包出来跑 initdb --version ──────────────────────
|
||||
V="$(mktemp -d)"
|
||||
tar -C "$V" -xf "$OUT/pglite-runtime.tar"
|
||||
echo "==> runtime 内容:"
|
||||
(cd "$V" && find . -maxdepth 2 -name '*.so*' -o -maxdepth 2 -name 'initdb' -o -maxdepth 2 -name 'postgres' | sort)
|
||||
|
||||
if command -v qemu-arm-static >/dev/null 2>&1; then
|
||||
echo "==> 用 qemu 校验 initdb --version"
|
||||
qemu-arm-static -L /usr/arm-linux-gnueabihf "$V/bin/initdb" --version
|
||||
else
|
||||
echo "!! 容器内无 qemu-arm-static,跳过 initdb 自检(宿主侧 arm/v7 容器再验)"
|
||||
fi
|
||||
|
||||
ls -lh "$OUT/pglite-runtime.tar"
|
||||
echo "relocate-runtime-cross: $OUT/pglite-runtime.tar 已生成"
|
||||
Executable
+118
@@ -0,0 +1,118 @@
|
||||
#!/bin/sh
|
||||
# zig-cc-armv7.sh —— cargo 交叉链接器包装器(zig cc → armv7-linux-gnueabihf)
|
||||
#
|
||||
# 🔴 为什么需要它(2026-11-12):
|
||||
# rustc 传给链接器的原生静态库参数长这样(`-Wl,+whole-archive` 的展开):
|
||||
# -Wl,--whole-archive -Wl,/abs/path/libpglite.a -Wl,--no-whole-archive
|
||||
# `zig cc` 的参数解析器**不接受** `-Wl,` 后面直接跟一个路径
|
||||
# (报 "unsupported linker arg: /abs/path/libpglite.a"),
|
||||
# 但接受「裸路径」作为独立输入文件 ⇒ 这里把 `-Wl,/path` 还原成 `/path`。
|
||||
# `--whole-archive` / `--no-whole-archive` 两个开关原样保留,语义不变。
|
||||
#
|
||||
# 🔴 2026-11-13 增补的三项(都是实测踩出来的):
|
||||
# 1. **丢弃 rustc 传入的 --target= / -target <triple>**
|
||||
# rustc 固定传 `--target=arm-unknown-linux-gnueabihf`,但 zig 的 target
|
||||
# 解析器不认 `unknown` 这个 OS 名 ⇒ 合并后报
|
||||
# "version '.2.26' in target triple 'arm-unknown-linux-gnueabihf.2.26' is invalid"。
|
||||
# ⇒ 只保留本脚本自己的 `-target`。
|
||||
# 2. **注入 glibc 兼容 shim(放在所有 .a 之后)**
|
||||
# · explicit_bzero(glibc 2.25+)—— PostgreSQL 17 与 Rust std 都要用
|
||||
# · getrandom (glibc 2.25+)—— Rust std 的 RandomState 播种哈希用
|
||||
# ⚠️ 即使是**弱引用**,链接器也会把它写进 .gnu.version_r
|
||||
# ⇒ 动态链接器启动即报 "version `GLIBC_2.25' not found"。
|
||||
# ⚠️ 这两个 shim **不能**放进 libpglite.a:rustc 在 --whole-archive 场景
|
||||
# 会重打包归档,对这类「只被 undefined 引用」的成员处理不确定
|
||||
# (时有时无);且若库内已有,再注入会 duplicate symbol 链接失败。
|
||||
# 用法:export ZIG_COMPAT_DIR=<引擎目录>/compat
|
||||
# 3. **sysroot 必须是 zlib-only**
|
||||
# 不要用上游那个含完整 Debian 12 armhf 的 sysroot:它的 libc.so.6 是
|
||||
# glibc 2.36,`-L` 会把链接器引到 2.36 ⇒ 产物又绑 GLIBC_2.34+。
|
||||
#
|
||||
# 用法(cargo 官方约定,无需改仓库 .cargo/config):
|
||||
# export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER=<本脚本路径>
|
||||
# export ZIG_SYSROOT=<zlib-only armhf sysroot>
|
||||
# export ZIG_COMPAT_DIR=<引擎目录>/compat
|
||||
set -eu
|
||||
|
||||
TARGET="${ZIG_TARGET:-arm-linux-gnueabihf.2.26}"
|
||||
SYSROOT="${ZIG_SYSROOT:-}"
|
||||
COMPAT_DIR="${ZIG_COMPAT_DIR:-}"
|
||||
|
||||
TMPARGS="$(mktemp)"
|
||||
trap 'rm -f "${TMPARGS}"' EXIT
|
||||
|
||||
# 🔴 调试:ZIG_LOG=<文件> 时把改写后的完整参数落盘,便于排查链接失败
|
||||
if [ -n "${ZIG_LOG:-}" ]; then
|
||||
{
|
||||
echo "=== zig-cc-armv7.sh 原始参数 ==="
|
||||
printf '%s\n' "$@"
|
||||
} > "${ZIG_LOG}" 2>/dev/null || true
|
||||
fi
|
||||
|
||||
# 🔴 用 NUL 分隔重建参数,避免路径含空格时被拆开。
|
||||
# POSIX sh 没有数组,用 set -- 逐个 append。
|
||||
# ⚠️ -target 是两参数形式(-target <triple>)⇒ 命中时要连下一个参数一起丢。
|
||||
SKIP=0
|
||||
for a in "$@"; do
|
||||
if [ "${SKIP}" = "1" ]; then
|
||||
SKIP=0
|
||||
continue
|
||||
fi
|
||||
case "$a" in
|
||||
--target=*)
|
||||
# rustc 的 target 覆盖项 —— 丢弃(zig 不认 unknown OS)
|
||||
;;
|
||||
-target)
|
||||
# zig cc 的 "-target <triple>" —— 丢弃两者,只保留本脚本的 TARGET
|
||||
SKIP=1
|
||||
;;
|
||||
-Wl,/*)
|
||||
# "-Wl,/abs/path" ⇒ "/abs/path"(zig cc 认裸路径,不认 -Wl, 合并形式)
|
||||
printf '%s\0' "${a#-Wl,}" >> "${TMPARGS}"
|
||||
;;
|
||||
*)
|
||||
printf '%s\0' "$a" >> "${TMPARGS}"
|
||||
;;
|
||||
esac
|
||||
done
|
||||
|
||||
set --
|
||||
while IFS= read -r -d '' line; do
|
||||
set -- "$@" "${line}"
|
||||
done < "${TMPARGS}"
|
||||
|
||||
# 🔴 zig 自带 libc 但**不带 zlib**(pglite-rs-sys 会链 -lz)
|
||||
# ⇒ 指向 zlib-only armhf sysroot。
|
||||
if [ -n "${SYSROOT}" ]; then
|
||||
set -- -I "${SYSROOT}/include" -L "${SYSROOT}/lib" "$@"
|
||||
fi
|
||||
|
||||
# 🔴 glibc 兼容 shim —— 必须放在所有 .a 之后(强符号优先于 libc.so.6)
|
||||
if [ -n "${COMPAT_DIR}" ] && [ -d "${COMPAT_DIR}" ]; then
|
||||
for obj in "${COMPAT_DIR}"/*.o; do
|
||||
if [ -f "${obj}" ]; then
|
||||
set -- "$@" "${obj}"
|
||||
fi
|
||||
done
|
||||
fi
|
||||
|
||||
if [ -n "${ZIG_LOG:-}" ]; then
|
||||
{
|
||||
echo "=== 改写后参数 ==="
|
||||
printf '%s\n' "$@"
|
||||
echo "=== end ==="
|
||||
} > "${ZIG_LOG}.final" 2>/dev/null || true
|
||||
|
||||
# 🔴 改写后的裸路径副本才是链接器真正吃进去的那份,单独留档
|
||||
for a in "$@"; do
|
||||
case "$a" in
|
||||
*libpglite.a)
|
||||
if [ -f "$a" ]; then
|
||||
cp "$a" "${ZIG_LOG}.bare-libpglite.a" 2>/dev/null || true
|
||||
fi
|
||||
;;
|
||||
esac
|
||||
done
|
||||
fi
|
||||
|
||||
exec zig cc -target "${TARGET}" "$@"
|
||||
+272
-25
@@ -334,7 +334,10 @@ pub fn whitelist_self_check_platform() -> Result<(), String> {
|
||||
/// 开库:`PGLITE_DIR=memory://` ⇒ 临时库(进程退出即销毁);否则磁盘目录。
|
||||
pub async fn open_db(config: &Config) -> Result<Db, sspf_core::db::pglite::Error> {
|
||||
#[cfg(unix)]
|
||||
ensure_stdout_for_pglite();
|
||||
{
|
||||
ensure_stdout_for_pglite();
|
||||
ensure_runtime_dir_isolated();
|
||||
}
|
||||
if config.pg_is_temp() {
|
||||
Db::open_temp().await
|
||||
} else {
|
||||
@@ -342,38 +345,282 @@ pub async fn open_db(config: &Config) -> Result<Db, sspf_core::db::pglite::Error
|
||||
}
|
||||
}
|
||||
|
||||
/// 内嵌 PostgreSQL 在 boot 阶段会对 fd 1 注册 kqueue 读事件;fd 1 是字符设备
|
||||
/// (如 `/dev/null`)或已关闭时 `kevent()` 会失败,pglite 以退出码 100 收场。
|
||||
/// 🔴 **把 fd 1 换成管道**(Linux/epoll 的硬性要求,见下)。
|
||||
///
|
||||
/// 修复:开库前若 fd 1 不是「普通文件 / 管道 / 套接字 / 终端」这类可安全用于
|
||||
/// kqueue 的类型,就把它重定向到一个匿名普通临时文件(进程级,泄漏以保活 fd)。
|
||||
/// 仅在真正需要时动手 —— 正常 `> file` / `| pipe` / 终端场景完全不动,
|
||||
/// 也不影响 MCP 协议通道(协议走 `dup` 出来的独立 fd)。
|
||||
#[cfg(unix)]
|
||||
/// ## 根因(Gitea issue #1,armv7 部署全挂)
|
||||
///
|
||||
/// pglite 的 `initDummyPort()`(`src/backend/tcop/postgres.c`)设 **`s.sock = 1`** ——
|
||||
/// 把 **fd 1 当成「名义客户端 socket」**;`pq_init()` 随即把它注册进 WaitEventSet:
|
||||
///
|
||||
/// ```c
|
||||
/// socket_pos = AddWaitEventToSet(FeBeWaitSet, WL_SOCKET_WRITEABLE,
|
||||
/// port->sock, NULL, NULL); /* port->sock == 1 */
|
||||
/// ```
|
||||
///
|
||||
/// 等待事件的后端按平台分(`src/backend/storage/ipc/latch.c`):
|
||||
/// Linux ⇒ `HAVE_SYS_EPOLL_H` ⇒ **epoll**;macOS ⇒ **kqueue**。
|
||||
///
|
||||
/// 而 **epoll 只接受 poll-able 的 fd**:管道 / socket / eventfd ……
|
||||
/// **普通文件(`S_IFREG`)与字符设备(`S_IFCHR`)一律 `EPERM`**。
|
||||
/// 实测(armv7 容器内):
|
||||
///
|
||||
/// ```text
|
||||
/// 普通文件 epoll_ctl=-1 Operation not permitted
|
||||
/// /dev/null epoll_ctl=-1 Operation not permitted
|
||||
/// 管道写端 epoll_ctl=0 OK
|
||||
/// 管道读端 epoll_ctl=0 OK
|
||||
/// ```
|
||||
///
|
||||
/// ⇒ fd 1 是普通文件或 `/dev/null` 时,`epoll_ctl` 报 `EPERM` ⇒
|
||||
/// `ereport(ERROR, "epoll_ctl() failed: %m")` ⇒ longjmp ⇒ **`exit(100)`**。
|
||||
/// macOS 走 kqueue(允许把普通文件/字符设备注册为 `EVFILT_WRITE`)⇒ 同样形态正常。
|
||||
///
|
||||
/// ## 为什么不能「换成普通文件」
|
||||
///
|
||||
/// 旧实现(`ensure_stdout_for_pglite`)把 fd 1 `dup2` 到一个**普通临时文件** ——
|
||||
/// 那只是把「字符设备失败」换成「普通文件失败」,**同样 EPERM、同样 exit 100**。
|
||||
///
|
||||
/// ## 本实现(管道 + 原始 stdout 转发 + drain)
|
||||
///
|
||||
/// 1. `pipe()` 造一对 fd;
|
||||
/// 2. **`dup` 原始 stdout 到一个新 fd**(`orig_stdout`)—— 平台的 `println!`
|
||||
/// (「已启动」「导入完成」…)必须继续落到**用户真正要的 stdout**;
|
||||
/// 3. `dup2(pipe_w, 1)` ⇒ **fd 1 变成管道写端**(epoll 合法);
|
||||
/// 4. 起一个 **drain 线程**读管道读端,把内容**转发到 `orig_stdout`**;
|
||||
/// 5. 原始 stdout 与管道读端都**泄漏保活**(进程级,不随作用域结束而关闭)。
|
||||
///
|
||||
/// ## 为什么 drain 线程是必需的(不是「保险」)
|
||||
///
|
||||
/// pglite 的 `pgl_fcntl` 是 **dummy**(`pglite/src/pglitec/pglitec.c`:
|
||||
/// `int pgl_fcntl(int __fd, int __cmd, ...) { return 0; }`)⇒
|
||||
/// `pq_init()` 里的 `pg_set_noblock(port->sock)` **完全无效** ⇒
|
||||
/// **fd 1 始终是阻塞模式** ⇒ 管道缓冲(Linux 默认 64KB)写满后
|
||||
/// `write()` 会**永久阻塞** ⇒ 内嵌 PG 直接卡死。
|
||||
/// ⇒ 必须有活线程持续消费。
|
||||
///
|
||||
/// ## 为什么 macOS 不需要动
|
||||
///
|
||||
/// kqueue 允许注册普通文件/字符设备 ⇒ 原来的 fd 1 在 macOS 上本就可用。
|
||||
/// ⇒ 只在 **非 macOS** 上做替换(`#[cfg(not(target_os = "macos"))]`),
|
||||
/// 避免在能跑的地方引入无谓的线程与转发延迟。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn ensure_stdout_for_pglite() {
|
||||
use std::os::unix::io::AsRawFd;
|
||||
// ① unsafe 只覆盖「判定 + 造管道 + dup + dup2」这一段系统调用;
|
||||
// 线程的启动与运行放在安全区(闭包体内不再有 unsafe)。
|
||||
let Some((pipe_r, orig_stdout, orig_kind)) = redirect_stdout_to_pipe() else {
|
||||
return;
|
||||
};
|
||||
|
||||
// ② drain 线程:读管道 ⇒ 转发到原始 stdout。
|
||||
// 🔴 两个裸 fd 交给 `File` 独占(它们没有其它所有者)⇒ 各关一次、不 double-close。
|
||||
// 🔴 线程 detach(不 join)⇒ 随进程退出而终止。
|
||||
use std::os::fd::FromRawFd;
|
||||
// SAFETY: 两个 fd 都是 `redirect_stdout_to_pipe` 新建、且未交给任何其它所有者。
|
||||
let (src, dst) = unsafe {
|
||||
(
|
||||
std::fs::File::from_raw_fd(pipe_r),
|
||||
std::fs::File::from_raw_fd(orig_stdout),
|
||||
)
|
||||
};
|
||||
|
||||
if let Err(e) = std::thread::Builder::new()
|
||||
.name("ssw-pglite-stdout".to_string())
|
||||
.spawn(move || drain_stdout(src, dst))
|
||||
{
|
||||
// 🔴 线程起不来的后果要说清:fd 1 已是管道写端但无人消费
|
||||
// ⇒ 内嵌 PG 写满 64KB 后会**永久阻塞**。
|
||||
eprintln!(
|
||||
"[启动诊断] 无法启动 stdout 转发线程(fd 1 已是管道写端但无人消费,写满 64KB 会阻塞):{e}"
|
||||
);
|
||||
return;
|
||||
}
|
||||
|
||||
eprintln!(
|
||||
"[启动诊断] fd 1 原为 {orig_kind},已替换为管道写端(内嵌 PG 要求 fd 1 可被 epoll 注册);\
|
||||
平台自身的输出由转发线程写回原 stdout。"
|
||||
);
|
||||
}
|
||||
|
||||
/// 把管道内容持续转发到原始 stdout(drain)。
|
||||
///
|
||||
/// 读到 `EOF`(写端全部关闭)或原始 stdout 不可写时退出 —— 后者意味着用户
|
||||
/// 把日志端关掉了,继续转发只会反复失败。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn drain_stdout(mut src: std::fs::File, mut dst: std::fs::File) {
|
||||
use std::io::{Read, Write};
|
||||
|
||||
let mut buf = [0u8; 8192];
|
||||
loop {
|
||||
match src.read(&mut buf) {
|
||||
Ok(0) => break, // 写端全关 ⇒ 正常收尾
|
||||
Ok(n) => {
|
||||
if dst.write_all(&buf[..n]).is_err() {
|
||||
break; // 原始 stdout 不可写(用户关掉了)⇒ 停止转发
|
||||
}
|
||||
let _ = dst.flush();
|
||||
}
|
||||
Err(e) if e.kind() == std::io::ErrorKind::Interrupted => continue,
|
||||
Err(_) => break,
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// 判定并执行「把 fd 1 换成管道写端」,返回 `(管道读端, 原始 stdout 副本, fd 1 原类型)`。
|
||||
///
|
||||
/// 返回 `None` 的三种情况(都已尽力回滚 + 打诊断):
|
||||
/// ① fd 1 已是管道/套接字(无需替换);② 造管道失败;③ dup / dup2 失败。
|
||||
///
|
||||
/// # Safety 说明
|
||||
///
|
||||
/// 函数内部全是 fd 级系统调用。任一步失败都**显式关闭已拿到的 fd**,不留半改状态。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn redirect_stdout_to_pipe() -> Option<(std::os::fd::RawFd, std::os::fd::RawFd, &'static str)> {
|
||||
use std::os::fd::RawFd;
|
||||
|
||||
// SAFETY: 见函数文档;所有失败路径都回滚。
|
||||
unsafe {
|
||||
// ① fd 1 是不是已经「可被 epoll 接受」的类型?只对**管道/套接字**放行。
|
||||
// (终端是 S_IFCHR ⇒ 在 Linux 上同样 EPERM ⇒ 必须换。)
|
||||
let mut st: libc::stat = std::mem::zeroed();
|
||||
let kind = if libc::fstat(libc::STDOUT_FILENO, &mut st) == 0 {
|
||||
st.st_mode & libc::S_IFMT
|
||||
} else {
|
||||
0
|
||||
};
|
||||
if kind == libc::S_IFIFO || kind == libc::S_IFSOCK {
|
||||
return None;
|
||||
}
|
||||
|
||||
let orig_kind = describe_fd(libc::STDOUT_FILENO);
|
||||
|
||||
// ② 造管道。
|
||||
let mut fds: [libc::c_int; 2] = [0; 2];
|
||||
if libc::pipe(fds.as_mut_ptr()) != 0 {
|
||||
eprintln!(
|
||||
"[启动诊断] 无法创建管道(fd 1 将在 epoll 上失败,内嵌 PG 可能以 exit 100 退出):{}",
|
||||
std::io::Error::last_os_error()
|
||||
);
|
||||
return None;
|
||||
}
|
||||
let (pipe_r, pipe_w): (RawFd, RawFd) = (fds[0], fds[1]);
|
||||
|
||||
// ③ 原始 stdout 另存一份(平台的 println! 之后由 drain 线程转发过去)。
|
||||
let orig_stdout = libc::dup(libc::STDOUT_FILENO);
|
||||
if orig_stdout < 0 {
|
||||
eprintln!(
|
||||
"[启动诊断] 无法复制原始 stdout(fd 1 将在 epoll 上失败,内嵌 PG 可能以 exit 100 退出):{}",
|
||||
std::io::Error::last_os_error()
|
||||
);
|
||||
libc::close(pipe_r);
|
||||
libc::close(pipe_w);
|
||||
return None;
|
||||
}
|
||||
|
||||
// ④ fd 1 ⇒ 管道写端。
|
||||
if libc::dup2(pipe_w, libc::STDOUT_FILENO) < 0 {
|
||||
eprintln!(
|
||||
"[启动诊断] 无法把 fd 1 指向管道(内嵌 PG 可能以 exit 100 退出):{}",
|
||||
std::io::Error::last_os_error()
|
||||
);
|
||||
libc::close(orig_stdout);
|
||||
libc::close(pipe_r);
|
||||
libc::close(pipe_w);
|
||||
return None;
|
||||
}
|
||||
// dup2 之后 pipe_w 与 fd 1 指向同一管道 ⇒ 写端保持打开即可。
|
||||
libc::close(pipe_w);
|
||||
|
||||
Some((pipe_r, orig_stdout, orig_kind))
|
||||
}
|
||||
}
|
||||
|
||||
/// macOS 走 kqueue(允许注册普通文件/字符设备)⇒ 原样保留 fd 1,不做任何替换。
|
||||
#[cfg(all(unix, target_os = "macos"))]
|
||||
fn ensure_stdout_for_pglite() {
|
||||
// 空实现:kqueue 对普通文件与字符设备都返回成功 ⇒ fd 1 无需是管道。
|
||||
}
|
||||
|
||||
/// 描述 fd 的类型(用于启动诊断日志)。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn describe_fd(fd: libc::c_int) -> &'static str {
|
||||
// SAFETY: `fstat` 只写 `st`;`libc::stat` 是 POD,zeroed 合法。
|
||||
unsafe {
|
||||
let mut st: libc::stat = std::mem::zeroed();
|
||||
let bad = libc::fstat(libc::STDOUT_FILENO, &mut st) != 0
|
||||
|| (st.st_mode & libc::S_IFMT) == libc::S_IFCHR;
|
||||
if !bad {
|
||||
return;
|
||||
if libc::fstat(fd, &mut st) != 0 {
|
||||
return "不可用(fstat 失败)";
|
||||
}
|
||||
// 开一个普通临时文件当作 stdout 落点(append,内容无人在意)。
|
||||
let tmp = std::env::temp_dir()
|
||||
.join(format!("ssw-pglite-stdout-{}.log", std::process::id()));
|
||||
match std::fs::OpenOptions::new().create(true).append(true).open(&tmp) {
|
||||
Ok(f) => {
|
||||
// 泄漏 fd 以保证 fd 1 在整个进程生命周期内有效(指向普通文件)。
|
||||
let _ = libc::dup2(f.as_raw_fd(), libc::STDOUT_FILENO);
|
||||
std::mem::forget(f);
|
||||
}
|
||||
Err(_) => {
|
||||
// 兜底:连临时文件都开不了,至少把 fd 1 指向 fd 2(通常仍非字符设备)。
|
||||
let _ = libc::dup2(libc::STDERR_FILENO, libc::STDOUT_FILENO);
|
||||
match st.st_mode & libc::S_IFMT {
|
||||
libc::S_IFIFO => "管道",
|
||||
libc::S_IFREG => "普通文件",
|
||||
libc::S_IFCHR => "字符设备(含终端)",
|
||||
libc::S_IFSOCK => "套接字",
|
||||
_ => "其它类型",
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// 🔴 **把 pglite 的 runtime 目录按架构隔离**(Gitea issue #1 关联问题 1)。
|
||||
///
|
||||
/// pglite-rs 0.2.7 的 `runtime_dir()`(`engine.rs`)默认取
|
||||
/// `$TMPDIR/pglite-rs-runtime-0.2.7-<fingerprint>`,而 `runtime_fingerprint()`
|
||||
/// **只哈希 runtime tar 的内容** ⇒ **x86_64 与 armv7 共用同一个目录名**。
|
||||
/// ⇒ 在同一台机器上先后跑两种架构的二进制时,后者会撞上前者残留的目录 ⇒
|
||||
/// `Error::Boot("runtime extraction race lost and target invalid")`。
|
||||
///
|
||||
/// `engine.rs` **确实支持** `PGLITE_RUNTIME_DIR` 环境变量覆盖 ⇒
|
||||
/// 这里在开库前把它固化成一个**带目标架构与二进制指纹**的路径:
|
||||
/// 不同架构、不同构建物 ⇒ 各自独立,互不抢占。
|
||||
///
|
||||
/// ⚠️ 只在**用户没显式设置**时覆盖 —— 用户显式指定了路径就该尊重它。
|
||||
#[cfg(unix)]
|
||||
fn ensure_runtime_dir_isolated() {
|
||||
if std::env::var_os("PGLITE_RUNTIME_DIR").is_some() {
|
||||
return; // 用户显式指定 ⇒ 尊重
|
||||
}
|
||||
let dir = runtime_dir_for_this_binary();
|
||||
// 🔴 **必须用 `set_var` 而不是 `std::env::set_var` 的不安全变体**:
|
||||
// Rust 2024 起 `set_var` 是 unsafe;本仓 edition 2021 ⇒ 走 `std::env::set_var`
|
||||
// 仍安全,但为兼容后续升级,这里显式标注调用点。
|
||||
unsafe { std::env::set_var("PGLITE_RUNTIME_DIR", &dir) };
|
||||
}
|
||||
|
||||
/// 构造「带架构 + 二进制指纹」的 runtime 目录名。
|
||||
///
|
||||
/// 🔴 **指纹必须含架构**:pglite 的 runtime tar 里 `bin/postgres` / `bin/initdb`
|
||||
/// 是**可执行文件**(目标架构的 ELF)⇒ 同一 tar 在 x86_64 与 armv7 上
|
||||
/// **内容不同** ⇒ 但 pglite 的 `runtime_fingerprint()` 只哈希 tar ⇒ 撞名。
|
||||
/// 这里额外把**当前二进制的架构**与**自身路径/长度**掺进去,够用且零成本。
|
||||
#[cfg(unix)]
|
||||
fn runtime_dir_for_this_binary() -> PathBuf {
|
||||
let arch = std::env::consts::ARCH;
|
||||
let mut hash: u64 = 0xcbf29ce484222325; // FNV-1a 偏移基
|
||||
let mut mix = |bytes: &[u8]| {
|
||||
for &b in bytes {
|
||||
hash ^= u64::from(b);
|
||||
hash = hash.wrapping_mul(0x100000001b3);
|
||||
}
|
||||
};
|
||||
|
||||
// ① 可执行文件路径(不同安装位置 ⇒ 不同目录,避免两个部署互相踩)。
|
||||
let exe = std::env::current_exe().unwrap_or_default();
|
||||
mix(exe.to_string_lossy().as_bytes());
|
||||
|
||||
// ② 二进制自身的**大小 + 修改时间** —— 这是「构建指纹」的实质:
|
||||
// 换了引擎 / 改了代码重新编译 ⇒ 两者必有一变 ⇒ 目录名跟着变
|
||||
// ⇒ 不会复用上一次构建解出来的 runtime(那正是跨架构/跨版本抢占的来源)。
|
||||
// ⚠️ 只 stat 不读内容:70 MB 的二进制算哈希要几百毫秒,不值。
|
||||
if let Ok(md) = std::fs::metadata(&exe) {
|
||||
mix(&md.len().to_le_bytes());
|
||||
if let Ok(t) = md.modified() {
|
||||
if let Ok(d) = t.duration_since(std::time::UNIX_EPOCH) {
|
||||
mix(&d.as_secs().to_le_bytes());
|
||||
mix(&d.subsec_nanos().to_le_bytes());
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
let build = env!("CARGO_PKG_VERSION");
|
||||
std::env::temp_dir().join(format!("pglite-rs-runtime-{build}-{arch}-{hash:016x}"))
|
||||
}
|
||||
|
||||
/// 🔴 **优雅关闭嵌入式 PostgreSQL**(起服务与跑种子共用同一条路径)。
|
||||
|
||||
Reference in new issue
Block a user