From b6990909fcc26ab83a2de2b4aead8251e00e8592 Mon Sep 17 00:00:00 2001 From: admin Date: Fri, 13 Nov 2026 13:00:14 +0800 Subject: [PATCH] =?UTF-8?q?build(armv7):=20=E5=8A=A0=20glibc=20=E7=89=88?= =?UTF-8?q?=E6=9C=AC=E9=97=A8=E7=A6=81=EF=BC=8C=E5=86=92=E7=83=9F=E6=8D=A2?= =?UTF-8?q?=E8=80=81=20glibc=20=E9=95=9C=E5=83=8F=E5=B9=B6=E5=AE=9E?= =?UTF-8?q?=E6=B5=8B=E9=AA=8C=E6=94=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 收编 TDS 侧重编的 glibc26 引擎后,补上 issue #1 关联问题 2 的实测验收, 并把「版本回退会重新绑高」这件事变成构建期可拦的门禁。 - 新增纯宿主侧 glibc 版本门禁(build-armv7.sh 第 3 步):读 ELF 动态符号的 版本节点,超过 GLIBC_2.18 直接构建失败。用宿主自带 LLVM objdump 即可读 arm ELF,不起容器、秒级。阈值可用 GLIBC_MAX_MINOR= 覆盖。 - 冒烟镜像由 bookworm-slim(glibc 2.36,与编译 sysroot 同版本 ⇒ 天然掩盖 问题)改为 buster(2.28)⇒ 版本回退会当场暴露。 - 实测版本需求:postgres 封顶 GLIBC_2.17、initdb 封顶 GLIBC_2.14、 sspf-admin 封顶 GLIBC_2.18(Rust std thread_local 析构,2.18 是理论下限) ⇒ 全部 ≤ 2.18,低于 ZYNQ 基线 2.26。libpglite.a 的 fcntl64 undefined 引用归零。 - 实测老 glibc:buster(2.28) 与 stretch(2.24,低于 ZYNQ) 里 initdb/postgres 正常;用已发布包里的 sspf-admin 在两个镜像上跑 stdout 三形态全部探活 200、 进程常驻、导入 14255 条示例数据。已发布包与本次编译 sha256 一致(可复现)。 - 文档:docs/armv7-glibc-compat.md 补 §5.1 收编结果与实测数据, §2.5 的建议标注为已落实。 commit: 关联 issue #1 的关联问题 2 --- CHANGELOG.md | 9 +++ docs/armv7-glibc-compat.md | 78 ++++++++++++++++++++++++++ scripts/build-armv7.sh | 112 ++++++++++++++++++++++++++++++++++--- 3 files changed, 191 insertions(+), 8 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index 88bbba5..00f89c8 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -8,6 +8,15 @@ - `scripts/build-armv7.sh` 冒烟改为**三 case × 各自干净数据目录**:A 继承 docker pipe / B `> /tmp/srv.log 2>&1` / C `> /dev/null`,每个断言「HTTP 探活成功 + 进程仍常驻(没提前 exit 100)」,A/B 另断言日志含「已启动」。探活从 `wget`(armhf 镜像里**没有**)换成 bash 内建 `/dev/tcp`。 - 影响:**仅 Linux**(macOS 分支逐字保留原行为);stdout 形态不再影响启动 ⇒ `> file` / `> /dev/null` / 终端均可正常起服务。根因与验证结论记在 `docs/armv7-build.md` 的「第四个坑 / 第五个坑」。 +## 2026-11-13(v0.5.0 内增量,不升版本号)—— armv7 glibc 兼容收编与实测验收 + +- 收编 TDS 侧按 `docs/armv7-glibc-compat.md` 重编的引擎(zig cc + glibc 2.26 sysroot,产物在 `dist/pglite-engine-armv7-glibc26/`),消除 `pqcomm.o`/`postmaster.o` 对 `fcntl64`(GLIBC_2.28)的 undefined 引用 ⇒ `libpglite.a` 的 `fcntl64=0`、`pgl_fcntl=0`、`fcntl=1`。 +- 实测版本需求:`postgres` 封顶 **GLIBC_2.17**(`clock_gettime`)、`initdb` 封顶 **GLIBC_2.14**(`syncfs`)、`sspf-admin` 封顶 **GLIBC_2.18**(`__cxa_thread_atexit_impl`,Rust std 的 thread_local 析构 ⇒ 2.18 是理论下限)⇒ 全部 **≤ 2.18**,低于 ZYNQ 基线 2.26。 +- 实测老 glibc 容器:`arm32v7/debian:buster`(2.28)与 `arm32v7/debian:stretch`(**2.24,比 ZYNQ 更老**)里 `initdb`/`postgres` 均正常;用**已发布包**里的 `sspf-admin` 在两个镜像上跑 stdout 三形态(A/B/C)全部探活 200、进程常驻、导入 **14255 条**示例数据。 +- 新增**纯宿主侧** glibc 版本门禁(`scripts/build-armv7.sh` 第 3 步):读 ELF 版本节点,超过 `GLIBC_2.18` 直接构建失败(阈值可用 `GLIBC_MAX_MINOR=` 覆盖);用宿主自带的 LLVM `objdump` 即可读 arm ELF,**不起容器、秒级**。 +- 冒烟镜像由 `bookworm-slim`(**glibc 2.36,与编译 sysroot 同版本 ⇒ 天然掩盖问题**)改为 `buster`(2.28)⇒ 版本回退会当场暴露。 +- 影响:构建流水线多一步秒级静态断言;产物本身无行为变化。实测数据记在 `docs/armv7-glibc-compat.md` §5.1。 + ## 2026-11-12(v0.5.0 内增量,不升版本号)—— armv7(32 位 ARM)交叉编译与发布 - 上游 `Midwess/pglite-rs` 只发布 aarch64/x86_64 四架构引擎,**没有 armv7** ⇒ 自建引擎:`pglite-rs-sys 0.2.7` 的 build.rs 认 `PGLITE_LIB_DIR`,用它喂自建引擎(上游 `engine-06c837c6a303-p3`,postgres-pglite commit `06c837c6a303…`)。 diff --git a/docs/armv7-glibc-compat.md b/docs/armv7-glibc-compat.md index 0cf291a..68bccf5 100644 --- a/docs/armv7-glibc-compat.md +++ b/docs/armv7-glibc-compat.md @@ -73,6 +73,10 @@ docker run --rm --platform linux/arm/v7 -v :/rt:ro arm32v7/debian:buster sh 与编译 sysroot 同版本 ⇒ 天然通过,掩盖了问题。 **建议把冒烟镜像改成 `arm32v7/debian:buster`(2.28)或更老的 `stretch`(2.24)。** +> ✅ **已于 2026-11-13 落实**:冒烟镜像默认改为 `arm32v7/debian:buster`, +> 另加了一道**纯宿主侧的 glibc 版本门禁**(超过 `GLIBC_2.18` 直接构建失败), +> 详见 §5.1.5。 + ## 3. 目标设备基线 | 设备 | 架构 | glibc | 备注 | @@ -125,6 +129,80 @@ docker run --rm --platform linux/arm/v7 ... arm32v7/debian:buster sh -c '...' 设备侧我方会再用 `build/check-armv7-runtime.sh` 做最终裁决(读设备 glibc 版本 + 试跑 initdb)。 +## 5.1 平台侧收编结果(2026-11-13 已实测通过) + +> 本节由 **ssw-platform** 填写,对应 Gitea issue `ssw/ssw-platform#1` 的「关联问题 2」。 + +### 5.1.1 采取的方案 + +走的是**方案 B**(保留 gnueabihf,替换为低版本 sysroot),未走方案 A(musl)—— +因为方案 A 会改变三元组(`armv7-unknown-linux-musleabihf`),与已发布的 +`armv7-unknown-linux-gnueabihf` 发布包不兼容,且 TDS 侧已按方案 B 重编好引擎。 + +引擎改用 **zig cc 0.14.1 + glibc 2.26 sysroot** 交叉编译,产物目录 `dist/pglite-engine-armv7-glibc26/`。 + +### 5.1.2 验收①:版本需求(实测) + +`objdump -T` 读出的全部版本节点: + +| 二进制 | 收编前(issue 实测) | **收编后(本次实测)** | 封顶符号 | +|---|---|---|---| +| `postgres` | 2.17, 2.25, **2.28, 2.29, 2.33, 2.34** | **2.17** | `clock_gettime` | +| `initdb` | 2.10, 2.14, **2.28, 2.29, 2.33, 2.34** | **2.14** | `syncfs` | +| `sspf-admin`(Rust 侧) | — | **2.18** | `__cxa_thread_atexit_impl` | + +⇒ **全部 ≤ 2.18**,远低于文档 §3 要求的 ≤ 2.26(ZYNQ 基线)。 +(`__cxa_thread_atexit_impl` 是 Rust std `thread_local` 析构所需, +**任何 Rust 二进制都绕不开** ⇒ 2.18 是理论下限,再低不可达。) + +静态库符号层面(issue 验收口径「`fcntl64=0`、`pgl_fcntl=0`、`fcntl=1`」): + +``` +libpglite.a: + undefined fcntl64 = 0 ← 收编前 pqcomm.o / postmaster.o 引用 fcntl64(GLIBC_2.28) + undefined fcntl = 6 ← miscinit.o postmaster.o pqcomm.o noblock_srv.o pglitec.o pglite_reset.o + undefined pgl_fcntl = 0 + defined pgl_fcntl = 1 ← pglitec.o 内定义(T pgl_fcntl) +``` + +⇒ `fcntl64` 的 undefined 引用**已归零**。 + +### 5.1.3 验收②:老 glibc 容器实跑(实测) + +| 镜像 | glibc | `initdb --version` | `initdb` 实跑 | `postgres --version` | +|---|---|---|---|---| +| `arm32v7/debian:buster` | 2.28 | ✅ 17.5 | ✅ `INITDB_OK`(生成完整 PG_VERSION=17 数据目录) | ✅ | +| `arm32v7/debian:stretch` | **2.24** | ✅ 17.5 | ✅ `INITDB_OK` | ✅ | + +stretch 的 **2.24 比 ZYNQ 的 2.26 更老** ⇒ **过了 stretch ⇒ ZYNQ 必然过**。 + +### 5.1.4 验收④:sspf-admin 端到端(实测,用**已发布包**里的二进制) + +`dist/sspf-v0.5.0-armv7-unknown-linux-gnueabihf.tar.gz` 内的 `bin/sspf-admin`, +在两个老 glibc 镜像上各跑 stdout 三形态(每形态都是全新容器 + 全新数据目录): + +| 镜像 | case | stdout 形态 | HTTP 探活 | 进程常驻 | 「已启动」 | 「启动诊断」 | +|---|---|---|---|---|---|---| +| buster (2.28) | A | 继承 docker pipe | ✅ 200 | ✅ | ✅ | —(不走替换,符合预期) | +| buster (2.28) | B | → 普通文件 | ✅ 200 | ✅ | ✅ | ✅「原为 普通文件」 | +| buster (2.28) | C | → /dev/null | ✅ 200 | ✅ | —(进 /dev/null) | ✅「原为 字符设备(含终端)」 | +| stretch (2.24) | A | 继承 docker pipe | ✅ 200 | ✅ | ✅ | — | +| stretch (2.24) | B | → 普通文件 | ✅ 200 | ✅ | ✅ | ✅ | +| stretch (2.24) | C | → /dev/null | ✅ 200 | ✅ | — | ✅ | + +数据导入:两个镜像均为 **14255 条**示例数据,数据目录 50M 正常。 + +### 5.1.5 已落地的门禁(防回退) + +原冒烟用 `arm32v7/debian:bookworm-slim`(**glibc 2.36,与编译 sysroot 同版本**) +⇒ **天然通过、天然掩盖问题**(正是 §2.5 指出的盲区)。现已改为: + +1. **glibc 版本门禁**(`scripts/build-armv7.sh` 第 3 步,**纯宿主侧、秒级、不起容器**): + 读 ELF 动态符号的版本节点,超过 `GLIBC_2.18` 直接**构建失败**。 + 用宿主自带的 `/usr/bin/objdump`(LLVM 版,可直接读 arm ELF)。 + 阈值可用 `GLIBC_MAX_MINOR=` 覆盖。 +2. **冒烟镜像改为 `arm32v7/debian:buster`**(glibc 2.28)⇒ 版本回退会当场暴露。 + ## 6. 不在本次整改范围(但请知悉) - `ssw-tds` 侧连接器(含 `tdc-rs`)在 ZYNQ 上是**独立静态二进制**(Go,musl), diff --git a/scripts/build-armv7.sh b/scripts/build-armv7.sh index daacc9a..ee04acb 100755 --- a/scripts/build-armv7.sh +++ b/scripts/build-armv7.sh @@ -53,14 +53,14 @@ done # ── 1. 引擎 ────────────────────────────────────────────────── if [[ "${SKIP_ENGINE}" == "0" ]]; then - echo "==> [1/3] 构建 armv7 PGlite 引擎(上游 ${ENGINE_TAG})" + echo "==> [1/4] 构建 armv7 PGlite 引擎(上游 ${ENGINE_TAG})" bash "${REPO_ROOT}/scripts/build-pglite-engine.sh" \ --engine-tag "${ENGINE_TAG}" \ --pg-commit "${PG_SRC_COMMIT}" \ --out "${ENGINE_DIR}" \ --work "${WORK}" else - echo "==> [1/3] 跳过引擎构建(复用 ${ENGINE_DIR})" + echo "==> [1/4] 跳过引擎构建(复用 ${ENGINE_DIR})" fi if [[ "${ENGINE_ONLY}" == "1" ]]; then @@ -69,7 +69,7 @@ if [[ "${ENGINE_ONLY}" == "1" ]]; then fi # ── 2. Rust 侧交叉编译 ─────────────────────────────────────── -echo "==> [2/3] 交叉编译 sspf-admin → ${TARGET_TRIPLE}" +echo "==> [2/4] 交叉编译 sspf-admin → ${TARGET_TRIPLE}" # 🔴 链接器用 zig cc:zig 自带 lld + armv7 glibc 头/库,免去装 armhf 交叉 libc。 # CARGO_TARGET__LINKER 是 cargo 的官方约定(不需要改仓库 .cargo/config)。 # 包装脚本在 scripts/zig-cc-armv7.sh(改写 -Wl,/path + 注入 sysroot)。 @@ -123,7 +123,90 @@ BIN="target/${TARGET_TRIPLE}/release/sspf-admin" [[ -x "${BIN}" ]] || { echo "!! 找不到 ${BIN}" >&2; exit 1; } file "${BIN}" -# ── 3. 冒烟:在 arm/v7 容器里真跑一下 ───────────────────────── +# ── 3. glibc 版本门禁:产物不得要求高于 GLIBC 2.18 ───────────── +# +# 🔴🔴 **为什么要有这一步**(2026-11-13,Gitea issue #1 关联问题 2): +# +# TDS 侧实测:旧引擎的 `postgres` / `initdb` 绑到 `GLIBC_2.28/2.29/2.33/2.34`, +# 在 **glibc ≤ 2.28 的设备上直接起不来**(ZYNQ 2.26 / 海光 2.28)。 +# 根因是**链接用的 sysroot 是 Debian 12 的 GLIBC 2.36** ⇒ 版本节点被绑高。 +# +# ⚠️ 旧冒烟用 `arm32v7/debian:bookworm-slim` = **glibc 2.36**, +# **与编译 sysroot 同版本** ⇒ 天然通过,**天然掩盖**这个问题。 +# (`docs/armv7-glibc-compat.md` §2.5 早就建议改用 buster/stretch) +# +# ⇒ 这里做**纯宿主侧的静态断言**:直接读 ELF 的版本需求节点, +# **不需要跑容器、不需要设备**,秒级反馈。 +# +# 为什么阈值取 2.18: +# · 引擎侧(zig cc + glibc26 sysroot)实测封顶 2.17(`clock_gettime`) +# · Rust 侧封顶 2.18(`__cxa_thread_atexit_impl`,Rust std 的 thread_local +# 析构,任何 Rust 二进制都绕不开 ⇒ **2.18 是理论下限,再低不可达**) +# · 目标设备 ZYNQ 是 glibc **2.26** ⇒ 留了 8 个小版本的余量。 +# +# ⚠️ 用**宿主**的 `/usr/bin/objdump`(LLVM 版)而不是容器里的 GNU objdump: +# LLVM objdump 能直接读 arm ELF 的动态符号版本 ⇒ 不必起容器。 +assert_glibc_version() { + local bin="$1" + # 宿主上优先用 LLVM objdump(macOS 自带),退回 GNU objdump。 + local objdump="" + for c in /usr/bin/objdump objdump llvm-objdump; do + command -v "$c" >/dev/null 2>&1 && { objdump="$c"; break; } + done + if [[ -z "${objdump}" ]]; then + echo "!! 找不到 objdump,跳过 glibc 版本门禁(**这本身就是风险**)" >&2 + return 0 + fi + + local top + top="$("${objdump}" -T "${bin}" 2>/dev/null \ + | grep -oE 'GLIBC_2\.[0-9]+' | sort -uV | tail -1)" + if [[ -z "${top}" ]]; then + echo "!! ${bin}: 读不到 GLIBC 版本需求(不是动态链接 ELF?)" >&2 + return 1 + fi + + # GLIBC 的版本号形如 GLIBC_2.NN:**主版本恒为 2**,只有小版本会变。 + # (早先误把 "2." 也当主版本切分,导致 GLIBC_2.14 被算成 > GLIBC_2.18) + local min + min="${top#GLIBC_2.}" + # 只取数字部分,防止异常版本号让 `10#` 语法出错 + min="${min//[^0-9]/}" + if [[ -z "${min}" ]]; then + echo "!! ${bin}: 无法解析版本号 ${top}" >&2 + return 1 + fi + + local want_min=${GLIBC_MAX_MINOR:-18} + echo " ${bin}: 最高版本需求 ${top}(阈值 GLIBC_2.${want_min})" + if (( 10#${min} > 10#${want_min} )); then + echo " ❌ 版本过高:${top} > GLIBC_2.${want_min}" >&2 + echo " ⇒ 在 glibc ≤2.28 的设备(ZYNQ 2.26 / 海光 2.28)上会直接起不来" >&2 + "${objdump}" -T "${bin}" 2>/dev/null \ + | grep -E "GLIBC_2\.(1[9]|[2-9][0-9])" >&2 || true + return 1 + fi + echo " ✅ 版本合格" + return 0 +} + +echo "==> [3/4] glibc 版本门禁(阈值 GLIBC_2.${GLIBC_MAX_MINOR:-18})" +GLIBC_FAILED=0 +# ① 平台包主二进制 +assert_glibc_version "${BIN}" || GLIBC_FAILED=1 +# ② 引擎二进制(initdb / postgres)—— 引擎目录是**扁平**结构, +# 这两个文件在 ${ENGINE_DIR} 根下,不在 runtime/bin/ 下。 +for f in "${ENGINE_DIR}"/initdb "${ENGINE_DIR}"/postgres; do + [[ -f "$f" ]] || continue + assert_glibc_version "$f" || GLIBC_FAILED=1 +done +if [[ "${GLIBC_FAILED}" != "0" ]]; then + echo "" >&2 + echo "!! glibc 版本门禁失败(产物绑高了版本节点)" >&2 + exit 1 +fi + +# ── 4. 冒烟:在 arm/v7 容器里真跑一下 ───────────────────────── # # 🔴🔴 **三个 case,覆盖 stdout 的三种形态**(2026-11-13,Gitea issue #1): # @@ -147,14 +230,27 @@ file "${BIN}" # · 进程**仍存活**(没有提前 exit 100) # · A/B 还要日志里出现「已启动」 # (C 的 stdout 进了 /dev/null ⇒ 拿不到,这正是 C 的形态本身) -echo "==> [3/3] arm/v7 容器冒烟(stdout 三形态 × 干净数据目录)" +echo "==> [4/4] arm/v7 容器冒烟(stdout 三形态 × 干净数据目录)" SMOKE_DIR="${WORK}/smoke" rm -rf "${SMOKE_DIR}" mkdir -p "${SMOKE_DIR}" cp "${BIN}" "${SMOKE_DIR}/sspf-admin" -# 🔴 用 arm32v7/debian:bookworm-slim(armhf 基础镜像)而不是 debian:bookworm-slim: -# 后者是 amd64 镜像,--platform linux/arm/v7 拉下来还得 qemu 转译,白白慢。 -SMOKE_IMAGE="${SMOKE_IMAGE:-arm32v7/debian:bookworm-slim}" +# 🔴🔴 **冒烟镜像必须是「比编译 sysroot 更老 glibc」的**(2026-11-13 实测踩坑): +# +# 旧默认 `arm32v7/debian:bookworm-slim` = **glibc 2.36**, +# **与编译 sysroot(Debian 12 / GLIBC 2.36)同版本** ⇒ 版本节点天然满足 +# ⇒ **冒烟永远通过 ⇒ 天然掩盖 glibc 绑高问题**。 +# 这正是 `docs/armv7-glibc-compat.md` §2.5 早就建议改掉的盲区。 +# +# 现默认改为 **buster(glibc 2.28)**: +# · 2.28 = 海光设备基线,也是 issue 里复现失败的那个版本 +# · 比 ZYNQ 的 2.26 略高 ⇒ 过了 buster 不等于过了 ZYNQ, +# 所以**另外**用 stretch(2.24,低于 ZYNQ)做一次性抽验(见下) +# · buster 镜像比 bookworm-slim 大,但 armhf 基础镜像本地已有,qemu 下可接受 +# +# ⚠️ 若镜像本地不存在,docker 会去拉取 armhf 版 ⇒ 首次很慢; +# 可用 `SMOKE_IMAGE=…` 覆盖。 +SMOKE_IMAGE="${SMOKE_IMAGE:-arm32v7/debian:buster}" # 🔴 armv7 上 initdb + schema + 14k 条示例数据导入实测 40~150s ⇒ 轮询窗口给到 240s。 SMOKE_TRIES="${SMOKE_TRIES:-120}" # 🔴🔴 **端口与数据目录必须用 `-e` 传进容器**(2026-11-13 实测踩坑):