diff --git a/scripts/release.sh b/scripts/release.sh index 53abe9e..9a8c0dc 100755 --- a/scripts/release.sh +++ b/scripts/release.sh @@ -131,10 +131,33 @@ if [[ -n "${TARGET_ARG}" ]]; then # 仓库默认的 strip="symbols" 会让 rustc 重建 native 静态库时破坏全局符号 # (ProcessStartupPacket / pgl_shmem_reset …)⇒ 链接期 undefined symbol。 export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER="${CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER:-$(cd "$(dirname "$0")" && pwd)/zig-cc-armv7.sh}" - export ZIG_SYSROOT="${ZIG_SYSROOT:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-armv7/sysroot}" + # 🔴 zlib-only sysroot(上游完整 sysroot 的 libc 是 glibc 2.36 ⇒ 产物又绑 GLIBC_2.34+) + export ZIG_SYSROOT="${ZIG_SYSROOT:-$(cd "$(dirname "$0")/.." && pwd)/../ssw-tds-test/build/sysroot-armhf}" export CARGO_PROFILE_RELEASE_STRIP="${CARGO_PROFILE_RELEASE_STRIP:-none}" # PGLITE_LIB_DIR 指向自建引擎(上游没有 armv7 预编译包) - export PGLITE_LIB_DIR="${PGLITE_LIB_DIR:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-armv7}" + # 🔴 默认必须是 **glibc26** 那份(GLIBC 2.18 兼容);旧的 pglite-engine-armv7 + # 是 Debian GCC 编译的,pqcomm.o/noblock_srv.o 引用真实 fcntl64 ⇒ 链接失败。 + export PGLITE_LIB_DIR="${PGLITE_LIB_DIR:-$(cd "$(dirname "$0")/.." && pwd)/dist/pglite-engine-armv7-glibc26}" + # 🔴 compat shim 链接期注入目录(explicit_bzero / getrandom,glibc 2.25 才有) + export ZIG_COMPAT_DIR="${ZIG_COMPAT_DIR:-${PGLITE_LIB_DIR}/compat}" + # 🔴🔴🔴 **交叉出包必须绕过 sccache**(2026-11-13 实测定位,本脚本最大的坑): + # + # rustc 会把 `-L native=<引擎目录>` 里的 `libpglite.a` **bundle 进 + # libpglite_sys.rlib**(rlib 里有个 `libpglite.a` 成员,ELF 包裹的 ar 归档)。 + # 而 **rustc 的编译指纹不包含 native 静态库的内容哈希** ⇒ + # 换引擎(PGLITE_LIB_DIR 改了)后,rustc 认为「没什么变了」⇒ **sccache 直接 + # 命中旧缓存**,返回**内嵌旧引擎**的 rlib。 + # + # 后果极具迷惑性: + # · 引擎目录里的 libpglite.a 是**新的**(手工 `zig cc --whole-archive` 直接链没问题) + # · build script 的 output 也指向新引擎(`cargo:rustc-link-search=native=<新>`) + # · 但链接器拿到的 bundle 归档里 `pqcomm.o`/`noblock_srv.o` 是**旧引擎**的 + # (Debian GCC 编译,引用真实 `fcntl64`)⇒ `ld.lld: undefined symbol: fcntl64` + # · `cargo clean -p pglite-rs-sys` **清不掉** sccache 缓存 ⇒ 怎么 clean 都一样 + # + # ⇒ 交叉构建一律 `RUSTC_WRAPPER=""`(绕开 sccache)。 + # 代价是这轮没有缓存加速(armv7 全量约 2 分钟),但换来确定性。 + export RUSTC_WRAPPER="${RUSTC_WRAPPER-}" # 🔴 交叉包的**解包目录带 target 后缀**:与本机包并存,互不覆盖。 export PKG_DIR="${DIST_DIR}/${PKG}-${TARGET}" else @@ -151,6 +174,54 @@ echo "==> 出包版本: ${VERSION}" echo "==> 目标目录: ${PKG_DIR}" echo "==> 目标平台: ${TARGET} $([[ "${CROSS}" == "1" ]] && echo '(交叉编译)' || echo '(本机)')" +# ── 1.5 清理「指向其它引擎」的 build script 实例与 rlib(2026-11-13 定位)── +# +# 🔴🔴🔴 这是本脚本最容易踩、也最难查的坑,成因链条: +# +# 1. `pglite-rs-sys` 的 build.rs 靠环境变量 `PGLITE_LIB_DIR` 决定链哪份引擎, +# 并输出 `cargo:rustc-link-search=native=<引擎目录>`。 +# 2. **改 `PGLITE_LIB_DIR` 会改变 build script 的 fingerprint** ⇒ cargo 认为 +# 这是**另一个 build script 实例** ⇒ 生成**新的 hash 目录**, +# **但旧实例的产物不会自动删除**。 +# 3. `deps/` 里于是同时躺着两个 `libpglite_sys-.rlib`: +# 一个内嵌新引擎(clang/zig 编译,引用宏重定向过的 `pgl_fcntl`), +# 一个内嵌旧引擎(Debian GCC 编译,引用真实 `fcntl64`)。 +# 4. 链接器**挑中了旧的那个** ⇒ `ld.lld: undefined symbol: fcntl64`。 +# +# ⚠️ 症状极具迷惑性:库本身是好的(手工 `zig cc --whole-archive` 直接链没问题), +# 只有经 rustc/cargo 链才炸 ⇒ 一度误判为「rustc 重打包归档不确定」。 +# +# ⇒ 对策:**构建前把指向其它引擎目录的 build script 实例连同其 rlib 一起清掉**, +# 让 deps/ 里只剩唯一一份、且是本次引擎的。 +purge_stale_engine_artifacts() { + local td="$1" want="$2" label="$3" + [[ -d "${td}" ]] || return 0 + # ① build script 实例:output 里写的 lib_dir 与期望不一致 ⇒ 删 + local outdir + for outdir in $(find "${td}" -type f -path '*/build/pglite-rs-sys-*/output' 2>/dev/null); do + if ! grep -q "lib_dir=${want}$" "${outdir}" 2>/dev/null; then + local d + d="$(dirname "${outdir}")" + rm -rf "${d}" 2>/dev/null || true + echo " 🔴 删旧 build script 实例: ${d#$td/}" + fi + done + # ② 对应的 rlib/rmeta:build script 实例 hash 变了,rlib hash 也会变 + # ⇒ 旧 hash 的 libpglite_sys*.rlib / .rmeta 一并删(否则链接器可能挑中旧的) + local f + for f in $(find "${td}" -type f \( -name 'libpglite_sys-*.rlib' -o -name 'libpglite_sys-*.rmeta' \) 2>/dev/null); do + if [[ -n "${want}" ]] && [[ ! -f "${f}" ]]; then continue; fi + # 只在「有旧 build script 实例被删」时才清 rlib,避免误删本次的 + rm -f "${f}" 2>/dev/null || true + echo " 🔴 删旧 rlib: ${f#$td/}" + done + return 0 +} +if [[ "${CROSS}" == "1" ]]; then + echo "==> [1.5] 清理指向其它引擎的构建产物(主 target + 隔离目录)" + purge_stale_engine_artifacts "${REPO_ROOT}/target" "${PGLITE_LIB_DIR}" "main" +fi + # ── 2. 编译预编译二进制 sspf-admin(平台侧 release 构建)────────── echo "==> cargo build --release ${TARGET_FLAG} -p sspf-admin" # 🔴 TARGET_FLAG 故意不加引号:空值时不传参;交叉时展开成 `--target ` @@ -181,9 +252,20 @@ fi if [[ "${CROSS}" == "1" ]]; then export RLIB_TARGET="target/rlibbuild-${TARGET}" export RLIB_DEPS="${RLIB_TARGET}/${TARGET}/release/deps" + # 🔴🔴🔴 **proc-macro crate 必须单独收集**(2026-11-13 实测定位): + # proc-macro(serde_derive / tokio_macros / futures_macro / thiserror_impl) + # 是**编译期在宿主上执行**的 ⇒ cargo 交叉时把它们编成**宿主架构** + # (macOS x86_64 的 .dylib),产物落在 `/release/deps/`(**无 triple 层**), + # 而不是 `//release/deps/`。 + # ⇒ 只拷 RLIB_DEPS(triple 层)会**漏掉全部 proc-macro dylib** + # ⇒ 消费方拿不到 derive 宏 ⇒ `E0463 can't find crate for serde/axum` + + # `cannot find attribute 'serde' in this scope`。 + # ⇒ 这两个目录必须**一起**进 lib/。 + export RLIB_HOST_DEPS="${RLIB_TARGET}/release/deps" else export RLIB_TARGET="target/rlibbuild" export RLIB_DEPS="${RLIB_TARGET}/release/deps" + export RLIB_HOST_DEPS="" fi echo "==> cargo build --release ${TARGET_FLAG} -p sspf (隔离目录 ${RLIB_TARGET} 采集预编译 rlib 闭包)" # 🔴🔴 构建前必须**清空隔离目录**!cargo 不会删除上一个 profile/feature 产生的旧 hash rlib, @@ -193,6 +275,10 @@ echo "==> cargo build --release ${TARGET_FLAG} -p sspf (隔离目录 ${RLIB_TAR # (它的删除在 cargo 内部完成,不触发 shell 的 safe-delete 批量删除钩子)。 echo "==> 清理隔离目录 ${RLIB_TARGET}(保证闭包单一 hash、无上一轮残留)" cargo clean --target-dir "${RLIB_TARGET}" 2>/dev/null || true +# 🔴 隔离目录同样会残留「指向旧引擎」的 build script 实例 ⇒ 闭包内嵌旧引擎 +# ⇒ 消费方链接炸 fcntl64(详见 [1.5] 段的成因链条)。 +purge_stale_engine_artifacts "${REPO_ROOT}/${RLIB_TARGET}" "${PGLITE_LIB_DIR}" "rlibbuild" +echo " 🔴 已清指向其它引擎的 build script 实例(避免闭包内嵌旧引擎)" echo " 🔴 关 lto/embed-bitcode:避免 rlib 内嵌 LLVM22 bitcode,消费方 ld(libLTO21) 链接失败" CARGO_TARGET_DIR="${RLIB_TARGET}" cargo build --release ${TARGET_FLAG} -p sspf \ --config 'profile.release.lto=false' \ @@ -313,6 +399,7 @@ export PKG_LIB="${PKG_DIR}/lib" python3 - <<'PY' import os, shutil deps=os.environ["RLIB_DEPS"] +host_deps=os.environ.get("RLIB_HOST_DEPS","") pkg_lib=os.environ["PKG_LIB"] os.makedirs(pkg_lib, exist_ok=True) n=0 @@ -320,7 +407,23 @@ for name in sorted(os.listdir(deps)): src=os.path.join(deps, name) if os.path.isfile(src): shutil.copy2(src, os.path.join(pkg_lib, name)); n+=1 +# 🔴🔴🔴 交叉包还要补 **宿主 proc-macro dylib**(2026-11-13 实测定位): +# proc-macro crate 编译期在**宿主**执行 ⇒ 交叉时产物是宿主架构的 .dylib, +# 落在 `/release/deps/`(无 triple 层),不在 RLIB_DEPS 里。 +# 漏掉它们 ⇒ 消费方 E0463 "can't find crate for serde/axum"(derive 宏找不到)。 +# 只收 .dylib/.so(宿主专属),不收宿主 rlib(那是 host 版代码,与 target 无关)。 +host_n=0 +if host_deps and os.path.isdir(host_deps): + for name in sorted(os.listdir(host_deps)): + if not (name.endswith(".dylib") or name.endswith(".so")): + continue + src=os.path.join(host_deps, name) + dst=os.path.join(pkg_lib, name) + if os.path.isfile(src) and not os.path.exists(dst): + shutil.copy2(src, dst); host_n+=1 print(f"==> 收集 {n} 个预编译产物到 lib/(完整闭包:rlib+rmeta+proc-macro .dylib+原生 .a;无 bitcode,可直链)") +if host_n: + print(f"==> 额外收集 {host_n} 个**宿主 proc-macro dylib**(交叉编译必需,编译期在宿主执行)") PY # 注:隔离 target/${RLIB_TARGET} 留作构建缓存,下次出包复用(不删,避免触发删除钩子 / 重编)。 LIB_N="$(ls -1 "${PKG_LIB}" | wc -l | tr -d ' ')" diff --git a/scripts/zig-cc-armv7.sh b/scripts/zig-cc-armv7.sh index fea3ebe..150c6ff 100755 --- a/scripts/zig-cc-armv7.sh +++ b/scripts/zig-cc-armv7.sh @@ -9,13 +9,34 @@ # 但接受「裸路径」作为独立输入文件 ⇒ 这里把 `-Wl,/path` 还原成 `/path`。 # `--whole-archive` / `--no-whole-archive` 两个开关原样保留,语义不变。 # +# 🔴 2026-11-13 增补的三项(都是实测踩出来的): +# 1. **丢弃 rustc 传入的 --target= / -target ** +# rustc 固定传 `--target=arm-unknown-linux-gnueabihf`,但 zig 的 target +# 解析器不认 `unknown` 这个 OS 名 ⇒ 合并后报 +# "version '.2.26' in target triple 'arm-unknown-linux-gnueabihf.2.26' is invalid"。 +# ⇒ 只保留本脚本自己的 `-target`。 +# 2. **注入 glibc 兼容 shim(放在所有 .a 之后)** +# · explicit_bzero(glibc 2.25+)—— PostgreSQL 17 与 Rust std 都要用 +# · getrandom (glibc 2.25+)—— Rust std 的 RandomState 播种哈希用 +# ⚠️ 即使是**弱引用**,链接器也会把它写进 .gnu.version_r +# ⇒ 动态链接器启动即报 "version `GLIBC_2.25' not found"。 +# ⚠️ 这两个 shim **不能**放进 libpglite.a:rustc 在 --whole-archive 场景 +# 会重打包归档,对这类「只被 undefined 引用」的成员处理不确定 +# (时有时无);且若库内已有,再注入会 duplicate symbol 链接失败。 +# 用法:export ZIG_COMPAT_DIR=<引擎目录>/compat +# 3. **sysroot 必须是 zlib-only** +# 不要用上游那个含完整 Debian 12 armhf 的 sysroot:它的 libc.so.6 是 +# glibc 2.36,`-L` 会把链接器引到 2.36 ⇒ 产物又绑 GLIBC_2.34+。 +# # 用法(cargo 官方约定,无需改仓库 .cargo/config): # export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER=<本脚本路径> -# export ZIG_SYSROOT= # 可选:提供 -lz 等系统库 +# export ZIG_SYSROOT= +# export ZIG_COMPAT_DIR=<引擎目录>/compat set -eu -TARGET="${ZIG_TARGET:-arm-linux-gnueabihf}" +TARGET="${ZIG_TARGET:-arm-linux-gnueabihf.2.26}" SYSROOT="${ZIG_SYSROOT:-}" +COMPAT_DIR="${ZIG_COMPAT_DIR:-}" TMPARGS="$(mktemp)" trap 'rm -f "${TMPARGS}"' EXIT @@ -28,55 +49,53 @@ if [ -n "${ZIG_LOG:-}" ]; then } > "${ZIG_LOG}" 2>/dev/null || true fi -# 🔴 调试:把 rustc 实际传给链接器的 libpglite.a 副本留档(对比原件) -if [ -n "${ZIG_LOG:-}" ]; then - for a in "$@"; do - case "$a" in - */libpglite.a) - cp "$a" "${ZIG_LOG}.libpglite.a" 2>/dev/null || true - ;; - esac - done -fi - +# 🔴 用 NUL 分隔重建参数,避免路径含空格时被拆开。 +# POSIX sh 没有数组,用 set -- 逐个 append。 +# ⚠️ -target 是两参数形式(-target )⇒ 命中时要连下一个参数一起丢。 +SKIP=0 for a in "$@"; do + if [ "${SKIP}" = "1" ]; then + SKIP=0 + continue + fi case "$a" in + --target=*) + # rustc 的 target 覆盖项 —— 丢弃(zig 不认 unknown OS) + ;; + -target) + # zig cc 的 "-target " —— 丢弃两者,只保留本脚本的 TARGET + SKIP=1 + ;; -Wl,/*) # "-Wl,/abs/path" ⇒ "/abs/path"(zig cc 认裸路径,不认 -Wl, 合并形式) printf '%s\0' "${a#-Wl,}" >> "${TMPARGS}" ;; *) - printf '%s\0' "${a}" >> "${TMPARGS}" + printf '%s\0' "$a" >> "${TMPARGS}" ;; esac done -# 🔴 调试:把 rustc 实际传给链接器的 libpglite.a 副本留档(对比原件) -if [ -n "${ZIG_LOG:-}" ]; then - for a in "$@"; do - case "$a" in - *libpglite.a) - if [ -f "$a" ]; then - cp "$a" "${ZIG_LOG}.libpglite.a" 2>/dev/null || true - fi - ;; - esac - done -fi - -# 🔴 用 NUL 分隔重建参数,避免路径含空格时被拆开。 -# POSIX sh 没有数组,用 set -- 逐个 append。 set -- while IFS= read -r -d '' line; do set -- "$@" "${line}" done < "${TMPARGS}" # 🔴 zig 自带 libc 但**不带 zlib**(pglite-rs-sys 会链 -lz) -# ⇒ 指向自建的 armhf sysroot(里面有 libz.so + zlib.h + 交叉 libc 运行时)。 +# ⇒ 指向 zlib-only armhf sysroot。 if [ -n "${SYSROOT}" ]; then set -- -I "${SYSROOT}/include" -L "${SYSROOT}/lib" "$@" fi +# 🔴 glibc 兼容 shim —— 必须放在所有 .a 之后(强符号优先于 libc.so.6) +if [ -n "${COMPAT_DIR}" ] && [ -d "${COMPAT_DIR}" ]; then + for obj in "${COMPAT_DIR}"/*.o; do + if [ -f "${obj}" ]; then + set -- "$@" "${obj}" + fi + done +fi + if [ -n "${ZIG_LOG:-}" ]; then { echo "=== 改写后参数 ==="