fix(boot): fd 1 非管道导致内嵌 PG exit 100,改管道 + 转发

修复 Gitea issue #1(armv7 包只在 stdout 为管道时能启动)。

根因:pglite 的 initDummyPort() 设 s.sock = 1,把 fd 1 当「名义客户端
socket」;pq_init() 把它注册进 WaitEventSet。Linux 走 epoll,而 epoll 不接受
普通文件与字符设备(实测 EPERM)⇒ ereport(ERROR) ⇒ longjmp ⇒ exit(100)。
macOS 走 kqueue(接受普通文件/字符设备)⇒ 同样形态正常,故此前未暴露。

- 重写 ensure_stdout_for_pglite():pipe + dup 原始 stdout + dup2 让 fd 1
  成为管道写端 + drain 线程把内容转发回原 stdout。drain 是必需的:
  pgl_fcntl 是 dummy ⇒ pg_set_noblock(fd 1) 无效 ⇒ fd 1 始终阻塞 ⇒
  管道写满 64KB 会永久阻塞。macOS 分支保留空实现(kqueue 无需替换)。
- 开库前固化 PGLITE_RUNTIME_DIR 为带 arch + 构建指纹(路径/大小/mtime 的
  FNV-1a)的路径,消除 x86_64/armv7 共用 runtime 目录的抢占;用户显式设置时不覆盖。
- 失败路径改为打印「启动诊断」,不再静默 dup2。

门禁:scripts/build-armv7.sh 冒烟改为三 case(A 管道 / B 普通文件 / C /dev/null)
× 各自干净数据目录,断言 HTTP 通 + 进程常驻;B/C 另断言出现「启动诊断」
(证明替换路径真的走到)。探活改用 bash 内建 /dev/tcp(armhf 镜像无 wget/curl)。

验证:旧二进制 case B = EXIT 100 + 46 字节 banner;新二进制 = HTTP 200、
14255 条示例数据、登录返 200、优雅关闭。三 case 全绿。
This commit is contained in:
admin committed 2026-11-13 12:42:08 +08:00
1 parent e95b37ca51
commit 019945385e
5 files changed
+646 -44

No files matched your search

+200 -19
View File
@@ -36,7 +36,7 @@ REPO_ROOT="$(pwd)"
ENGINE_TAG="${PGLITE_ENGINE_TAG:-engine-06c837c6a303-p3}"
PG_SRC_COMMIT="${PG_SRC_COMMIT:-06c837c6a30335169df786c610ed224bc51d81c0}"
ENGINE_DIR="${ENGINE_DIR:-${REPO_ROOT}/dist/pglite-engine-armv7}"
ENGINE_DIR="${ENGINE_DIR:-${REPO_ROOT}/dist/pglite-engine-armv7-glibc26}"
TARGET_TRIPLE="armv7-unknown-linux-gnueabihf"
WORK="${WORK:-/tmp/sspf-armv7-build}"
@@ -89,12 +89,33 @@ export CARGO_PROFILE_RELEASE_STRIP="${CARGO_PROFILE_RELEASE_STRIP:-none}"
# 🔴 zig cc 不认 `-Wl,/abs/path` 合并写法(报 unsupported linker arg),
# 用仓库里的包装脚本改写成裸路径;它还会注入 armhf sysroot(提供 -lz)。
export ZIG_SYSROOT="${ZIG_SYSROOT:-${ENGINE_DIR}/sysroot}"
#
# 🔴 2026-11-13:sysroot 换成 **zlib-only** 版本。
# 原来指向 ${ENGINE_DIR}/sysroot(上游完整 Debian 12 armhf),它的
# libc.so.6 是 **glibc 2.36** ⇒ `-L` 把链接器引到 2.36 ⇒ 产物又绑
# GLIBC_2.34+ ⇒ 海光(2.28)/ZYNQ(2.26) 都跑不了。
# 现在用 ssw-tds-test/build/sysroot-armhf(只含 libz.so.1 + zlib.h,
# libz 的 GLIBC 需求仅 2.4)。
export ZIG_SYSROOT="${ZIG_SYSROOT:-${REPO_ROOT}/../ssw-tds-test/build/sysroot-armhf}"
# 🔴 glibc 兼容 shim 注入目录(explicit_bzero / getrandom,glibc 2.25 才有)
# ⚠️ 这两个 shim **不能**放进 libpglite.a:rustc 在 --whole-archive 场景会
# 重打包归档,对这类只被 undefined 引用的成员处理不确定(时有时无)。
export ZIG_COMPAT_DIR="${ZIG_COMPAT_DIR:-${ENGINE_DIR}/compat}"
export CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER="${REPO_ROOT}/scripts/zig-cc-armv7.sh"
# 🔴🔴🔴 **必须绕过 sccache**(2026-11-13 定位):
# rustc 把 `-L native=<引擎目录>` 里的 `libpglite.a` **bundle 进 rlib**,
# 而 rustc 指纹**不含 native 静态库内容哈希** ⇒ 换引擎后 sccache 仍命中旧缓存
# ⇒ 返回内嵌**旧引擎**的 rlib ⇒ 链接期 `undefined symbol: fcntl64`。
# `cargo clean` 清不掉 sccache 缓存 ⇒ 只能绕开 wrapper。
export RUSTC_WRAPPER="${RUSTC_WRAPPER-}"
echo " 引擎目录(PGLITE_LIB_DIR): ${ENGINE_DIR}"
echo " 链接器(zig cc): ${CARGO_TARGET_ARMV7_UNKNOWN_LINUX_GNUEABIHF_LINKER}"
echo " sysroot: ${ZIG_SYSROOT}"
echo " compat: ${ZIG_COMPAT_DIR}"
echo " strip: ${CARGO_PROFILE_RELEASE_STRIP}(交叉构建必须 none,见脚本注释)"
cargo build --release --target "${TARGET_TRIPLE}" -p sspf-admin
@@ -103,28 +124,188 @@ BIN="target/${TARGET_TRIPLE}/release/sspf-admin"
file "${BIN}"
# ── 3. 冒烟:在 arm/v7 容器里真跑一下 ─────────────────────────
echo "==> [3/3] arm/v7 容器冒烟(起服务 → 探活 → 停)"
#
# 🔴🔴 **三个 case,覆盖 stdout 的三种形态**(2026-11-13,Gitea issue #1):
#
# 内嵌 PostgreSQL 把 **fd 1 当成「名义客户端 socket」**(`initDummyPort()` 设
# `s.sock = 1`)⇒ `pq_init()` 把它注册进 WaitEventSet ⇒ Linux 走 **epoll**,
# 而 **epoll 不接受普通文件与字符设备**(实测 EPERM)⇒ `ereport(ERROR)`
# ⇒ longjmp ⇒ **exit 100**。
#
# ⇒ 只有「fd 1 是管道」才能启动。
# ⇒ 旧冒烟**只测了管道形态**(docker 继承的 pipe)却**没有断言**,
# 而文档里记录的验证命令也没有重定向 ⇒ 验收链有盲区:
# 最常见的部署形态(`nohup … > app.log 2>&1 &`)从来没被测过。
#
# 三个 case(每个都是**全新容器 + 全新数据目录**,串行,避免互相干扰):
# A. stdout 继承 docker pipe(= 现状,issue 里的成功形态)
# B. stdout → 普通文件 `> /tmp/srv.log 2>&1`(= **最常见的部署形态**,旧盲区)
# C. stdout → /dev/null(字符设备)
#
# 断言(每个 case 都要过):
# · HTTP 探活成功(`/api/oauth/CurrentUser` 有响应)
# · 进程**仍存活**(没有提前 exit 100)
# · A/B 还要日志里出现「已启动」
# (C 的 stdout 进了 /dev/null ⇒ 拿不到,这正是 C 的形态本身)
echo "==> [3/3] arm/v7 容器冒烟(stdout 三形态 × 干净数据目录)"
SMOKE_DIR="${WORK}/smoke"
DATA_DIR="${WORK}/pgdata"
mkdir -p "${SMOKE_DIR}" "${DATA_DIR}"
rm -rf "${SMOKE_DIR}"
mkdir -p "${SMOKE_DIR}"
cp "${BIN}" "${SMOKE_DIR}/sspf-admin"
# 🔴 用 arm32v7/debian:bookworm-slim(armhf 基础镜像)而不是 debian:bookworm-slim:
# 后者是 amd64 镜像,--platform linux/arm/v7 拉下来还得 qemu 转译,白白慢。
docker run --rm --platform linux/arm/v7 \
-v "${SMOKE_DIR}:/app:ro" -v "${DATA_DIR}:/data" \
arm32v7/debian:bookworm-slim sh -c '
cd /tmp && PGLITE_DIR=/data/pg PORT=30077 /app/sspf-admin > /tmp/srv.log 2>&1 &
PID=$!
for i in $(seq 1 90); do
if wget -q -O /dev/null http://127.0.0.1:30077/api/oauth/CurrentUser 2>/dev/null; then
echo "HTTP-OK"; break
SMOKE_IMAGE="${SMOKE_IMAGE:-arm32v7/debian:bookworm-slim}"
# 🔴 armv7 上 initdb + schema + 14k 条示例数据导入实测 40~150s ⇒ 轮询窗口给到 240s。
SMOKE_TRIES="${SMOKE_TRIES:-120}"
# 🔴🔴 **端口与数据目录必须用 `-e` 传进容器**(2026-11-13 实测踩坑):
# 旧脚本把它们写在 `sh -c '... PGLITE_DIR=… PORT=… …'` 的**内联命令行**里;
# 改成 `bash -c` 后若只靠内联,就会在**外层**展开成宿主机 shell 的变量,
# 容器内拿不到 ⇒ 服务起在**默认端口 30010** + **默认数据目录**(cwd 下的
# `src/backend/data/lite.pg`)⇒ 探活一直 Connection refused ⇒ 误判成「启动失败」。
# ⇒ 显式 `-e` 传参,容器内用 `$PORT` / `$PGLITE_DIR` 引用。
SMOKE_PORT="${SMOKE_PORT:-30077}"
# 跑一个 case,输出到文件并回显。
run_smoke_case() {
local name="$1"
local data_dir="${WORK}/smoke-${name}"
local out="${WORK}/smoke-${name}.out"
rm -rf "${data_dir}"
mkdir -p "${data_dir}"
# 🔴 `bash` 而不是 `sh`:探活用 bash 的 `/dev/tcp`(dash 不支持)。
# 镜像里也**没有 wget/curl**(bookworm-slim 只有 coreutils)⇒ 只能用 /dev/tcp。
docker run --rm --platform linux/arm/v7 \
-v "${SMOKE_DIR}:/app:ro" -v "${data_dir}:/data" \
-e SMOKE_CASE="${name}" -e SMOKE_TRIES="${SMOKE_TRIES}" \
-e SMOKE_PORT="${SMOKE_PORT}" -e PORT="${SMOKE_PORT}" -e PGLITE_DIR="/data/pg" \
"${SMOKE_IMAGE}" bash -c '
cd /tmp
# ── 三种 stdout 形态 ───────────────────────────────────
case "$SMOKE_CASE" in
A) /app/sspf-admin 2>/tmp/srv.log & ;; # stdout 继承 docker pipe
B) /app/sspf-admin > /tmp/srv.log 2>&1 & ;; # stdout → 普通文件
C) /app/sspf-admin > /dev/null 2>/tmp/srv.log & ;; # stdout → /dev/null
esac
PID=$!
# ── 探活:bash 内建 /dev/tcp,发一个真实 HTTP 请求 ─────
# 🔴 整套塞进子 shell 且把 `2>/dev/null` 放在**最外层**:bash 对
# `/dev/tcp` 连接失败时会自己往 stderr 打 "connect: Connection refused",
# 若只把重定向写在 exec 那一行,错误消息会在重定向生效**之前**就冒出
# ⇒ 日志被几百行噪声淹没。
probe() {
(
exec 3<>/dev/tcp/127.0.0.1/"$SMOKE_PORT" || exit 1
printf "GET /api/oauth/CurrentUser HTTP/1.0\r\nHost: 127.0.0.1\r\n\r\n" >&3 || exit 1
read -r -t 5 line <&3 || exit 1
case "$line" in HTTP/*) exit 0 ;; *) exit 1 ;; esac
) 2>/dev/null
}
OK=0
for i in $(seq 1 "$SMOKE_TRIES"); do
if probe; then OK=1; break; fi
kill -0 "$PID" 2>/dev/null || break
sleep 2
done
echo "CASE_HTTP_OK=$OK"
if kill -0 "$PID" 2>/dev/null; then
echo "CASE_ALIVE=1"
kill "$PID" 2>/dev/null
wait "$PID" 2>/dev/null
else
echo "CASE_ALIVE=0"
wait "$PID" 2>/dev/null
echo "CASE_EXIT=$?"
fi
kill -0 $PID 2>/dev/null || break
sleep 2
done
head -30 /tmp/srv.log
kill $PID 2>/dev/null
' 2>&1 | tail -30
# 日志全文里的关键标记(不靠 tail 截断,避免把「已启动」截掉)
if [ -f /tmp/srv.log ]; then
echo "CASE_LOG_BYTES=$(wc -c < /tmp/srv.log)"
# 🔴 `grep -c` 在「0 个匹配」时**退出码非 0**,直接 `$(… || echo 0)` 会把
# 输出变成 "0\n0" ⇒ 用 `|| true` 兜住退出码,保留 grep 自己打的那个 0。
echo "CASE_LOG_MARKER=$(grep -c "已启动" /tmp/srv.log 2>/dev/null || true)"
# 🔴 「启动诊断」= fd 1 替换路径**确实执行过**(B/C 必须有,A 必然没有)
echo "CASE_DIAG=$(grep -c "启动诊断" /tmp/srv.log 2>/dev/null || true)"
else
echo "CASE_LOG_BYTES=0"
echo "CASE_LOG_MARKER=0"
echo "CASE_DIAG=0"
fi
echo "---- srv.log(去噪后,最多 20 行)----"
grep -v "protocol synchronization was lost" /tmp/srv.log 2>/dev/null | tail -20 || true
echo "---- end ----"
' > "${out}" 2>&1 || true
cat "${out}"
}
# 断言一个 case 的结果。
#
# $1 = case 名;$2 = 「已启动」标记从哪找:
# host ⇒ 宿主机侧的 `${out}`(case A 的 stdout 直接进 docker pipe)
# srvlog ⇒ 容器内 `/tmp/srv.log`(case B 的 stdout 就写在这里)
# none ⇒ 不查(case C 的 stdout 进了 /dev/null,本来就拿不到)
# $3 = 是否要求「启动诊断」出现(= fd 1 被替换过)
assert_smoke_case() {
local name="$1" marker_src="$2" need_diag="$3"
local out="${WORK}/smoke-${name}.out"
local fail=0
if ! grep -q "CASE_HTTP_OK=1" "${out}"; then
echo " ❌ ${name}: HTTP 探活失败(服务没起来)"; fail=1
fi
if ! grep -q "CASE_ALIVE=1" "${out}"; then
echo " ❌ ${name}: 进程未常驻(提前退出 ⇒ 很可能又是 exit 100)"; fail=1
grep -m1 "CASE_EXIT=" "${out}" || true
fi
case "${marker_src}" in
host)
grep -q "已启动" "${out}" || { echo " ❌ ${name}: stdout 里没有「已启动」"; fail=1; }
;;
srvlog)
grep -q "CASE_LOG_MARKER=1" "${out}" || { echo " ❌ ${name}: 日志里没有「已启动」"; fail=1; }
;;
esac
if [[ "${need_diag}" == "1" ]]; then
grep -q "CASE_DIAG=1" "${out}" \
|| { echo " ❌ ${name}: 没有「启动诊断」⇒ fd 1 替换路径没走到(修复可能没生效)"; fail=1; }
fi
if [[ "${fail}" == "0" ]]; then
echo " ✅ ${name}: 通过"
return 0
fi
return 1
}
SMOKE_FAILED=0
# 🔴 用例分工(关键:**B 才是 issue 报的失败形态**)
# A stdout 是管道 ⇒ `already_ok` 提前返回 ⇒ **不走替换**、无诊断、无 drain 线程;
# 标记只能从 docker 捕获的 stdout 里找。
# B stdout 是普通文件 ⇒ **必须走替换** ⇒ 必须有诊断、必须有「已启动」。
# C stdout 是 /dev/null ⇒ 也走替换 ⇒ 必须有诊断;「已启动」进 /dev/null,查不到。
echo "--- case A: stdout 继承 docker pipe(不走替换)---"
run_smoke_case A
assert_smoke_case A host 0 || SMOKE_FAILED=1
echo "--- case B: stdout → 普通文件(> /tmp/srv.log 2>&1,issue 的失败形态)---"
run_smoke_case B
assert_smoke_case B srvlog 1 || SMOKE_FAILED=1
echo "--- case C: stdout → /dev/null(字符设备)---"
run_smoke_case C
assert_smoke_case C none 1 || SMOKE_FAILED=1
if [[ "${SMOKE_FAILED}" != "0" ]]; then
echo "" >&2
echo "!! armv7 冒烟失败(stdout 三形态未全部通过)" >&2
echo " 详见 ${WORK}/smoke-{A,B,C}.out" >&2
exit 1
fi
echo ""
echo "✅ armv7 产物: ${BIN}"