fix(boot): fd 1 非管道导致内嵌 PG exit 100,改管道 + 转发
修复 Gitea issue #1(armv7 包只在 stdout 为管道时能启动)。 根因:pglite 的 initDummyPort() 设 s.sock = 1,把 fd 1 当「名义客户端 socket」;pq_init() 把它注册进 WaitEventSet。Linux 走 epoll,而 epoll 不接受 普通文件与字符设备(实测 EPERM)⇒ ereport(ERROR) ⇒ longjmp ⇒ exit(100)。 macOS 走 kqueue(接受普通文件/字符设备)⇒ 同样形态正常,故此前未暴露。 - 重写 ensure_stdout_for_pglite():pipe + dup 原始 stdout + dup2 让 fd 1 成为管道写端 + drain 线程把内容转发回原 stdout。drain 是必需的: pgl_fcntl 是 dummy ⇒ pg_set_noblock(fd 1) 无效 ⇒ fd 1 始终阻塞 ⇒ 管道写满 64KB 会永久阻塞。macOS 分支保留空实现(kqueue 无需替换)。 - 开库前固化 PGLITE_RUNTIME_DIR 为带 arch + 构建指纹(路径/大小/mtime 的 FNV-1a)的路径,消除 x86_64/armv7 共用 runtime 目录的抢占;用户显式设置时不覆盖。 - 失败路径改为打印「启动诊断」,不再静默 dup2。 门禁:scripts/build-armv7.sh 冒烟改为三 case(A 管道 / B 普通文件 / C /dev/null) × 各自干净数据目录,断言 HTTP 通 + 进程常驻;B/C 另断言出现「启动诊断」 (证明替换路径真的走到)。探活改用 bash 内建 /dev/tcp(armhf 镜像无 wget/curl)。 验证:旧二进制 case B = EXIT 100 + 46 字节 banner;新二进制 = HTTP 200、 14255 条示例数据、登录返 200、优雅关闭。三 case 全绿。
This commit is contained in:
1 parent
e95b37ca51
commit
019945385e
5 files changed
+646
-44
No files matched your search
+272
-25
@@ -334,7 +334,10 @@ pub fn whitelist_self_check_platform() -> Result<(), String> {
|
||||
/// 开库:`PGLITE_DIR=memory://` ⇒ 临时库(进程退出即销毁);否则磁盘目录。
|
||||
pub async fn open_db(config: &Config) -> Result<Db, sspf_core::db::pglite::Error> {
|
||||
#[cfg(unix)]
|
||||
ensure_stdout_for_pglite();
|
||||
{
|
||||
ensure_stdout_for_pglite();
|
||||
ensure_runtime_dir_isolated();
|
||||
}
|
||||
if config.pg_is_temp() {
|
||||
Db::open_temp().await
|
||||
} else {
|
||||
@@ -342,38 +345,282 @@ pub async fn open_db(config: &Config) -> Result<Db, sspf_core::db::pglite::Error
|
||||
}
|
||||
}
|
||||
|
||||
/// 内嵌 PostgreSQL 在 boot 阶段会对 fd 1 注册 kqueue 读事件;fd 1 是字符设备
|
||||
/// (如 `/dev/null`)或已关闭时 `kevent()` 会失败,pglite 以退出码 100 收场。
|
||||
/// 🔴 **把 fd 1 换成管道**(Linux/epoll 的硬性要求,见下)。
|
||||
///
|
||||
/// 修复:开库前若 fd 1 不是「普通文件 / 管道 / 套接字 / 终端」这类可安全用于
|
||||
/// kqueue 的类型,就把它重定向到一个匿名普通临时文件(进程级,泄漏以保活 fd)。
|
||||
/// 仅在真正需要时动手 —— 正常 `> file` / `| pipe` / 终端场景完全不动,
|
||||
/// 也不影响 MCP 协议通道(协议走 `dup` 出来的独立 fd)。
|
||||
#[cfg(unix)]
|
||||
/// ## 根因(Gitea issue #1,armv7 部署全挂)
|
||||
///
|
||||
/// pglite 的 `initDummyPort()`(`src/backend/tcop/postgres.c`)设 **`s.sock = 1`** ——
|
||||
/// 把 **fd 1 当成「名义客户端 socket」**;`pq_init()` 随即把它注册进 WaitEventSet:
|
||||
///
|
||||
/// ```c
|
||||
/// socket_pos = AddWaitEventToSet(FeBeWaitSet, WL_SOCKET_WRITEABLE,
|
||||
/// port->sock, NULL, NULL); /* port->sock == 1 */
|
||||
/// ```
|
||||
///
|
||||
/// 等待事件的后端按平台分(`src/backend/storage/ipc/latch.c`):
|
||||
/// Linux ⇒ `HAVE_SYS_EPOLL_H` ⇒ **epoll**;macOS ⇒ **kqueue**。
|
||||
///
|
||||
/// 而 **epoll 只接受 poll-able 的 fd**:管道 / socket / eventfd ……
|
||||
/// **普通文件(`S_IFREG`)与字符设备(`S_IFCHR`)一律 `EPERM`**。
|
||||
/// 实测(armv7 容器内):
|
||||
///
|
||||
/// ```text
|
||||
/// 普通文件 epoll_ctl=-1 Operation not permitted
|
||||
/// /dev/null epoll_ctl=-1 Operation not permitted
|
||||
/// 管道写端 epoll_ctl=0 OK
|
||||
/// 管道读端 epoll_ctl=0 OK
|
||||
/// ```
|
||||
///
|
||||
/// ⇒ fd 1 是普通文件或 `/dev/null` 时,`epoll_ctl` 报 `EPERM` ⇒
|
||||
/// `ereport(ERROR, "epoll_ctl() failed: %m")` ⇒ longjmp ⇒ **`exit(100)`**。
|
||||
/// macOS 走 kqueue(允许把普通文件/字符设备注册为 `EVFILT_WRITE`)⇒ 同样形态正常。
|
||||
///
|
||||
/// ## 为什么不能「换成普通文件」
|
||||
///
|
||||
/// 旧实现(`ensure_stdout_for_pglite`)把 fd 1 `dup2` 到一个**普通临时文件** ——
|
||||
/// 那只是把「字符设备失败」换成「普通文件失败」,**同样 EPERM、同样 exit 100**。
|
||||
///
|
||||
/// ## 本实现(管道 + 原始 stdout 转发 + drain)
|
||||
///
|
||||
/// 1. `pipe()` 造一对 fd;
|
||||
/// 2. **`dup` 原始 stdout 到一个新 fd**(`orig_stdout`)—— 平台的 `println!`
|
||||
/// (「已启动」「导入完成」…)必须继续落到**用户真正要的 stdout**;
|
||||
/// 3. `dup2(pipe_w, 1)` ⇒ **fd 1 变成管道写端**(epoll 合法);
|
||||
/// 4. 起一个 **drain 线程**读管道读端,把内容**转发到 `orig_stdout`**;
|
||||
/// 5. 原始 stdout 与管道读端都**泄漏保活**(进程级,不随作用域结束而关闭)。
|
||||
///
|
||||
/// ## 为什么 drain 线程是必需的(不是「保险」)
|
||||
///
|
||||
/// pglite 的 `pgl_fcntl` 是 **dummy**(`pglite/src/pglitec/pglitec.c`:
|
||||
/// `int pgl_fcntl(int __fd, int __cmd, ...) { return 0; }`)⇒
|
||||
/// `pq_init()` 里的 `pg_set_noblock(port->sock)` **完全无效** ⇒
|
||||
/// **fd 1 始终是阻塞模式** ⇒ 管道缓冲(Linux 默认 64KB)写满后
|
||||
/// `write()` 会**永久阻塞** ⇒ 内嵌 PG 直接卡死。
|
||||
/// ⇒ 必须有活线程持续消费。
|
||||
///
|
||||
/// ## 为什么 macOS 不需要动
|
||||
///
|
||||
/// kqueue 允许注册普通文件/字符设备 ⇒ 原来的 fd 1 在 macOS 上本就可用。
|
||||
/// ⇒ 只在 **非 macOS** 上做替换(`#[cfg(not(target_os = "macos"))]`),
|
||||
/// 避免在能跑的地方引入无谓的线程与转发延迟。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn ensure_stdout_for_pglite() {
|
||||
use std::os::unix::io::AsRawFd;
|
||||
// ① unsafe 只覆盖「判定 + 造管道 + dup + dup2」这一段系统调用;
|
||||
// 线程的启动与运行放在安全区(闭包体内不再有 unsafe)。
|
||||
let Some((pipe_r, orig_stdout, orig_kind)) = redirect_stdout_to_pipe() else {
|
||||
return;
|
||||
};
|
||||
|
||||
// ② drain 线程:读管道 ⇒ 转发到原始 stdout。
|
||||
// 🔴 两个裸 fd 交给 `File` 独占(它们没有其它所有者)⇒ 各关一次、不 double-close。
|
||||
// 🔴 线程 detach(不 join)⇒ 随进程退出而终止。
|
||||
use std::os::fd::FromRawFd;
|
||||
// SAFETY: 两个 fd 都是 `redirect_stdout_to_pipe` 新建、且未交给任何其它所有者。
|
||||
let (src, dst) = unsafe {
|
||||
(
|
||||
std::fs::File::from_raw_fd(pipe_r),
|
||||
std::fs::File::from_raw_fd(orig_stdout),
|
||||
)
|
||||
};
|
||||
|
||||
if let Err(e) = std::thread::Builder::new()
|
||||
.name("ssw-pglite-stdout".to_string())
|
||||
.spawn(move || drain_stdout(src, dst))
|
||||
{
|
||||
// 🔴 线程起不来的后果要说清:fd 1 已是管道写端但无人消费
|
||||
// ⇒ 内嵌 PG 写满 64KB 后会**永久阻塞**。
|
||||
eprintln!(
|
||||
"[启动诊断] 无法启动 stdout 转发线程(fd 1 已是管道写端但无人消费,写满 64KB 会阻塞):{e}"
|
||||
);
|
||||
return;
|
||||
}
|
||||
|
||||
eprintln!(
|
||||
"[启动诊断] fd 1 原为 {orig_kind},已替换为管道写端(内嵌 PG 要求 fd 1 可被 epoll 注册);\
|
||||
平台自身的输出由转发线程写回原 stdout。"
|
||||
);
|
||||
}
|
||||
|
||||
/// 把管道内容持续转发到原始 stdout(drain)。
|
||||
///
|
||||
/// 读到 `EOF`(写端全部关闭)或原始 stdout 不可写时退出 —— 后者意味着用户
|
||||
/// 把日志端关掉了,继续转发只会反复失败。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn drain_stdout(mut src: std::fs::File, mut dst: std::fs::File) {
|
||||
use std::io::{Read, Write};
|
||||
|
||||
let mut buf = [0u8; 8192];
|
||||
loop {
|
||||
match src.read(&mut buf) {
|
||||
Ok(0) => break, // 写端全关 ⇒ 正常收尾
|
||||
Ok(n) => {
|
||||
if dst.write_all(&buf[..n]).is_err() {
|
||||
break; // 原始 stdout 不可写(用户关掉了)⇒ 停止转发
|
||||
}
|
||||
let _ = dst.flush();
|
||||
}
|
||||
Err(e) if e.kind() == std::io::ErrorKind::Interrupted => continue,
|
||||
Err(_) => break,
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// 判定并执行「把 fd 1 换成管道写端」,返回 `(管道读端, 原始 stdout 副本, fd 1 原类型)`。
|
||||
///
|
||||
/// 返回 `None` 的三种情况(都已尽力回滚 + 打诊断):
|
||||
/// ① fd 1 已是管道/套接字(无需替换);② 造管道失败;③ dup / dup2 失败。
|
||||
///
|
||||
/// # Safety 说明
|
||||
///
|
||||
/// 函数内部全是 fd 级系统调用。任一步失败都**显式关闭已拿到的 fd**,不留半改状态。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn redirect_stdout_to_pipe() -> Option<(std::os::fd::RawFd, std::os::fd::RawFd, &'static str)> {
|
||||
use std::os::fd::RawFd;
|
||||
|
||||
// SAFETY: 见函数文档;所有失败路径都回滚。
|
||||
unsafe {
|
||||
// ① fd 1 是不是已经「可被 epoll 接受」的类型?只对**管道/套接字**放行。
|
||||
// (终端是 S_IFCHR ⇒ 在 Linux 上同样 EPERM ⇒ 必须换。)
|
||||
let mut st: libc::stat = std::mem::zeroed();
|
||||
let kind = if libc::fstat(libc::STDOUT_FILENO, &mut st) == 0 {
|
||||
st.st_mode & libc::S_IFMT
|
||||
} else {
|
||||
0
|
||||
};
|
||||
if kind == libc::S_IFIFO || kind == libc::S_IFSOCK {
|
||||
return None;
|
||||
}
|
||||
|
||||
let orig_kind = describe_fd(libc::STDOUT_FILENO);
|
||||
|
||||
// ② 造管道。
|
||||
let mut fds: [libc::c_int; 2] = [0; 2];
|
||||
if libc::pipe(fds.as_mut_ptr()) != 0 {
|
||||
eprintln!(
|
||||
"[启动诊断] 无法创建管道(fd 1 将在 epoll 上失败,内嵌 PG 可能以 exit 100 退出):{}",
|
||||
std::io::Error::last_os_error()
|
||||
);
|
||||
return None;
|
||||
}
|
||||
let (pipe_r, pipe_w): (RawFd, RawFd) = (fds[0], fds[1]);
|
||||
|
||||
// ③ 原始 stdout 另存一份(平台的 println! 之后由 drain 线程转发过去)。
|
||||
let orig_stdout = libc::dup(libc::STDOUT_FILENO);
|
||||
if orig_stdout < 0 {
|
||||
eprintln!(
|
||||
"[启动诊断] 无法复制原始 stdout(fd 1 将在 epoll 上失败,内嵌 PG 可能以 exit 100 退出):{}",
|
||||
std::io::Error::last_os_error()
|
||||
);
|
||||
libc::close(pipe_r);
|
||||
libc::close(pipe_w);
|
||||
return None;
|
||||
}
|
||||
|
||||
// ④ fd 1 ⇒ 管道写端。
|
||||
if libc::dup2(pipe_w, libc::STDOUT_FILENO) < 0 {
|
||||
eprintln!(
|
||||
"[启动诊断] 无法把 fd 1 指向管道(内嵌 PG 可能以 exit 100 退出):{}",
|
||||
std::io::Error::last_os_error()
|
||||
);
|
||||
libc::close(orig_stdout);
|
||||
libc::close(pipe_r);
|
||||
libc::close(pipe_w);
|
||||
return None;
|
||||
}
|
||||
// dup2 之后 pipe_w 与 fd 1 指向同一管道 ⇒ 写端保持打开即可。
|
||||
libc::close(pipe_w);
|
||||
|
||||
Some((pipe_r, orig_stdout, orig_kind))
|
||||
}
|
||||
}
|
||||
|
||||
/// macOS 走 kqueue(允许注册普通文件/字符设备)⇒ 原样保留 fd 1,不做任何替换。
|
||||
#[cfg(all(unix, target_os = "macos"))]
|
||||
fn ensure_stdout_for_pglite() {
|
||||
// 空实现:kqueue 对普通文件与字符设备都返回成功 ⇒ fd 1 无需是管道。
|
||||
}
|
||||
|
||||
/// 描述 fd 的类型(用于启动诊断日志)。
|
||||
#[cfg(all(unix, not(target_os = "macos")))]
|
||||
fn describe_fd(fd: libc::c_int) -> &'static str {
|
||||
// SAFETY: `fstat` 只写 `st`;`libc::stat` 是 POD,zeroed 合法。
|
||||
unsafe {
|
||||
let mut st: libc::stat = std::mem::zeroed();
|
||||
let bad = libc::fstat(libc::STDOUT_FILENO, &mut st) != 0
|
||||
|| (st.st_mode & libc::S_IFMT) == libc::S_IFCHR;
|
||||
if !bad {
|
||||
return;
|
||||
if libc::fstat(fd, &mut st) != 0 {
|
||||
return "不可用(fstat 失败)";
|
||||
}
|
||||
// 开一个普通临时文件当作 stdout 落点(append,内容无人在意)。
|
||||
let tmp = std::env::temp_dir()
|
||||
.join(format!("ssw-pglite-stdout-{}.log", std::process::id()));
|
||||
match std::fs::OpenOptions::new().create(true).append(true).open(&tmp) {
|
||||
Ok(f) => {
|
||||
// 泄漏 fd 以保证 fd 1 在整个进程生命周期内有效(指向普通文件)。
|
||||
let _ = libc::dup2(f.as_raw_fd(), libc::STDOUT_FILENO);
|
||||
std::mem::forget(f);
|
||||
}
|
||||
Err(_) => {
|
||||
// 兜底:连临时文件都开不了,至少把 fd 1 指向 fd 2(通常仍非字符设备)。
|
||||
let _ = libc::dup2(libc::STDERR_FILENO, libc::STDOUT_FILENO);
|
||||
match st.st_mode & libc::S_IFMT {
|
||||
libc::S_IFIFO => "管道",
|
||||
libc::S_IFREG => "普通文件",
|
||||
libc::S_IFCHR => "字符设备(含终端)",
|
||||
libc::S_IFSOCK => "套接字",
|
||||
_ => "其它类型",
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/// 🔴 **把 pglite 的 runtime 目录按架构隔离**(Gitea issue #1 关联问题 1)。
|
||||
///
|
||||
/// pglite-rs 0.2.7 的 `runtime_dir()`(`engine.rs`)默认取
|
||||
/// `$TMPDIR/pglite-rs-runtime-0.2.7-<fingerprint>`,而 `runtime_fingerprint()`
|
||||
/// **只哈希 runtime tar 的内容** ⇒ **x86_64 与 armv7 共用同一个目录名**。
|
||||
/// ⇒ 在同一台机器上先后跑两种架构的二进制时,后者会撞上前者残留的目录 ⇒
|
||||
/// `Error::Boot("runtime extraction race lost and target invalid")`。
|
||||
///
|
||||
/// `engine.rs` **确实支持** `PGLITE_RUNTIME_DIR` 环境变量覆盖 ⇒
|
||||
/// 这里在开库前把它固化成一个**带目标架构与二进制指纹**的路径:
|
||||
/// 不同架构、不同构建物 ⇒ 各自独立,互不抢占。
|
||||
///
|
||||
/// ⚠️ 只在**用户没显式设置**时覆盖 —— 用户显式指定了路径就该尊重它。
|
||||
#[cfg(unix)]
|
||||
fn ensure_runtime_dir_isolated() {
|
||||
if std::env::var_os("PGLITE_RUNTIME_DIR").is_some() {
|
||||
return; // 用户显式指定 ⇒ 尊重
|
||||
}
|
||||
let dir = runtime_dir_for_this_binary();
|
||||
// 🔴 **必须用 `set_var` 而不是 `std::env::set_var` 的不安全变体**:
|
||||
// Rust 2024 起 `set_var` 是 unsafe;本仓 edition 2021 ⇒ 走 `std::env::set_var`
|
||||
// 仍安全,但为兼容后续升级,这里显式标注调用点。
|
||||
unsafe { std::env::set_var("PGLITE_RUNTIME_DIR", &dir) };
|
||||
}
|
||||
|
||||
/// 构造「带架构 + 二进制指纹」的 runtime 目录名。
|
||||
///
|
||||
/// 🔴 **指纹必须含架构**:pglite 的 runtime tar 里 `bin/postgres` / `bin/initdb`
|
||||
/// 是**可执行文件**(目标架构的 ELF)⇒ 同一 tar 在 x86_64 与 armv7 上
|
||||
/// **内容不同** ⇒ 但 pglite 的 `runtime_fingerprint()` 只哈希 tar ⇒ 撞名。
|
||||
/// 这里额外把**当前二进制的架构**与**自身路径/长度**掺进去,够用且零成本。
|
||||
#[cfg(unix)]
|
||||
fn runtime_dir_for_this_binary() -> PathBuf {
|
||||
let arch = std::env::consts::ARCH;
|
||||
let mut hash: u64 = 0xcbf29ce484222325; // FNV-1a 偏移基
|
||||
let mut mix = |bytes: &[u8]| {
|
||||
for &b in bytes {
|
||||
hash ^= u64::from(b);
|
||||
hash = hash.wrapping_mul(0x100000001b3);
|
||||
}
|
||||
};
|
||||
|
||||
// ① 可执行文件路径(不同安装位置 ⇒ 不同目录,避免两个部署互相踩)。
|
||||
let exe = std::env::current_exe().unwrap_or_default();
|
||||
mix(exe.to_string_lossy().as_bytes());
|
||||
|
||||
// ② 二进制自身的**大小 + 修改时间** —— 这是「构建指纹」的实质:
|
||||
// 换了引擎 / 改了代码重新编译 ⇒ 两者必有一变 ⇒ 目录名跟着变
|
||||
// ⇒ 不会复用上一次构建解出来的 runtime(那正是跨架构/跨版本抢占的来源)。
|
||||
// ⚠️ 只 stat 不读内容:70 MB 的二进制算哈希要几百毫秒,不值。
|
||||
if let Ok(md) = std::fs::metadata(&exe) {
|
||||
mix(&md.len().to_le_bytes());
|
||||
if let Ok(t) = md.modified() {
|
||||
if let Ok(d) = t.duration_since(std::time::UNIX_EPOCH) {
|
||||
mix(&d.as_secs().to_le_bytes());
|
||||
mix(&d.subsec_nanos().to_le_bytes());
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
let build = env!("CARGO_PKG_VERSION");
|
||||
std::env::temp_dir().join(format!("pglite-rs-runtime-{build}-{arch}-{hash:016x}"))
|
||||
}
|
||||
|
||||
/// 🔴 **优雅关闭嵌入式 PostgreSQL**(起服务与跑种子共用同一条路径)。
|
||||
|
||||
Reference in new issue
Block a user