fix(db): 切分器支持块注释与 dollar-quoting,生成器先校验后落盘,合并 valid_table 单一来源

- db: split_sql_statements 支持 dollar-quoting($$ / $tag$)与 E'' 反斜杠转义
- db: has_code 正确剔除 /* */ 块注释,纯注释块不再当成语句发给 PG
- db: 新增 5 个测试(块注释、dollar-quote、tagged dollar-quote、E 串转义)
- gen-migrate.sh: 生成物先落一次性临时目录,表数校验通过后才覆盖 static/migrate.sql
- gen-migrate.sh: 目标库 public schema 非空即快速失败(不做未授权的 DROP/重建)
- reset-data.sh: 回收站目标名加 PID + 去重后缀,避免 mv 嵌套
- main.rs: 删除本地 valid_table 副本,统一走 tdc_connector::db::valid_table

Co-Authored-By: Claude Code <[email protected]>
This commit is contained in:
adminandClaude Code committed 2026-10-24 13:15:32 +08:00
1 parent 1d26a106f5
commit 4ae8054e68
4 files changed
+237 -35

No files matched your search

+37 -11
View File
@@ -6,6 +6,11 @@
# tdc_notify 等表并 ALTER tdc_delivery_task / tdc_resource / tdc_product。
# ⚠️ V2.10.0 版本号重复(两个文件)⇒ 不能靠 Flyway 排序,必须显式按文件名兜底。
#
# 🔴 本脚本**不会** DROP / 重建目标库:目标库 public schema 非空时直接快速失败,
# 由调用方自己准备空库(未授权的破坏性数据库操作不做)。
# 🔴 自检在**落盘之前**做:生成物先写进一次性临时目录,表数校验通过后才覆盖 static/migrate.sql,
# 避免一次顺序错误的运行把已入库的 schema 写坏。
#
# 用法:
# UPSTREAM_REPO=/path/to/ssw-tdc \
# PGHOST=127.0.0.1 PGPORT=15432 PGUSER=postgres PGDATABASE=tdc_gen \
@@ -15,8 +20,9 @@ set -euo pipefail
ROOT="$(cd "$(dirname "$0")/.." && pwd)"
UPSTREAM_REPO="${UPSTREAM_REPO:-/tmp/sswtdc-probe}"
OUT="${ROOT}/static/migrate.sql"
WORK="${ROOT}/target/gen-migrate"
mkdir -p "${WORK}"
mkdir -p "${ROOT}/target"
# 一次性工作目录:失败时保留,便于排查(不做 rm)
WORK="$(mktemp -d "${ROOT}/target/gen-migrate.XXXXXX")"
if [ ! -d "${UPSTREAM_REPO}/boot/db" ]; then
echo "[gen-migrate] 上游仓库不存在:${UPSTREAM_REPO}" >&2
@@ -26,7 +32,21 @@ fi
command -v psql >/dev/null 2>&1 || { echo "[gen-migrate] 需要 psql(PostgreSQL 客户端)" >&2; exit 1; }
command -v pg_dump >/dev/null 2>&1 || { echo "[gen-migrate] 需要 pg_dump" >&2; exit 1; }
# ① 收集迁移并排序(版本三元组 + 文件名兜底)
# ① 预检:目标库 public schema 必须为空(本脚本不替调用方清理数据库)
EXISTING="$(psql -v ON_ERROR_STOP=1 -tAc \
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace WHERE n.nspname = 'public';" \
| tr -d '[:space:]')"
if [ -z "${EXISTING}" ]; then
echo "[gen-migrate] 无法确认目标库状态(psql 无输出),已中止。" >&2
exit 1
fi
if [ "${EXISTING}" != "0" ]; then
echo "[gen-migrate] 目标库 public schema 已有 ${EXISTING} 个对象,已中止。" >&2
echo "[gen-migrate] 请自行准备一个空库(例如新建 tdc_gen)后再跑;本脚本不会 DROP/重建数据库。" >&2
exit 1
fi
# ② 收集迁移并排序(版本三元组 + 文件名兜底)
{
ls -1 "${UPSTREAM_REPO}"/boot/db/tdc/V*.sql 2>/dev/null || true
ls -1 "${UPSTREAM_REPO}"/boot/db/V*.sql 2>/dev/null || true
@@ -42,26 +62,32 @@ command -v pg_dump >/dev/null 2>&1 || { echo "[gen-migrate] 需要 pg_dump" >&2;
COUNT="$(wc -l < "${WORK}/migrations.txt" | tr -d ' ')"
echo "[gen-migrate] 迁移文件数:${COUNT}(上游应为 82)"
# ② 逐个打进目标库
# ③ 逐个打进目标库
: > "${WORK}/replay.log"
while IFS= read -r f; do
if ! psql -v ON_ERROR_STOP=1 -q -f "${f}" >>"${WORK}/replay.log" 2>&1; then
echo "[gen-migrate] 迁移失败:${f}" >&2
tail -40 "${WORK}/replay.log" >&2
echo "[gen-migrate] 工作目录保留在:${WORK}" >&2
exit 1
fi
done < "${WORK}/migrations.txt"
# ③ 导出 schema
# ④ 导出 schema 到临时文件(先不碰 static/migrate.sql)
pg_dump --schema-only --no-owner --no-privileges > "${WORK}/raw.sql"
# ④ 剥掉 pg_dump 前言(restrict/unrestrict/SET/set_config)
grep -vE '^\\restrict|^\\unrestrict|^SET |^SELECT pg_catalog\.set_config' "${WORK}/raw.sql" > "${OUT}"
# ⑤ 剥掉 pg_dump 前言(restrict/unrestrict/SET/set_config)
grep -vE '^\\restrict|^\\unrestrict|^SET |^SELECT pg_catalog\.set_config' "${WORK}/raw.sql" > "${WORK}/migrate.sql"
# ⑤ 自检
TABLES="$(grep -cE '^CREATE TABLE public\.' "${OUT}" || true)"
echo "[gen-migrate] 已生成 ${OUT}(${TABLES} 张表,字节数 $(wc -c < "${OUT}" | tr -d ' '))"
# ⑥ 自检:表数不对就中止,绝不覆盖已入库的 static/migrate.sql
TABLES="$(grep -cE '^CREATE TABLE public\.' "${WORK}/migrate.sql" || true)"
if [ "${TABLES}" != "30" ]; then
echo "[gen-migrate] ⚠️ 表数不是 30,请复核迁移顺序" >&2
echo "[gen-migrate] ⚠️ 表数是 ${TABLES}(应为 30),请复核迁移顺序;已中止,未改动 ${OUT}。" >&2
echo "[gen-migrate] 候选产物保留在:${WORK}/migrate.sql" >&2
exit 1
fi
# ⑦ 校验通过后才落盘
cp "${WORK}/migrate.sql" "${OUT}"
echo "[gen-migrate] 已生成 ${OUT}(${TABLES} 张表,字节数 $(wc -c < "${OUT}" | tr -d ' '))"
echo "[gen-migrate] 工作目录:${WORK}"
+7 -1
View File
@@ -22,7 +22,13 @@ moved=0
for item in "tdc.pg" "node-identity.json"; do
src="${DATA_DIR}/${item}"
if [ -e "${src}" ]; then
dest="${TRASH}/tdc-rs-${item}.${STAMP}"
# 目标名带秒级时间戳 + PID,且不撞已有目标(撞了会让 mv 把源移进已有目录,形成一层嵌套)
dest="${TRASH}/tdc-rs-${item}.${STAMP}.$$"
n=1
while [ -e "${dest}" ]; do
dest="${TRASH}/tdc-rs-${item}.${STAMP}.$$.${n}"
n=$((n + 1))
done
mv "${src}" "${dest}"
echo "[reset-data] 已移入访达回收站:${dest}"
moved=1