容量管理: zones.rs 直读 nginx file_cache 共享内存记账(双轴: 磁盘 + keys_zone 索引内存), ?scan=1 扫盘上限 20 万文件; POST /api/admin/cache/purge 整区清理(只删文件不删目录, 根治 [crit] mkdir failed); POST /api/admin/cache/invalidate 按制品精准失效(预览->确认两步式, glob/子串, 删除上限 5000/扫描上限 20 万); GET /api/admin/cache 新增 capacity 块; 前端容量面板 + 按制品失效工具条; 测试 test-cache-capacity.sh 48/48(容量 27 + 精准失效 21, 含 EXPECT_MIN 护栏与前端静态契约); docs 容量管理章节
120 lines
5.6 KiB
Bash
120 lines
5.6 KiB
Bash
#!/bin/bash
|
||
# ============================================================================
|
||
# lib-render.sh —— 把**生产 conf**(conf/*.conf)渲染进一个测试前缀(被 source)
|
||
#
|
||
# 为什么必须有这个文件:测试里出现的 conf 有两类——
|
||
# * **生产 conf 的副本**(conf/nginx.cache.conf 等,改端口/路径后跑);
|
||
# * **测试自己的 conf**(tests/cache/nginx.cache.local.conf,纯数据面)。
|
||
# 前者曾一度被两个脚本各抄一份渲染逻辑,结果是「生产 conf 换成变量上游了,
|
||
# 某一个脚本还在按静态上游渲染」——同一份配置在两个地方漂移(实测:
|
||
# Tier2 因此整层挂掉,表现像模块坏了,其实是它在验一个已作废的形态)。
|
||
# 所以:**任何要用生产 conf 的测试,都 from 这里借渲染**,别再手抄。
|
||
#
|
||
# 用法:
|
||
# CACHE_PY=<python> # 可选,默认 python3
|
||
# source "$(dirname "$0")/lib-render.sh"
|
||
# cache_render_prod_conf "$RUN" "$PORT" "$MODULE"
|
||
#
|
||
# 只定义函数,不产生副作用(不建目录以外的动作、不启动任何东西)。
|
||
# ============================================================================
|
||
|
||
# 仓库根:按本文件自身位置解析,调用方无需传
|
||
CACHE_REPO=$(cd "$(dirname "${BASH_SOURCE[0]}")/../.." && pwd)
|
||
|
||
# 渲染生产 conf 到 $1(RUN),对外端口 $2(PORT),模块路径 $3(MODULE)。
|
||
#
|
||
# 改动的只有「机器相关」的东西:模块路径、日志/pid/data/audit/缓存目录、
|
||
# 监听端口、worker 数。
|
||
# **不改任何业务指令**——所以本渲染跑通 = 生产 conf 跑通。
|
||
cache_render_prod_conf() {
|
||
local run="$1" port="$2" mod="$3"
|
||
local py="${CACHE_PY:-python3}"
|
||
|
||
mkdir -p "$run"/{conf,data,logs,audit} "$run"/cache/{go,cargo,pypi,npm,maven,docker}
|
||
mkdir -p "$run/conf/tls"
|
||
|
||
cp "$CACHE_REPO/conf/nginx.cache.conf" "$run/conf/"
|
||
cp "$CACHE_REPO/conf/server.cache.conf" "$run/conf/"
|
||
cp "$CACHE_REPO/conf/cache-routes.conf" "$run/conf/"
|
||
cp "$CACHE_REPO/conf/cache-common.conf" "$run/conf/"
|
||
cp "$CACHE_REPO/build/nginx-1.30.4/conf/mime.types" "$run/conf/" 2>/dev/null
|
||
|
||
# 管理台静态资源:cache-routes.conf 的 alias 写的是**相对 prefix** 的 www/,
|
||
# 所以测试前缀下要有个 www 能解析到仓库的 www/。
|
||
[ -e "$run/www" ] || ln -s "$CACHE_REPO/www" "$run/www"
|
||
|
||
# ⚠️ 用 python 而非 BSD sed:本机 PATH 上可能有 sed shim,`sed -i ''` 语义会变。
|
||
"$py" - "$run" "$mod" "$port" <<'P'
|
||
import re, sys, pathlib
|
||
run, mod, port = sys.argv[1], sys.argv[2], sys.argv[3]
|
||
c = pathlib.Path(run, "conf")
|
||
|
||
p = c / "nginx.cache.conf"
|
||
s = p.read_text()
|
||
s = re.sub(r"^load_module .*$", "load_module %s;" % mod, s, flags=re.M)
|
||
s = re.sub(r"^\s*error_log .*$", " error_log %s/logs/error.log info;" % run, s, flags=re.M)
|
||
s = re.sub(r"^\s*pid .*$", " pid %s/logs/nginx.pid;" % run, s, flags=re.M)
|
||
s = re.sub(r"^\s*access_log .*$", " access_log %s/logs/cache.log cache;" % run, s, flags=re.M)
|
||
s = re.sub(r"ipass_data_dir .*", "ipass_data_dir %s/data;" % run, s)
|
||
s = re.sub(r"ipass_audit_dir .*", "ipass_audit_dir %s/audit;" % run, s)
|
||
s = s.replace("/var/cache/ipass-cache", "%s/cache" % run)
|
||
s = s.replace("worker_processes auto;", "worker_processes 1;")
|
||
s = re.sub(r"^(\s*include )/usr/local/nginx/conf/tls/\*\.conf;",
|
||
r"\1%s/conf/tls/*.conf;" % run, s, flags=re.M)
|
||
p.write_text(s)
|
||
|
||
p = c / "server.cache.conf"
|
||
s = p.read_text().replace("listen 8080;", "listen %s;" % port)
|
||
p.write_text(s)
|
||
print(" rendered: nginx.cache.conf / server.cache.conf -> %s (port %s)" % (run, port))
|
||
P
|
||
}
|
||
|
||
# 合法**路由名**(= plugin-cache config::ROUTES 的那 8 个)。
|
||
# ⚠️ 路由名 ≠ URI 前缀,也 ≠ 生态名,三者在 docker 上最容易混:
|
||
# URI 前缀 /v2/ ← 路由名 docker ← 生态 docker
|
||
# `route_of_seg` 把首段 `v2` 映射成路由名 `docker`,所以上游表的键是
|
||
# **docker**。写成 `v2` 不报错、不告警,只会让该路由恒 503(「上游尚未配置」),
|
||
# 看起来像配置没保存。实测踩过,故在此硬校验。
|
||
CACHE_ROUTES="go cargo cargo-dl pypi pypi-files npm maven docker"
|
||
|
||
# 写上游表(等价于管理台「保存」的结果;模块 zone_load 会装载它)。
|
||
# $1 = RUN 目录
|
||
# $2 = 上游基址,如 http://127.0.0.1:18999
|
||
# $3.. = 要配的**路由名**(见上;docker 是 `docker` 不是 `v2`)
|
||
# 留空则写空表(所有路由 → 503)。
|
||
cache_write_upstreams() {
|
||
local run="$1" base="$2"; shift 2
|
||
local route out="" sep="" bad=""
|
||
for route in "$@"; do
|
||
case " $CACHE_ROUTES " in
|
||
*" $route "*) ;;
|
||
*) bad="$bad $route" ;;
|
||
esac
|
||
done
|
||
if [ -n "$bad" ]; then
|
||
echo "❌ 非法路由名:${bad}(合法值:${CACHE_ROUTES};注意 docker 的路由名是 docker,不是 v2)" >&2
|
||
return 1
|
||
fi
|
||
for route in "$@"; do
|
||
out="${out}${sep} \"${route}\": { \"base\": \"${base}\", \"key\": \"\",
|
||
\"mode\": \"proxy\", \"name\": \"测试上游 ${route}\", \"desc\": \"假上游\",
|
||
\"enabled\": true, \"note\": \"\", \"created_at\": 1757500000, \"updated_at\": 1757500000 }"
|
||
sep=",
|
||
"
|
||
done
|
||
mkdir -p "$run/data"
|
||
{
|
||
echo '{'
|
||
echo ' "items": {'
|
||
printf '%s\n' "$out"
|
||
echo ' }'
|
||
echo '}'
|
||
} > "$run/data/cache-upstreams.json"
|
||
# 立刻自检:这个文件是「静默失效」的重灾区——写坏了模块不会报错,
|
||
# 只会让所有路由 503(看起来像网关坏了)。
|
||
"${CACHE_PY:-python3}" -c 'import json,sys; json.load(open(sys.argv[1]))' \
|
||
"$run/data/cache-upstreams.json" 2>/dev/null \
|
||
|| { echo "❌ 上游表 JSON 非法:$run/data/cache-upstreams.json" >&2; return 1; }
|
||
}
|