Files
ipass-plugin-cache/tests/cache/lib-render.sh
T
ssw 43718bd0c4 iPass cache gateway 源码
容量管理: zones.rs 直读 nginx file_cache 共享内存记账(双轴: 磁盘 + keys_zone 索引内存), ?scan=1 扫盘上限 20 万文件; POST /api/admin/cache/purge 整区清理(只删文件不删目录, 根治 [crit] mkdir failed); POST /api/admin/cache/invalidate 按制品精准失效(预览->确认两步式, glob/子串, 删除上限 5000/扫描上限 20 万); GET /api/admin/cache 新增 capacity 块; 前端容量面板 + 按制品失效工具条; 测试 test-cache-capacity.sh 48/48(容量 27 + 精准失效 21, 含 EXPECT_MIN 护栏与前端静态契约); docs 容量管理章节
2026-09-21 09:25:11 +08:00

120 lines
5.6 KiB
Bash
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================================
# lib-render.sh —— 把**生产 conf**(conf/*.conf)渲染进一个测试前缀(被 source)
#
# 为什么必须有这个文件:测试里出现的 conf 有两类——
# * **生产 conf 的副本**(conf/nginx.cache.conf 等,改端口/路径后跑);
# * **测试自己的 conf**(tests/cache/nginx.cache.local.conf,纯数据面)。
# 前者曾一度被两个脚本各抄一份渲染逻辑,结果是「生产 conf 换成变量上游了,
# 某一个脚本还在按静态上游渲染」——同一份配置在两个地方漂移(实测:
# Tier2 因此整层挂掉,表现像模块坏了,其实是它在验一个已作废的形态)。
# 所以:**任何要用生产 conf 的测试,都 from 这里借渲染**,别再手抄。
#
# 用法:
# CACHE_PY=<python> # 可选,默认 python3
# source "$(dirname "$0")/lib-render.sh"
# cache_render_prod_conf "$RUN" "$PORT" "$MODULE"
#
# 只定义函数,不产生副作用(不建目录以外的动作、不启动任何东西)。
# ============================================================================
# 仓库根:按本文件自身位置解析,调用方无需传
CACHE_REPO=$(cd "$(dirname "${BASH_SOURCE[0]}")/../.." && pwd)
# 渲染生产 conf 到 $1(RUN),对外端口 $2(PORT),模块路径 $3(MODULE)。
#
# 改动的只有「机器相关」的东西:模块路径、日志/pid/data/audit/缓存目录、
# 监听端口、worker 数。
# **不改任何业务指令**——所以本渲染跑通 = 生产 conf 跑通。
cache_render_prod_conf() {
local run="$1" port="$2" mod="$3"
local py="${CACHE_PY:-python3}"
mkdir -p "$run"/{conf,data,logs,audit} "$run"/cache/{go,cargo,pypi,npm,maven,docker}
mkdir -p "$run/conf/tls"
cp "$CACHE_REPO/conf/nginx.cache.conf" "$run/conf/"
cp "$CACHE_REPO/conf/server.cache.conf" "$run/conf/"
cp "$CACHE_REPO/conf/cache-routes.conf" "$run/conf/"
cp "$CACHE_REPO/conf/cache-common.conf" "$run/conf/"
cp "$CACHE_REPO/build/nginx-1.30.4/conf/mime.types" "$run/conf/" 2>/dev/null
# 管理台静态资源:cache-routes.conf 的 alias 写的是**相对 prefix** 的 www/,
# 所以测试前缀下要有个 www 能解析到仓库的 www/。
[ -e "$run/www" ] || ln -s "$CACHE_REPO/www" "$run/www"
# ⚠️ 用 python 而非 BSD sed:本机 PATH 上可能有 sed shim,`sed -i ''` 语义会变。
"$py" - "$run" "$mod" "$port" <<'P'
import re, sys, pathlib
run, mod, port = sys.argv[1], sys.argv[2], sys.argv[3]
c = pathlib.Path(run, "conf")
p = c / "nginx.cache.conf"
s = p.read_text()
s = re.sub(r"^load_module .*$", "load_module %s;" % mod, s, flags=re.M)
s = re.sub(r"^\s*error_log .*$", " error_log %s/logs/error.log info;" % run, s, flags=re.M)
s = re.sub(r"^\s*pid .*$", " pid %s/logs/nginx.pid;" % run, s, flags=re.M)
s = re.sub(r"^\s*access_log .*$", " access_log %s/logs/cache.log cache;" % run, s, flags=re.M)
s = re.sub(r"ipass_data_dir .*", "ipass_data_dir %s/data;" % run, s)
s = re.sub(r"ipass_audit_dir .*", "ipass_audit_dir %s/audit;" % run, s)
s = s.replace("/var/cache/ipass-cache", "%s/cache" % run)
s = s.replace("worker_processes auto;", "worker_processes 1;")
s = re.sub(r"^(\s*include )/usr/local/nginx/conf/tls/\*\.conf;",
r"\1%s/conf/tls/*.conf;" % run, s, flags=re.M)
p.write_text(s)
p = c / "server.cache.conf"
s = p.read_text().replace("listen 8080;", "listen %s;" % port)
p.write_text(s)
print(" rendered: nginx.cache.conf / server.cache.conf -> %s (port %s)" % (run, port))
P
}
# 合法**路由名**(= plugin-cache config::ROUTES 的那 8 个)。
# ⚠️ 路由名 ≠ URI 前缀,也 ≠ 生态名,三者在 docker 上最容易混:
# URI 前缀 /v2/ ← 路由名 docker ← 生态 docker
# `route_of_seg` 把首段 `v2` 映射成路由名 `docker`,所以上游表的键是
# **docker**。写成 `v2` 不报错、不告警,只会让该路由恒 503(「上游尚未配置」),
# 看起来像配置没保存。实测踩过,故在此硬校验。
CACHE_ROUTES="go cargo cargo-dl pypi pypi-files npm maven docker"
# 写上游表(等价于管理台「保存」的结果;模块 zone_load 会装载它)。
# $1 = RUN 目录
# $2 = 上游基址,如 http://127.0.0.1:18999
# $3.. = 要配的**路由名**(见上;docker 是 `docker` 不是 `v2`)
# 留空则写空表(所有路由 → 503)。
cache_write_upstreams() {
local run="$1" base="$2"; shift 2
local route out="" sep="" bad=""
for route in "$@"; do
case " $CACHE_ROUTES " in
*" $route "*) ;;
*) bad="$bad $route" ;;
esac
done
if [ -n "$bad" ]; then
echo "❌ 非法路由名:${bad}(合法值:${CACHE_ROUTES};注意 docker 的路由名是 docker,不是 v2)" >&2
return 1
fi
for route in "$@"; do
out="${out}${sep} \"${route}\": { \"base\": \"${base}\", \"key\": \"\",
\"mode\": \"proxy\", \"name\": \"测试上游 ${route}\", \"desc\": \"假上游\",
\"enabled\": true, \"note\": \"\", \"created_at\": 1757500000, \"updated_at\": 1757500000 }"
sep=",
"
done
mkdir -p "$run/data"
{
echo '{'
echo ' "items": {'
printf '%s\n' "$out"
echo ' }'
echo '}'
} > "$run/data/cache-upstreams.json"
# 立刻自检:这个文件是「静默失效」的重灾区——写坏了模块不会报错,
# 只会让所有路由 503(看起来像网关坏了)。
"${CACHE_PY:-python3}" -c 'import json,sys; json.load(open(sys.argv[1]))' \
"$run/data/cache-upstreams.json" 2>/dev/null \
|| { echo "❌ 上游表 JSON 非法:$run/data/cache-upstreams.json" >&2; return 1; }
}