容量管理: zones.rs 直读 nginx file_cache 共享内存记账(双轴: 磁盘 + keys_zone 索引内存), ?scan=1 扫盘上限 20 万文件; POST /api/admin/cache/purge 整区清理(只删文件不删目录, 根治 [crit] mkdir failed); POST /api/admin/cache/invalidate 按制品精准失效(预览->确认两步式, glob/子串, 删除上限 5000/扫描上限 20 万); GET /api/admin/cache 新增 capacity 块; 前端容量面板 + 按制品失效工具条; 测试 test-cache-capacity.sh 48/48(容量 27 + 精准失效 21, 含 EXPECT_MIN 护栏与前端静态契约); docs 容量管理章节
198 lines
10 KiB
Bash
198 lines
10 KiB
Bash
#!/bin/bash
|
||
# ============================================================================
|
||
# test-real-registries.sh —— 对**真实 registry** 按业务类型做一次贯通验证
|
||
#
|
||
# 与另外三个测试脚本的分工:
|
||
# test-cache.sh Tier1:纯 nginx proxy_cache(本地假上游)
|
||
# test-ipass-cache.sh Tier2:模块加载 + 记账 + 管理 API(本地假上游)
|
||
# e2e-auth.sh 鉴权/动态注入/配额(本地假上游)
|
||
# → 它们证明的是「缓存与鉴权这一层」正确。
|
||
# 本脚本把上游换成**真实公网 registry**,证明「各生态的真实协议路径确实能
|
||
# 穿过网关、拿到真制品、落盘、二次命中」——这是假上游永远证明不了的部分
|
||
# (假上游只回 `ECHO:<method> <path>`,任何真实协议的坑都不会暴露)。
|
||
#
|
||
# 用法(需先有一个跑着的实例,通常是 `dev-server.sh start`):
|
||
# bash tests/cache/test-real-registries.sh
|
||
# BASE=http://127.0.0.1:18085 SK=sk_xxx bash tests/cache/test-real-registries.sh
|
||
#
|
||
# 可覆盖的环境变量:
|
||
# BASE 实例入口(默认 http://127.0.0.1:18085)
|
||
# SK 下游账号 Key(默认取夹具里的 alice)
|
||
# ADMIN_USER / ADMIN_PASSWORD 管理台账号(默认夹具 admin)
|
||
# ONLY 只跑指定路由,逗号分隔(如 ONLY=go,npm)
|
||
# GO_UP / NPM_UP / PIP_UP / MAVEN_UP / CARGO_UP / CARGO_DL_UP / DOCKER_UP
|
||
# 覆盖各路由的上游基址
|
||
#
|
||
# ⚠️ 本脚本**不**起停实例、也**不** pkill —— 它常跑在「给人看」的实例上,
|
||
# 按进程名 pkill 会把正在浏览的实例一起打断(见 skill 的说明)。
|
||
# ⚠️ 本机有 HTTP_PROXY/HTTPS_PROXY,curl 打 localhost 会被丢给代理 → 假 502,
|
||
# 所以脚本内 curl 一律 `--noproxy '*'`。
|
||
# ⚠️ 清缓存用 `find -delete` 而非 `rm -rf`:本机批量删除护栏会**静默拒绝**大目录的
|
||
# `rm -rf`(不报错、不返回非零),于是「首次请求」会命中上一轮副本。
|
||
# ============================================================================
|
||
set -uo pipefail
|
||
|
||
BASE=${BASE:-http://127.0.0.1:18085}
|
||
SK=${SK:-sk_alice_aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa}
|
||
ADMIN_USER=${ADMIN_USER:-admin}
|
||
ADMIN_PASSWORD=${ADMIN_PASSWORD:-123456} # 夹具 tests/cache/fixtures/users.json 的 admin 口令
|
||
ONLY=${ONLY:-}
|
||
HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
|
||
|
||
# 默认上游:官方源在国内不通的两个(go / docker)换成可用镜像。
|
||
# 之所以写进默认值而不是让用户配:这两个不通是本机网络环境的常态,
|
||
# 不换的话「真实测试」会以超时收场,看不出任何结论。
|
||
GO_UP=${GO_UP:-https://goproxy.cn}
|
||
NPM_UP=${NPM_UP:-https://registry.npmjs.org}
|
||
MAVEN_UP=${MAVEN_UP:-https://repo1.maven.org/maven2}
|
||
PIP_UP=${PIP_UP:-https://pypi.org}
|
||
CARGO_UP=${CARGO_UP:-https://index.crates.io}
|
||
CARGO_DL_UP=${CARGO_DL_UP:-https://static.crates.io}
|
||
DOCKER_UP=${DOCKER_UP:-https://docker.m.daocloud.io}
|
||
|
||
curl() { command curl -s --noproxy '*' "$@"; }
|
||
|
||
# ---- 业务类型:路由 | 上游基址 | 探测路径 | 说明 | 备注 ----
|
||
# 探测路径是**该生态真实客户端会打的协议路径**,不是随便一个能返回 200 的路径:
|
||
# go : 模块列表(`go list -m -versions` 走这条)
|
||
# npm : packument(含全部版本与 tarball 地址,最大的响应之一)
|
||
# maven : maven-metadata.xml(版本列表)
|
||
# pypi : simple 索引页(HTML,列出所有 wheel/sdist 的**绝对** URL)
|
||
# cargo : 稀疏索引的 config.json(cargo 启动第一件事)
|
||
# cargo-dl: .crate 包本体(固定老版本,不会被 yank 掉)
|
||
# docker : manifest(v2 协议;裸请求 401 = 要求先向 auth.docker.io 换 token,属预期)
|
||
CASES=$(cat <<EOF
|
||
go|$GO_UP|/go/golang.org/x/text/@v/list|模块版本列表
|
||
npm|$NPM_UP|/npm/lodash|packument(全版本 JSON)
|
||
maven|$MAVEN_UP|/maven/org/apache/commons/commons-lang3/maven-metadata.xml|版本元数据
|
||
pypi|$PIP_UP|/pypi/simple/requests/|simple 索引页
|
||
cargo|$CARGO_UP|/cargo/config.json|稀疏索引 config
|
||
cargo-dl|$CARGO_DL_UP|/cargo-dl/crates/serde/serde-1.0.0.crate|.crate 包本体
|
||
docker|$DOCKER_UP|/v2/library/alpine/manifests/latest|manifest(需 token 舞)
|
||
EOF
|
||
)
|
||
|
||
want() { # 路由是否在 ONLY 白名单里
|
||
[ -z "$ONLY" ] && return 0
|
||
case ",$ONLY," in *",$1,"*) return 0 ;; *) return 1 ;; esac
|
||
}
|
||
|
||
echo "==== 真实 registry 贯通测试 (BASE=$BASE) ===="
|
||
|
||
# ---------- 0. 实例可达 ----------
|
||
if ! curl -s -o /dev/null --max-time 3 "$BASE/admin"; then
|
||
echo "❌ 实例不可达:$BASE —— 先起实例(bash tests/cache/dev-server.sh start)"; exit 1
|
||
fi
|
||
echo "实例可达 ✅"
|
||
|
||
# ---------- 1. 登录 ----------
|
||
CJ=$(mktemp -t realreg-cj.XXXXXX)
|
||
lg=$(curl -s -o /dev/null -w '%{http_code}' -c "$CJ" \
|
||
-X POST -H 'Content-Type: application/json' \
|
||
-d "{\"username\":\"$ADMIN_USER\",\"password\":\"$ADMIN_PASSWORD\"}" \
|
||
"$BASE/api/admin/login")
|
||
if [ "$lg" != "200" ]; then
|
||
echo "❌ 管理台登录失败(HTTP ${lg}):检查 ADMIN_USER / ADMIN_PASSWORD"; exit 1
|
||
fi
|
||
echo "管理台登录 ✅"
|
||
echo
|
||
|
||
# ---------- 2. 逐路由配上真实上游(走管理 API,与 UI 同一条路)----------
|
||
echo "-- 配置上游(管理 API,POST /api/admin/cache/save)--"
|
||
echo "$CASES" | while IFS='|' read -r route base probe desc; do
|
||
[ -z "$route" ] && continue
|
||
want "$route" || continue
|
||
r=$(curl -s -b "$CJ" -X POST -H 'Content-Type: application/json' \
|
||
-d "{\"route\":\"$route\",\"base\":\"$base\",\"enabled\":true,\"name\":\"真实:$desc\",\"desc\":\"$probe\"}" \
|
||
"$BASE/api/admin/cache/save")
|
||
act=$(echo "$r" | sed -n 's/.*"active":\([a-z]*\).*/\1/p')
|
||
printf " %-9s -> %-34s active=%s\n" "$route" "$base" "${act:-?}"
|
||
done
|
||
echo
|
||
|
||
# ---------- 3. 清空磁盘缓存,保证「首请求」真是 MISS ----------
|
||
# 默认按本仓库的交互实例目录推导;换实例时用 CACHE_DIR 覆盖。
|
||
CACHE_DIR=${CACHE_DIR:-}
|
||
if [ -z "$CACHE_DIR" ] && [ -d "$HERE/.run-dev/cache" ]; then
|
||
CACHE_DIR="$HERE/.run-dev/cache"
|
||
fi
|
||
if [ -n "$CACHE_DIR" ] && [ -d "$CACHE_DIR" ]; then
|
||
# ★★ 只能删**文件**,绝不能删 `cache/<eco>/` 这些父目录。★★
|
||
# nginx 只在**启动时**创建 `cache/<eco>`,运行期再按 levels=1:2 建下级目录
|
||
# (`cache/<eco>/<末1位>/<末2-3位>/<hash>`)。父目录被删掉后它**不会自愈**:
|
||
# 此后每次写缓存都是
|
||
# [crit] mkdir() ".../cache/go/0" failed (2: No such file or directory)
|
||
# nginx 随即**直接断开客户端连接**(curl 报 exit 52 Empty reply / code 000),
|
||
# 于是**所有制品路由 100% 不可用**,直到 reload/重启 nginx。实测踩过:
|
||
# 首轮真实测试整片 000 就是这个原因,看着像"网关坏了"。
|
||
# 注意时机差异:脚本里「先清缓存、再起 nginx」是安全的(启动时会重建目录),
|
||
# 而**在已运行的实例上清缓存**才危险——本脚本属于后者。
|
||
find "$CACHE_DIR" -type f -delete >/dev/null 2>&1
|
||
left=$(find "$CACHE_DIR" -type f 2>/dev/null | wc -l | tr -d ' ')
|
||
if [ "$left" != "0" ]; then
|
||
echo "❌ 缓存文件没清干净(残留 $left 个):$CACHE_DIR"; exit 1
|
||
fi
|
||
# 自检:各生态目录必须还在(缺了就会触发上面那条 crit)
|
||
missing=""
|
||
for e in go cargo pypi npm maven docker; do
|
||
[ -d "$CACHE_DIR/$e" ] || missing="$missing $e"
|
||
done
|
||
if [ -n "$missing" ]; then
|
||
echo "❌ 缓存目录结构缺失(nginx 不会自愈,会 100% crit 断连):${missing}"
|
||
echo " 修复:重启实例,或 mkdir -p $(printf '%s ' "$CACHE_DIR"/$missing)"
|
||
exit 1
|
||
fi
|
||
echo "-- 已清空缓存文件(保留目录结构):$CACHE_DIR --"
|
||
else
|
||
echo "-- 未清磁盘缓存(未找到目录,给 CACHE_DIR 指定):若首请求不是 MISS,多半是上一轮的副本 --"
|
||
fi
|
||
echo
|
||
|
||
# ---------- 4. 逐生态真实拉取两次 ----------
|
||
printf "%-9s %-13s %-13s %-8s %-8s %-5s %s\n" 路由 首请求 二次 首字节 次字节 一致 说明
|
||
echo "$CASES" | while IFS='|' read -r route base probe desc; do
|
||
[ -z "$route" ] && continue
|
||
want "$route" || continue
|
||
|
||
H1="/tmp/realreg.$route.h1"; B1="/tmp/realreg.$route.b1"
|
||
H2="/tmp/realreg.$route.h2"; B2="/tmp/realreg.$route.b2"
|
||
|
||
c1=$(curl -s -D "$H1" -o "$B1" -w '%{http_code}' --max-time 90 \
|
||
-H "Authorization: Bearer $SK" "$BASE$probe")
|
||
s1=$(tr -d '\r' < "$H1" | awk 'tolower($1)=="x-cache-status:"{print $2}')
|
||
z1=$(wc -c < "$B1" | tr -d ' ')
|
||
|
||
c2=$(curl -s -D "$H2" -o "$B2" -w '%{http_code}' --max-time 90 \
|
||
-H "Authorization: Bearer $SK" "$BASE$probe")
|
||
s2=$(tr -d '\r' < "$H2" | awk 'tolower($1)=="x-cache-status:"{print $2}')
|
||
z2=$(wc -c < "$B2" | tr -d ' ')
|
||
|
||
same=$([ "$z1" = "$z2" ] && cmp -s "$B1" "$B2" && echo yes || echo NO)
|
||
|
||
printf "%-9s %-13s %-13s %-8s %-8s %-5s %s\n" \
|
||
"$route" "${c1}/${s1:-?}" "${c2}/${s2:-?}" "${z1}B" "${z2}B" "$same" "$desc"
|
||
|
||
# 判定,按「谁的问题」分层,别把上游/协议的事记到缓存头上:
|
||
# 401 → v2 协议要求先换 token,裸 curl 拿不到,且 401 不在 proxy_cache_valid
|
||
# 里(nginx 默认只缓存 200/301/302),所以它必然不 HIT。这是预期,不是缺陷。
|
||
# 其余 → 二次必须 HIT(缓存层硬指标),且两次响应体必须一致。
|
||
if [ "$c1" = "401" ]; then
|
||
echo " ⚠️ 上游 401:v2/manifest 需先向 auth 端点换 token(真实客户端会做),"
|
||
echo " 裸 curl 401 属预期;401 不在 proxy_cache_valid 里,故也不缓存。"
|
||
elif [ "${s2:-}" != "HIT" ]; then
|
||
echo " ❌ 第二次不是 HIT(实际 ${s2:-无})—— 缓存没生效或缓存键不稳定"
|
||
elif [ "$same" != "yes" ]; then
|
||
echo " ❌ 两次响应体不一致 —— 缓存返回了别的东西"
|
||
elif [ "$c1" != "200" ]; then
|
||
echo " ⚠️ 上游 HTTP $c1 —— 探测路径可能已变,需人工确认(非网关问题)"
|
||
else
|
||
echo " ✅ MISS→HIT,$z1 字节真制品已落盘"
|
||
fi
|
||
rm -f "$H1" "$B1" "$H2" "$B2"
|
||
done
|
||
|
||
echo
|
||
echo "==== 完成。逐行 ✅ 即「真实业务类型贯通」 ===="
|
||
echo "提示:浏览器打开 $BASE/admin 可看到刚配上的上游与命中计数。"
|
||
rm -f "$CJ"
|