Files
ipass-plugin-cache/tests/cache/test-real-registries.sh
T
ssw 43718bd0c4 iPass cache gateway 源码
容量管理: zones.rs 直读 nginx file_cache 共享内存记账(双轴: 磁盘 + keys_zone 索引内存), ?scan=1 扫盘上限 20 万文件; POST /api/admin/cache/purge 整区清理(只删文件不删目录, 根治 [crit] mkdir failed); POST /api/admin/cache/invalidate 按制品精准失效(预览->确认两步式, glob/子串, 删除上限 5000/扫描上限 20 万); GET /api/admin/cache 新增 capacity 块; 前端容量面板 + 按制品失效工具条; 测试 test-cache-capacity.sh 48/48(容量 27 + 精准失效 21, 含 EXPECT_MIN 护栏与前端静态契约); docs 容量管理章节
2026-09-21 09:25:11 +08:00

198 lines
10 KiB
Bash
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================================
# test-real-registries.sh —— 对**真实 registry** 按业务类型做一次贯通验证
#
# 与另外三个测试脚本的分工:
# test-cache.sh Tier1:纯 nginx proxy_cache(本地假上游)
# test-ipass-cache.sh Tier2:模块加载 + 记账 + 管理 API(本地假上游)
# e2e-auth.sh 鉴权/动态注入/配额(本地假上游)
# → 它们证明的是「缓存与鉴权这一层」正确。
# 本脚本把上游换成**真实公网 registry**,证明「各生态的真实协议路径确实能
# 穿过网关、拿到真制品、落盘、二次命中」——这是假上游永远证明不了的部分
# (假上游只回 `ECHO:<method> <path>`,任何真实协议的坑都不会暴露)。
#
# 用法(需先有一个跑着的实例,通常是 `dev-server.sh start`):
# bash tests/cache/test-real-registries.sh
# BASE=http://127.0.0.1:18085 SK=sk_xxx bash tests/cache/test-real-registries.sh
#
# 可覆盖的环境变量:
# BASE 实例入口(默认 http://127.0.0.1:18085)
# SK 下游账号 Key(默认取夹具里的 alice)
# ADMIN_USER / ADMIN_PASSWORD 管理台账号(默认夹具 admin)
# ONLY 只跑指定路由,逗号分隔(如 ONLY=go,npm)
# GO_UP / NPM_UP / PIP_UP / MAVEN_UP / CARGO_UP / CARGO_DL_UP / DOCKER_UP
# 覆盖各路由的上游基址
#
# ⚠️ 本脚本**不**起停实例、也**不** pkill —— 它常跑在「给人看」的实例上,
# 按进程名 pkill 会把正在浏览的实例一起打断(见 skill 的说明)。
# ⚠️ 本机有 HTTP_PROXY/HTTPS_PROXY,curl 打 localhost 会被丢给代理 → 假 502,
# 所以脚本内 curl 一律 `--noproxy '*'`。
# ⚠️ 清缓存用 `find -delete` 而非 `rm -rf`:本机批量删除护栏会**静默拒绝**大目录的
# `rm -rf`(不报错、不返回非零),于是「首次请求」会命中上一轮副本。
# ============================================================================
set -uo pipefail
BASE=${BASE:-http://127.0.0.1:18085}
SK=${SK:-sk_alice_aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa}
ADMIN_USER=${ADMIN_USER:-admin}
ADMIN_PASSWORD=${ADMIN_PASSWORD:-123456} # 夹具 tests/cache/fixtures/users.json 的 admin 口令
ONLY=${ONLY:-}
HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
# 默认上游:官方源在国内不通的两个(go / docker)换成可用镜像。
# 之所以写进默认值而不是让用户配:这两个不通是本机网络环境的常态,
# 不换的话「真实测试」会以超时收场,看不出任何结论。
GO_UP=${GO_UP:-https://goproxy.cn}
NPM_UP=${NPM_UP:-https://registry.npmjs.org}
MAVEN_UP=${MAVEN_UP:-https://repo1.maven.org/maven2}
PIP_UP=${PIP_UP:-https://pypi.org}
CARGO_UP=${CARGO_UP:-https://index.crates.io}
CARGO_DL_UP=${CARGO_DL_UP:-https://static.crates.io}
DOCKER_UP=${DOCKER_UP:-https://docker.m.daocloud.io}
curl() { command curl -s --noproxy '*' "$@"; }
# ---- 业务类型:路由 | 上游基址 | 探测路径 | 说明 | 备注 ----
# 探测路径是**该生态真实客户端会打的协议路径**,不是随便一个能返回 200 的路径:
# go : 模块列表(`go list -m -versions` 走这条)
# npm : packument(含全部版本与 tarball 地址,最大的响应之一)
# maven : maven-metadata.xml(版本列表)
# pypi : simple 索引页(HTML,列出所有 wheel/sdist 的**绝对** URL)
# cargo : 稀疏索引的 config.json(cargo 启动第一件事)
# cargo-dl: .crate 包本体(固定老版本,不会被 yank 掉)
# docker : manifest(v2 协议;裸请求 401 = 要求先向 auth.docker.io 换 token,属预期)
CASES=$(cat <<EOF
go|$GO_UP|/go/golang.org/x/text/@v/list|模块版本列表
npm|$NPM_UP|/npm/lodash|packument(全版本 JSON)
maven|$MAVEN_UP|/maven/org/apache/commons/commons-lang3/maven-metadata.xml|版本元数据
pypi|$PIP_UP|/pypi/simple/requests/|simple 索引页
cargo|$CARGO_UP|/cargo/config.json|稀疏索引 config
cargo-dl|$CARGO_DL_UP|/cargo-dl/crates/serde/serde-1.0.0.crate|.crate 包本体
docker|$DOCKER_UP|/v2/library/alpine/manifests/latest|manifest(需 token 舞)
EOF
)
want() { # 路由是否在 ONLY 白名单里
[ -z "$ONLY" ] && return 0
case ",$ONLY," in *",$1,"*) return 0 ;; *) return 1 ;; esac
}
echo "==== 真实 registry 贯通测试 (BASE=$BASE) ===="
# ---------- 0. 实例可达 ----------
if ! curl -s -o /dev/null --max-time 3 "$BASE/admin"; then
echo "❌ 实例不可达:$BASE —— 先起实例(bash tests/cache/dev-server.sh start)"; exit 1
fi
echo "实例可达 ✅"
# ---------- 1. 登录 ----------
CJ=$(mktemp -t realreg-cj.XXXXXX)
lg=$(curl -s -o /dev/null -w '%{http_code}' -c "$CJ" \
-X POST -H 'Content-Type: application/json' \
-d "{\"username\":\"$ADMIN_USER\",\"password\":\"$ADMIN_PASSWORD\"}" \
"$BASE/api/admin/login")
if [ "$lg" != "200" ]; then
echo "❌ 管理台登录失败(HTTP ${lg}):检查 ADMIN_USER / ADMIN_PASSWORD"; exit 1
fi
echo "管理台登录 ✅"
echo
# ---------- 2. 逐路由配上真实上游(走管理 API,与 UI 同一条路)----------
echo "-- 配置上游(管理 API,POST /api/admin/cache/save)--"
echo "$CASES" | while IFS='|' read -r route base probe desc; do
[ -z "$route" ] && continue
want "$route" || continue
r=$(curl -s -b "$CJ" -X POST -H 'Content-Type: application/json' \
-d "{\"route\":\"$route\",\"base\":\"$base\",\"enabled\":true,\"name\":\"真实:$desc\",\"desc\":\"$probe\"}" \
"$BASE/api/admin/cache/save")
act=$(echo "$r" | sed -n 's/.*"active":\([a-z]*\).*/\1/p')
printf " %-9s -> %-34s active=%s\n" "$route" "$base" "${act:-?}"
done
echo
# ---------- 3. 清空磁盘缓存,保证「首请求」真是 MISS ----------
# 默认按本仓库的交互实例目录推导;换实例时用 CACHE_DIR 覆盖。
CACHE_DIR=${CACHE_DIR:-}
if [ -z "$CACHE_DIR" ] && [ -d "$HERE/.run-dev/cache" ]; then
CACHE_DIR="$HERE/.run-dev/cache"
fi
if [ -n "$CACHE_DIR" ] && [ -d "$CACHE_DIR" ]; then
# ★★ 只能删**文件**,绝不能删 `cache/<eco>/` 这些父目录。★★
# nginx 只在**启动时**创建 `cache/<eco>`,运行期再按 levels=1:2 建下级目录
# (`cache/<eco>/<末1位>/<末2-3位>/<hash>`)。父目录被删掉后它**不会自愈**:
# 此后每次写缓存都是
# [crit] mkdir() ".../cache/go/0" failed (2: No such file or directory)
# nginx 随即**直接断开客户端连接**(curl 报 exit 52 Empty reply / code 000),
# 于是**所有制品路由 100% 不可用**,直到 reload/重启 nginx。实测踩过:
# 首轮真实测试整片 000 就是这个原因,看着像"网关坏了"。
# 注意时机差异:脚本里「先清缓存、再起 nginx」是安全的(启动时会重建目录),
# 而**在已运行的实例上清缓存**才危险——本脚本属于后者。
find "$CACHE_DIR" -type f -delete >/dev/null 2>&1
left=$(find "$CACHE_DIR" -type f 2>/dev/null | wc -l | tr -d ' ')
if [ "$left" != "0" ]; then
echo "❌ 缓存文件没清干净(残留 $left 个):$CACHE_DIR"; exit 1
fi
# 自检:各生态目录必须还在(缺了就会触发上面那条 crit)
missing=""
for e in go cargo pypi npm maven docker; do
[ -d "$CACHE_DIR/$e" ] || missing="$missing $e"
done
if [ -n "$missing" ]; then
echo "❌ 缓存目录结构缺失(nginx 不会自愈,会 100% crit 断连):${missing}"
echo " 修复:重启实例,或 mkdir -p $(printf '%s ' "$CACHE_DIR"/$missing)"
exit 1
fi
echo "-- 已清空缓存文件(保留目录结构):$CACHE_DIR --"
else
echo "-- 未清磁盘缓存(未找到目录,给 CACHE_DIR 指定):若首请求不是 MISS,多半是上一轮的副本 --"
fi
echo
# ---------- 4. 逐生态真实拉取两次 ----------
printf "%-9s %-13s %-13s %-8s %-8s %-5s %s\n" 路由 首请求 二次 首字节 次字节 一致 说明
echo "$CASES" | while IFS='|' read -r route base probe desc; do
[ -z "$route" ] && continue
want "$route" || continue
H1="/tmp/realreg.$route.h1"; B1="/tmp/realreg.$route.b1"
H2="/tmp/realreg.$route.h2"; B2="/tmp/realreg.$route.b2"
c1=$(curl -s -D "$H1" -o "$B1" -w '%{http_code}' --max-time 90 \
-H "Authorization: Bearer $SK" "$BASE$probe")
s1=$(tr -d '\r' < "$H1" | awk 'tolower($1)=="x-cache-status:"{print $2}')
z1=$(wc -c < "$B1" | tr -d ' ')
c2=$(curl -s -D "$H2" -o "$B2" -w '%{http_code}' --max-time 90 \
-H "Authorization: Bearer $SK" "$BASE$probe")
s2=$(tr -d '\r' < "$H2" | awk 'tolower($1)=="x-cache-status:"{print $2}')
z2=$(wc -c < "$B2" | tr -d ' ')
same=$([ "$z1" = "$z2" ] && cmp -s "$B1" "$B2" && echo yes || echo NO)
printf "%-9s %-13s %-13s %-8s %-8s %-5s %s\n" \
"$route" "${c1}/${s1:-?}" "${c2}/${s2:-?}" "${z1}B" "${z2}B" "$same" "$desc"
# 判定,按「谁的问题」分层,别把上游/协议的事记到缓存头上:
# 401 → v2 协议要求先换 token,裸 curl 拿不到,且 401 不在 proxy_cache_valid
# 里(nginx 默认只缓存 200/301/302),所以它必然不 HIT。这是预期,不是缺陷。
# 其余 → 二次必须 HIT(缓存层硬指标),且两次响应体必须一致。
if [ "$c1" = "401" ]; then
echo " ⚠️ 上游 401:v2/manifest 需先向 auth 端点换 token(真实客户端会做),"
echo " 裸 curl 401 属预期;401 不在 proxy_cache_valid 里,故也不缓存。"
elif [ "${s2:-}" != "HIT" ]; then
echo " ❌ 第二次不是 HIT(实际 ${s2:-无})—— 缓存没生效或缓存键不稳定"
elif [ "$same" != "yes" ]; then
echo " ❌ 两次响应体不一致 —— 缓存返回了别的东西"
elif [ "$c1" != "200" ]; then
echo " ⚠️ 上游 HTTP $c1 —— 探测路径可能已变,需人工确认(非网关问题)"
else
echo " ✅ MISS→HIT,$z1 字节真制品已落盘"
fi
rm -f "$H1" "$B1" "$H2" "$B2"
done
echo
echo "==== 完成。逐行 ✅ 即「真实业务类型贯通」 ===="
echo "提示:浏览器打开 $BASE/admin 可看到刚配上的上游与命中计数。"
rm -f "$CJ"