#!/bin/bash # ============================================================================ # test-real-registries.sh —— 对**真实 registry** 按业务类型做一次贯通验证 # # 与另外三个测试脚本的分工: # test-cache.sh Tier1:纯 nginx proxy_cache(本地假上游) # test-ipass-cache.sh Tier2:模块加载 + 记账 + 管理 API(本地假上游) # e2e-auth.sh 鉴权/动态注入/配额(本地假上游) # → 它们证明的是「缓存与鉴权这一层」正确。 # 本脚本把上游换成**真实公网 registry**,证明「各生态的真实协议路径确实能 # 穿过网关、拿到真制品、落盘、二次命中」——这是假上游永远证明不了的部分 # (假上游只回 `ECHO: `,任何真实协议的坑都不会暴露)。 # # 用法(需先有一个跑着的实例,通常是 `dev-server.sh start`): # bash tests/cache/test-real-registries.sh # BASE=http://127.0.0.1:18085 SK=sk_xxx bash tests/cache/test-real-registries.sh # # 可覆盖的环境变量: # BASE 实例入口(默认 http://127.0.0.1:18085) # SK 下游账号 Key(默认取夹具里的 alice) # ADMIN_USER / ADMIN_PASSWORD 管理台账号(默认夹具 admin) # ONLY 只跑指定路由,逗号分隔(如 ONLY=go,npm) # GO_UP / NPM_UP / PIP_UP / MAVEN_UP / CARGO_UP / CARGO_DL_UP / DOCKER_UP # 覆盖各路由的上游基址 # # ⚠️ 本脚本**不**起停实例、也**不** pkill —— 它常跑在「给人看」的实例上, # 按进程名 pkill 会把正在浏览的实例一起打断(见 skill 的说明)。 # ⚠️ 本机有 HTTP_PROXY/HTTPS_PROXY,curl 打 localhost 会被丢给代理 → 假 502, # 所以脚本内 curl 一律 `--noproxy '*'`。 # ⚠️ 清缓存用 `find -delete` 而非 `rm -rf`:本机批量删除护栏会**静默拒绝**大目录的 # `rm -rf`(不报错、不返回非零),于是「首次请求」会命中上一轮副本。 # ============================================================================ set -uo pipefail BASE=${BASE:-http://127.0.0.1:18085} SK=${SK:-sk_alice_aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa} ADMIN_USER=${ADMIN_USER:-admin} ADMIN_PASSWORD=${ADMIN_PASSWORD:-123456} # 夹具 tests/cache/fixtures/users.json 的 admin 口令 ONLY=${ONLY:-} HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd) # 默认上游:官方源在国内不通的两个(go / docker)换成可用镜像。 # 之所以写进默认值而不是让用户配:这两个不通是本机网络环境的常态, # 不换的话「真实测试」会以超时收场,看不出任何结论。 GO_UP=${GO_UP:-https://goproxy.cn} NPM_UP=${NPM_UP:-https://registry.npmjs.org} MAVEN_UP=${MAVEN_UP:-https://repo1.maven.org/maven2} PIP_UP=${PIP_UP:-https://pypi.org} CARGO_UP=${CARGO_UP:-https://index.crates.io} CARGO_DL_UP=${CARGO_DL_UP:-https://static.crates.io} DOCKER_UP=${DOCKER_UP:-https://docker.m.daocloud.io} curl() { command curl -s --noproxy '*' "$@"; } # ---- 业务类型:路由 | 上游基址 | 探测路径 | 说明 | 备注 ---- # 探测路径是**该生态真实客户端会打的协议路径**,不是随便一个能返回 200 的路径: # go : 模块列表(`go list -m -versions` 走这条) # npm : packument(含全部版本与 tarball 地址,最大的响应之一) # maven : maven-metadata.xml(版本列表) # pypi : simple 索引页(HTML,列出所有 wheel/sdist 的**绝对** URL) # cargo : 稀疏索引的 config.json(cargo 启动第一件事) # cargo-dl: .crate 包本体(固定老版本,不会被 yank 掉) # docker : manifest(v2 协议;裸请求 401 = 要求先向 auth.docker.io 换 token,属预期) CASES=$(cat < %-34s active=%s\n" "$route" "$base" "${act:-?}" done echo # ---------- 3. 清空磁盘缓存,保证「首请求」真是 MISS ---------- # 默认按本仓库的交互实例目录推导;换实例时用 CACHE_DIR 覆盖。 CACHE_DIR=${CACHE_DIR:-} if [ -z "$CACHE_DIR" ] && [ -d "$HERE/.run-dev/cache" ]; then CACHE_DIR="$HERE/.run-dev/cache" fi if [ -n "$CACHE_DIR" ] && [ -d "$CACHE_DIR" ]; then # ★★ 只能删**文件**,绝不能删 `cache//` 这些父目录。★★ # nginx 只在**启动时**创建 `cache/`,运行期再按 levels=1:2 建下级目录 # (`cache//<末1位>/<末2-3位>/`)。父目录被删掉后它**不会自愈**: # 此后每次写缓存都是 # [crit] mkdir() ".../cache/go/0" failed (2: No such file or directory) # nginx 随即**直接断开客户端连接**(curl 报 exit 52 Empty reply / code 000), # 于是**所有制品路由 100% 不可用**,直到 reload/重启 nginx。实测踩过: # 首轮真实测试整片 000 就是这个原因,看着像"网关坏了"。 # 注意时机差异:脚本里「先清缓存、再起 nginx」是安全的(启动时会重建目录), # 而**在已运行的实例上清缓存**才危险——本脚本属于后者。 find "$CACHE_DIR" -type f -delete >/dev/null 2>&1 left=$(find "$CACHE_DIR" -type f 2>/dev/null | wc -l | tr -d ' ') if [ "$left" != "0" ]; then echo "❌ 缓存文件没清干净(残留 $left 个):$CACHE_DIR"; exit 1 fi # 自检:各生态目录必须还在(缺了就会触发上面那条 crit) missing="" for e in go cargo pypi npm maven docker; do [ -d "$CACHE_DIR/$e" ] || missing="$missing $e" done if [ -n "$missing" ]; then echo "❌ 缓存目录结构缺失(nginx 不会自愈,会 100% crit 断连):${missing}" echo " 修复:重启实例,或 mkdir -p $(printf '%s ' "$CACHE_DIR"/$missing)" exit 1 fi echo "-- 已清空缓存文件(保留目录结构):$CACHE_DIR --" else echo "-- 未清磁盘缓存(未找到目录,给 CACHE_DIR 指定):若首请求不是 MISS,多半是上一轮的副本 --" fi echo # ---------- 4. 逐生态真实拉取两次 ---------- printf "%-9s %-13s %-13s %-8s %-8s %-5s %s\n" 路由 首请求 二次 首字节 次字节 一致 说明 echo "$CASES" | while IFS='|' read -r route base probe desc; do [ -z "$route" ] && continue want "$route" || continue H1="/tmp/realreg.$route.h1"; B1="/tmp/realreg.$route.b1" H2="/tmp/realreg.$route.h2"; B2="/tmp/realreg.$route.b2" c1=$(curl -s -D "$H1" -o "$B1" -w '%{http_code}' --max-time 90 \ -H "Authorization: Bearer $SK" "$BASE$probe") s1=$(tr -d '\r' < "$H1" | awk 'tolower($1)=="x-cache-status:"{print $2}') z1=$(wc -c < "$B1" | tr -d ' ') c2=$(curl -s -D "$H2" -o "$B2" -w '%{http_code}' --max-time 90 \ -H "Authorization: Bearer $SK" "$BASE$probe") s2=$(tr -d '\r' < "$H2" | awk 'tolower($1)=="x-cache-status:"{print $2}') z2=$(wc -c < "$B2" | tr -d ' ') same=$([ "$z1" = "$z2" ] && cmp -s "$B1" "$B2" && echo yes || echo NO) printf "%-9s %-13s %-13s %-8s %-8s %-5s %s\n" \ "$route" "${c1}/${s1:-?}" "${c2}/${s2:-?}" "${z1}B" "${z2}B" "$same" "$desc" # 判定,按「谁的问题」分层,别把上游/协议的事记到缓存头上: # 401 → v2 协议要求先换 token,裸 curl 拿不到,且 401 不在 proxy_cache_valid # 里(nginx 默认只缓存 200/301/302),所以它必然不 HIT。这是预期,不是缺陷。 # 其余 → 二次必须 HIT(缓存层硬指标),且两次响应体必须一致。 if [ "$c1" = "401" ]; then echo " ⚠️ 上游 401:v2/manifest 需先向 auth 端点换 token(真实客户端会做)," echo " 裸 curl 401 属预期;401 不在 proxy_cache_valid 里,故也不缓存。" elif [ "${s2:-}" != "HIT" ]; then echo " ❌ 第二次不是 HIT(实际 ${s2:-无})—— 缓存没生效或缓存键不稳定" elif [ "$same" != "yes" ]; then echo " ❌ 两次响应体不一致 —— 缓存返回了别的东西" elif [ "$c1" != "200" ]; then echo " ⚠️ 上游 HTTP $c1 —— 探测路径可能已变,需人工确认(非网关问题)" else echo " ✅ MISS→HIT,$z1 字节真制品已落盘" fi rm -f "$H1" "$B1" "$H2" "$B2" done echo echo "==== 完成。逐行 ✅ 即「真实业务类型贯通」 ====" echo "提示:浏览器打开 $BASE/admin 可看到刚配上的上游与命中计数。" rm -f "$CJ"