#!/bin/bash # ============================================================================ # e2e-auth.sh —— 统一缓存网关的「统一 Key + 动态上游 + 磁盘缓存」端到端回归 # # 与既有 run.sh / test-cache.sh 的区别:那两个跑的是**静态上游版** conf # (proxy_pass 写死 https://上游)。本脚本跑的是**变量上游版** # (proxy_pass $cache_target + 上游表来自共享内存),也就是「UI 配上游 + # 动态注入」这条链路,覆盖: # # [1] conf 能起(变量式 proxy_pass + resolver + ssl 模块在编 + alias www/) # [2] 未配上游的路由 → 503(而不是空 $cache_target 导致的 500) # [3] 缺 Key → 401;错的 Key → 401 # [4] 对的路由 + 对的下行 sk_ → 200,且**路径前缀被正确剥掉**转发给上游 # [5] 同一个 URL 第二次 → HIT 且**不再回源**(读假上游请求日志断言) # [6] 上游收到的是配置里的 Authorization,**不是**网关自己的 sk_ # [7] 配额与 LLM/apix 共用一把(carol 的 llm_rpm=2 → 第 3 次 429) # [8] 管理台页面可达;管理 API 无会话 → 401;账号态 API 带 sk_ → 200 # [9] 管理台**运行时**配上游(POST /api/admin/cache/save)→ 下一个请求 # 立即生效、不需 reload/重启(「动态注入」的验收点) # # 用法:bash tests/cache/e2e-auth.sh # 只动 tests/cache/.run-auth 与两个临时端口,可重复跑。 # # ⚠️ 两个移植性坑(本脚本已规避,改脚本时别踩回去): # 1. 不要用 `sed -i ''` 做批量替换:本机虽有 BSD sed,但 PATH 上可能被 # 注入 shim,`-i ''` 的语义会变(报 `sed: : No such file or directory`)。 # 这里一律用 python 读写文件。 # 2. macOS 自带 bash 3.2 会把紧跟 `$var` 之后的多字节字符算进变量名 # (`echo "${c2})"` → `c2?: unbound variable`)。变量后紧跟中文时必须写 # `${c2}`。 # ============================================================================ set -uo pipefail # ⚠️ 本机环境里设了 HTTP_PROXY / HTTPS_PROXY(指向 127.0.0.1:57869 的本地代理)。 # curl 会把 `http://127.0.0.1:<随机端口>` 这种地址也丢给代理,代理连不上就回 # 502 —— 表现为「网关全是 502」的假失败,与网关本身无关。统一强制不走代理, # 同时 JSON 体里那个 "upstream connect failed..." 也是代理的错误页而不是网关的。 curl() { command curl --noproxy '*' "$@"; } HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd) REPO=$(cd "$HERE/../.." && pwd) RUN="$HERE/.run-auth" NGX="$REPO/build/nginx-1.30.4/objs/nginx" MOD="$REPO/rust/target/debug/libipass_gateway.dylib" # 受管 python(隔离目录);退回系统 python3 PY=/Users/rong/.workbuddy/binaries/python/versions/3.13.12/bin/python3 [ -x "$PY" ] || PY=$(command -v python3) pick_port() { "$PY" <<'P' import socket s = socket.socket(); s.bind(("127.0.0.1", 0)); print(s.getsockname()[1]); s.close() P } PORT=${CACHE_TEST_PORT:-$(pick_port)} UP_PORT=${UPSTREAM_PORT:-$(pick_port)} ADMIN_PW=${ADMIN_INIT_PASSWORD:-Auth-e2e-2026} ALICE=sk_alice_aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa CAROL=sk_carol_cccccccccccccccccccccccccccccccccccccccccccccc pass=0; fail=0 ok() { echo " ✅ $1"; pass=$((pass+1)); } bad() { echo " ❌ $1"; fail=$((fail+1)); } check(){ if [ "$2" = "$3" ]; then ok "$1(${2})"; else bad "$1:期望 ${3},实际 ${2}"; fi } echo "== 0. 准备独立前缀(端口 nginx=${PORT} 上游=${UP_PORT})==" [ -x "$NGX" ] || { echo "缺少 nginx:${NGX}(先跑 build/build-nginx-ssl.sh)"; exit 1; } [ -f "$MOD" ] || { echo "缺少模块:${MOD}(先 cargo build)"; exit 1; } [ -x "$PY" ] || { echo "缺少 python3"; exit 1; } mkdir -p "$RUN"/{conf,data,logs,audit} "$RUN"/cache/{go,cargo,pypi,npm,maven,docker} # ⚠️ 必须清掉上一次运行留下的磁盘缓存。缓存目录在 .run-auth 下跨次留存, # 不清的话「断言上游收到了什么请求」会静默失效——请求直接命中上次的副本、 # 根本不回源,UP_LOG 是空的,于是 grep 恒不匹配,报出来的却是「上游没收/ # 下发了头」这类假故障(实测:第二次跑必挂在 step 9)。 # find -delete 只作用于本次测试自己的 cache/ 子树。 # ⚠️ 别改成 `rm -rf "$RUN"`:本机批量删除护栏超阈值会**拒绝整个删除且不报错**, # 于是上一轮副本存活 → 首次请求全是 HIT 的假失败。 find "$RUN/cache" -type f -delete >/dev/null # 自检:清完必须为空。否则「本次是 MISS」的断言会静默失真(读不到上游日志)。 if [ -n "$(find "$RUN/cache" -type f -print -quit 2>/dev/null)" ]; then echo "❌ 缓存目录没清干净($RUN/cache)——上游日志类断言不可信" >&2; exit 1 fi cp "$HERE/fixtures/users.json" "$RUN/data/users.json" # conf 渲染:借 lib-render.sh(与 Tier2 / dev-server 同一套渲染器)。 # ★ 这里**刻意不再自己写一份**:曾因为两个脚本各抄一份,生产 conf 换成变量 # 上游后 Tier2 仍在按静态上游渲染、整层挂掉。要改渲染规则就改 lib-render.sh。 CACHE_PY="$PY"; export CACHE_PY # shellcheck source=tests/cache/lib-render.sh source "$HERE/lib-render.sh" cache_render_prod_conf "$RUN" "$PORT" "$MOD" # 上游表:直接写文件(等价于管理台「保存」的结果——模块 zone_load 会装载它)。 # 只配 go / cargo 两条,**故意留 npm 不配**,用于验证「未配 = 503」。 cat > "$RUN/data/cache-upstreams.json" < "$UP_LOG" UPSTREAM_LOG="$UP_LOG" UPSTREAM_PORT="$UP_PORT" \ "$PY" "$HERE/mock_upstream.py" > "$RUN/logs/upstream.out" 2>&1 & UP_PID=$! for _ in 1 2 3 4 5 6 7 8 9 10; do curl -s -o /dev/null "http://127.0.0.1:${UP_PORT}/__ready" && break sleep 0.3 done kill -0 "$UP_PID" 2>/dev/null && ok "假上游已起(pid ${UP_PID})" || bad "假上游没起来" cleanup() { "$NGX" -p "$RUN" -c conf/nginx.cache.conf -s quit >/dev/null 2>&1 kill "$UP_PID" >/dev/null 2>&1 } trap cleanup EXIT echo "== 2. nginx -t(变量上游版 conf)==" "$NGX" -p "$RUN" -c conf/nginx.cache.conf -t 2>&1 | sed 's/^/ /' "$NGX" -p "$RUN" -c conf/nginx.cache.conf -t >/dev/null 2>&1 && ok "配置语法通过" || bad "配置语法失败" echo "== 3. 启动 ==" ADMIN_INIT_PASSWORD="$ADMIN_PW" "$NGX" -p "$RUN" -c conf/nginx.cache.conf sleep 1 B="http://127.0.0.1:${PORT}" code() { curl -s -o /dev/null -w '%{http_code}' "$@"; } echo "== 4. 管理台与 API ==" check "GET /admin 页面可达" "$(code "$B/admin")" "200" curl -s "$B/admin" | grep -q "制品缓存" && ok "页面含「制品缓存」(www alias 生效)" || bad "页面内容不对(alias www/ 解析错?)" check "GET / 302 到 /admin" "$(code "$B/")" "302" check "管理 API 无会话 → 401" "$(code "$B/api/admin/cache")" "401" check "账号态 stats 无 Key → 401" "$(code "$B/api/v1/cache/stats")" "401" check "账号态 stats 带 sk_ → 200" "$(code -H "X-API-Key: ${ALICE}" "$B/api/v1/cache/stats")" "200" echo "== 5. 未配上游的路由 → 503(不是 500)==" check "GET /npm/ 未配上游" "$(code -H "Authorization: Bearer ${ALICE}" "$B/npm/foo")" "503" echo "== 6. 鉴权:缺 Key / 错 Key ==" check "GET /go/ 无 Key" "$(code "$B/go/@v/list")" "401" check "GET /go/ 错 Key" "$(code -H 'Authorization: Bearer sk_nope' "$B/go/@v/list")" "401" check "GET /go/ x-api-key 携带位可用" "$(code -H "x-api-key: ${ALICE}" "$B/go/@v/list")" "200" echo "== 7. 动态上游注入:路径前缀剥离 + query 进键 + 上游 Host ==" : > "$UP_LOG" # ⚠️ 必须断言这次是 MISS。step 6 已经拉过 `/go/@v/list`(无 query),如果 # query 没进缓存键,这次带 `?x=1` 的请求会**直接命中上一步的缓存**: # 既不回源(UP_LOG 是空的),返回体也是没 query 那条 —— 于是下面两条 # 「路径不对 / 没收到 Authorization」会一起报错,看起来像转发坏了, # 实际上是缓存键不完整。用 MISS 把这两类故障分开定位。 curl -s -o "$RUN/logs/h7.body" -D "$RUN/logs/h7.head" \ -H "Authorization: Bearer ${ALICE}" "$B/go/@v/list?x=1" body=$(cat "$RUN/logs/h7.body") st7=$(tr -d '\r' < "$RUN/logs/h7.head" | awk 'tolower($1)=="x-cache-status:"{print $2}') echo " 上游返回体: ${body}" check "带 query 的首次请求是 MISS(query 参与缓存键)" "$st7" "MISS" case "$body" in "ECHO:GET /@v/list?x=1") ok "上游收到的是剥掉 /go 之后的路径,且 query 未被吞" ;; *) bad "上游收到的路径不对(期望 ECHO:GET /@v/list?x=1)" ;; esac if grep -q "auth=Bearer upstream-secret-token" "$UP_LOG"; then ok "上游收到配置里的 Authorization" else bad "上游没收到配置的 Authorization(实际:$(cat "$UP_LOG"))" fi if grep -q "$ALICE" "$UP_LOG"; then bad "❌ 网关把自己的下行 sk_ 透传给了上游!" else ok "网关自己的 sk_ 没有泄漏给上游" fi echo "== 8. 磁盘缓存:第二次必须 HIT 且不再回源 ==" n1=$(wc -l < "$UP_LOG" | tr -d ' ') st=$(curl -s -o /dev/null -D - -H "Authorization: Bearer ${ALICE}" "$B/go/@v/list?x=1" | tr -d '\r' | awk 'tolower($1)=="x-cache-status:"{print $2}') n2=$(wc -l < "$UP_LOG" | tr -d ' ') check "第二次 X-Cache-Status" "$st" "HIT" check "上游请求数没有增加" "$n2" "$n1" echo "== 9. 无凭据路由(cargo):不下发 Authorization ==" : > "$UP_LOG" curl -s -o /dev/null -D "$RUN/logs/h9.head" -H "Authorization: Bearer ${ALICE}" "$B/cargo/config.json" st9=$(tr -d '\r' < "$RUN/logs/h9.head" | awk 'tolower($1)=="x-cache-status:"{print $2}') check "无凭据路由首次是 MISS(否则断言读不到上游日志)" "$st9" "MISS" if grep -q "auth=-" "$UP_LOG"; then ok "未配凭据的路由:上游收到的 Authorization 为空" else bad "未配凭据却下发了 Authorization(实际:$(cat "$UP_LOG"))" fi echo "== 10. 配额与 LLM/apix 共用一把(carol llm_rpm=2)==" c1=$(code -H "Authorization: Bearer ${CAROL}" "$B/go/@v/list") c2=$(code -H "Authorization: Bearer ${CAROL}" "$B/go/@v/list") c3=$(code -H "Authorization: Bearer ${CAROL}" "$B/go/@v/list") check "carol 第 3 次触发每分钟限流" "$c3" "429" echo " (carol 前两次:${c1} / ${c2})" echo "== 11. 管理台运行时配上游:不 reload 立即生效(UI 的「配上游」按钮走这条)==" CJ="$RUN/logs/cookie.jar" lg=$(curl -s -o "$RUN/logs/login.body" -w '%{http_code}' -c "$CJ" \ -X POST -d "username=admin&password=123456" "$B/api/admin/login") check "管理员登录(夹具口令 123456)" "$lg" "200" ov=$(curl -s -b "$CJ" "$B/api/admin/cache") check "登录后 GET /api/admin/cache" "$(code -b "$CJ" "$B/api/admin/cache")" "200" echo "$ov" | grep -q '"entry"' \ && ok "快照含网关入口 entry(UI「一键复制下游地址」的基址)" \ || bad "快照缺 entry,管理台拼不出下游地址" check "快照路由条数(8 个生态各一行)" \ "$(echo "$ov" | grep -o '"route"' | wc -l | tr -d ' ')" "8" # npm 在第 5 步验证过「未配 = 503」;现在用管理 API 从运行时配上它。 # 这一步是「动态注入」的验收点:**不 reload、不重启**,下一个请求就该通。 check "配置前 /npm/ 仍是 503" "$(code -H "Authorization: Bearer ${ALICE}" "$B/npm/foo")" "503" # 请求体刻意用 **JSON**:与 www/assets/cache.js 的编辑弹窗完全一致 # (IP.api 发 JSON;不带 key 字段 = 保留原值)。用表单编码测就漏掉了 UI 那条路。 sv=$(curl -s -b "$CJ" -X POST -H 'Content-Type: application/json' \ -d "{\"route\":\"npm\",\"base\":\"http://127.0.0.1:${UP_PORT}\",\"name\":\"e2e-runtime\",\"enabled\":true}" \ "$B/api/admin/cache/save") echo " save 返回: ${sv}" echo "$sv" | grep -q '"active":true' \ && ok "保存返回 active=true(共享内存已写穿)" \ || bad "保存后未生效(active 非 true):${sv}" check "配置后 /npm/ 立刻 200(免 reload)" "$(code -H "Authorization: Bearer ${ALICE}" "$B/npm/foo")" "200" my=$(curl -s -H "X-API-Key: ${ALICE}" "$B/api/v1/cache") echo "$my" | grep -q '"route":"npm"' \ && ok "账号态列表出现 npm(带可复制的下游 URL)" \ || bad "账号态列表没出现 npm:${my}" echo "== 12. 连通性探针(管理台「测试」按钮):以 GET 转发 + 带上游表凭据 ==" # 管理台点「测试」= POST /api/admin/cache/test,模块用 internal_redirect 转到 # /_cache_test/。而 internal_redirect **保留原方法**——不改方法的话探针会以 # POST 打到上游:① 是写语义,探测不该有副作用;② 制品拉取全是 GET/HEAD,探针结果 # 不代表真实流量;③ 实测后果最误导:假上游只实现 do_GET,探针拿到 501,管理台显示 # 「测试失败」,而它其实连通正常。所以这里把「方法必须是 GET」钉成一条断言。 # 顺带验探针带的是**上游表里的**凭据(go 路由配了 Bearer upstream-secret-token), # 即探针与真实转发共用同一套换 Key 逻辑。 : > "$UP_LOG" pr=$(curl -s -o "$RUN/logs/probe.body" -w '%{http_code}' -b "$CJ" \ -X POST -H 'Content-Type: application/json' -d '{}' \ "$B/api/admin/cache/test?route=go") check "上游状态原样透传(假上游 GET / → 200)" "$pr" "200" echo " 上游返回体: $(cat "$RUN/logs/probe.body")" if grep -q "^GET / " "$UP_LOG"; then ok "上游收到 GET /(方法被钉成 GET,不是 POST)" else bad "探针未以 GET 到达上游(实际:$(cat "$UP_LOG"))" fi if grep -q "auth=Bearer upstream-secret-token" "$UP_LOG"; then ok "探针带上的是上游表里的凭据" else bad "探针没带配置凭据(实际:$(cat "$UP_LOG"))" fi echo echo "==== 结果:通过 ${pass},失败 ${fail} ====" [ "$fail" -eq 0 ] || exit 1