Files
ipass-plugin-cache/tests/cache/e2e-auth.sh
T

280 lines
14 KiB
Bash
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================================
# e2e-auth.sh —— 统一缓存网关的「统一 Key + 动态上游 + 磁盘缓存」端到端回归
#
# 与既有 run.sh / test-cache.sh 的区别:那两个跑的是**静态上游版** conf
# (proxy_pass 写死 https://上游)。本脚本跑的是**变量上游版**
# (proxy_pass $cache_target + 上游表来自共享内存),也就是「UI 配上游 +
# 动态注入」这条链路,覆盖:
#
# [1] conf 能起(变量式 proxy_pass + resolver + ssl 模块在编 + alias www/)
# [2] 未配上游的路由 → 503(而不是空 $cache_target 导致的 500)
# [3] 缺 Key → 401;错的 Key → 401
# [4] 对的路由 + 对的下行 sk_ → 200,且**路径前缀被正确剥掉**转发给上游
# [5] 同一个 URL 第二次 → HIT 且**不再回源**(读假上游请求日志断言)
# [6] 上游收到的是配置里的 Authorization,**不是**网关自己的 sk_
# [7] 配额与 LLM/apix 共用一把(carol 的 llm_rpm=2 → 第 3 次 429)
# [8] 管理台页面可达;管理 API 无会话 → 401;账号态 API 带 sk_ → 200
# [9] 管理台**运行时**配上游(POST /api/admin/cache/save)→ 下一个请求
# 立即生效、不需 reload/重启(「动态注入」的验收点)
#
# 用法:bash tests/cache/e2e-auth.sh
# 只动 tests/cache/.run-auth 与两个临时端口,可重复跑。
#
# ⚠️ 两个移植性坑(本脚本已规避,改脚本时别踩回去):
# 1. 不要用 `sed -i ''` 做批量替换:本机虽有 BSD sed,但 PATH 上可能被
# 注入 shim,`-i ''` 的语义会变(报 `sed: : No such file or directory`)。
# 这里一律用 python 读写文件。
# 2. macOS 自带 bash 3.2 会把紧跟 `$var` 之后的多字节字符算进变量名
# (`echo "${c2})"` → `c2?: unbound variable`)。变量后紧跟中文时必须写
# `${c2}`。
# ============================================================================
set -uo pipefail
# ⚠️ 本机环境里设了 HTTP_PROXY / HTTPS_PROXY(指向 127.0.0.1:57869 的本地代理)。
# curl 会把 `http://127.0.0.1:<随机端口>` 这种地址也丢给代理,代理连不上就回
# 502 —— 表现为「网关全是 502」的假失败,与网关本身无关。统一强制不走代理,
# 同时 JSON 体里那个 "upstream connect failed..." 也是代理的错误页而不是网关的。
curl() { command curl --noproxy '*' "$@"; }
HERE=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
REPO=$(cd "$HERE/../.." && pwd)
RUN="$HERE/.run-auth"
NGX="$REPO/build/nginx-1.30.4/objs/nginx"
MOD="$REPO/rust/target/debug/libipass_gateway.dylib"
# 受管 python(隔离目录);退回系统 python3
PY=/Users/rong/.workbuddy/binaries/python/versions/3.13.12/bin/python3
[ -x "$PY" ] || PY=$(command -v python3)
pick_port() { "$PY" <<'P'
import socket
s = socket.socket(); s.bind(("127.0.0.1", 0)); print(s.getsockname()[1]); s.close()
P
}
PORT=${CACHE_TEST_PORT:-$(pick_port)}
UP_PORT=${UPSTREAM_PORT:-$(pick_port)}
ADMIN_PW=${ADMIN_INIT_PASSWORD:-Auth-e2e-2026}
ALICE=sk_alice_aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
CAROL=sk_carol_cccccccccccccccccccccccccccccccccccccccccccccc
pass=0; fail=0
ok() { echo " ✅ $1"; pass=$((pass+1)); }
bad() { echo " ❌ $1"; fail=$((fail+1)); }
check(){ if [ "$2" = "$3" ]; then ok "$1(${2})"; else bad "$1:期望 ${3},实际 ${2}"; fi }
echo "== 0. 准备独立前缀(端口 nginx=${PORT} 上游=${UP_PORT})=="
[ -x "$NGX" ] || { echo "缺少 nginx:${NGX}(先跑 build/build-nginx-ssl.sh)"; exit 1; }
[ -f "$MOD" ] || { echo "缺少模块:${MOD}(先 cargo build)"; exit 1; }
[ -x "$PY" ] || { echo "缺少 python3"; exit 1; }
mkdir -p "$RUN"/{conf,data,logs,audit} "$RUN"/cache/{go,cargo,pypi,npm,maven,docker}
# ⚠️ 必须清掉上一次运行留下的磁盘缓存。缓存目录在 .run-auth 下跨次留存,
# 不清的话「断言上游收到了什么请求」会静默失效——请求直接命中上次的副本、
# 根本不回源,UP_LOG 是空的,于是 grep 恒不匹配,报出来的却是「上游没收/
# 下发了头」这类假故障(实测:第二次跑必挂在 step 9)。
# find -delete 只作用于本次测试自己的 cache/ 子树。
# ⚠️ 别改成 `rm -rf "$RUN"`:本机批量删除护栏超阈值会**拒绝整个删除且不报错**,
# 于是上一轮副本存活 → 首次请求全是 HIT 的假失败。
find "$RUN/cache" -type f -delete >/dev/null
# 自检:清完必须为空。否则「本次是 MISS」的断言会静默失真(读不到上游日志)。
if [ -n "$(find "$RUN/cache" -type f -print -quit 2>/dev/null)" ]; then
echo "❌ 缓存目录没清干净($RUN/cache)——上游日志类断言不可信" >&2; exit 1
fi
cp "$HERE/fixtures/users.json" "$RUN/data/users.json"
# conf 渲染:借 lib-render.sh(与 Tier2 / dev-server 同一套渲染器)。
# ★ 这里**刻意不再自己写一份**:曾因为两个脚本各抄一份,生产 conf 换成变量
# 上游后 Tier2 仍在按静态上游渲染、整层挂掉。要改渲染规则就改 lib-render.sh。
CACHE_PY="$PY"; export CACHE_PY
# shellcheck source=tests/cache/lib-render.sh
source "$HERE/lib-render.sh"
cache_render_prod_conf "$RUN" "$PORT" "$MOD"
# 上游表:直接写文件(等价于管理台「保存」的结果——模块 zone_load 会装载它)。
# 只配 go / cargo 两条,**故意留 npm 不配**,用于验证「未配 = 503」。
cat > "$RUN/data/cache-upstreams.json" <<JSON
{
"items": {
"go": {
"base": "http://127.0.0.1:${UP_PORT}",
"key": "Bearer upstream-secret-token",
"mode": "proxy",
"name": "Go 测试上游",
"desc": "假上游",
"enabled": true,
"note": "",
"created_at": 1757500000,
"updated_at": 1757500000
},
"cargo": {
"base": "http://127.0.0.1:${UP_PORT}",
"key": "",
"mode": "proxy",
"name": "cargo 测试上游(无凭据)",
"desc": "假上游",
"enabled": true,
"note": "",
"created_at": 1757500000,
"updated_at": 1757500000
}
}
}
JSON
echo "== 1. 起假上游 =="
UP_LOG="$RUN/logs/upstream.log"
: > "$UP_LOG"
UPSTREAM_LOG="$UP_LOG" UPSTREAM_PORT="$UP_PORT" \
"$PY" "$HERE/mock_upstream.py" > "$RUN/logs/upstream.out" 2>&1 &
UP_PID=$!
for _ in 1 2 3 4 5 6 7 8 9 10; do
curl -s -o /dev/null "http://127.0.0.1:${UP_PORT}/__ready" && break
sleep 0.3
done
kill -0 "$UP_PID" 2>/dev/null && ok "假上游已起(pid ${UP_PID})" || bad "假上游没起来"
cleanup() {
"$NGX" -p "$RUN" -c conf/nginx.cache.conf -s quit >/dev/null 2>&1
kill "$UP_PID" >/dev/null 2>&1
}
trap cleanup EXIT
echo "== 2. nginx -t(变量上游版 conf)=="
"$NGX" -p "$RUN" -c conf/nginx.cache.conf -t 2>&1 | sed 's/^/ /'
"$NGX" -p "$RUN" -c conf/nginx.cache.conf -t >/dev/null 2>&1 && ok "配置语法通过" || bad "配置语法失败"
echo "== 3. 启动 =="
ADMIN_INIT_PASSWORD="$ADMIN_PW" "$NGX" -p "$RUN" -c conf/nginx.cache.conf
sleep 1
B="http://127.0.0.1:${PORT}"
code() { curl -s -o /dev/null -w '%{http_code}' "$@"; }
echo "== 4. 管理台与 API =="
check "GET /admin 页面可达" "$(code "$B/admin")" "200"
curl -s "$B/admin" | grep -q "制品缓存" && ok "页面含「制品缓存」(www alias 生效)" || bad "页面内容不对(alias www/ 解析错?)"
check "GET / 302 到 /admin" "$(code "$B/")" "302"
check "管理 API 无会话 → 401" "$(code "$B/api/admin/cache")" "401"
check "账号态 stats 无 Key → 401" "$(code "$B/api/v1/cache/stats")" "401"
check "账号态 stats 带 sk_ → 200" "$(code -H "X-API-Key: ${ALICE}" "$B/api/v1/cache/stats")" "200"
echo "== 5. 未配上游的路由 → 503(不是 500)=="
check "GET /npm/ 未配上游" "$(code -H "Authorization: Bearer ${ALICE}" "$B/npm/foo")" "503"
echo "== 6. 鉴权:缺 Key / 错 Key =="
check "GET /go/ 无 Key" "$(code "$B/go/@v/list")" "401"
check "GET /go/ 错 Key" "$(code -H 'Authorization: Bearer sk_nope' "$B/go/@v/list")" "401"
check "GET /go/ x-api-key 携带位可用" "$(code -H "x-api-key: ${ALICE}" "$B/go/@v/list")" "200"
echo "== 7. 动态上游注入:路径前缀剥离 + query 进键 + 上游 Host =="
: > "$UP_LOG"
# ⚠️ 必须断言这次是 MISS。step 6 已经拉过 `/go/@v/list`(无 query),如果
# query 没进缓存键,这次带 `?x=1` 的请求会**直接命中上一步的缓存**:
# 既不回源(UP_LOG 是空的),返回体也是没 query 那条 —— 于是下面两条
# 「路径不对 / 没收到 Authorization」会一起报错,看起来像转发坏了,
# 实际上是缓存键不完整。用 MISS 把这两类故障分开定位。
curl -s -o "$RUN/logs/h7.body" -D "$RUN/logs/h7.head" \
-H "Authorization: Bearer ${ALICE}" "$B/go/@v/list?x=1"
body=$(cat "$RUN/logs/h7.body")
st7=$(tr -d '\r' < "$RUN/logs/h7.head" | awk 'tolower($1)=="x-cache-status:"{print $2}')
echo " 上游返回体: ${body}"
check "带 query 的首次请求是 MISS(query 参与缓存键)" "$st7" "MISS"
case "$body" in
"ECHO:GET /@v/list?x=1") ok "上游收到的是剥掉 /go 之后的路径,且 query 未被吞" ;;
*) bad "上游收到的路径不对(期望 ECHO:GET /@v/list?x=1)" ;;
esac
if grep -q "auth=Bearer upstream-secret-token" "$UP_LOG"; then
ok "上游收到配置里的 Authorization"
else
bad "上游没收到配置的 Authorization(实际:$(cat "$UP_LOG"))"
fi
if grep -q "$ALICE" "$UP_LOG"; then
bad "❌ 网关把自己的下行 sk_ 透传给了上游!"
else
ok "网关自己的 sk_ 没有泄漏给上游"
fi
echo "== 8. 磁盘缓存:第二次必须 HIT 且不再回源 =="
n1=$(wc -l < "$UP_LOG" | tr -d ' ')
st=$(curl -s -o /dev/null -D - -H "Authorization: Bearer ${ALICE}" "$B/go/@v/list?x=1" | tr -d '\r' | awk 'tolower($1)=="x-cache-status:"{print $2}')
n2=$(wc -l < "$UP_LOG" | tr -d ' ')
check "第二次 X-Cache-Status" "$st" "HIT"
check "上游请求数没有增加" "$n2" "$n1"
echo "== 9. 无凭据路由(cargo):不下发 Authorization =="
: > "$UP_LOG"
curl -s -o /dev/null -D "$RUN/logs/h9.head" -H "Authorization: Bearer ${ALICE}" "$B/cargo/config.json"
st9=$(tr -d '\r' < "$RUN/logs/h9.head" | awk 'tolower($1)=="x-cache-status:"{print $2}')
check "无凭据路由首次是 MISS(否则断言读不到上游日志)" "$st9" "MISS"
if grep -q "auth=-" "$UP_LOG"; then
ok "未配凭据的路由:上游收到的 Authorization 为空"
else
bad "未配凭据却下发了 Authorization(实际:$(cat "$UP_LOG"))"
fi
echo "== 10. 配额与 LLM/apix 共用一把(carol llm_rpm=2)=="
c1=$(code -H "Authorization: Bearer ${CAROL}" "$B/go/@v/list")
c2=$(code -H "Authorization: Bearer ${CAROL}" "$B/go/@v/list")
c3=$(code -H "Authorization: Bearer ${CAROL}" "$B/go/@v/list")
check "carol 第 3 次触发每分钟限流" "$c3" "429"
echo " (carol 前两次:${c1} / ${c2})"
echo "== 11. 管理台运行时配上游:不 reload 立即生效(UI 的「配上游」按钮走这条)=="
CJ="$RUN/logs/cookie.jar"
lg=$(curl -s -o "$RUN/logs/login.body" -w '%{http_code}' -c "$CJ" \
-X POST -d "username=admin&password=123456" "$B/api/admin/login")
check "管理员登录(夹具口令 123456)" "$lg" "200"
ov=$(curl -s -b "$CJ" "$B/api/admin/cache")
check "登录后 GET /api/admin/cache" "$(code -b "$CJ" "$B/api/admin/cache")" "200"
echo "$ov" | grep -q '"entry"' \
&& ok "快照含网关入口 entry(UI「一键复制下游地址」的基址)" \
|| bad "快照缺 entry,管理台拼不出下游地址"
check "快照路由条数(8 个生态各一行)" \
"$(echo "$ov" | grep -o '"route"' | wc -l | tr -d ' ')" "8"
# npm 在第 5 步验证过「未配 = 503」;现在用管理 API 从运行时配上它。
# 这一步是「动态注入」的验收点:**不 reload、不重启**,下一个请求就该通。
check "配置前 /npm/ 仍是 503" "$(code -H "Authorization: Bearer ${ALICE}" "$B/npm/foo")" "503"
# 请求体刻意用 **JSON**:与 www/assets/cache.js 的编辑弹窗完全一致
# (IP.api 发 JSON;不带 key 字段 = 保留原值)。用表单编码测就漏掉了 UI 那条路。
sv=$(curl -s -b "$CJ" -X POST -H 'Content-Type: application/json' \
-d "{\"route\":\"npm\",\"base\":\"http://127.0.0.1:${UP_PORT}\",\"name\":\"e2e-runtime\",\"enabled\":true}" \
"$B/api/admin/cache/save")
echo " save 返回: ${sv}"
echo "$sv" | grep -q '"active":true' \
&& ok "保存返回 active=true(共享内存已写穿)" \
|| bad "保存后未生效(active 非 true):${sv}"
check "配置后 /npm/ 立刻 200(免 reload)" "$(code -H "Authorization: Bearer ${ALICE}" "$B/npm/foo")" "200"
my=$(curl -s -H "X-API-Key: ${ALICE}" "$B/api/v1/cache")
echo "$my" | grep -q '"route":"npm"' \
&& ok "账号态列表出现 npm(带可复制的下游 URL)" \
|| bad "账号态列表没出现 npm:${my}"
echo "== 12. 连通性探针(管理台「测试」按钮):以 GET 转发 + 带上游表凭据 =="
# 管理台点「测试」= POST /api/admin/cache/test,模块用 internal_redirect 转到
# /_cache_test/<route>。而 internal_redirect **保留原方法**——不改方法的话探针会以
# POST 打到上游:① 是写语义,探测不该有副作用;② 制品拉取全是 GET/HEAD,探针结果
# 不代表真实流量;③ 实测后果最误导:假上游只实现 do_GET,探针拿到 501,管理台显示
# 「测试失败」,而它其实连通正常。所以这里把「方法必须是 GET」钉成一条断言。
# 顺带验探针带的是**上游表里的**凭据(go 路由配了 Bearer upstream-secret-token),
# 即探针与真实转发共用同一套换 Key 逻辑。
: > "$UP_LOG"
pr=$(curl -s -o "$RUN/logs/probe.body" -w '%{http_code}' -b "$CJ" \
-X POST -H 'Content-Type: application/json' -d '{}' \
"$B/api/admin/cache/test?route=go")
check "上游状态原样透传(假上游 GET / → 200)" "$pr" "200"
echo " 上游返回体: $(cat "$RUN/logs/probe.body")"
if grep -q "^GET / " "$UP_LOG"; then
ok "上游收到 GET /(方法被钉成 GET,不是 POST)"
else
bad "探针未以 GET 到达上游(实际:$(cat "$UP_LOG"))"
fi
if grep -q "auth=Bearer upstream-secret-token" "$UP_LOG"; then
ok "探针带上的是上游表里的凭据"
else
bad "探针没带配置凭据(实际:$(cat "$UP_LOG"))"
fi
echo
echo "==== 结果:通过 ${pass},失败 ${fail} ===="
[ "$fail" -eq 0 ] || exit 1