Files
ipass__ipass/tests/me_catalog.py
T
admin 762d308745 test+deploy: 探针改目录驱动 + 三态判定 + 发版失败自动回滚(镜像+数据)
两件事:

1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。
   之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针
   要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models
   全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2
   (验证失效 ≠ 上游没问题,不许假绿)。
   三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据——
   智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版
   故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误)
   **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。
   live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。
   分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。

2) agent.sh release 改 4/4 步:验证失败不再停在原地——
   抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动
   POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后
   再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。
   ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」);
   新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替
   data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。
   restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。
   release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止
   (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11
   跑 §12.5 自更新。
   附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable,
   live_check A 路径实测炸出),统一 ${VAR}。

线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。
只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
2026-09-17 08:41:48 +08:00

261 lines
12 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""/api/v1/me 能力目录 + 三态判定 —— test_models.py / apix_check.py 共享模块。
为什么要统一从这里拉:slot、模型名、apix 条目都是**管理台动态配置**,写死在探针
脚本里等于「发版验证验的是半年前的配置」——加个上游、改个模型名,脚本就静默漏验
或误报。1.0.16 起 `/api/v1/me` 把 upstreams + apix 一处下发全(见
docs/plugin/ME_CAPABILITY_CATALOG.md),探针跟着目录走,配置变了验证自动跟上。
三态判定(发版验证的核心口径):
✅ pass —— 2xx,链路真的通
❌ gw_fail —— **网关侧**问题(错误体是网关形态 / 连不上网关 / 网关 4xx)
→ 发版要抓的失败,退出码 1
⚠️ upstream —— 请求已穿过网关、被供应商/上游拒了(欠费 402/429、不可达 502/504、
鉴权过期 401…)→ **如实反馈但不判发版失败**:那是一方账号的问题,
不是新镜像的问题。告警会汇总打印,不静默。
区分「谁给的错误」靠错误体形态(实测归纳):
网关 LLM 体 {"error":{"type":..,"code":..,"message":..}}
网关管理/apix {"code":401,"msg":"..."}(扁平)
上游 FastAPI {"detail":...};厂商各家自有;Cloudflare 拦截页是 HTML。
"""
import json
import os
import time
import urllib.error
import urllib.request
MDM = os.environ.get("IPASS_MDM_HOST", "https://mdm.mayishangshu.cn:88")
LM = os.environ.get("IPASS_LM_HOST", "https://lm.mayishangshu.cn:88")
# 供应商边缘(souyi 走 Cloudflare)会拦默认 `Python-urllib/3.x` → 403 error code:1010
# (2026-09-17 实测,同请求换 curl UA 立刻 200)。可被 IPASS_UA 覆盖。
DEFAULT_UA = "curl/8.4.0"
# 三态 + 网关告警(429 限流是「探针自己打太快」,不该染红发版)
PASS, UPSTREAM, GW_WARN, GW_FAIL = "pass", "upstream", "gw_warn", "gw_fail"
ICONS = {PASS: "✅", UPSTREAM: "⚠️ ", GW_WARN: "⚠️ ", GW_FAIL: "❌"}
def http(method: str, url: str, key: str, timeout: int, body: bytes | None = None,
ctype: str | None = None, auth: str = "Bearer"):
"""发请求,返回 (code, body_text, elapsed)。网络层异常 code=0。
`auth`:网关统一收 `Authorization: Bearer <sk_>`,但 **`/api/v1/me` 只认
`X-API-Key`**(2026-09-17 实测:带 Bearer 会 401)。
"""
headers = {"X-API-Key": key} if auth == "X-API-Key" else {"Authorization": f"Bearer {key}"}
headers["User-Agent"] = os.environ.get("IPASS_UA", DEFAULT_UA)
if ctype:
headers["Content-Type"] = ctype
req = urllib.request.Request(url, data=body, headers=headers, method=method)
start = time.time()
try:
with urllib.request.urlopen(req, timeout=timeout) as resp:
return resp.status, resp.read().decode("utf-8", "replace"), time.time() - start
except urllib.error.HTTPError as e:
raw = e.read().decode("utf-8", "replace") if e.fp else ""
return e.code, raw, time.time() - start
except Exception as e: # 超时 / DNS / TLS
return 0, str(e), time.time() - start
def fetch_me(key: str, timeout: int = 20):
"""拉 /api/v1/me 的 data(含 upstreams + apix)。失败返回 (None, 原因)。"""
code, raw, _ = http("GET", f"{MDM}/api/v1/me", key, timeout, auth="X-API-Key")
if code != 200:
return None, f"HTTP {code} {raw[:160]}"
try:
return json.loads(raw).get("data") or {}, ""
except json.JSONDecodeError:
return None, f"响应不是 JSON:{raw[:160]}"
def gateway_error(raw: str):
"""是网关自己返的错误体则返回 (code, msg),否则 (False, None)。
两种网关形态(实测):LLM 侧嵌套 `{"error":{...}}`;管理/apix 侧扁平
`{"code":N,"msg":"..."}`。上游 FastAPI(detail)与 Cloudflare(HTML)都不匹配。
"""
try:
d = json.loads(raw)
except json.JSONDecodeError:
return False, None
if not isinstance(d, dict):
return False, None
err = d.get("error")
if isinstance(err, dict):
return True, f"{err.get('code') or err.get('type') or ''} {err.get('message') or ''}".strip()
if "code" in d and "msg" in d:
return True, f"{d.get('code')} {d.get('msg')}".strip()
return False, None
def llm_cases(me: dict):
"""把目录展开成真实验证用例:每个 enabled 上游 × 每个配置模型(挨个跑)。
返回 [{slot, model, openai, anthropic}];`allowed_models` 白名单非空时按其过滤
(否则会拿 403 permission_denied,那是账号策略不是链路故障)。
"""
allowed = set(me.get("allowed_models") or [])
cases = []
for u in me.get("upstreams") or []:
if not u.get("enabled"):
continue
slot = u.get("slot") or "?"
base_o = (u.get("base_url") or f"{LM}/{slot}").rstrip("/")
base_a = (u.get("anthropic_base_url") or u.get("base_anthropic")
or f"{LM}/{slot}/anthropic").rstrip("/")
models = u.get("models") or []
if allowed and slot not in allowed:
continue
if not models:
# 没配模型名:用占位探一次,让「配置缺失」如实暴露(网关会返回模型拒绝)
models = [""]
for m in models:
cases.append({
"slot": slot, "model": m,
"openai": f"{base_o}/v1/chat/completions",
"anthropic": f"{base_a}/v1/messages",
"models_list": f"{base_o}/v1/models",
})
return cases
def apix_items(me: dict):
"""enabled 的 apix 条目(探针构造留给 apix_check.py)。"""
return [it for it in (me.get("apix") or []) if it.get("enabled")]
# 网关(Rust 侧 auth::fail)只可能发这些状态码;402/5xx 等出现即说明是上游透传。
GW_CODES = {400, 401, 403, 404, 429}
# 网关 LLM 体 error.code 的**全集**(grep auth::fail 得来)——厂商(智谱等)的 401/404
# 体也是 {"error":{code,message}} 形状,光看形态+码集合会误判,error.code 必须也在
# 这个集合里才算网关(HTTP 码与 error.code 双对得上才是网关手笔)。
GW_ERR_CODES = {"invalid_api_key", "model_not_found", "permission_denied",
"rate_limit_exceeded", "insufficient_quota", "invalid_request_error"}
def from_gateway(code: int, raw: str):
"""(是否网关所返, 网关 msg)。形态 + HTTP 码 + error.code 值三重判据。"""
if code not in GW_CODES:
return False, None
try:
d = json.loads(raw)
except json.JSONDecodeError:
return False, None
if not isinstance(d, dict):
return False, None
err = d.get("error")
if isinstance(err, dict):
c = err.get("code") or ""
if c in GW_ERR_CODES:
return True, f"{c} {err.get('message') or ''}".strip()
return False, None
if "code" in d and "msg" in d:
# 扁平管理体(/api/v1/me、apix、admin):网关独有形态,无厂商撞车(实测)
return True, f"{d.get('code')} {d.get('msg')}".strip()
return False, None
def llm_soft_error(api_kind: str, raw: str):
"""HTTP 200 但 body 无正文 = 厂商软错误(实测:智谱把 NPE 包成 200+业务 500)。
返回错误摘要或 None。"""
try:
d = json.loads(raw)
except json.JSONDecodeError:
return "响应不是 JSON"
if not isinstance(d, dict):
return None
if api_kind == "anthropic":
if d.get("content"):
return None
else:
if d.get("choices"):
return None
if d.get("type") == "error" or "error" in d or ("code" in d and d.get("code") not in (0, "0", 200, "200")):
return json.dumps(d, ensure_ascii=False)[:120]
# 没有正文字段也没有明显错误键:形状不认识也算软错误
return f"200 但无正文(形状不认识): {json.dumps(d, ensure_ascii=False)[:100]}"
def classify_llm(code: int, raw: str) -> tuple[str, str]:
"""LLM 调用响应 → 三态。见文件头口径。"""
if code == 0:
# 连的是网关 host(lm/mdm),连不上 = 网关/网络问题,不是上游
return GW_FAIL, "连不上网关(超时/DNS/TLS)"
if 200 <= code < 300:
return PASS, ""
is_gw, msg = from_gateway(code, raw)
if is_gw:
if code == 429:
# 限流/每日配额是账号策略(探针打太快或 Key 超额),不是发版故障
return GW_WARN, f"网关限流/配额:{msg}(非发版故障,如实反馈)"
return GW_FAIL, f"网关拒绝 HTTP {code}:{msg}"
# —— 以下都是「请求已穿过网关、上游/厂商拒的」→ 如实反馈、不染红
if code in (502, 504):
return UPSTREAM, f"上游不可达(nginx {code},网关已转发但厂商连不上)"
if code == 402:
return UPSTREAM, f"厂商 402:疑似额度耗尽/欠费(全账号冷却也不救=没额度了){body_hint(raw)}"
if code == 429:
return UPSTREAM, f"厂商 429:限流{body_hint(raw)}"
if code in (401, 403):
return UPSTREAM, f"厂商鉴权 {code}:上游 Key 可能过期/失效(管理台换 Key){body_hint(raw)}"
if code == 404:
return UPSTREAM, f"厂商 404:模型名/路径不存在(核对管理台 models){body_hint(raw)}"
if 400 <= code < 500:
return UPSTREAM, f"厂商 {code}:探针参数被拒(链路通){body_hint(raw)}"
return UPSTREAM, f"厂商 {code}{body_hint(raw)}(上游故障——HTTP 200≠成功,body 是原话)"
def body_hint(raw: str) -> str:
s = (raw or "").replace("\n", " ").strip()
return f"|{s[:80]}" if s else ""
def classify_apix(code: int, raw: str) -> tuple[str, str]:
"""apix 探针响应 → 三态。归属判定与 classify_llm 同一套双判据。
apix 的 401/403 有两种来源:网关(Key 无效)或供应商/内部服务(上游 Key 失效、
WAF)。**网关码集合 + 网关体形态**同时命中才判 ❌;上游 FastAPI(detail)与
WAF 页(HTML)都不匹配 → ⚠️ 如实反馈。
"""
if code == 0:
return GW_FAIL, "连不上网关(超时/DNS/TLS)"
if 200 <= code < 300:
return PASS, ""
is_gw, msg = from_gateway(code, raw)
if is_gw:
if code == 429:
return GW_WARN, f"网关限流/配额:{msg}(探针打太快,非发版故障)"
return GW_FAIL, f"网关拒绝 HTTP {code}:{msg}"
if code in (502, 504):
return UPSTREAM, f"上游不可达(nginx {code},网关已转发但服务连不上){body_hint(raw)}"
if code == 402:
return UPSTREAM, f"上游 402:疑似额度耗尽/欠费{body_hint(raw)}"
if code in (401, 403):
return UPSTREAM, f"上游/边缘拒绝 HTTP {code}(供应商 Key 失效或 WAF,非网关问题){body_hint(raw)}"
if code == 404:
return UPSTREAM, f"上游 404:链路通但路径不存在(核对管理台 base 与路径拼接){body_hint(raw)}"
if 400 <= code < 500:
return UPSTREAM, f"上游 {code}:探针参数被拒(链路通){body_hint(raw)}"
return UPSTREAM, f"上游 {code}({body_hint(raw).strip() or '无响应体'})"
def summarize(results: list, label: str) -> int:
"""打印三态汇总,返回建议退出码(gw_fail>0 → 1)。"""
n_fail = sum(1 for r in results if r["status"] == GW_FAIL)
n_warn = sum(1 for r in results if r["status"] in (UPSTREAM, GW_WARN))
n_pass = sum(1 for r in results if r["status"] == PASS)
print("-" * 66)
print(f"📊 {label}:✅{n_pass} ⚠️{n_warn} ❌{n_fail} (共 {len(results)} 项)")
if n_fail:
print(" ❌ = 网关侧故障(发版要抓的),逐条见上面输出")
if n_warn:
print(" ⚠️ = 网关已放行、上游/厂商侧问题(欠费/不可达/参数),不染红发版,但要有人跟进:")
for r in results:
if r["status"] in (UPSTREAM, GW_WARN):
print(f" ⚠️ {r.get('name', r.get('slug', '?'))}:{r['why']}")
return 1 if n_fail else 0