两件事: 1) 验证脚本统一从 /api/v1/me 拉能力目录(新增 tests/me_catalog.py 共享模块)。 之前 slot×模型、apix 条目写死在脚本里——配置是管理台动态的,改配置后探针 要么漏验新上游、要么拿旧模型名误报。现在 test_models 按 upstreams×models 全展开(both 双格式并发),apix_check 按目录逐条探;拉不到目录退出码 2 (验证失效 ≠ 上游没问题,不许假绿)。 三态口径:❌ 网关侧故障(错误体归属 + HTTP 码 + error.code 值三重判据—— 智谱 401 体也是 {"error":{code,message}} 形状,光看形态会把欠费误判成发版 故障);⚠️ 上游/厂商侧(欠费 402、不可达 502/504、WAF、200 软错误) **如实汇总反馈但不染红发版**;网关 429 限流按 GW_WARN 处理。 live_check.sh 退出码语义固定:0 过 / 1 网关侧故障 / 2 验证不可用。 分类器 15 个边界场景离线单测全对(撞形状/码集合/软错误/不误伤正常 200)。 2) agent.sh release 改 4/4 步:验证失败不再停在原地—— 抓 PRE_IMG + update job 的备份路径 → live_check → rc=1 时自动 POST /rollback {tag, restore_backup} 回滚镜像并恢复 data/audit,回滚后 再跑 verify 自检;rc=2(验证不可用)**不回滚**(盲回滚比带病观察危险)。 ipass-agent 1.0.2:rollback 本地无镜像自动 pull(自动路径不许卡「先手动拉」); 新增 restore_data——先 stop 容器(防周期落盘把污染写回)、备份 tar 解包顶替 data/audit、现目录改名 .broken-<ts> 留证、只认 ~/ipass/backup/ 下的 tar。 restore_data 本地单测过(恢复/留证/staging 清理/越界拒绝)。 release 开头加控制面版本闸门:<1.0.2 会静默忽略 restore_backup → 中止 (IPASS_FORCE_RELEASE=1 可跳过),⚠️ 线上控制面还是 1.0.1,发版前先上 .11 跑 §12.5 自更新。 附带修 bash 老坑:`$VAR` 紧跟全角字符被吞进变量名(unbound variable, live_check A 路径实测炸出),统一 ${VAR}。 线上实测:live_check 三步全绿(LLM 10/10 目录全展开 + apix 3/3 + 验收)。 只动 tests/deploy,不进镜像;ipass-agent 属控制面(跑宿主),需单独自更新。
261 lines
12 KiB
Python
261 lines
12 KiB
Python
#!/usr/bin/env python3
|
||
"""/api/v1/me 能力目录 + 三态判定 —— test_models.py / apix_check.py 共享模块。
|
||
|
||
为什么要统一从这里拉:slot、模型名、apix 条目都是**管理台动态配置**,写死在探针
|
||
脚本里等于「发版验证验的是半年前的配置」——加个上游、改个模型名,脚本就静默漏验
|
||
或误报。1.0.16 起 `/api/v1/me` 把 upstreams + apix 一处下发全(见
|
||
docs/plugin/ME_CAPABILITY_CATALOG.md),探针跟着目录走,配置变了验证自动跟上。
|
||
|
||
三态判定(发版验证的核心口径):
|
||
✅ pass —— 2xx,链路真的通
|
||
❌ gw_fail —— **网关侧**问题(错误体是网关形态 / 连不上网关 / 网关 4xx)
|
||
→ 发版要抓的失败,退出码 1
|
||
⚠️ upstream —— 请求已穿过网关、被供应商/上游拒了(欠费 402/429、不可达 502/504、
|
||
鉴权过期 401…)→ **如实反馈但不判发版失败**:那是一方账号的问题,
|
||
不是新镜像的问题。告警会汇总打印,不静默。
|
||
|
||
区分「谁给的错误」靠错误体形态(实测归纳):
|
||
网关 LLM 体 {"error":{"type":..,"code":..,"message":..}}
|
||
网关管理/apix {"code":401,"msg":"..."}(扁平)
|
||
上游 FastAPI {"detail":...};厂商各家自有;Cloudflare 拦截页是 HTML。
|
||
"""
|
||
|
||
import json
|
||
import os
|
||
import time
|
||
import urllib.error
|
||
import urllib.request
|
||
|
||
MDM = os.environ.get("IPASS_MDM_HOST", "https://mdm.mayishangshu.cn:88")
|
||
LM = os.environ.get("IPASS_LM_HOST", "https://lm.mayishangshu.cn:88")
|
||
|
||
# 供应商边缘(souyi 走 Cloudflare)会拦默认 `Python-urllib/3.x` → 403 error code:1010
|
||
# (2026-09-17 实测,同请求换 curl UA 立刻 200)。可被 IPASS_UA 覆盖。
|
||
DEFAULT_UA = "curl/8.4.0"
|
||
|
||
# 三态 + 网关告警(429 限流是「探针自己打太快」,不该染红发版)
|
||
PASS, UPSTREAM, GW_WARN, GW_FAIL = "pass", "upstream", "gw_warn", "gw_fail"
|
||
ICONS = {PASS: "✅", UPSTREAM: "⚠️ ", GW_WARN: "⚠️ ", GW_FAIL: "❌"}
|
||
|
||
|
||
def http(method: str, url: str, key: str, timeout: int, body: bytes | None = None,
|
||
ctype: str | None = None, auth: str = "Bearer"):
|
||
"""发请求,返回 (code, body_text, elapsed)。网络层异常 code=0。
|
||
|
||
`auth`:网关统一收 `Authorization: Bearer <sk_>`,但 **`/api/v1/me` 只认
|
||
`X-API-Key`**(2026-09-17 实测:带 Bearer 会 401)。
|
||
"""
|
||
headers = {"X-API-Key": key} if auth == "X-API-Key" else {"Authorization": f"Bearer {key}"}
|
||
headers["User-Agent"] = os.environ.get("IPASS_UA", DEFAULT_UA)
|
||
if ctype:
|
||
headers["Content-Type"] = ctype
|
||
req = urllib.request.Request(url, data=body, headers=headers, method=method)
|
||
start = time.time()
|
||
try:
|
||
with urllib.request.urlopen(req, timeout=timeout) as resp:
|
||
return resp.status, resp.read().decode("utf-8", "replace"), time.time() - start
|
||
except urllib.error.HTTPError as e:
|
||
raw = e.read().decode("utf-8", "replace") if e.fp else ""
|
||
return e.code, raw, time.time() - start
|
||
except Exception as e: # 超时 / DNS / TLS
|
||
return 0, str(e), time.time() - start
|
||
|
||
|
||
def fetch_me(key: str, timeout: int = 20):
|
||
"""拉 /api/v1/me 的 data(含 upstreams + apix)。失败返回 (None, 原因)。"""
|
||
code, raw, _ = http("GET", f"{MDM}/api/v1/me", key, timeout, auth="X-API-Key")
|
||
if code != 200:
|
||
return None, f"HTTP {code} {raw[:160]}"
|
||
try:
|
||
return json.loads(raw).get("data") or {}, ""
|
||
except json.JSONDecodeError:
|
||
return None, f"响应不是 JSON:{raw[:160]}"
|
||
|
||
|
||
def gateway_error(raw: str):
|
||
"""是网关自己返的错误体则返回 (code, msg),否则 (False, None)。
|
||
|
||
两种网关形态(实测):LLM 侧嵌套 `{"error":{...}}`;管理/apix 侧扁平
|
||
`{"code":N,"msg":"..."}`。上游 FastAPI(detail)与 Cloudflare(HTML)都不匹配。
|
||
"""
|
||
try:
|
||
d = json.loads(raw)
|
||
except json.JSONDecodeError:
|
||
return False, None
|
||
if not isinstance(d, dict):
|
||
return False, None
|
||
err = d.get("error")
|
||
if isinstance(err, dict):
|
||
return True, f"{err.get('code') or err.get('type') or ''} {err.get('message') or ''}".strip()
|
||
if "code" in d and "msg" in d:
|
||
return True, f"{d.get('code')} {d.get('msg')}".strip()
|
||
return False, None
|
||
|
||
|
||
def llm_cases(me: dict):
|
||
"""把目录展开成真实验证用例:每个 enabled 上游 × 每个配置模型(挨个跑)。
|
||
|
||
返回 [{slot, model, openai, anthropic}];`allowed_models` 白名单非空时按其过滤
|
||
(否则会拿 403 permission_denied,那是账号策略不是链路故障)。
|
||
"""
|
||
allowed = set(me.get("allowed_models") or [])
|
||
cases = []
|
||
for u in me.get("upstreams") or []:
|
||
if not u.get("enabled"):
|
||
continue
|
||
slot = u.get("slot") or "?"
|
||
base_o = (u.get("base_url") or f"{LM}/{slot}").rstrip("/")
|
||
base_a = (u.get("anthropic_base_url") or u.get("base_anthropic")
|
||
or f"{LM}/{slot}/anthropic").rstrip("/")
|
||
models = u.get("models") or []
|
||
if allowed and slot not in allowed:
|
||
continue
|
||
if not models:
|
||
# 没配模型名:用占位探一次,让「配置缺失」如实暴露(网关会返回模型拒绝)
|
||
models = [""]
|
||
for m in models:
|
||
cases.append({
|
||
"slot": slot, "model": m,
|
||
"openai": f"{base_o}/v1/chat/completions",
|
||
"anthropic": f"{base_a}/v1/messages",
|
||
"models_list": f"{base_o}/v1/models",
|
||
})
|
||
return cases
|
||
|
||
|
||
def apix_items(me: dict):
|
||
"""enabled 的 apix 条目(探针构造留给 apix_check.py)。"""
|
||
return [it for it in (me.get("apix") or []) if it.get("enabled")]
|
||
|
||
|
||
# 网关(Rust 侧 auth::fail)只可能发这些状态码;402/5xx 等出现即说明是上游透传。
|
||
GW_CODES = {400, 401, 403, 404, 429}
|
||
# 网关 LLM 体 error.code 的**全集**(grep auth::fail 得来)——厂商(智谱等)的 401/404
|
||
# 体也是 {"error":{code,message}} 形状,光看形态+码集合会误判,error.code 必须也在
|
||
# 这个集合里才算网关(HTTP 码与 error.code 双对得上才是网关手笔)。
|
||
GW_ERR_CODES = {"invalid_api_key", "model_not_found", "permission_denied",
|
||
"rate_limit_exceeded", "insufficient_quota", "invalid_request_error"}
|
||
|
||
|
||
def from_gateway(code: int, raw: str):
|
||
"""(是否网关所返, 网关 msg)。形态 + HTTP 码 + error.code 值三重判据。"""
|
||
if code not in GW_CODES:
|
||
return False, None
|
||
try:
|
||
d = json.loads(raw)
|
||
except json.JSONDecodeError:
|
||
return False, None
|
||
if not isinstance(d, dict):
|
||
return False, None
|
||
err = d.get("error")
|
||
if isinstance(err, dict):
|
||
c = err.get("code") or ""
|
||
if c in GW_ERR_CODES:
|
||
return True, f"{c} {err.get('message') or ''}".strip()
|
||
return False, None
|
||
if "code" in d and "msg" in d:
|
||
# 扁平管理体(/api/v1/me、apix、admin):网关独有形态,无厂商撞车(实测)
|
||
return True, f"{d.get('code')} {d.get('msg')}".strip()
|
||
return False, None
|
||
|
||
|
||
def llm_soft_error(api_kind: str, raw: str):
|
||
"""HTTP 200 但 body 无正文 = 厂商软错误(实测:智谱把 NPE 包成 200+业务 500)。
|
||
返回错误摘要或 None。"""
|
||
try:
|
||
d = json.loads(raw)
|
||
except json.JSONDecodeError:
|
||
return "响应不是 JSON"
|
||
if not isinstance(d, dict):
|
||
return None
|
||
if api_kind == "anthropic":
|
||
if d.get("content"):
|
||
return None
|
||
else:
|
||
if d.get("choices"):
|
||
return None
|
||
if d.get("type") == "error" or "error" in d or ("code" in d and d.get("code") not in (0, "0", 200, "200")):
|
||
return json.dumps(d, ensure_ascii=False)[:120]
|
||
# 没有正文字段也没有明显错误键:形状不认识也算软错误
|
||
return f"200 但无正文(形状不认识): {json.dumps(d, ensure_ascii=False)[:100]}"
|
||
|
||
|
||
def classify_llm(code: int, raw: str) -> tuple[str, str]:
|
||
"""LLM 调用响应 → 三态。见文件头口径。"""
|
||
if code == 0:
|
||
# 连的是网关 host(lm/mdm),连不上 = 网关/网络问题,不是上游
|
||
return GW_FAIL, "连不上网关(超时/DNS/TLS)"
|
||
if 200 <= code < 300:
|
||
return PASS, ""
|
||
is_gw, msg = from_gateway(code, raw)
|
||
if is_gw:
|
||
if code == 429:
|
||
# 限流/每日配额是账号策略(探针打太快或 Key 超额),不是发版故障
|
||
return GW_WARN, f"网关限流/配额:{msg}(非发版故障,如实反馈)"
|
||
return GW_FAIL, f"网关拒绝 HTTP {code}:{msg}"
|
||
# —— 以下都是「请求已穿过网关、上游/厂商拒的」→ 如实反馈、不染红
|
||
if code in (502, 504):
|
||
return UPSTREAM, f"上游不可达(nginx {code},网关已转发但厂商连不上)"
|
||
if code == 402:
|
||
return UPSTREAM, f"厂商 402:疑似额度耗尽/欠费(全账号冷却也不救=没额度了){body_hint(raw)}"
|
||
if code == 429:
|
||
return UPSTREAM, f"厂商 429:限流{body_hint(raw)}"
|
||
if code in (401, 403):
|
||
return UPSTREAM, f"厂商鉴权 {code}:上游 Key 可能过期/失效(管理台换 Key){body_hint(raw)}"
|
||
if code == 404:
|
||
return UPSTREAM, f"厂商 404:模型名/路径不存在(核对管理台 models){body_hint(raw)}"
|
||
if 400 <= code < 500:
|
||
return UPSTREAM, f"厂商 {code}:探针参数被拒(链路通){body_hint(raw)}"
|
||
return UPSTREAM, f"厂商 {code}{body_hint(raw)}(上游故障——HTTP 200≠成功,body 是原话)"
|
||
|
||
|
||
def body_hint(raw: str) -> str:
|
||
s = (raw or "").replace("\n", " ").strip()
|
||
return f"|{s[:80]}" if s else ""
|
||
|
||
|
||
def classify_apix(code: int, raw: str) -> tuple[str, str]:
|
||
"""apix 探针响应 → 三态。归属判定与 classify_llm 同一套双判据。
|
||
|
||
apix 的 401/403 有两种来源:网关(Key 无效)或供应商/内部服务(上游 Key 失效、
|
||
WAF)。**网关码集合 + 网关体形态**同时命中才判 ❌;上游 FastAPI(detail)与
|
||
WAF 页(HTML)都不匹配 → ⚠️ 如实反馈。
|
||
"""
|
||
if code == 0:
|
||
return GW_FAIL, "连不上网关(超时/DNS/TLS)"
|
||
if 200 <= code < 300:
|
||
return PASS, ""
|
||
is_gw, msg = from_gateway(code, raw)
|
||
if is_gw:
|
||
if code == 429:
|
||
return GW_WARN, f"网关限流/配额:{msg}(探针打太快,非发版故障)"
|
||
return GW_FAIL, f"网关拒绝 HTTP {code}:{msg}"
|
||
if code in (502, 504):
|
||
return UPSTREAM, f"上游不可达(nginx {code},网关已转发但服务连不上){body_hint(raw)}"
|
||
if code == 402:
|
||
return UPSTREAM, f"上游 402:疑似额度耗尽/欠费{body_hint(raw)}"
|
||
if code in (401, 403):
|
||
return UPSTREAM, f"上游/边缘拒绝 HTTP {code}(供应商 Key 失效或 WAF,非网关问题){body_hint(raw)}"
|
||
if code == 404:
|
||
return UPSTREAM, f"上游 404:链路通但路径不存在(核对管理台 base 与路径拼接){body_hint(raw)}"
|
||
if 400 <= code < 500:
|
||
return UPSTREAM, f"上游 {code}:探针参数被拒(链路通){body_hint(raw)}"
|
||
return UPSTREAM, f"上游 {code}({body_hint(raw).strip() or '无响应体'})"
|
||
|
||
|
||
def summarize(results: list, label: str) -> int:
|
||
"""打印三态汇总,返回建议退出码(gw_fail>0 → 1)。"""
|
||
n_fail = sum(1 for r in results if r["status"] == GW_FAIL)
|
||
n_warn = sum(1 for r in results if r["status"] in (UPSTREAM, GW_WARN))
|
||
n_pass = sum(1 for r in results if r["status"] == PASS)
|
||
print("-" * 66)
|
||
print(f"📊 {label}:✅{n_pass} ⚠️{n_warn} ❌{n_fail} (共 {len(results)} 项)")
|
||
if n_fail:
|
||
print(" ❌ = 网关侧故障(发版要抓的),逐条见上面输出")
|
||
if n_warn:
|
||
print(" ⚠️ = 网关已放行、上游/厂商侧问题(欠费/不可达/参数),不染红发版,但要有人跟进:")
|
||
for r in results:
|
||
if r["status"] in (UPSTREAM, GW_WARN):
|
||
print(f" ⚠️ {r.get('name', r.get('slug', '?'))}:{r['why']}")
|
||
return 1 if n_fail else 0
|