feat(llm): 上游健康自动标记 + 管理台连通性测试 + 可复制 API 地址
- 健康标记(log 阶段):真实转发的上游状态码写入 uh:<slot>(4xx=活着,
5xx/502/504=失效,下次成功自动自愈),数据来源就是真实流量本身,
无需常驻探测进程。状态码读 $upstream_status 变量(r->upstream 在
上游 finalize 时已置空,log 阶段读不到——access log 同款手法)。
- 管理台「测试」按钮:POST /api/admin/upstreams/test?slot=X,校验后
ngx_http_internal_redirect 到管理 server 内部 location /_upstream_test,
复用 LLM 链路的取 slot / 拼路径 / 换真 Key 逻辑,上游原话透传给面板。
⚠️ 内部重定向只浅拷贝 ngx_str_t,URI 必须拷进请求池——否则函数返回
即悬垂,log 阶段 r->uri 全是 NUL,健康标记静默失效(实测踩坑)。
- 上游列表每行 slot 旁 OpenAI / Anthropic 两枚点击复制地址按钮,
模型发现(/v1/models 与 /api/v1/models、/api/v1/upstreams)附
anthropic_base_url 与健康状态;anthropic_base_url 统一收口
upstreams::anthropic_base_url(),base 已钉 /anthropic 时不重复追加。
- 统计卡片挪进独立「数据总览」tab 并设为默认页。
- 回归 +12 条(第 12 节健康标记断言),LLM 111 + 网关 78,失败 0。
- 测试卫生:run.sh 启动靶机前 pkill 残留进程(占 18999 会造成假 200)。
This commit is contained in:
1 parent
b76213bebb
commit
1b0bde9f72
13 files changed
+649
-40
No files matched your search
@@ -239,6 +239,28 @@ http {
|
||||
location /api/ {
|
||||
ipass_api on;
|
||||
}
|
||||
|
||||
# —— 上游连通性测试(管理台「测试」按钮)——
|
||||
# /api/admin/upstreams/test 校验 slot 后由模块内部重定向到这里。
|
||||
# proxy_pass 复用 LLM 的 $llm_* 变量(getter 从 URI 第一段取 slot,
|
||||
# 前缀 /_upstream_test 由模块剥掉);已读入的探测请求体由 proxy
|
||||
# 原样转发;上游真实状态码与响应体直接透传给面板。
|
||||
# internal 挡住外部直连——这是唯一不经过 ukey 鉴权就能触达上游的口,
|
||||
# 必须只能由模块自己的 admin 会话校验后才可达。
|
||||
location /_upstream_test/ {
|
||||
internal;
|
||||
proxy_pass $llm_target;
|
||||
proxy_http_version 1.1;
|
||||
proxy_pass_request_headers off;
|
||||
proxy_set_header Host $llm_host;
|
||||
proxy_set_header Authorization $llm_auth;
|
||||
proxy_set_header Content-Type $http_content_type;
|
||||
proxy_set_header Accept $http_accept;
|
||||
proxy_ssl_server_name on;
|
||||
proxy_connect_timeout 5s;
|
||||
proxy_send_timeout 15s;
|
||||
proxy_read_timeout 15s;
|
||||
}
|
||||
}
|
||||
|
||||
# ==================================================================
|
||||
|
||||
@@ -261,14 +261,16 @@ docker compose logs -f # 看到「已创建初始管理员 admin」即为
|
||||
|
||||
## 8. 管理台使用
|
||||
|
||||
单页应用,四个区域:
|
||||
单页应用,六个 Tab(**数据总览为默认页**,统计不再占审核队列的版面):
|
||||
|
||||
| 区域 | 能力 |
|
||||
| Tab | 能力 |
|
||||
| --- | --- |
|
||||
| **顶部统计** | 待审核申请 / 域名总数 / 可用中 / 账号总数 |
|
||||
| **数据总览** | 待审核申请 / 域名总数 / 可用中 / 账号总数 / LLM 上游数 / 今日与累计调用 / 可用模型数 |
|
||||
| **审核队列** | 列出所有待审申请(子域名、后端、类型、申请人、提交时间),一键**通过**或**驳回** |
|
||||
| **全部域名** | 管理员直接新建域名并放行(跳过审核);查看全部域名及其状态、到期倒计时;删除映射 |
|
||||
| **账号管理** | 新建账号(角色、勾选临时授权权限);账号列表:复制/重置 API Key、授权或取消「临时授权权限」、改密码、删除账号 |
|
||||
| **LLM 上游** | 新建/编辑/启停/删除上游;模型清单维护;每行 slot 旁有 **OpenAI / Anthropic 两枚复制地址按钮**(按当前 Host 自动生成、已处理 `/v1` 拼接去重,点一下即复制,客户端拿去当 `base_url`,不用自己猜路径);**健康徽标**(`ok` 绿 / `failed` 红 / `unknown` 灰,打开面板自动探测,**测试**按钮可手动刷新) |
|
||||
| **用量统计** | 全局合计 + 按账号 + 按上游的今日 / 累计 / 最近调用 |
|
||||
|
||||
几点说明:
|
||||
|
||||
@@ -289,14 +291,34 @@ docker compose logs -f # 看到「已创建初始管理员 admin」即为
|
||||
| GET | `/api/v1/domains` | - | 我申请的全部域名 |
|
||||
| POST | `/api/v1/domains/apply` | `subdomain`、`backend`、`type`(`temp`/`long`) | 申请域名。符合免审条件即刻放行,否则进入待审 |
|
||||
| POST | `/api/v1/domains/delete` | `id` | 删除自己名下的域名(只能删自己的) |
|
||||
| GET | `/api/v1/upstreams` | - | 我有权限使用的 LLM 上游(`slot`、`base_url`、`models`、`note`) |
|
||||
| GET | `/api/v1/models` | - | 我可用模型的**扁平清单**(每条含 `model`、`slot`、`base_url`),另附 `upstreams` 分组 |
|
||||
| GET | `/api/v1/upstreams` | - | 我有权限使用的 LLM 上游(`slot`、`base_url`、`anthropic_base_url`、`models`、`status` 健康状态) |
|
||||
| GET | `/api/v1/models` | - | 我可用模型的**扁平清单**(每条含 `model`、`slot`、`base_url`),另附 `upstreams` 分组(含健康状态) |
|
||||
| GET | `/api/v1/usage` | - | 我的 LLM 用量:今日 / 累计 / 最近调用时间 + 分上游明细 + 当前限流 |
|
||||
|
||||
> `/api/v1/models` 与 LLM 域名下的 `GET /v1/models` 是**同一份数据**、两种形状:
|
||||
> 前者是网关统一响应体(`{code,msg,data}`,带 `base_url`),后者是 OpenAI SDK 期望的
|
||||
> `{object:"list",data:[{id,...}]}`。客户端只认 SDK 时用后面的,自研/管理脚本用前面的。
|
||||
|
||||
### 9.1 上游健康状态(失效自动标记)
|
||||
|
||||
每个上游带一个 `status` 字段:`ok`(最近一次真实转发成功)/ `failed`(最近一次真实转发
|
||||
失败,附 `status_code` 与 `checked_at`)/ `unknown`(从未被调用过)。
|
||||
|
||||
**数据来源是真实流量本身**:网关在 log 阶段把每次 LLM 转发的上游状态码写进共享内存
|
||||
(`uh:<slot>`),4xx 视为「上游活着」(它对请求内容的意见),5xx / 连不上(502) /
|
||||
等头超时(504) 记为失效;下一次成功转发自动恢复 `ok`,无需人工清理。这份缓存**只用于
|
||||
展示**,不参与转发决策。管理台「LLM 上游」页会标出徽标,并对未探测/失效的上游在
|
||||
打开面板时自动发一次 1-token 探测;「测试」按钮可随时手动刷新。
|
||||
|
||||
一把有效 Key 一次取齐「所有可用 API 地址 + 模型 + 健康状态」:
|
||||
LLM 域名下 `GET /v1/models`(OpenAI 兼容形状)的顶层额外附 `x_ipass_upstreams`
|
||||
(SDK 会忽略未知字段),每段含 `slot`、`base_url`(OpenAI 用)、`anthropic_base_url`、
|
||||
`models`、`status`:
|
||||
|
||||
```bash
|
||||
curl -s -H "Authorization: Bearer $KEY" https://lm.mayishangshu.cn:88/v1/models | python3 -m json.tool
|
||||
```
|
||||
|
||||
参数可用 JSON body、form 表单或 query string 传递。
|
||||
|
||||
```bash
|
||||
@@ -697,6 +719,28 @@ curl https://lm.mayishangshu.cn:88/openai/v1/chat/completions \
|
||||
-d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"hi"}]}'
|
||||
```
|
||||
|
||||
```bash
|
||||
# Anthropic 兼容客户端(Claude Code / Claude SDK):base_url 要补 /anthropic 段
|
||||
export ANTHROPIC_BASE_URL=https://lm.mayishangshu.cn:88/minimax/anthropic
|
||||
export ANTHROPIC_AUTH_TOKEN=sk_<你的 API Key> # 发 Authorization: Bearer —— 走网关用它
|
||||
# SDK 会自己在后面拼 /v1/messages,实际打到 /minimax/anthropic/v1/messages
|
||||
```
|
||||
|
||||
> ⚠️ **Anthropic 客户端最容易用错的两个变量**(Anthropic 官方语义):
|
||||
>
|
||||
> | 变量 | 发出的请求头 | 用在哪 |
|
||||
> | --- | --- | --- |
|
||||
> | `ANTHROPIC_AUTH_TOKEN` | `Authorization: Bearer` | **走网关/代理**——本网关认的就是这个 |
|
||||
> | `ANTHROPIC_API_KEY` | `x-api-key` | **直连 Anthropic 官方**才用 |
|
||||
>
|
||||
> 配成 `ANTHROPIC_API_KEY` 属于配置偏差:请求仍能过(网关两种头都认,且出站时会把它摘掉、
|
||||
> 不会泄漏给上游厂商),但语义不对,别依赖这个行为。`BASE_URL` 末尾**必须带 `/anthropic`**,
|
||||
> 漏掉会打到 `…/minimax/v1/messages` → 厂商侧 404。
|
||||
>
|
||||
> **不想猜路径就用现成的**:管理台「LLM 上游」每行 slot 旁有 **OpenAI / Anthropic 两枚
|
||||
> 点击复制按钮**;或用 Key 调 `GET /api/v1/upstreams` / `GET /api/v1/models`,
|
||||
> 响应里 `base_url`(OpenAI 用)与 `anthropic_base_url`(Anthropic 用)都是拼好的完整地址。
|
||||
|
||||
- **同一把 Key 通吃**:域名接口用 `X-API-Key`,LLM 代理用 `Authorization: Bearer` 或 `x-api-key`,
|
||||
都是同一把;改密码不影响 Key,重置 Key 则两处同时失效。
|
||||
- **换厂商不改客户端**:把 base_url 里的 `openai` 换成 `deepseek` 即可(需管理员给你开白名单)。
|
||||
@@ -816,9 +860,10 @@ curl -s -H "X-API-Key: $KEY" "$API/api/v1/usage"
|
||||
`models` 用于**模型发现**;管理台「上游管理」有「模型」列与「编辑」按钮可直接维护,
|
||||
支持一次粘贴多行(逗号 / 顿号 / 分号 / 换行都当分隔符)。
|
||||
|
||||
`GET /api/v1/upstreams`(账号态)会给每个可用上游回一个 `base_url`,形如
|
||||
`https://lm.mayishangshu.cn:88/<slot><上游路径>`——客户端拿它当 `base_url` 直接拼即可,
|
||||
不必自己关心上游 `base` 里有没有 `/v1`。
|
||||
`GET /api/v1/upstreams`(账号态)与 `GET /api/v1/models`(`upstreams` 分组)会给每个可用
|
||||
上游回两个**拼好的完整地址**:`base_url`(OpenAI 客户端直接当 `base_url` 用)与
|
||||
`anthropic_base_url`(Anthropic 客户端直接当 `ANTHROPIC_BASE_URL` 用),以及 `status`
|
||||
健康状态——不必自己关心上游 `base` 里有没有 `/v1`、也不用猜协议段。
|
||||
|
||||
> ⚠️ **`base` 写到哪一层,决定 `base_url` 是否「协议中立」。** 上游 `base` 若只写到 host
|
||||
> (`.11` 上 `minimax` = `https://api.minimaxi.com`),回显的 `base_url` 就是
|
||||
|
||||
+83
-6
@@ -13,7 +13,7 @@
|
||||
|
||||
use std::collections::HashMap;
|
||||
|
||||
use ngx::core::Status;
|
||||
use ngx::core::{Pool, Status};
|
||||
use ngx::ffi::ngx_http_request_t;
|
||||
use ngx::http::HTTPStatus;
|
||||
use serde_json::{Value, json};
|
||||
@@ -86,6 +86,7 @@ fn route(method: &str, uri: &str) -> Option<(Guard, Handler)> {
|
||||
("POST", "/api/admin/purge") => (Guard::Admin, h_admin_purge),
|
||||
("GET", "/api/admin/upstreams") => (Guard::Admin, h_admin_upstreams),
|
||||
("POST", "/api/admin/upstreams/save") => (Guard::Admin, h_admin_upstream_save),
|
||||
("POST", "/api/admin/upstreams/test") => (Guard::Admin, h_admin_upstream_test),
|
||||
("POST", "/api/admin/upstreams/delete") => (Guard::Admin, h_admin_upstream_delete),
|
||||
("GET", "/api/admin/usage") => (Guard::Admin, h_admin_usage),
|
||||
("GET", "/api/v1/me") => (Guard::User, h_me),
|
||||
@@ -568,6 +569,64 @@ fn h_admin_upstream_delete(r: *mut ngx_http_request_t, _actor: Actor) -> Status
|
||||
}
|
||||
}
|
||||
|
||||
/// 管理员:上游连通性测试(管理台「测试」按钮)。
|
||||
///
|
||||
/// 面板把 slot 放在 query(`?slot=x`),把**要发给上游的探测 JSON**(真实
|
||||
/// chat/completions 请求,max_tokens=1)放在请求体——模块对体零改写。
|
||||
/// 实现上校验 slot 存在后 `ngx_http_internal_redirect` 到管理 server 的
|
||||
/// 内部 location `/_upstream_test/<slot>/v1/chat/completions`:
|
||||
///
|
||||
/// * `proxy_pass $llm_target` 原样复用 LLM 链路的取 slot / 拼路径 / 换真 Key
|
||||
/// 逻辑(见 `llm::slot_of` 对 `/_upstream_test` 前缀的识别);
|
||||
/// * 请求体在 API 两段式读取里已经进 `r->request_body`,内部重定向后由
|
||||
/// proxy 原样转发;
|
||||
/// * 上游的真实状态码与响应体直接透传给面板——通不通、错在哪个厂商,
|
||||
/// 面板看到的就是厂商原话。
|
||||
///
|
||||
/// 为什么不能在浏览器里直测:上游真 Key 只存在服务端(面板只有掩码),
|
||||
/// 且 lm 域名与 mdm 不同源,fetch 会被 CORS 拦住——测试必须在服务端发起。
|
||||
fn h_admin_upstream_test(r: *mut ngx_http_request_t, _actor: Actor) -> Status {
|
||||
let slot_raw = http::params(r).get("slot").cloned().unwrap_or_default();
|
||||
let slot = match upstreams::validate_slot(&slot_raw) {
|
||||
Ok(s) => s,
|
||||
Err(e) => return http::fail(r, HTTPStatus::BAD_REQUEST, &e),
|
||||
};
|
||||
if state::get_upstream(&slot).is_none() {
|
||||
return http::fail(r, HTTPStatus::NOT_FOUND, &format!("上游 {slot} 不存在"));
|
||||
}
|
||||
|
||||
let uri = format!("/_upstream_test/{slot}/v1/chat/completions");
|
||||
util::log_notice(&format!("[api] 测试 LLM 上游 {slot}"));
|
||||
|
||||
// ⚠️ nginx 的 internal_redirect 只**浅拷贝 ngx_str_t 结构体**(data 指针 + len),
|
||||
// 不拷贝字节内容。若把栈上 String 的指针直接递过去,函数一返回堆内存就被回收,
|
||||
// 之后 log 阶段读 r->uri 全是 NUL——健康标记、slot 解析全部静默失效(实测踩过)。
|
||||
// 必须把 URI 字节拷进**请求池**,让它活到请求结束。
|
||||
//
|
||||
// SAFETY: r 有效;池内存在整个请求生命周期内有效。
|
||||
unsafe {
|
||||
let pool = Pool::from_ngx_pool((*r).pool);
|
||||
let bytes = uri.as_bytes();
|
||||
let data = pool.alloc(bytes.len()) as *mut u8;
|
||||
if data.is_null() {
|
||||
return http::fail(r, HTTPStatus::INTERNAL_SERVER_ERROR, "内存分配失败");
|
||||
}
|
||||
core::ptr::copy_nonoverlapping(bytes.as_ptr(), data, bytes.len());
|
||||
|
||||
let mut u = nginx_sys::ngx_str_t {
|
||||
len: bytes.len(),
|
||||
data,
|
||||
};
|
||||
let mut args = nginx_sys::ngx_str_t {
|
||||
len: 0,
|
||||
data: std::ptr::null_mut(),
|
||||
};
|
||||
nginx_sys::ngx_http_internal_redirect(r, &mut u, &mut args);
|
||||
}
|
||||
|
||||
Status::NGX_DONE
|
||||
}
|
||||
|
||||
/// 管理员:LLM 用量总览(每人 / 每上游 / 合计)。
|
||||
///
|
||||
/// 口径是**请求数**,且只统计真正转发出去的请求(见 `stats` 模块头注释)。
|
||||
@@ -672,11 +731,19 @@ fn h_my_upstreams(r: *mut ngx_http_request_t, actor: Actor) -> Status {
|
||||
let items: Vec<Value> = upstreams::available(&user.allowed_models)
|
||||
.into_iter()
|
||||
.map(|(slot, up)| {
|
||||
let (status, code, checked_at) = match upstreams::health(&slot) {
|
||||
Some((ok, c, ts)) => (if ok { "ok" } else { "failed" }, c, ts),
|
||||
None => ("unknown", 0, 0),
|
||||
};
|
||||
json!({
|
||||
"slot": slot,
|
||||
"base_url": upstreams::base_url(&slot, &up, &port),
|
||||
"anthropic_base_url": upstreams::anthropic_base_url(&slot, &up, &port),
|
||||
"models": up.models,
|
||||
"note": up.note,
|
||||
"status": status,
|
||||
"status_code": if code > 0 { json!(code) } else { Value::Null },
|
||||
"checked_at": checked_at,
|
||||
})
|
||||
})
|
||||
.collect();
|
||||
@@ -716,11 +783,21 @@ fn h_my_models(r: *mut ngx_http_request_t, actor: Actor) -> Status {
|
||||
"items": items,
|
||||
"upstreams": available
|
||||
.iter()
|
||||
.map(|(slot, up)| json!({
|
||||
"slot": slot,
|
||||
"base_url": upstreams::base_url(slot, up, &port),
|
||||
"models": up.models,
|
||||
}))
|
||||
.map(|(slot, up)| {
|
||||
let (status, code, checked_at) = match upstreams::health(slot) {
|
||||
Some((ok, c, ts)) => (if ok { "ok" } else { "failed" }, c, ts),
|
||||
None => ("unknown", 0, 0),
|
||||
};
|
||||
json!({
|
||||
"slot": slot,
|
||||
"base_url": upstreams::base_url(slot, up, &port),
|
||||
"anthropic_base_url": upstreams::anthropic_base_url(slot, up, &port),
|
||||
"models": up.models,
|
||||
"status": status,
|
||||
"status_code": if code > 0 { json!(code) } else { Value::Null },
|
||||
"checked_at": checked_at,
|
||||
})
|
||||
})
|
||||
.collect::<Vec<_>>(),
|
||||
}),
|
||||
"ok",
|
||||
|
||||
@@ -99,6 +99,15 @@ pub const KEY_UST_PREFIX: &[u8] = b"ust:";
|
||||
/// 键 = `ums:<username>:<slot>`(username 与 slot 都不含 `:`,切分安全),
|
||||
/// value 同 `ust:`。管理台的「每个模型用量」就是把这些键按 slot 聚合出来的。
|
||||
pub const KEY_UMS_PREFIX: &[u8] = b"ums:";
|
||||
/// 键前缀:LLM **上游健康缓存**。键 = `uh:<slot>`,
|
||||
/// value = `<1|0> \n <上游状态码> \n <记录时刻>`。
|
||||
///
|
||||
/// 由 log 阶段处理器在每次真实转发完成后写入(见 `lib.rs` 的 `LlmHealthHandler`),
|
||||
/// 管理台「测试」按钮的探测请求走同一条转发链路,因此也天然更新这份数据。
|
||||
/// 30 天过期只是兜底——它随时会被下一次转发覆盖;删除上游时不必清理,
|
||||
/// 列表接口只对现存 slot 展示。**这是纯展示缓存,不参与任何转发决策**,
|
||||
/// 最多容忍客户端中途断连导致的误标(下一次真实转发即纠正)。
|
||||
pub const KEY_UH_PREFIX: &[u8] = b"uh:";
|
||||
|
||||
/// LLM 代理对外域名,用于账号态 API 回显 `base_url`。
|
||||
/// 改域名只改这里(`conf/nginx.conf` 的 LLM server_name 要同步改)。
|
||||
|
||||
+91
-4
@@ -53,16 +53,16 @@ mod users;
|
||||
|
||||
use core::ffi::{c_char, c_void};
|
||||
use core::ptr;
|
||||
use core::sync::atomic::{AtomicUsize, Ordering};
|
||||
use core::sync::atomic::{AtomicIsize, AtomicUsize, Ordering};
|
||||
|
||||
use ngx::core::{NGX_CONF_ERROR, NGX_CONF_OK, NgxStr, NgxString, Pool, SlabPool, Status};
|
||||
use ngx::ffi::{
|
||||
NGX_CONF_TAKE1, NGX_CONF_TAKE2, NGX_HTTP_LOC_CONF, NGX_HTTP_LOC_CONF_OFFSET, NGX_HTTP_MAIN_CONF,
|
||||
NGX_HTTP_MAIN_CONF_OFFSET, NGX_HTTP_MODULE, NGX_HTTP_VAR_CHANGEABLE, NGX_HTTP_VAR_NOCACHEABLE,
|
||||
NGX_LOG_EMERG, ngx_command_t, ngx_conf_t, ngx_cycle_t, ngx_http_add_variable,
|
||||
ngx_http_get_variable_index, ngx_http_module_t, ngx_http_request_t,
|
||||
ngx_http_variable_value_t, ngx_int_t, ngx_module_t, ngx_parse_size, ngx_shared_memory_add,
|
||||
ngx_shm_zone_t, ngx_str_t, ngx_uint_t,
|
||||
ngx_http_get_indexed_variable, ngx_http_get_variable_index, ngx_http_module_t,
|
||||
ngx_http_request_t, ngx_http_variable_value_t, ngx_int_t, ngx_module_t, ngx_parse_size,
|
||||
ngx_shared_memory_add, ngx_shm_zone_t, ngx_str_t, ngx_uint_t,
|
||||
};
|
||||
use ngx::http::{
|
||||
HTTPStatus, HttpModule, HttpModuleLocationConf, HttpPhase, HttpRequestHandler, Merge,
|
||||
@@ -311,6 +311,80 @@ impl HttpRequestHandler for LlmHandler {
|
||||
}
|
||||
}
|
||||
|
||||
/// `$upstream_status` 的变量索引,postconfiguration 时解析一次(log 阶段复用)。
|
||||
static UPSTREAM_STATUS_IDX: AtomicIsize = AtomicIsize::new(-1);
|
||||
|
||||
/// LLM 上游健康标记(log 阶段):把上游**真实**状态码写进 `uh:<slot>` 缓存。
|
||||
///
|
||||
/// 为什么在 log 阶段:转发决策在 access、响应在 proxy 模块手里,只有 log
|
||||
/// 阶段能同时拿到「slot 是谁」和「上游实际回了什么」。这相当于让**真实流量
|
||||
/// 自己当探针**——不需要额外的常驻探测进程(项目红线),健康状态也最真实。
|
||||
/// 管理台「测试」按钮的探测请求走同一条 `proxy_pass` 链路,天然共用本逻辑。
|
||||
///
|
||||
/// 写下的缓存**只用于展示**(列表标红 / 模型发现附状态),转发路径不读它,
|
||||
/// 误标不影响任何请求的结果。
|
||||
///
|
||||
/// ⚠️ 状态码从 `$upstream_status` 变量读,**不能读 `r->upstream`**——
|
||||
/// `ngx_http_upstream_finalize_request` 在日志阶段之前就把 `r->upstream`
|
||||
/// 置空了(实测踩过:代码编译通过、跑起来状态永远是 unknown)。
|
||||
/// access log 模块同款手法:变量在 finalize 时快照,log 阶段仍有效。
|
||||
struct LlmHealthHandler;
|
||||
|
||||
impl HttpRequestHandler for LlmHealthHandler {
|
||||
const PHASE: HttpPhase = HttpPhase::Log;
|
||||
type Output = Status;
|
||||
|
||||
fn handler(request: &mut ngx::http::Request) -> Self::Output {
|
||||
let r: *mut ngx_http_request_t = request.as_mut() as *mut ngx_http_request_t;
|
||||
|
||||
// 两类请求要标记:
|
||||
// ① LLM server 的真实转发流量(location_conf.llm == true);
|
||||
// ② 管理台探测流量——内部重定向到管理 server 的 /_upstream_test location,
|
||||
// 那里**没有** ipass_llm 指令(有就会重跑 access 鉴权,探测请求只有
|
||||
// 登录会话没有 API Key),所以只能按 URI 前缀认。
|
||||
let uri = crate::http::uri(r);
|
||||
let is_llm = Module::location_conf(request).map(|c| c.llm).unwrap_or(false);
|
||||
let is_probe = uri.starts_with("/_upstream_test");
|
||||
if !is_llm && !is_probe {
|
||||
return Status::NGX_DECLINED;
|
||||
}
|
||||
|
||||
// SAFETY: r 有效;索引在 postconfiguration 已解析(见 postconfiguration)
|
||||
let code = unsafe {
|
||||
let idx = UPSTREAM_STATUS_IDX.load(Ordering::Relaxed);
|
||||
if idx < 0 {
|
||||
0
|
||||
} else {
|
||||
let v = ngx_http_get_indexed_variable(r, idx as ngx_uint_t);
|
||||
if (*v).not_found() != 0 || (*v).data.is_null() {
|
||||
0
|
||||
} else {
|
||||
let s = core::str::from_utf8(core::slice::from_raw_parts(
|
||||
(*v).data,
|
||||
(*v).len() as usize,
|
||||
))
|
||||
.unwrap_or("");
|
||||
// 内部重定向会有多段(如 "502, 200"),取**最后一段** = 最近一次上游尝试
|
||||
s.rsplit(',').next().unwrap_or("").trim().parse().unwrap_or(0)
|
||||
}
|
||||
}
|
||||
};
|
||||
// 没有 upstream(本地应答如 /v1/models)或没拿到状态码(客户端中途
|
||||
// 断连等)→ 无从判断,不写缓存,留给下一次真实转发
|
||||
if code == 0 {
|
||||
return Status::NGX_DECLINED;
|
||||
}
|
||||
|
||||
if let Some(slot) = llm::slot_of(r) {
|
||||
// 上游回了头 = 它活着:2xx~4xx 都算正常(4xx 是它对我们请求的意见,
|
||||
// 不是机器死了);5xx / 连接失败(502) / 等头超时(504) 才算失效
|
||||
upstreams::mark_health(&slot, (200..500).contains(&code), code);
|
||||
}
|
||||
|
||||
Status::NGX_DECLINED
|
||||
}
|
||||
}
|
||||
|
||||
/// 管理 API:content 阶段先读请求体,读完后交给 `api::dispatch`。
|
||||
///
|
||||
/// 这是本项目唯一需要异步的地方。`ngx_http_read_client_request_body` 是
|
||||
@@ -475,9 +549,22 @@ impl HttpModule for Module {
|
||||
if ngx::http::add_phase_handler::<LlmHandler>(cf).is_err() {
|
||||
return Status::NGX_ERROR.into();
|
||||
}
|
||||
if ngx::http::add_phase_handler::<LlmHealthHandler>(cf).is_err() {
|
||||
return Status::NGX_ERROR.into();
|
||||
}
|
||||
if ngx::http::add_phase_handler::<ApiHandler>(cf).is_err() {
|
||||
return Status::NGX_ERROR.into();
|
||||
}
|
||||
// 预取 `$upstream_status` 索引(upstream 模块 preconfiguration 已注册该内建变量)
|
||||
let mut name = ngx_str_t {
|
||||
len: "upstream_status".len() as usize,
|
||||
data: b"upstream_status\0".as_ptr() as *mut u8,
|
||||
};
|
||||
let idx = ngx_http_get_variable_index(cf, &mut name);
|
||||
if idx == -1 {
|
||||
return Status::NGX_ERROR.into();
|
||||
}
|
||||
UPSTREAM_STATUS_IDX.store(idx as isize, Ordering::Relaxed);
|
||||
Status::NGX_OK.into()
|
||||
}
|
||||
}
|
||||
|
||||
+49
-3
@@ -54,10 +54,27 @@ pub const VAR_AUTH: usize = 3;
|
||||
// 请求解析
|
||||
// ===========================================================================
|
||||
|
||||
/// 剥掉内部测试前缀:`/_upstream_test/<slot>/...` → `/<slot>/...`
|
||||
///
|
||||
/// 管理台的「测试」按钮经 `ngx_http_internal_redirect` 落到这个内部 location,
|
||||
/// 复用本文件的取 slot / 拼 URL / 换密钥逻辑。**slot_of 与 upstream_uri 都必须
|
||||
/// 走这一步**——漏一边的表现(实测):slot 被当成路径段留给上游,拼出
|
||||
/// `.../v1/deepseeklike/v1/chat/completions` → 404/502;对「任何路径都回 200」
|
||||
/// 的 echo 靶机则会掩盖成假绿,必须看靶机实际收到的 path。
|
||||
fn strip_internal_prefix(uri: &str) -> &str {
|
||||
uri.strip_prefix("/_upstream_test").unwrap_or(uri)
|
||||
}
|
||||
|
||||
/// 取 URL 第一段作为上游 slot:`/openai/v1/chat/completions` → `openai`
|
||||
///
|
||||
/// 兼容一条内部链路:管理台的「测试」按钮走
|
||||
/// `POST /api/admin/upstreams/test`,模块校验后 `ngx_http_internal_redirect`
|
||||
/// 到管理 server 的内部 location `/_upstream_test/<slot>/v1/chat/completions`,
|
||||
/// 让 `proxy_pass $llm_target` 原样复用本文件的取 slot / 拼 URL / 换密钥逻辑。
|
||||
/// 前缀剥掉后语义与客户端直打 `/<slot>/...` 完全一致(同一套鉴权变量)。
|
||||
pub fn slot_of(r: *mut ngx_http_request_t) -> Option<String> {
|
||||
let uri = crate::http::uri(r);
|
||||
let rest = uri.strip_prefix('/')?;
|
||||
let rest = strip_internal_prefix(&uri).strip_prefix('/')?;
|
||||
let slot = rest.split('/').next().unwrap_or("");
|
||||
if slot.is_empty() {
|
||||
return None;
|
||||
@@ -70,7 +87,8 @@ pub fn slot_of(r: *mut ngx_http_request_t) -> Option<String> {
|
||||
/// query 必须在这里拼——变量形式的 `proxy_pass` **不会**自动追加原始 args。
|
||||
pub fn upstream_uri(r: *mut ngx_http_request_t) -> String {
|
||||
let uri = crate::http::uri(r);
|
||||
let rest = uri.strip_prefix('/').unwrap_or(&uri);
|
||||
let uri = strip_internal_prefix(&uri);
|
||||
let rest = uri.strip_prefix('/').unwrap_or(uri);
|
||||
// 只有 slot、没有后续路径时(如 `/openai`)打到上游根
|
||||
let path = match rest.find('/') {
|
||||
Some(i) => &rest[i..],
|
||||
@@ -315,6 +333,12 @@ pub fn is_models_probe(r: *mut ngx_http_request_t) -> bool {
|
||||
///
|
||||
/// 客户端 SDK 只认这个形状,返回项目自己的 `{code,msg,data}` 会让 SDK
|
||||
/// 报"无法解析的响应"——与错误体必须 OpenAI 兼容是同一个理由。
|
||||
///
|
||||
/// 顶层额外挂一个 `x_ipass_upstreams`(OpenAI SDK 忽略未知字段):
|
||||
/// 每个**该账号可用**的上游一段,给出 OpenAI / Anthropic 两种 base_url、
|
||||
/// 登记的模型清单与健康状态——客户端拿一把有效 Key 一次就能取齐
|
||||
/// 「能调哪些地址、哪些模型、哪些上游当前失效」。健康来自真实流量的
|
||||
/// log 阶段标记(`uh:` 缓存),从没被调用过 = `unknown`。
|
||||
pub fn respond_models(r: *mut ngx_http_request_t, allowed: &[String]) -> Status {
|
||||
let data: Vec<serde_json::Value> = upstreams::models_flat(allowed)
|
||||
.into_iter()
|
||||
@@ -323,7 +347,29 @@ pub fn respond_models(r: *mut ngx_http_request_t, allowed: &[String]) -> Status
|
||||
})
|
||||
.collect();
|
||||
|
||||
let body = json!({ "object": "list", "data": data }).to_string();
|
||||
// base_url 跟随调用方所用的端口(与账号态 /api/v1/models 同一口径)
|
||||
let port = crate::http::host_port(r);
|
||||
let x_upstreams: Vec<serde_json::Value> = upstreams::available(allowed)
|
||||
.into_iter()
|
||||
.map(|(slot, up)| {
|
||||
let (status, code, checked_at) = match upstreams::health(&slot) {
|
||||
Some((ok, c, ts)) => (if ok { "ok" } else { "failed" }, c, ts),
|
||||
None => ("unknown", 0, 0),
|
||||
};
|
||||
json!({
|
||||
"slot": slot,
|
||||
"base_url": upstreams::base_url(&slot, &up, &port),
|
||||
"anthropic_base_url": upstreams::anthropic_base_url(&slot, &up, &port),
|
||||
"models": up.models,
|
||||
"status": status,
|
||||
"status_code": if code > 0 { json!(code) } else { serde_json::Value::Null },
|
||||
"checked_at": checked_at,
|
||||
})
|
||||
})
|
||||
.collect();
|
||||
|
||||
let body =
|
||||
json!({ "object": "list", "data": data, "x_ipass_upstreams": x_upstreams }).to_string();
|
||||
// 与错误路径同一手法:自己把响应发出去,再把状态码交回 nginx。
|
||||
// 注意**不能**返回 NGX_OK——access 阶段的 OK 语义是"放行、继续走 content",
|
||||
// 那样 `proxy_pass` 照样会执行,客户端拿到模型列表的同时上游被真调一次。
|
||||
|
||||
+63
-3
@@ -15,9 +15,8 @@
|
||||
|
||||
use serde_json::{Value, json};
|
||||
|
||||
use crate::config::{
|
||||
KEY_UP_PREFIX, LLM_PUBLIC_HOST, MODEL_NAME_MAX_LEN, UPSTREAM_BASE_MAX_LEN,
|
||||
UPSTREAM_MODELS_MAX, UPSTREAM_SLOT_MAX_LEN,
|
||||
use crate::config::{KEY_UH_PREFIX, KEY_UP_PREFIX, LLM_PUBLIC_HOST, MODEL_NAME_MAX_LEN,
|
||||
UPSTREAM_BASE_MAX_LEN, UPSTREAM_MODELS_MAX, UPSTREAM_SLOT_MAX_LEN,
|
||||
};
|
||||
use crate::models::Upstream;
|
||||
use crate::state;
|
||||
@@ -221,6 +220,20 @@ pub fn base_url(slot: &str, up: &Upstream, port: &str) -> String {
|
||||
format!("https://{LLM_PUBLIC_HOST}{port}/{slot}{path}")
|
||||
}
|
||||
|
||||
/// Anthropic 客户端(Claude Code / Claude SDK)应当使用的 `ANTHROPIC_BASE_URL`。
|
||||
///
|
||||
/// 协议段由**客户端**负责表达(网关不猜协议),但这段路径是网关替客户端拼好的,
|
||||
/// 所以要处理重合:上游 `base` 若已钉在 `…/anthropic`(协议钉死型记录),其
|
||||
/// `base_url` 末尾已经带 `/anthropic`,再无脑追加会得到 `…/anthropic/anthropic`。
|
||||
pub fn anthropic_base_url(slot: &str, up: &Upstream, port: &str) -> String {
|
||||
let b = base_url(slot, up, port);
|
||||
if b.ends_with("/anthropic") {
|
||||
b
|
||||
} else {
|
||||
format!("{b}/anthropic")
|
||||
}
|
||||
}
|
||||
|
||||
/// 模型发现:把可用上游挂载的模型摊平成 `(模型名, slot)` 列表。
|
||||
///
|
||||
/// 没登记 `models` 的上游不产出任何条目(清单未知 ≠ 有 0 个模型),
|
||||
@@ -317,10 +330,15 @@ pub fn remove(slot_raw: &str) -> Result<String, String> {
|
||||
/// **绝不回显完整 auth**——管理台页面会被截图、被浏览器插件读取,
|
||||
/// 回显上游真 Key 等于把公司所有厂商密钥摆在一个 HTML 里。
|
||||
pub fn view(slot: &str, up: &Upstream, port: &str) -> Value {
|
||||
let (status, code, checked_at) = match health(slot) {
|
||||
Some((ok, c, ts)) => (if ok { "ok" } else { "failed" }, c, ts),
|
||||
None => ("unknown", 0, 0),
|
||||
};
|
||||
json!({
|
||||
"slot": slot,
|
||||
"base": up.base,
|
||||
"base_url": base_url(slot, up, port),
|
||||
"anthropic_base_url": anthropic_base_url(slot, up, port),
|
||||
"models": up.models,
|
||||
"model_count": up.models.len(),
|
||||
"auth_set": !up.auth.is_empty(),
|
||||
@@ -329,9 +347,51 @@ pub fn view(slot: &str, up: &Upstream, port: &str) -> Value {
|
||||
"note": up.note,
|
||||
"created_at": up.created_at,
|
||||
"created_at_text": util::fmt_time(up.created_at),
|
||||
"status": status,
|
||||
"status_code": if code > 0 { json!(code) } else { Value::Null },
|
||||
"checked_at": checked_at,
|
||||
"checked_at_text": if checked_at > 0 { util::fmt_time(checked_at) } else { String::new() },
|
||||
})
|
||||
}
|
||||
|
||||
pub fn view_all(list: &[(String, Upstream)], port: &str) -> Vec<Value> {
|
||||
list.iter().map(|(slot, up)| view(slot, up, port)).collect()
|
||||
}
|
||||
|
||||
// ===========================================================================
|
||||
// 上游健康缓存(uh:)
|
||||
// ===========================================================================
|
||||
|
||||
/// 记录一次上游真实响应结果。**只读端不会用它做任何决策**——转发路径
|
||||
/// 从不查这份缓存,所以误标最多影响展示,不会误杀请求。
|
||||
///
|
||||
/// 写失败必须出声(热路径无回源兜底是转发侧的事,这里出声是为了
|
||||
/// 别让「列表永远显示未探测」这种静默怪象无人解释)。
|
||||
pub fn mark_health(slot: &str, ok: bool, code: i64) {
|
||||
let ts = util::now();
|
||||
let payload = format!("{}\n{}\n{}", if ok { 1 } else { 0 }, code, ts);
|
||||
if !state::put(
|
||||
KEY_UH_PREFIX,
|
||||
slot.as_bytes(),
|
||||
payload.as_bytes(),
|
||||
ts + 30 * 86400,
|
||||
) {
|
||||
util::log_err(&format!("[upstreams] 健康状态写共享内存失败 slot={slot}"));
|
||||
}
|
||||
}
|
||||
|
||||
/// 读健康缓存:`Some((是否正常, 上游状态码, 记录时刻))`,没探测过 = `None`。
|
||||
pub fn health(slot: &str) -> Option<(bool, i64, i64)> {
|
||||
let (payload, _) = state::get(KEY_UH_PREFIX, slot.as_bytes())?;
|
||||
let mut it = payload.split('\n');
|
||||
let ok = it.next().unwrap_or("0").trim() == "1";
|
||||
let code = it
|
||||
.next()
|
||||
.and_then(|s| s.trim().parse::<i64>().ok())
|
||||
.unwrap_or(0);
|
||||
let ts = it
|
||||
.next()
|
||||
.and_then(|s| s.trim().parse::<i64>().ok())
|
||||
.unwrap_or(0);
|
||||
Some((ok, code, ts))
|
||||
}
|
||||
@@ -75,5 +75,21 @@ http {
|
||||
location /api/ {
|
||||
ipass_api on;
|
||||
}
|
||||
|
||||
# 上游连通性测试:/api/admin/upstreams/test 内部重定向到这里
|
||||
# (与生产 conf 同套:proxy_pass 复用 $llm_*,探测体原样转发,状态透传)
|
||||
location /_upstream_test/ {
|
||||
internal;
|
||||
proxy_pass $llm_target;
|
||||
proxy_http_version 1.1;
|
||||
proxy_pass_request_headers off;
|
||||
proxy_set_header Host $llm_host;
|
||||
proxy_set_header Authorization $llm_auth;
|
||||
proxy_set_header Content-Type $http_content_type;
|
||||
proxy_set_header Accept $http_accept;
|
||||
proxy_connect_timeout 5s;
|
||||
proxy_send_timeout 15s;
|
||||
proxy_read_timeout 15s;
|
||||
}
|
||||
}
|
||||
}
|
||||
+95
-1
@@ -245,8 +245,10 @@ ck " 模型清单里带 base_url(lm 域名 + 端口 + slot)" yes \
|
||||
"$(curl -s -H "X-API-Key: $ALICE_KEY" $API/api/v1/models | has "lm.mayishangshu.cn:$API_PORT/openai")"
|
||||
# ★ base_url 必须**保留上游 base 的路径**:openai 的 base 无路径 → 无;other 的 base 带 /llm → 带 /llm。
|
||||
# 搞错这一条会让"base 自带 /v1"的上游变成 /v1/v1/... → 上游 404 且响应体为空,极难排查。
|
||||
# (校验 base_url 字段的**完整值**而不是整份响应的子串——后者会被同段新增的
|
||||
# anthropic_base_url(…/openai/anthropic)误伤。)
|
||||
ck "★base_url 不凭空拼 /v1(base 无路径就不带)" yes \
|
||||
"$(curl -s -H "X-API-Key: $ALICE_KEY" $API/api/v1/models | nhas "lm.mayishangshu.cn:$API_PORT/openai/")"
|
||||
"$(curl -s -H "X-API-Key: $ALICE_KEY" $API/api/v1/models | has "\"base_url\":\"https://lm.mayishangshu.cn:$API_PORT/openai\"")"
|
||||
ck "★base_url 保留上游 base 的路径 /llm" yes \
|
||||
"$(curl -s -H "X-API-Key: $BOB_KEY" $API/api/v1/models | has "lm.mayishangshu.cn:$API_PORT/other/llm")"
|
||||
# ★ 端口自适应:Host 不带端口(走 443 反代)时 base_url 也不该带端口。
|
||||
@@ -302,6 +304,98 @@ USAGE2=$(curl -s -b "$JAR" $API/api/admin/usage)
|
||||
ck "★删除后用量榜不再出现 bob" yes "$(echo "$USAGE2" | nhas 'bob')"
|
||||
ck " 但 alice 仍在榜单上" yes "$(echo "$USAGE2" | has '"username": *"alice"')"
|
||||
|
||||
echo
|
||||
echo "【11】★ 上游连通性测试(管理台「测试」按钮的后端链路)"
|
||||
# 管理台把探测体原样发上来,网关只负责「定位上游 + 换真 Key + 转发 + 透传状态」。
|
||||
# 判据照旧:不只看 HTTP 200,还要看靶机实际收到的 path / auth。
|
||||
PING='{"model":"ds-chat","max_tokens":1,"stream":false,"messages":[{"role":"user","content":"ping"}]}'
|
||||
ck "无会话测试 → 401" 401 \
|
||||
"$(code -X POST "$API/api/admin/upstreams/test?slot=openai" -d '{}')"
|
||||
ck "★admin 测 openai → 透传上游 200" 200 \
|
||||
"$(code -b "$JAR" -X POST "$API/api/admin/upstreams/test?slot=openai" -H 'Content-Type: application/json' -d "$PING")"
|
||||
ck " 靶机收到的 path 不含 slot 段" "/v1/chat/completions" "$(up_field path)"
|
||||
ck " 换上了 openai 上游的真 Key" "Bearer sk-UPSTREAM-REAL-SECRET" "$(up_field auth)"
|
||||
ck "★base 自带 /v1 的上游(deepseeklike)→ 去重后 200" 200 \
|
||||
"$(code -b "$JAR" -X POST "$API/api/admin/upstreams/test?slot=deepseeklike" -H 'Content-Type: application/json' -d "$PING")"
|
||||
ck " 靶机 path 仍是 /v1/chat/completions(无 /v1/v1、无 slot 段)" "/v1/chat/completions" "$(up_field path)"
|
||||
ck " 换上了 deepseeklike 的真 Key" "Bearer sk-DS-REAL" "$(up_field auth)"
|
||||
ck "★已停用的上游测不了(shm 已摘除 → 404)" 404 \
|
||||
"$(code -b "$JAR" -X POST "$API/api/admin/upstreams/test?slot=downstream" -d '{}')"
|
||||
ck "不存在的 slot → 404 信封" 404 \
|
||||
"$(code -b "$JAR" -X POST "$API/api/admin/upstreams/test?slot=ghost" -d '{}')"
|
||||
ck "★内部 location 外部直连 → 404(不能绕过 admin 会话触达上游)" 404 \
|
||||
"$(code -b "$JAR" -X POST "$API/_upstream_test/openai/v1/chat/completions" -d '{}')"
|
||||
|
||||
echo
|
||||
echo "【12】★ 上游健康标记(失效自动缓存 + 模型发现附可用地址/状态)"
|
||||
# 健康缓存由 log 阶段的**真实转发**写入(uh:<slot>)——「测试」按钮走同一条
|
||||
# proxy_pass 链路,探测结果也天然更新缓存,无需第二套标记逻辑。
|
||||
# 语义:上游回了头 = 活着(4xx 是它对请求内容的意见,不是机器死了);
|
||||
# 5xx / 连不上(502) / 等头超时(504) = 失效;没被任何请求打过 = unknown。
|
||||
# 缓存只用于展示(列表标红 / 模型发现附状态),转发路径不读它。
|
||||
up_field_of() { # $1=slot $2=字段 → 取上游列表里该 slot 的字段值
|
||||
curl -s -b "$JAR" $API/api/admin/upstreams | "$PY" -c '
|
||||
import sys, json
|
||||
d = json.load(sys.stdin)
|
||||
items = d["data"]["items"] if isinstance(d.get("data"), dict) else (d.get("data") or [])
|
||||
u = next((x for x in items if x.get("slot") == sys.argv[1]), None)
|
||||
v = u.get(sys.argv[2]) if u else "miss"
|
||||
print("miss" if v is None else v)
|
||||
' "$1" "$2"
|
||||
}
|
||||
xm_status() { # /v1/models 扩展块里某 slot 的健康状态
|
||||
curl -s -H "Authorization: Bearer $HKEY" $GW/v1/models | "$PY" -c '
|
||||
import sys, json
|
||||
d = json.load(sys.stdin)
|
||||
u = next((x for x in d.get("x_ipass_upstreams", []) if x.get("slot") == sys.argv[1]), {})
|
||||
print(u.get("status", "miss"))
|
||||
' "$1"
|
||||
}
|
||||
|
||||
ck "创建临时上游 health1 → 200" 200 \
|
||||
"$(code -b "$JAR" -X POST $API/api/admin/upstreams/save -H 'Content-Type: application/json' \
|
||||
-d '{"slot":"health1","base":"http://127.0.0.1:18999","auth":"Bearer sk-H1","models":["m1"]}')"
|
||||
ck "★初始状态 = unknown(没被任何真实请求打过)" unknown "$(up_field_of health1 status)"
|
||||
|
||||
# 临时账号(空白名单 = 不限)换一把干净 Key 来打靶机注入的 500
|
||||
curl -s -b "$JAR" -X POST $API/api/admin/users/create -H 'Content-Type: application/json' \
|
||||
-d "$(jbody username healthprobe password 123456 display_name hp)" >/dev/null
|
||||
HKEY=$(curl -s -b "$JAR" $API/api/admin/users | "$PY" -c '
|
||||
import sys, json
|
||||
d = json.load(sys.stdin)
|
||||
items = d["data"]["items"] if isinstance(d.get("data"), dict) else (d.get("data") or [])
|
||||
print(next((u["api_key"] for u in items if u.get("username") == "healthprobe"), ""))
|
||||
')
|
||||
|
||||
BOOM='{"model":"m1","max_tokens":1,"boom":true,"messages":[{"role":"user","content":"x"}]}'
|
||||
ck "boom 请求 → 靶机注入的 500 原样透传给客户端" 500 \
|
||||
"$(code -H "Authorization: Bearer $HKEY" -X POST $GW/health1/v1/chat/completions \
|
||||
-H 'Content-Type: application/json' -d "$BOOM")"
|
||||
sleep 0.3
|
||||
ck "★上游 500 → health1 自动标记为 failed(无需人工探测)" failed "$(up_field_of health1 status)"
|
||||
ck " 缓存里记录的状态码 = 500" 500 "$(up_field_of health1 status_code)"
|
||||
ck "★/v1/models 顶层附 x_ipass_upstreams(地址 + 模型 + 状态)" yes \
|
||||
"$(curl -s -H "Authorization: Bearer $HKEY" $GW/v1/models | has '"x_ipass_upstreams"')"
|
||||
ck " 其中 health1 同样标 failed" failed "$(xm_status health1)"
|
||||
ck " 给出 anthropic 形式的 base_url" yes \
|
||||
"$(curl -s -H "Authorization: Bearer $HKEY" $GW/v1/models | has '"anthropic_base_url"')"
|
||||
ck "★账号态 /api/v1/upstreams 也带状态与双协议地址" yes \
|
||||
"$(curl -s -H "X-API-Key: $HKEY" $API/api/v1/upstreams | has '"anthropic_base_url"')"
|
||||
|
||||
OKBODY='{"model":"m1","max_tokens":1,"messages":[{"role":"user","content":"ping"}]}'
|
||||
ck "恢复:正常请求 → 200" 200 \
|
||||
"$(code -H "Authorization: Bearer $HKEY" -X POST $GW/health1/v1/chat/completions \
|
||||
-H 'Content-Type: application/json' -d "$OKBODY")"
|
||||
sleep 0.3
|
||||
ck "★下次成功转发自动转回 ok(自愈,无需清缓存)" ok "$(up_field_of health1 status)"
|
||||
|
||||
# 清理临时数据
|
||||
curl -s -b "$JAR" -X POST $API/api/admin/upstreams/delete -H 'Content-Type: application/json' \
|
||||
-d "$(jbody slot health1)" >/dev/null
|
||||
ck "删除后列表不再出现 health1" miss "$(up_field_of health1 status)"
|
||||
curl -s -b "$JAR" -X POST $API/api/admin/users/delete -H 'Content-Type: application/json' \
|
||||
-d "$(jbody username healthprobe)" >/dev/null
|
||||
|
||||
echo
|
||||
echo "============================================================"
|
||||
printf " 通过 \033[32m%d\033[0m 失败 \033[31m%d\033[0m\n" "$pass" "$fail"
|
||||
|
||||
@@ -94,5 +94,21 @@ http {
|
||||
location /api/ {
|
||||
ipass_api on;
|
||||
}
|
||||
|
||||
# 上游连通性测试:/api/admin/upstreams/test 内部重定向到这里
|
||||
# (与生产 conf 同套:proxy_pass 复用 $llm_*,探测体原样转发,状态透传)
|
||||
location /_upstream_test/ {
|
||||
internal;
|
||||
proxy_pass $llm_target;
|
||||
proxy_http_version 1.1;
|
||||
proxy_pass_request_headers off;
|
||||
proxy_set_header Host $llm_host;
|
||||
proxy_set_header Authorization $llm_auth;
|
||||
proxy_set_header Content-Type $http_content_type;
|
||||
proxy_set_header Accept $http_accept;
|
||||
proxy_connect_timeout 5s;
|
||||
proxy_send_timeout 15s;
|
||||
proxy_read_timeout 15s;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -61,6 +61,17 @@ class H(BaseHTTPRequestHandler):
|
||||
body = self.rfile.read(n)
|
||||
self._record(body)
|
||||
|
||||
# 故障注入:body 带 `"boom":true` 时回 500,用来验证网关的
|
||||
# 上游健康标记(log 阶段把 5xx 写进 uh: 缓存 → 列表标红)
|
||||
if b'"boom"' in body:
|
||||
payload = json.dumps({"error": {"message": "injected failure", "type": "boom"}}).encode()
|
||||
self.send_response(500)
|
||||
self.send_header("Content-Type", "application/json")
|
||||
self.send_header("Content-Length", str(len(payload)))
|
||||
self.end_headers()
|
||||
self.wfile.write(payload)
|
||||
return
|
||||
|
||||
if b'"stream"' in body and b"true" in body:
|
||||
self.send_response(200)
|
||||
self.send_header("Content-Type", "text/event-stream")
|
||||
|
||||
@@ -141,10 +141,28 @@ suite_llm() {
|
||||
: > "$RUN/logs/error.log"
|
||||
|
||||
echo "── 启动假上游(18999)与 LLM 网关(18090)──"
|
||||
# 清掉**本项目自己**残留的靶机进程(如上次调试用 run_in_background 起的)。
|
||||
# 否则新靶机 bind 失败、旧靶机继续服务但日志写到别的目录——
|
||||
# 表现就是「请求全 200 但 UP_LOG 全空」,25 条断言集体假失败(2026-09-12 实测)。
|
||||
pkill -f "tests/llm/upstream.py" 2>/dev/null
|
||||
for i in $(seq 1 20); do
|
||||
"$PY" -c 'import socket, sys
|
||||
s = socket.socket(); s.settimeout(0.2)
|
||||
try:
|
||||
s.connect(("127.0.0.1", 18999)); sys.exit(0)
|
||||
except Exception:
|
||||
sys.exit(1)' && sleep 0.2 || break
|
||||
done
|
||||
|
||||
UPSTREAM_LOG="$RUN/upstream.log" UPSTREAM_PORT=18999 "$PY" "$HERE/llm/upstream.py" \
|
||||
>"$RUN/logs/upstream.out" 2>&1 &
|
||||
up_pid=$!
|
||||
|
||||
# wait_tcp 可能被残留进程「骗绿」——必须确认**本进程**还活着(bind 失败会立刻退出)
|
||||
if ! kill -0 "$up_pid" 2>/dev/null; then
|
||||
echo "假上游启动即退出(多半是 18999 被非本项目的进程占用),见 $RUN/logs/upstream.out" >&2
|
||||
return 1
|
||||
fi
|
||||
if ! wait_tcp 127.0.0.1 18999; then
|
||||
echo "假上游未就绪,见 $RUN/logs/upstream.out" >&2
|
||||
kill "$up_pid" 2>/dev/null; return 1
|
||||
|
||||
+123
-15
@@ -160,27 +160,31 @@
|
||||
</div>
|
||||
|
||||
<div class="wrap" data-page-node-id="Q8ZAsrEcojTZm3NDHSDf0z">
|
||||
<div class="stats" data-page-node-id="M8AZ0H6jq0Q9Oz2eoqEmW2">
|
||||
<div class="stat" data-page-node-id="2ZvEky8gr6bAmYF73l2XXS"><div class="k" data-page-node-id="ZmHhR5AgIJWAfkBE766HR3">待审核申请</div><div class="v" id="statPending" data-page-node-id="v2EftudDVkzIeKU6jkjBA4">-</div></div>
|
||||
<div class="stat" data-page-node-id="i9JDN8k1OmgVIYZBdQHEV9"><div class="k" data-page-node-id="bascvtWYKaM7AKBkaK9Whq">域名总数</div><div class="v" id="statDomains" data-page-node-id="QDNuml1t9uoOuy8CLrnuQQ">-</div></div>
|
||||
<div class="stat" data-page-node-id="QnBUXahkxZbQTi8gXxJaDL"><div class="k" data-page-node-id="biEB6In3h118H4V5ECoaXb">可用中</div><div class="v" id="statActive" data-page-node-id="ESD1zhtOm2oPCP5SNLvRSn">-</div></div>
|
||||
<div class="stat" data-page-node-id="rM4VDYnqNtef8rrYjLpfpp"><div class="k" data-page-node-id="KzrxlyuUHFnYco2MsDxA7X">账号总数</div><div class="v" id="statUsers" data-page-node-id="BdM5dI5Vp9UxxvK5W9i5FE">-</div></div>
|
||||
<div class="stat"><div class="k">LLM 上游</div><div class="v" id="statUpstreams">-</div></div>
|
||||
<div class="stat"><div class="k">今日 LLM 调用</div><div class="v" id="statLlmtoday">-</div></div>
|
||||
<div class="stat"><div class="k">累计调用</div><div class="v" id="statLlmtotal">-</div></div>
|
||||
<div class="stat"><div class="k">可用模型</div><div class="v" id="statModels">-</div></div>
|
||||
</div>
|
||||
|
||||
<div class="tabs" data-page-node-id="7ABRfKhVNVlMVMU2Gi78DH">
|
||||
<button class="tab active" data-tab="review" data-page-node-id="JbGgMalQAY3jV3OTIu8n2s">审核队列<span class="pill" id="pillPending" hidden data-page-node-id="M1EAL2CqRYfsCFLHtrpfHX">0</span></button>
|
||||
<button class="tab active" data-tab="overview">数据总览</button>
|
||||
<button class="tab" data-tab="review" data-page-node-id="JbGgMalQAY3jV3OTIu8n2s">审核队列<span class="pill" id="pillPending" hidden data-page-node-id="M1EAL2CqRYfsCFLHtrpfHX">0</span></button>
|
||||
<button class="tab" data-tab="domains" data-page-node-id="nUBR1YPxmxtUxIA746xjJl">全部域名</button>
|
||||
<button class="tab" data-tab="users" data-page-node-id="IxXKi6EQyukFwW3LxIKnW8">账号管理</button>
|
||||
<button class="tab" data-tab="upstreams">LLM 上游</button>
|
||||
<button class="tab" data-tab="usage">用量统计</button>
|
||||
</div>
|
||||
|
||||
<!-- ---------- 数据总览 ---------- -->
|
||||
<section id="tab-overview">
|
||||
<div class="stats">
|
||||
<div class="stat"><div class="k">待审核申请</div><div class="v" id="statPending">-</div></div>
|
||||
<div class="stat"><div class="k">域名总数</div><div class="v" id="statDomains">-</div></div>
|
||||
<div class="stat"><div class="k">可用中</div><div class="v" id="statActive">-</div></div>
|
||||
<div class="stat"><div class="k">账号总数</div><div class="v" id="statUsers">-</div></div>
|
||||
<div class="stat"><div class="k">LLM 上游</div><div class="v" id="statUpstreams">-</div></div>
|
||||
<div class="stat"><div class="k">今日 LLM 调用</div><div class="v" id="statLlmtoday">-</div></div>
|
||||
<div class="stat"><div class="k">累计调用</div><div class="v" id="statLlmtotal">-</div></div>
|
||||
<div class="stat"><div class="k">可用模型</div><div class="v" id="statModels">-</div></div>
|
||||
</div>
|
||||
</section>
|
||||
|
||||
<!-- ---------- 审核队列 ---------- -->
|
||||
<section id="tab-review" data-page-node-id="zPHiZWgIbYHbmweGGZPFpf">
|
||||
<section id="tab-review" hidden data-page-node-id="zPHiZWgIbYHbmweGGZPFpf">
|
||||
<div class="panel" data-page-node-id="BGLlGtkTmK7XPnUZQdX9vQ">
|
||||
<h2 data-page-node-id="wALvxjlcYrGGGnxdbNHzN0">待审核申请</h2>
|
||||
<div class="desc" data-page-node-id="CC9hCiYPwA1hHtwHDcfYKy">临时域名在申请人没有「临时授权权限」时进入待审;长期域名一律需要人工审核。通过后立即生效,无需重启网关。</div>
|
||||
@@ -443,11 +447,43 @@
|
||||
state.upstreams = arr(res[2].data.items);
|
||||
state.usage = res[3].data || { total: {}, users: [], models: [] };
|
||||
render();
|
||||
autoProbeUpstreams();
|
||||
}).catch(function (err) {
|
||||
toast(err.message, true);
|
||||
});
|
||||
}
|
||||
|
||||
// ---------------- 上游健康自动探测 ----------------
|
||||
// 「失效的自动缓存,有人来看就顺手更新」:真实流量本来就会更新 uh: 缓存,
|
||||
// 这里补的是**没有流量**的上游——打开面板时对「未探测 / 失效」的启用上游
|
||||
// 逐个发一次 1-token 探测(走 /api/admin/upstreams/test,与手动「测试」
|
||||
// 按钮同一条转发链路),探测结果由网关 log 阶段写回缓存,最后刷新一次列表。
|
||||
var probing = false;
|
||||
var probeTried = {}; // 本会话已自动探过的 slot:真失效的上游探完仍是 failed,
|
||||
// 不加标记的话每次 loadAll 都会对它再来一轮探测(死循环打上游)
|
||||
function autoProbeUpstreams() {
|
||||
if (probing) return;
|
||||
var stale = state.upstreams.filter(function (u) {
|
||||
return u.enabled && (u.status || "unknown") !== "ok" && !probeTried[u.slot];
|
||||
});
|
||||
if (!stale.length) return;
|
||||
probing = true;
|
||||
var chain = Promise.resolve();
|
||||
stale.forEach(function (u) {
|
||||
probeTried[u.slot] = true;
|
||||
chain = chain.then(function () {
|
||||
var model = arr(u.models)[0] || "gpt-4o-mini";
|
||||
return fetch("/api/admin/upstreams/test?slot=" + encodeURIComponent(u.slot), {
|
||||
method: "POST",
|
||||
credentials: "same-origin",
|
||||
headers: { "Content-Type": "application/json" },
|
||||
body: JSON.stringify({ model: model, max_tokens: 1, stream: false, messages: [{ role: "user", content: "ping" }] })
|
||||
}).catch(function () {}).then(function () { /* 结果只落在网关缓存,这里不关心状态码 */ });
|
||||
});
|
||||
});
|
||||
chain.then(function () { return loadAll(); }).finally(function () { probing = false; });
|
||||
}
|
||||
|
||||
// ---------------- 渲染 ----------------
|
||||
function render() {
|
||||
var active = state.domains.filter(function (d) { return d.status === "approved"; }).length;
|
||||
@@ -666,8 +702,30 @@
|
||||
? "<div class='muted' style='font-size:12px'>" + models.map(esc).join("<br>") + "</div>"
|
||||
: "<span class='muted'>未登记</span>";
|
||||
|
||||
// 由 base_url(协议中立,端口跟随当前访问管理台所用的 Host)推导两种协议的完整 API 地址。
|
||||
// base 写了路径(钉死粒度)时不重复追加对应后缀
|
||||
var b = String(u.base_url || "").replace(/\/+$/, "");
|
||||
var openaiUrl = /\/v1$/.test(b) ? b : b + "/v1";
|
||||
var anthUrl = /\/anthropic$/.test(b) ? b : b + "/anthropic";
|
||||
var urlBtns =
|
||||
"<button class='btn-sm' data-act='copy-url' data-url='" + esc(openaiUrl) + "' title='点击复制 OpenAI 协议地址'>OpenAI</button>" +
|
||||
"<button class='btn-sm' data-act='copy-url' data-url='" + esc(anthUrl) + "' title='点击复制 Anthropic 协议地址'>Anthropic</button>";
|
||||
|
||||
// 健康徽标:数据来自网关 log 阶段对**真实转发**结果的记录(uh: 缓存)。
|
||||
// 5xx/连不上 = 失效(红);4xx 也算活着(上游对请求内容的意见);
|
||||
// 从没被调用过 = 未探测(灰)。状态会在每次真实调用后自动更新。
|
||||
var st = u.status || "unknown";
|
||||
var stBadge =
|
||||
st === "ok"
|
||||
? "<span class='badge b-ok' title='最近一次真实转发成功(" + esc(u.checked_at_text || "") + ")'>● 正常</span>"
|
||||
: st === "failed"
|
||||
? "<span class='badge b-err' title='最近一次真实转发失败(" + esc(u.checked_at_text || "") + ")'>● 失效" + (u.status_code ? " HTTP " + esc(u.status_code) : "") + "</span>"
|
||||
: "<span class='badge b-gray' title='还没有被任何请求调用过'>○ 未探测</span>";
|
||||
|
||||
return "<tr>" +
|
||||
"<td><b>" + esc(u.slot) + "</b><div class='muted nowrap'>/" + esc(u.slot) + "/v1/...</div></td>" +
|
||||
"<td><b>" + esc(u.slot) + "</b><div style='margin-top:4px'>" + stBadge + "</div>" +
|
||||
"<div class='row-actions' style='margin-top:6px'>" + urlBtns + "</div>" +
|
||||
"<div class='muted' style='font-size:11.5px;margin-top:4px'>点击复制 API 地址</div></td>" +
|
||||
"<td class='mono base-cell'>" + esc(u.base) + "</td>" +
|
||||
"<td>" + key + "</td>" +
|
||||
"<td>" + (models.length ? "<span class='badge b-blue'>" + models.length + " 个</span>" + modelCell : modelCell) + "</td>" +
|
||||
@@ -675,6 +733,7 @@
|
||||
"<td>" + (enabled ? "<span class='badge b-ok'>启用中</span>" : "<span class='badge b-gray'>已停用</span>") + "</td>" +
|
||||
"<td class='muted nowrap'>" + esc(u.created_at_text) + "</td>" +
|
||||
"<td><div class='row-actions'>" +
|
||||
"<button class='btn-sm' data-act='test-up' data-slot='" + esc(u.slot) + "'>测试</button>" +
|
||||
"<button class='btn-sm' data-act='edit-up' data-slot='" + esc(u.slot) + "'>编辑</button>" +
|
||||
toggle +
|
||||
"<button class='btn-sm btn-danger' data-act='del-up' data-slot='" + esc(u.slot) + "'>删除</button>" +
|
||||
@@ -717,6 +776,55 @@
|
||||
var act = btn.getAttribute("data-act");
|
||||
var slot = btn.getAttribute("data-slot");
|
||||
|
||||
if (act === "copy-url") {
|
||||
var url = btn.getAttribute("data-url");
|
||||
var doneCopy = function () {
|
||||
toast("已复制:" + url);
|
||||
btn.disabled = false;
|
||||
};
|
||||
if (navigator.clipboard && navigator.clipboard.writeText) {
|
||||
navigator.clipboard.writeText(url).then(doneCopy, function () { window.prompt("手动复制 API 地址:", url); btn.disabled = false; });
|
||||
} else {
|
||||
window.prompt("手动复制 API 地址:", url);
|
||||
btn.disabled = false;
|
||||
}
|
||||
return;
|
||||
}
|
||||
|
||||
if (act === "test-up") {
|
||||
var up = state.upstreams.filter(function (x) { return x.slot === slot; })[0];
|
||||
if (!up) return;
|
||||
// 探测体就是发给上游的真实请求:第一个登记模型 + max_tokens=1(成本≈0)。
|
||||
// slot 走 query(模块要用它定位上游),body 会被网关**原样**转给上游。
|
||||
var model = arr(up.models)[0] || "gpt-4o-mini";
|
||||
var label = btn.textContent;
|
||||
var restore = function () { btn.disabled = false; btn.textContent = label; };
|
||||
btn.disabled = true; btn.textContent = "测试中…";
|
||||
var t0 = Date.now();
|
||||
fetch("/api/admin/upstreams/test?slot=" + encodeURIComponent(slot), {
|
||||
method: "POST",
|
||||
credentials: "same-origin",
|
||||
headers: { "Content-Type": "application/json" },
|
||||
body: JSON.stringify({ model: model, max_tokens: 1, stream: false, messages: [{ role: "user", content: "ping" }] })
|
||||
}).then(function (res) {
|
||||
return res.json().catch(function () { return {}; }).then(function (data) {
|
||||
var ms = Date.now() - t0;
|
||||
if (res.ok) {
|
||||
toast("✅ " + slot + " 通(HTTP " + res.status + "," + ms + " ms,model=" + model + ")");
|
||||
} else {
|
||||
// 上游错误体是 OpenAI 形状(error.message),管理台错误体是 msg——都认
|
||||
var msg = (data && data.error && data.error.message) || (data && data.msg) || ("HTTP " + res.status);
|
||||
toast("✗ " + slot + " 不通:" + msg + "(" + ms + " ms)", true);
|
||||
}
|
||||
restore();
|
||||
});
|
||||
}).catch(function () {
|
||||
toast("✗ " + slot + " 不通:网络错误或超时", true);
|
||||
restore();
|
||||
});
|
||||
return;
|
||||
}
|
||||
|
||||
if (act === "toggle-up") {
|
||||
// 后端约定:save 省略 auth/note/models 即保留原值,enabled 缺省视为 true——
|
||||
// 所以启停必须显式带 enabled,其余一律不传,避免误清密钥/模型清单
|
||||
@@ -888,7 +996,7 @@
|
||||
document.querySelectorAll(".tab").forEach(function (t) { t.classList.remove("active"); });
|
||||
tab.classList.add("active");
|
||||
|
||||
["review", "domains", "users", "upstreams", "usage"].forEach(function (name) {
|
||||
["overview", "review", "domains", "users", "upstreams", "usage"].forEach(function (name) {
|
||||
$("tab-" + name).hidden = (name !== tab.getAttribute("data-tab"));
|
||||
});
|
||||
});
|
||||
|
||||
Reference in new issue
Block a user