- plugin-llm 新 crate:llm/upstreams/usage_filter/llm_audit/stats/handlers/api/config/models/store - 下行契约(downstream_key/identity/check_quota/fail)与记账原语(usage::bump/read/bump_day)已下沉 ipass-core - usage_filter 改走 loc::enabled(Switch::Llm) + core::plugin::ctx_index(解除对 gateway 私有 ModuleConfig 的依赖) - gateway 收缩为壳:LlmHandler/LlmHealthHandler/AuditHandler 随 LlmPlugin 装配; /api/admin/trend 留 gateway(需 users+upstreams+apix 三方名册,组合根职责) - 行为等价:262 项回归全绿(gateway 102 + llm 160)
182 lines
6.7 KiB
Rust
182 lines
6.7 KiB
Rust
//! 下行链路鉴权与配额 —— LLM 代理与 API 代理(apix)**共用**的契约。
|
||
//!
|
||
//! 「去掉 llm 还要(apix 要)、去掉 apix 还要(llm 要)、两个都去掉才不要」
|
||
//! ⇒ 共用 ⇒ 放内核(docs/plugin/PLUGINIZATION_PLAN.md §4②)。
|
||
//!
|
||
//! * [`downstream_key`] —— 取下行 Key(三种携带方式)
|
||
//! * [`identity`] —— 查 `ukey:` 身份(纯共享内存,热路径不回读 users.json)
|
||
//! * [`check_quota`] —— `rl:` 每分钟限流 + `st:` 每日配额(先增后判)
|
||
//! * [`fail`] / [`fail_typed`] —— OpenAI 兼容错误体(下行客户端的 SDK 只认这个)
|
||
//!
|
||
//! ⚠️ access 阶段返回 `NGX_OK` 等于放行:鉴权失败必须返回状态码,
|
||
//! 否则请求照样被 `proxy_pass` 转发——「客户端收到 401,但上游仍被调了一次」,
|
||
//! 白烧上游额度且账单上看不出这是一次被拒的请求。实测踩过。
|
||
|
||
use ngx::core::Status;
|
||
use ngx::ffi::{ngx_http_request_t, ngx_int_t};
|
||
use ngx::http::HTTPStatus;
|
||
use serde_json::json;
|
||
|
||
use crate::config;
|
||
use crate::http;
|
||
use crate::state;
|
||
use crate::util;
|
||
|
||
// ===========================================================================
|
||
// 请求解析
|
||
// ===========================================================================
|
||
|
||
/// 取下行 Key。
|
||
///
|
||
/// 依次尝试三种携带方式,覆盖主流 SDK 的默认行为:
|
||
/// `Authorization: Bearer`(OpenAI)、`x-api-key`(Anthropic)、`X-API-Key`(本项目域名接口)。
|
||
/// 「同一套 Key」意味着这三个位置放的都应该是 `users.json` 里那把 `sk_...`。
|
||
pub fn downstream_key(r: *mut ngx_http_request_t) -> Option<String> {
|
||
if let Some(raw) = http::header(r, "authorization") {
|
||
let raw = raw.trim();
|
||
let rest = raw
|
||
.strip_prefix("Bearer ")
|
||
.or_else(|| raw.strip_prefix("bearer "));
|
||
if let Some(k) = rest {
|
||
let k = k.trim();
|
||
if !k.is_empty() {
|
||
return Some(k.to_owned());
|
||
}
|
||
}
|
||
}
|
||
for name in ["x-api-key", "api-key"] {
|
||
if let Some(k) = http::header(r, name) {
|
||
let k = k.trim().to_owned();
|
||
if !k.is_empty() {
|
||
return Some(k);
|
||
}
|
||
}
|
||
}
|
||
None
|
||
}
|
||
|
||
/// 查共享内存拿身份:`(username, allowed_slots, rpm, daily)`。
|
||
///
|
||
/// `allowed_slots` 为空表示不限(老账号没有该字段,反序列化即空表)。
|
||
/// `rpm` / `daily` 是限流上限;旧版 payload 只有 2 行,此时按全局默认兜底。
|
||
pub fn identity(key: &str) -> Option<(String, Vec<String>, i64, i64)> {
|
||
let payload = state::get_live(config::KEY_UKEY_PREFIX, key.as_bytes(), util::now())?;
|
||
let mut lines = payload.split('\n');
|
||
let name = lines.next().unwrap_or("");
|
||
let allowed = lines.next().unwrap_or("");
|
||
let rpm = lines
|
||
.next()
|
||
.and_then(|s| s.parse::<i64>().ok())
|
||
.unwrap_or(config::LLM_RPM_DEFAULT);
|
||
let daily = lines
|
||
.next()
|
||
.and_then(|s| s.parse::<i64>().ok())
|
||
.unwrap_or(config::LLM_DAILY_DEFAULT);
|
||
if name.is_empty() {
|
||
return None;
|
||
}
|
||
let slots: Vec<String> = if allowed.is_empty() {
|
||
Vec::new()
|
||
} else {
|
||
allowed
|
||
.split(',')
|
||
.map(|s| s.trim().to_owned())
|
||
.filter(|s| !s.is_empty())
|
||
.collect()
|
||
};
|
||
Some((name.to_owned(), slots, rpm, daily))
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 响应
|
||
// ===========================================================================
|
||
|
||
/// OpenAI 兼容的错误体。客户端 SDK 只认这个形状。
|
||
///
|
||
/// **返回状态码而不是 `NGX_OK`**——见模块头注释。
|
||
pub fn fail(r: *mut ngx_http_request_t, status: HTTPStatus, code: &str, msg: &str) -> Status {
|
||
fail_typed(r, status, "invalid_request_error", code, msg)
|
||
}
|
||
|
||
/// 同 [`fail`],但 `type` 字段可指定——429 限流应返回 `rate_limit_error`,
|
||
/// SDK(尤其 OpenAI 官方库)据此做退避重试,写成 `invalid_request_error`
|
||
/// 会被当成「请求本身有问题」而直接放弃。
|
||
pub fn fail_typed(
|
||
r: *mut ngx_http_request_t,
|
||
status: HTTPStatus,
|
||
err_type: &str,
|
||
code: &str,
|
||
msg: &str,
|
||
) -> Status {
|
||
let body = json!({
|
||
"error": {
|
||
"message": msg,
|
||
"type": err_type,
|
||
"code": code,
|
||
}
|
||
})
|
||
.to_string();
|
||
|
||
let http_code = status.0 as ngx_int_t;
|
||
// 先把自定义响应体发出去(nginx 之后不会再补一份默认错误页,因为 header 已发)
|
||
let _ = http::send(r, status, &body);
|
||
// 再把状态码交回 nginx,由它终结本请求
|
||
Status(http_code)
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 限流与配额
|
||
// ===========================================================================
|
||
|
||
/// 限流与每日配额检查。拒绝时直接发 429 并返回 Some(状态),放行返回 None。
|
||
///
|
||
/// **先增后判**:窗口计数里也包含被拒的请求。这只影响「超限后计数继续涨」,
|
||
/// 不影响正确性(反正已在超限状态);换来的是实现无需区分「合法请求才计数」。
|
||
///
|
||
/// # Safety
|
||
/// `r` 由 nginx 传入且有效。
|
||
pub unsafe fn check_quota(
|
||
r: *mut ngx_http_request_t,
|
||
username: &str,
|
||
rpm: i64,
|
||
daily: i64,
|
||
) -> Option<Status> {
|
||
let now = util::now();
|
||
|
||
// 每分钟窗口(60s 滚动对齐到自然分钟)。rpm<=0 表示不限,跳过计数省一次写
|
||
if rpm > 0 {
|
||
let used = state::bump_window(config::KEY_RL_PREFIX, username, now / 60);
|
||
if used > rpm {
|
||
util::log_warn(&format!(
|
||
"[llm] {username} 触发每分钟限流 {used}/{rpm},本请求 429"
|
||
));
|
||
return Some(fail_typed(
|
||
r,
|
||
HTTPStatus::TOO_MANY_REQUESTS,
|
||
"rate_limit_error",
|
||
"rate_limit_exceeded",
|
||
&format!("请求过于频繁:每分钟上限 {rpm} 次,请稍后重试"),
|
||
));
|
||
}
|
||
}
|
||
|
||
// 每日窗口按本地自然日切(见 util::day_id)
|
||
if daily > 0 {
|
||
let today = state::bump_window(config::KEY_ST_PREFIX, username, util::day_id(now));
|
||
if today > daily {
|
||
util::log_warn(&format!(
|
||
"[llm] {username} 触发每日配额 {today}/{daily},本请求 429"
|
||
));
|
||
return Some(fail_typed(
|
||
r,
|
||
HTTPStatus::TOO_MANY_REQUESTS,
|
||
"insufficient_quota",
|
||
"insufficient_quota",
|
||
&format!("已达每日请求上限 {daily} 次,明日 0 点重置或联系管理员调整"),
|
||
));
|
||
}
|
||
}
|
||
|
||
None
|
||
}
|