- vanilla nginx + Rust 动态模块(取代 OpenResty+Lua),共享内存为运行期真源 - 三域名分流 18098 ssl:mdm 管理台 / lm LLM 代理 / *.dm 企业转发,共用 *.mayishangshu.cn 通配符证书(证书不入库) - LLM 统一出口:同 Key 鉴权、上游 Key 替换、白名单、限流配额、SSE - 回归夹具 tests/(网关 55 + LLM 34 = 89 断言,夹具 cp 覆盖重置) - 文档:readme(16 章)+ CLAUDE.md + conf/tls/README(acme.sh 证书管理、hairpin 环回链路)
319 lines
12 KiB
Rust
319 lines
12 KiB
Rust
//! LLM API 代理热路径。
|
||
//!
|
||
//! 客户端把 base_url 指向 `https://llm.yourdomain.com/<slot>`,用**与域名接口
|
||
//! 同一套** API Key 鉴权,由网关换成上游真实密钥后转发:
|
||
//!
|
||
//! ```text
|
||
//! POST /openai/v1/chat/completions
|
||
//! │ Authorization: Bearer sk_<本网关签发的 Key>
|
||
//! ▼
|
||
//! ① 取 URL 第一段 → slot = "openai"
|
||
//! ② 查 ukey:<key> → 身份(纯内存,不读 users.json)
|
||
//! ③ 查 up:<slot> → 上游基址 + 上游真 Key(纯内存)
|
||
//! ④ 填 $llm_target/Host/Auth → 交给 proxy_pass 转发
|
||
//! ```
|
||
//!
|
||
//! ## 三条硬约束
|
||
//!
|
||
//! * **鉴权绝不能走 `users::find_by_key`**。它每次都同步读 `users.json` 并全表
|
||
//! JSON 解码——管理接口低频无所谓,但 LLM 每个推理请求都吃这个代价。按项目
|
||
//! 实测口径(CLAUDE.md「性能基线」),这类同步文件 I/O 足以把吞吐打到 1/25。
|
||
//! 所以身份预置在 `ukey:` 键里,热路径只碰共享内存。
|
||
//! * **access 阶段读不到请求体**,因此这里不解析 `model` 字段,上游由 URL 前缀
|
||
//! 决定(原因见 `upstreams` 模块头注释)。
|
||
//! * **错误体必须是 OpenAI 兼容格式**(`{"error":{...}}`)。客户端的 SDK 只认这个,
|
||
//! 项目自己的 `{"code":400,"msg":...}` 会被 SDK 报成「无法解析的响应」。
|
||
|
||
use core::ptr;
|
||
|
||
use ngx::core::{Pool, Status};
|
||
use ngx::ffi::{ngx_http_request_t, ngx_http_variable_value_t, ngx_int_t};
|
||
use ngx::http::HTTPStatus;
|
||
use serde_json::json;
|
||
|
||
use crate::config;
|
||
use crate::state;
|
||
use crate::upstreams;
|
||
use crate::util;
|
||
|
||
// ===========================================================================
|
||
// 变量分派标记
|
||
// ===========================================================================
|
||
|
||
/// `$llm_target`:完整上游 URL(含 path 与 query),直接交给 `proxy_pass`
|
||
pub const VAR_TARGET: usize = 1;
|
||
/// `$llm_host`:上游 Host 头(`proxy_set_header Host $llm_host`)
|
||
///
|
||
/// 变量形式的 `proxy_pass` 不会自动推导 Host,必须显式设,
|
||
/// 否则打给 OpenAI / Cloudflare 后端会因 Host 不符被拒。
|
||
pub const VAR_HOST: usize = 2;
|
||
/// `$llm_auth`:上游 Authorization 头值
|
||
pub const VAR_AUTH: usize = 3;
|
||
|
||
// ===========================================================================
|
||
// 请求解析
|
||
// ===========================================================================
|
||
|
||
/// 取 URL 第一段作为上游 slot:`/openai/v1/chat/completions` → `openai`
|
||
pub fn slot_of(r: *mut ngx_http_request_t) -> Option<String> {
|
||
let uri = crate::http::uri(r);
|
||
let rest = uri.strip_prefix('/')?;
|
||
let slot = rest.split('/').next().unwrap_or("");
|
||
if slot.is_empty() {
|
||
return None;
|
||
}
|
||
Some(slot.to_ascii_lowercase())
|
||
}
|
||
|
||
/// 剥掉 slot 段、拼回 query:`/openai/v1/chat/completions?a=1` → `/v1/chat/completions?a=1`
|
||
///
|
||
/// query 必须在这里拼——变量形式的 `proxy_pass` **不会**自动追加原始 args。
|
||
pub fn upstream_uri(r: *mut ngx_http_request_t) -> String {
|
||
let uri = crate::http::uri(r);
|
||
let rest = uri.strip_prefix('/').unwrap_or(&uri);
|
||
// 只有 slot、没有后续路径时(如 `/openai`)打到上游根
|
||
let path = match rest.find('/') {
|
||
Some(i) => &rest[i..],
|
||
None => "/",
|
||
};
|
||
let args = crate::http::args_raw(r);
|
||
if args.is_empty() {
|
||
path.to_owned()
|
||
} else {
|
||
format!("{}?{}", path, String::from_utf8_lossy(&args))
|
||
}
|
||
}
|
||
|
||
/// 取下游 Key。
|
||
///
|
||
/// 依次尝试三种携带方式,覆盖主流 SDK 的默认行为:
|
||
/// `Authorization: Bearer`(OpenAI)、`x-api-key`(Anthropic)、`X-API-Key`(本项目域名接口)。
|
||
/// 「同一套 Key」意味着这三个位置放的都应该是 `users.json` 里那把 `sk_...`。
|
||
pub fn downstream_key(r: *mut ngx_http_request_t) -> Option<String> {
|
||
if let Some(raw) = crate::http::header(r, "authorization") {
|
||
let raw = raw.trim();
|
||
let rest = raw
|
||
.strip_prefix("Bearer ")
|
||
.or_else(|| raw.strip_prefix("bearer "));
|
||
if let Some(k) = rest {
|
||
let k = k.trim();
|
||
if !k.is_empty() {
|
||
return Some(k.to_owned());
|
||
}
|
||
}
|
||
}
|
||
for name in ["x-api-key", "api-key"] {
|
||
if let Some(k) = crate::http::header(r, name) {
|
||
let k = k.trim().to_owned();
|
||
if !k.is_empty() {
|
||
return Some(k);
|
||
}
|
||
}
|
||
}
|
||
None
|
||
}
|
||
|
||
/// 查共享内存拿身份:`(username, allowed_slots, rpm, daily)`。
|
||
///
|
||
/// `allowed_slots` 为空表示不限(老账号没有该字段,反序列化即空表)。
|
||
/// `rpm` / `daily` 是限流上限;旧版 payload 只有 2 行,此时按全局默认兜底。
|
||
pub fn identity(key: &str) -> Option<(String, Vec<String>, i64, i64)> {
|
||
let payload = state::get_live(config::KEY_UKEY_PREFIX, key.as_bytes(), util::now())?;
|
||
let mut lines = payload.split('\n');
|
||
let name = lines.next().unwrap_or("");
|
||
let allowed = lines.next().unwrap_or("");
|
||
let rpm = lines
|
||
.next()
|
||
.and_then(|s| s.parse::<i64>().ok())
|
||
.unwrap_or(config::LLM_RPM_DEFAULT);
|
||
let daily = lines
|
||
.next()
|
||
.and_then(|s| s.parse::<i64>().ok())
|
||
.unwrap_or(config::LLM_DAILY_DEFAULT);
|
||
if name.is_empty() {
|
||
return None;
|
||
}
|
||
let slots: Vec<String> = if allowed.is_empty() {
|
||
Vec::new()
|
||
} else {
|
||
allowed
|
||
.split(',')
|
||
.map(|s| s.trim().to_owned())
|
||
.filter(|s| !s.is_empty())
|
||
.collect()
|
||
};
|
||
Some((name.to_owned(), slots, rpm, daily))
|
||
}
|
||
|
||
/// 从 `https://api.openai.com:443` 取出 `api.openai.com:443`(去掉 scheme 与路径)
|
||
fn host_of(base: &str) -> &str {
|
||
let rest = match base.find("://") {
|
||
Some(i) => &base[i + 3..],
|
||
None => base,
|
||
};
|
||
match rest.find('/') {
|
||
Some(i) => &rest[..i],
|
||
None => rest,
|
||
}
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 响应
|
||
// ===========================================================================
|
||
|
||
/// OpenAI 兼容的错误体。客户端 SDK 只认这个形状。
|
||
///
|
||
/// **返回状态码而不是 `NGX_OK`**——这一点是正确性关键:access 阶段返回 OK 的
|
||
/// 语义是「放行、继续走 content 阶段」,那么鉴权失败的请求照样会被 `proxy_pass`
|
||
/// 转发给上游。表现是「客户端收到 401,但上游仍然被调用了一次」:白烧上游额度,
|
||
/// 而且从上游账单上完全看不出这是一次被拒绝的请求。实测踩过。
|
||
pub fn fail(r: *mut ngx_http_request_t, status: HTTPStatus, code: &str, msg: &str) -> Status {
|
||
fail_typed(r, status, "invalid_request_error", code, msg)
|
||
}
|
||
|
||
/// 同 [`fail`],但 `type` 字段可指定——429 限流应返回 `rate_limit_error`,
|
||
/// SDK(尤其 OpenAI 官方库)据此做退避重试,写成 `invalid_request_error`
|
||
/// 会被当成「请求本身有问题」而直接放弃。
|
||
pub fn fail_typed(
|
||
r: *mut ngx_http_request_t,
|
||
status: HTTPStatus,
|
||
err_type: &str,
|
||
code: &str,
|
||
msg: &str,
|
||
) -> Status {
|
||
let body = json!({
|
||
"error": {
|
||
"message": msg,
|
||
"type": err_type,
|
||
"code": code,
|
||
}
|
||
})
|
||
.to_string();
|
||
|
||
let http_code = status.0 as ngx_int_t;
|
||
// 先把自定义响应体发出去(nginx 之后不会再补一份默认错误页,因为 header 已发)
|
||
let _ = crate::http::send(r, status, &body);
|
||
// 再把状态码交回 nginx,由它终结本请求
|
||
Status(http_code)
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 限流与配额
|
||
// ===========================================================================
|
||
|
||
/// 限流与每日配额检查。拒绝时直接发 429 并返回 Some(状态),放行返回 None。
|
||
///
|
||
/// **先增后判**:窗口计数里也包含被拒的请求。这只影响「超限后计数继续涨」,
|
||
/// 不影响正确性(反正已在超限状态);换来的是实现无需区分「合法请求才计数」。
|
||
///
|
||
/// # Safety
|
||
/// `r` 由 nginx 传入且有效。
|
||
pub unsafe fn check_quota(
|
||
r: *mut ngx_http_request_t,
|
||
username: &str,
|
||
rpm: i64,
|
||
daily: i64,
|
||
) -> Option<Status> {
|
||
let now = util::now();
|
||
|
||
// 每分钟窗口(60s 滚动对齐到自然分钟)。rpm<=0 表示不限,跳过计数省一次写
|
||
if rpm > 0 {
|
||
let used = state::bump_window(config::KEY_RL_PREFIX, username, now / 60);
|
||
if used > rpm {
|
||
util::log_warn(&format!(
|
||
"[llm] {username} 触发每分钟限流 {used}/{rpm},本请求 429"
|
||
));
|
||
return Some(fail_typed(
|
||
r,
|
||
HTTPStatus::TOO_MANY_REQUESTS,
|
||
"rate_limit_error",
|
||
"rate_limit_exceeded",
|
||
&format!("请求过于频繁:每分钟上限 {rpm} 次,请稍后重试"),
|
||
));
|
||
}
|
||
}
|
||
|
||
// 每日窗口按本地自然日切(见 util::day_id)
|
||
if daily > 0 {
|
||
let today = state::bump_window(config::KEY_ST_PREFIX, username, util::day_id(now));
|
||
if today > daily {
|
||
util::log_warn(&format!(
|
||
"[llm] {username} 触发每日配额 {today}/{daily},本请求 429"
|
||
));
|
||
return Some(fail_typed(
|
||
r,
|
||
HTTPStatus::TOO_MANY_REQUESTS,
|
||
"insufficient_quota",
|
||
"insufficient_quota",
|
||
&format!("已达每日请求上限 {daily} 次,明日 0 点重置或联系管理员调整"),
|
||
));
|
||
}
|
||
}
|
||
|
||
None
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 变量 get_handler
|
||
// ===========================================================================
|
||
|
||
/// 在请求内存池里分配字符串并写进变量槽。随请求回收,无需手动释放。
|
||
///
|
||
/// # Safety
|
||
/// `r` / `v` 必须由 nginx 传入且在本调用期间有效。
|
||
unsafe fn set_value(
|
||
r: *mut ngx_http_request_t,
|
||
v: *mut ngx_http_variable_value_t,
|
||
value: &str,
|
||
) -> ngx_int_t {
|
||
let pool = Pool::from_ngx_pool((*r).pool);
|
||
let bytes = value.as_bytes();
|
||
let data = pool.alloc(bytes.len()) as *mut u8;
|
||
if data.is_null() {
|
||
(*v).set_not_found(1);
|
||
return Status::NGX_ERROR.into();
|
||
}
|
||
ptr::copy_nonoverlapping(bytes.as_ptr(), data, bytes.len());
|
||
(*v).data = data;
|
||
(*v).set_len(bytes.len() as _);
|
||
(*v).set_valid(1);
|
||
(*v).set_no_cacheable(1);
|
||
(*v).set_not_found(0);
|
||
Status::NGX_OK.into()
|
||
}
|
||
|
||
/// 三个 LLM 变量共用一个 get_handler,靠 `var.data` 分派(值由 `preconfiguration` 写入)。
|
||
///
|
||
/// 共用的代价是每个变量各查一次共享内存:一次读锁 + 一次 BTreeMap 查找 +
|
||
/// 一次小分配,量级在微秒以内,相对一次 LLM 推理完全可忽略;
|
||
/// 换来的是不必维护三份几乎相同的代码。
|
||
pub extern "C" fn var_get(
|
||
r: *mut ngx_http_request_t,
|
||
v: *mut ngx_http_variable_value_t,
|
||
data: usize,
|
||
) -> ngx_int_t {
|
||
// SAFETY: r/v 由 nginx 传入且有效;slot_of/upstream_uri 只读请求结构
|
||
unsafe {
|
||
let resolved = (|| -> Option<String> {
|
||
let slot = slot_of(r)?;
|
||
let payload = state::get_upstream(&slot)?;
|
||
let (base, auth) = upstreams::split_payload(&payload);
|
||
Some(match data {
|
||
VAR_TARGET => format!("{}{}", base, upstream_uri(r)),
|
||
VAR_HOST => host_of(base).to_owned(),
|
||
VAR_AUTH => auth.to_owned(),
|
||
_ => return None,
|
||
})
|
||
})();
|
||
|
||
match resolved {
|
||
Some(value) => set_value(r, v, &value),
|
||
None => {
|
||
(*v).set_not_found(1);
|
||
(*v).set_valid(0);
|
||
Status::NGX_ERROR.into()
|
||
}
|
||
}
|
||
}
|
||
}
|