- vanilla nginx + Rust 动态模块(取代 OpenResty+Lua),共享内存为运行期真源 - 三域名分流 18098 ssl:mdm 管理台 / lm LLM 代理 / *.dm 企业转发,共用 *.mayishangshu.cn 通配符证书(证书不入库) - LLM 统一出口:同 Key 鉴权、上游 Key 替换、白名单、限流配额、SSE - 回归夹具 tests/(网关 55 + LLM 34 = 89 断言,夹具 cp 覆盖重置) - 文档:readme(16 章)+ CLAUDE.md + conf/tls/README(acme.sh 证书管理、hairpin 环回链路)
228 lines
8.2 KiB
Rust
228 lines
8.2 KiB
Rust
//! LLM 上游配置与共享内存同步。
|
||
//!
|
||
//! 这是「转发映射」机制在 LLM 侧的翻版:`domains.rs` 管
|
||
//! `子域名 → 后端`,本模块管 `路径前缀(slot) → 上游(基址 + 密钥)`。
|
||
//! 两者都**写穿共享内存**,理由相同——热路径未命中即失败,不回源读文件。
|
||
//!
|
||
//! ## 为什么按 URL 前缀分上游,而不是按请求体里的 `model`
|
||
//!
|
||
//! 转发决策点在 access 阶段,而请求体要到 content 阶段才读得到
|
||
//! (见 `http::collect_body` 的调用前提)。按 `model` 字段分流就必须放弃
|
||
//! `proxy_pass`、自己实现 upstream 转发,代码量与出错面差一个数量级。
|
||
//! 代价只是客户端 base_url 需要带上 slot 段,可接受。
|
||
//!
|
||
//! `data/llm-upstreams.json` 含上游真实 API Key,**敏感级别等同 `users.json`**。
|
||
|
||
use serde_json::{Value, json};
|
||
|
||
use crate::config::{KEY_UP_PREFIX, UPSTREAM_BASE_MAX_LEN, UPSTREAM_SLOT_MAX_LEN};
|
||
use crate::models::Upstream;
|
||
use crate::state;
|
||
use crate::store;
|
||
use crate::util;
|
||
|
||
/// 共享内存 payload 的内部分隔符:base 与 auth 之间。
|
||
///
|
||
/// 与 `config::VAL_SEP`(0x1f,负责切 payload / expires_at)是两层不同的
|
||
/// 分隔,不能混用。base 是 URL、auth 是 `Bearer <token>`,都不可能含换行。
|
||
pub const PAYLOAD_SEP: char = '\n';
|
||
|
||
// ===========================================================================
|
||
// 校验
|
||
// ===========================================================================
|
||
|
||
/// slot:小写字母/数字开头,其后可含短横线、下划线,总长 ≤ 32。
|
||
///
|
||
/// 允许下划线(`azure_openai` 这类厂牌写法很常见),这点比子域名规则宽。
|
||
pub fn validate_slot(raw: &str) -> Result<String, String> {
|
||
let s = util::trim(raw).to_ascii_lowercase();
|
||
if s.is_empty() {
|
||
return Err("缺少 slot 参数".to_owned());
|
||
}
|
||
if s.len() > UPSTREAM_SLOT_MAX_LEN {
|
||
return Err(format!("slot 长度不能超过 {UPSTREAM_SLOT_MAX_LEN} 个字符"));
|
||
}
|
||
let bytes = s.as_bytes();
|
||
let head_ok = matches!(bytes[0], b'a'..=b'z' | b'0'..=b'9');
|
||
let tail_ok = bytes[1..].iter().all(|&b| matches!(b, b'a'..=b'z' | b'0'..=b'9' | b'-' | b'_'));
|
||
if !head_ok || !tail_ok {
|
||
return Err("slot 只能是小写字母、数字、短横线或下划线,且不能以符号开头".to_owned());
|
||
}
|
||
Ok(s)
|
||
}
|
||
|
||
/// 上游基址:必须显式带 `http://` 或 `https://`。
|
||
///
|
||
/// 比子域名的 `backend`(纯 host:port)宽——LLM 上游常挂在网关路径下
|
||
/// (如 `https://gw.corp.com/llm`),所以要允许尾随路径。
|
||
pub fn validate_base(raw: &str) -> Result<String, String> {
|
||
let s = util::trim(raw).trim_end_matches('/').to_owned();
|
||
if s.is_empty() {
|
||
return Err("缺少 base 参数".to_owned());
|
||
}
|
||
if s.len() > UPSTREAM_BASE_MAX_LEN {
|
||
return Err(format!("base 长度不能超过 {UPSTREAM_BASE_MAX_LEN} 个字符"));
|
||
}
|
||
let rest = if let Some(r) = s.strip_prefix("https://") {
|
||
r
|
||
} else if let Some(r) = s.strip_prefix("http://") {
|
||
r
|
||
} else {
|
||
return Err("base 必须以 http:// 或 https:// 开头,例如 https://api.openai.com".to_owned());
|
||
};
|
||
if rest.is_empty() {
|
||
return Err("base 缺少主机名".to_owned());
|
||
}
|
||
if rest.chars().any(char::is_whitespace) || rest.contains('@') {
|
||
return Err("base 不允许包含空格或用户信息(user@host)".to_owned());
|
||
}
|
||
if rest.split('/').next().unwrap_or("").is_empty() {
|
||
return Err("base 缺少主机名".to_owned());
|
||
}
|
||
Ok(s)
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 共享内存同步(写穿 / 装载)
|
||
// ===========================================================================
|
||
|
||
/// 把一条上游配置同步进共享内存。**所有写操作之后必须调用它**。
|
||
///
|
||
/// 关闭(`enabled=false`)时是**删除**而不是写入空值——热路径
|
||
/// 「查不到 = 不可用」,这样停用即刻生效,且不留残留条目。
|
||
pub fn sync_shm(slot: &str, up: &Upstream) {
|
||
if up.enabled {
|
||
state::put_upstream(slot, &payload_of(up));
|
||
} else {
|
||
state::remove_upstream(slot);
|
||
}
|
||
}
|
||
|
||
fn payload_of(up: &Upstream) -> String {
|
||
format!("{}{}{}", up.base, PAYLOAD_SEP, up.auth)
|
||
}
|
||
|
||
/// 全量重载上游表(启动装载 / 批量变更后)。返回装载条数。
|
||
///
|
||
/// 只清 `up:` 前缀,不会误伤转发映射与管理会话。
|
||
pub fn reload_shm() -> usize {
|
||
state::clear_prefix(KEY_UP_PREFIX);
|
||
let mut loaded = 0;
|
||
for (slot, up) in store::read_upstreams() {
|
||
if up.enabled && state::put_upstream(&slot, &payload_of(&up)) {
|
||
loaded += 1;
|
||
}
|
||
}
|
||
loaded
|
||
}
|
||
|
||
/// 拆 payload:`base \n auth` → `(base, auth)`。
|
||
///
|
||
/// 无分隔符时视为「只有 base、无鉴权头」——兼容手工编辑文件时漏写分隔的情况。
|
||
pub fn split_payload(payload: &str) -> (&str, &str) {
|
||
match payload.split_once(PAYLOAD_SEP) {
|
||
Some((b, a)) => (b, a),
|
||
None => (payload, ""),
|
||
}
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 查询
|
||
// ===========================================================================
|
||
|
||
/// 全部上游,按 slot 升序
|
||
pub fn all() -> Vec<(String, Upstream)> {
|
||
store::read_upstreams().into_iter().collect()
|
||
}
|
||
|
||
pub fn get(slot: &str) -> Option<Upstream> {
|
||
store::read_upstreams().remove(slot)
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 写入
|
||
// ===========================================================================
|
||
|
||
/// 新增或覆盖一个上游。
|
||
///
|
||
/// `auth = None` 表示**保持原值**(表单只改 base 时不必回填密钥);
|
||
/// `Some("")` 表示显式清空。`enabled = false` 会立刻从共享内存移除。
|
||
pub fn upsert(
|
||
slot_raw: &str,
|
||
base_raw: &str,
|
||
auth_raw: Option<&String>,
|
||
enabled: bool,
|
||
note: Option<&String>,
|
||
) -> Result<Upstream, String> {
|
||
let slot = validate_slot(slot_raw)?;
|
||
let base = validate_base(base_raw)?;
|
||
|
||
let key = slot.clone();
|
||
let up = store::update_upstreams(move |table| {
|
||
// 先克隆出来:下面 insert 需要可变借用,不能与这里的不可变借用并存
|
||
let existing = table.get(&key).cloned();
|
||
|
||
let auth = match auth_raw {
|
||
Some(a) => util::trim(a).to_owned(),
|
||
None => existing.as_ref().map(|e| e.auth.clone()).unwrap_or_default(),
|
||
};
|
||
let note = match note {
|
||
Some(n) => util::trim(n).to_owned(),
|
||
None => existing.as_ref().map(|e| e.note.clone()).unwrap_or_default(),
|
||
};
|
||
let created_at = existing
|
||
.as_ref()
|
||
.map(|e| e.created_at)
|
||
.filter(|&t| t > 0)
|
||
.unwrap_or_else(util::now);
|
||
|
||
let item = Upstream { base, auth, enabled, note, created_at };
|
||
table.insert(key.clone(), item.clone());
|
||
Ok(item)
|
||
})?;
|
||
|
||
sync_shm(&slot, &up);
|
||
Ok(up)
|
||
}
|
||
|
||
/// 删除上游,并立刻从共享内存摘掉
|
||
pub fn remove(slot_raw: &str) -> Result<String, String> {
|
||
let slot = validate_slot(slot_raw)?;
|
||
let key = slot.clone();
|
||
|
||
store::update_upstreams(move |table| {
|
||
if table.remove(&key).is_none() {
|
||
return Err(format!("上游 {key} 不存在"));
|
||
}
|
||
Ok(())
|
||
})?;
|
||
|
||
state::remove_upstream(&slot);
|
||
Ok(slot)
|
||
}
|
||
|
||
// ===========================================================================
|
||
// 对外投影
|
||
// ===========================================================================
|
||
|
||
/// 转成管理台可见的字段。
|
||
///
|
||
/// **绝不回显完整 auth**——管理台页面会被截图、被浏览器插件读取,
|
||
/// 回显上游真 Key 等于把公司所有厂商密钥摆在一个 HTML 里。
|
||
pub fn view(slot: &str, up: &Upstream) -> Value {
|
||
json!({
|
||
"slot": slot,
|
||
"base": up.base,
|
||
"auth_set": !up.auth.is_empty(),
|
||
"auth_mask": if up.auth.is_empty() { "-".to_owned() } else { util::mask_key(&up.auth) },
|
||
"enabled": up.enabled,
|
||
"note": up.note,
|
||
"created_at": up.created_at,
|
||
"created_at_text": util::fmt_time(up.created_at),
|
||
})
|
||
}
|
||
|
||
pub fn view_all(list: &[(String, Upstream)]) -> Vec<Value> {
|
||
list.iter().map(|(slot, up)| view(slot, up)).collect()
|
||
}
|