Files
ipass__ipass/rust/src/upstreams.rs
T
admin 5c307ba1aa iPass 山海关:Rust 动态模块版全量入库
- vanilla nginx + Rust 动态模块(取代 OpenResty+Lua),共享内存为运行期真源
- 三域名分流 18098 ssl:mdm 管理台 / lm LLM 代理 / *.dm 企业转发,共用 *.mayishangshu.cn 通配符证书(证书不入库)
- LLM 统一出口:同 Key 鉴权、上游 Key 替换、白名单、限流配额、SSE
- 回归夹具 tests/(网关 55 + LLM 34 = 89 断言,夹具 cp 覆盖重置)
- 文档:readme(16 章)+ CLAUDE.md + conf/tls/README(acme.sh 证书管理、hairpin 环回链路)
2026-09-11 15:37:09 +08:00

228 lines
8.2 KiB
Rust
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
//! LLM 上游配置与共享内存同步。
//!
//! 这是「转发映射」机制在 LLM 侧的翻版:`domains.rs` 管
//! `子域名 → 后端`,本模块管 `路径前缀(slot) → 上游(基址 + 密钥)`。
//! 两者都**写穿共享内存**,理由相同——热路径未命中即失败,不回源读文件。
//!
//! ## 为什么按 URL 前缀分上游,而不是按请求体里的 `model`
//!
//! 转发决策点在 access 阶段,而请求体要到 content 阶段才读得到
//! (见 `http::collect_body` 的调用前提)。按 `model` 字段分流就必须放弃
//! `proxy_pass`、自己实现 upstream 转发,代码量与出错面差一个数量级。
//! 代价只是客户端 base_url 需要带上 slot 段,可接受。
//!
//! `data/llm-upstreams.json` 含上游真实 API Key,**敏感级别等同 `users.json`**。
use serde_json::{Value, json};
use crate::config::{KEY_UP_PREFIX, UPSTREAM_BASE_MAX_LEN, UPSTREAM_SLOT_MAX_LEN};
use crate::models::Upstream;
use crate::state;
use crate::store;
use crate::util;
/// 共享内存 payload 的内部分隔符:base 与 auth 之间。
///
/// 与 `config::VAL_SEP`(0x1f,负责切 payload / expires_at)是两层不同的
/// 分隔,不能混用。base 是 URL、auth 是 `Bearer <token>`,都不可能含换行。
pub const PAYLOAD_SEP: char = '\n';
// ===========================================================================
// 校验
// ===========================================================================
/// slot:小写字母/数字开头,其后可含短横线、下划线,总长 ≤ 32。
///
/// 允许下划线(`azure_openai` 这类厂牌写法很常见),这点比子域名规则宽。
pub fn validate_slot(raw: &str) -> Result<String, String> {
let s = util::trim(raw).to_ascii_lowercase();
if s.is_empty() {
return Err("缺少 slot 参数".to_owned());
}
if s.len() > UPSTREAM_SLOT_MAX_LEN {
return Err(format!("slot 长度不能超过 {UPSTREAM_SLOT_MAX_LEN} 个字符"));
}
let bytes = s.as_bytes();
let head_ok = matches!(bytes[0], b'a'..=b'z' | b'0'..=b'9');
let tail_ok = bytes[1..].iter().all(|&b| matches!(b, b'a'..=b'z' | b'0'..=b'9' | b'-' | b'_'));
if !head_ok || !tail_ok {
return Err("slot 只能是小写字母、数字、短横线或下划线,且不能以符号开头".to_owned());
}
Ok(s)
}
/// 上游基址:必须显式带 `http://` 或 `https://`。
///
/// 比子域名的 `backend`(纯 host:port)宽——LLM 上游常挂在网关路径下
/// (如 `https://gw.corp.com/llm`),所以要允许尾随路径。
pub fn validate_base(raw: &str) -> Result<String, String> {
let s = util::trim(raw).trim_end_matches('/').to_owned();
if s.is_empty() {
return Err("缺少 base 参数".to_owned());
}
if s.len() > UPSTREAM_BASE_MAX_LEN {
return Err(format!("base 长度不能超过 {UPSTREAM_BASE_MAX_LEN} 个字符"));
}
let rest = if let Some(r) = s.strip_prefix("https://") {
r
} else if let Some(r) = s.strip_prefix("http://") {
r
} else {
return Err("base 必须以 http:// 或 https:// 开头,例如 https://api.openai.com".to_owned());
};
if rest.is_empty() {
return Err("base 缺少主机名".to_owned());
}
if rest.chars().any(char::is_whitespace) || rest.contains('@') {
return Err("base 不允许包含空格或用户信息(user@host)".to_owned());
}
if rest.split('/').next().unwrap_or("").is_empty() {
return Err("base 缺少主机名".to_owned());
}
Ok(s)
}
// ===========================================================================
// 共享内存同步(写穿 / 装载)
// ===========================================================================
/// 把一条上游配置同步进共享内存。**所有写操作之后必须调用它**。
///
/// 关闭(`enabled=false`)时是**删除**而不是写入空值——热路径
/// 「查不到 = 不可用」,这样停用即刻生效,且不留残留条目。
pub fn sync_shm(slot: &str, up: &Upstream) {
if up.enabled {
state::put_upstream(slot, &payload_of(up));
} else {
state::remove_upstream(slot);
}
}
fn payload_of(up: &Upstream) -> String {
format!("{}{}{}", up.base, PAYLOAD_SEP, up.auth)
}
/// 全量重载上游表(启动装载 / 批量变更后)。返回装载条数。
///
/// 只清 `up:` 前缀,不会误伤转发映射与管理会话。
pub fn reload_shm() -> usize {
state::clear_prefix(KEY_UP_PREFIX);
let mut loaded = 0;
for (slot, up) in store::read_upstreams() {
if up.enabled && state::put_upstream(&slot, &payload_of(&up)) {
loaded += 1;
}
}
loaded
}
/// 拆 payload:`base \n auth` → `(base, auth)`。
///
/// 无分隔符时视为「只有 base、无鉴权头」——兼容手工编辑文件时漏写分隔的情况。
pub fn split_payload(payload: &str) -> (&str, &str) {
match payload.split_once(PAYLOAD_SEP) {
Some((b, a)) => (b, a),
None => (payload, ""),
}
}
// ===========================================================================
// 查询
// ===========================================================================
/// 全部上游,按 slot 升序
pub fn all() -> Vec<(String, Upstream)> {
store::read_upstreams().into_iter().collect()
}
pub fn get(slot: &str) -> Option<Upstream> {
store::read_upstreams().remove(slot)
}
// ===========================================================================
// 写入
// ===========================================================================
/// 新增或覆盖一个上游。
///
/// `auth = None` 表示**保持原值**(表单只改 base 时不必回填密钥);
/// `Some("")` 表示显式清空。`enabled = false` 会立刻从共享内存移除。
pub fn upsert(
slot_raw: &str,
base_raw: &str,
auth_raw: Option<&String>,
enabled: bool,
note: Option<&String>,
) -> Result<Upstream, String> {
let slot = validate_slot(slot_raw)?;
let base = validate_base(base_raw)?;
let key = slot.clone();
let up = store::update_upstreams(move |table| {
// 先克隆出来:下面 insert 需要可变借用,不能与这里的不可变借用并存
let existing = table.get(&key).cloned();
let auth = match auth_raw {
Some(a) => util::trim(a).to_owned(),
None => existing.as_ref().map(|e| e.auth.clone()).unwrap_or_default(),
};
let note = match note {
Some(n) => util::trim(n).to_owned(),
None => existing.as_ref().map(|e| e.note.clone()).unwrap_or_default(),
};
let created_at = existing
.as_ref()
.map(|e| e.created_at)
.filter(|&t| t > 0)
.unwrap_or_else(util::now);
let item = Upstream { base, auth, enabled, note, created_at };
table.insert(key.clone(), item.clone());
Ok(item)
})?;
sync_shm(&slot, &up);
Ok(up)
}
/// 删除上游,并立刻从共享内存摘掉
pub fn remove(slot_raw: &str) -> Result<String, String> {
let slot = validate_slot(slot_raw)?;
let key = slot.clone();
store::update_upstreams(move |table| {
if table.remove(&key).is_none() {
return Err(format!("上游 {key} 不存在"));
}
Ok(())
})?;
state::remove_upstream(&slot);
Ok(slot)
}
// ===========================================================================
// 对外投影
// ===========================================================================
/// 转成管理台可见的字段。
///
/// **绝不回显完整 auth**——管理台页面会被截图、被浏览器插件读取,
/// 回显上游真 Key 等于把公司所有厂商密钥摆在一个 HTML 里。
pub fn view(slot: &str, up: &Upstream) -> Value {
json!({
"slot": slot,
"base": up.base,
"auth_set": !up.auth.is_empty(),
"auth_mask": if up.auth.is_empty() { "-".to_owned() } else { util::mask_key(&up.auth) },
"enabled": up.enabled,
"note": up.note,
"created_at": up.created_at,
"created_at_text": util::fmt_time(up.created_at),
})
}
pub fn view_all(list: &[(String, Upstream)]) -> Vec<Value> {
list.iter().map(|(slot, up)| view(slot, up)).collect()
}