//! LLM 上游配置与共享内存同步。 //! //! 这是「转发映射」机制在 LLM 侧的翻版:`domains.rs` 管 //! `子域名 → 后端`,本模块管 `路径前缀(slot) → 上游(基址 + 密钥)`。 //! 两者都**写穿共享内存**,理由相同——热路径未命中即失败,不回源读文件。 //! //! ## 为什么按 URL 前缀分上游,而不是按请求体里的 `model` //! //! 转发决策点在 access 阶段,而请求体要到 content 阶段才读得到 //! (见 `http::collect_body` 的调用前提)。按 `model` 字段分流就必须放弃 //! `proxy_pass`、自己实现 upstream 转发,代码量与出错面差一个数量级。 //! 代价只是客户端 base_url 需要带上 slot 段,可接受。 //! //! `data/llm-upstreams.json` 含上游真实 API Key,**敏感级别等同 `users.json`**。 use serde_json::{Value, json}; use crate::config::{KEY_UP_PREFIX, UPSTREAM_BASE_MAX_LEN, UPSTREAM_SLOT_MAX_LEN}; use crate::models::Upstream; use crate::state; use crate::store; use crate::util; /// 共享内存 payload 的内部分隔符:base 与 auth 之间。 /// /// 与 `config::VAL_SEP`(0x1f,负责切 payload / expires_at)是两层不同的 /// 分隔,不能混用。base 是 URL、auth 是 `Bearer `,都不可能含换行。 pub const PAYLOAD_SEP: char = '\n'; // =========================================================================== // 校验 // =========================================================================== /// slot:小写字母/数字开头,其后可含短横线、下划线,总长 ≤ 32。 /// /// 允许下划线(`azure_openai` 这类厂牌写法很常见),这点比子域名规则宽。 pub fn validate_slot(raw: &str) -> Result { let s = util::trim(raw).to_ascii_lowercase(); if s.is_empty() { return Err("缺少 slot 参数".to_owned()); } if s.len() > UPSTREAM_SLOT_MAX_LEN { return Err(format!("slot 长度不能超过 {UPSTREAM_SLOT_MAX_LEN} 个字符")); } let bytes = s.as_bytes(); let head_ok = matches!(bytes[0], b'a'..=b'z' | b'0'..=b'9'); let tail_ok = bytes[1..].iter().all(|&b| matches!(b, b'a'..=b'z' | b'0'..=b'9' | b'-' | b'_')); if !head_ok || !tail_ok { return Err("slot 只能是小写字母、数字、短横线或下划线,且不能以符号开头".to_owned()); } Ok(s) } /// 上游基址:必须显式带 `http://` 或 `https://`。 /// /// 比子域名的 `backend`(纯 host:port)宽——LLM 上游常挂在网关路径下 /// (如 `https://gw.corp.com/llm`),所以要允许尾随路径。 pub fn validate_base(raw: &str) -> Result { let s = util::trim(raw).trim_end_matches('/').to_owned(); if s.is_empty() { return Err("缺少 base 参数".to_owned()); } if s.len() > UPSTREAM_BASE_MAX_LEN { return Err(format!("base 长度不能超过 {UPSTREAM_BASE_MAX_LEN} 个字符")); } let rest = if let Some(r) = s.strip_prefix("https://") { r } else if let Some(r) = s.strip_prefix("http://") { r } else { return Err("base 必须以 http:// 或 https:// 开头,例如 https://api.openai.com".to_owned()); }; if rest.is_empty() { return Err("base 缺少主机名".to_owned()); } if rest.chars().any(char::is_whitespace) || rest.contains('@') { return Err("base 不允许包含空格或用户信息(user@host)".to_owned()); } if rest.split('/').next().unwrap_or("").is_empty() { return Err("base 缺少主机名".to_owned()); } Ok(s) } // =========================================================================== // 共享内存同步(写穿 / 装载) // =========================================================================== /// 把一条上游配置同步进共享内存。**所有写操作之后必须调用它**。 /// /// 关闭(`enabled=false`)时是**删除**而不是写入空值——热路径 /// 「查不到 = 不可用」,这样停用即刻生效,且不留残留条目。 pub fn sync_shm(slot: &str, up: &Upstream) { if up.enabled { state::put_upstream(slot, &payload_of(up)); } else { state::remove_upstream(slot); } } fn payload_of(up: &Upstream) -> String { format!("{}{}{}", up.base, PAYLOAD_SEP, up.auth) } /// 全量重载上游表(启动装载 / 批量变更后)。返回装载条数。 /// /// 只清 `up:` 前缀,不会误伤转发映射与管理会话。 pub fn reload_shm() -> usize { state::clear_prefix(KEY_UP_PREFIX); let mut loaded = 0; for (slot, up) in store::read_upstreams() { if up.enabled && state::put_upstream(&slot, &payload_of(&up)) { loaded += 1; } } loaded } /// 拆 payload:`base \n auth` → `(base, auth)`。 /// /// 无分隔符时视为「只有 base、无鉴权头」——兼容手工编辑文件时漏写分隔的情况。 pub fn split_payload(payload: &str) -> (&str, &str) { match payload.split_once(PAYLOAD_SEP) { Some((b, a)) => (b, a), None => (payload, ""), } } // =========================================================================== // 查询 // =========================================================================== /// 全部上游,按 slot 升序 pub fn all() -> Vec<(String, Upstream)> { store::read_upstreams().into_iter().collect() } pub fn get(slot: &str) -> Option { store::read_upstreams().remove(slot) } // =========================================================================== // 写入 // =========================================================================== /// 新增或覆盖一个上游。 /// /// `auth = None` 表示**保持原值**(表单只改 base 时不必回填密钥); /// `Some("")` 表示显式清空。`enabled = false` 会立刻从共享内存移除。 pub fn upsert( slot_raw: &str, base_raw: &str, auth_raw: Option<&String>, enabled: bool, note: Option<&String>, ) -> Result { let slot = validate_slot(slot_raw)?; let base = validate_base(base_raw)?; let key = slot.clone(); let up = store::update_upstreams(move |table| { // 先克隆出来:下面 insert 需要可变借用,不能与这里的不可变借用并存 let existing = table.get(&key).cloned(); let auth = match auth_raw { Some(a) => util::trim(a).to_owned(), None => existing.as_ref().map(|e| e.auth.clone()).unwrap_or_default(), }; let note = match note { Some(n) => util::trim(n).to_owned(), None => existing.as_ref().map(|e| e.note.clone()).unwrap_or_default(), }; let created_at = existing .as_ref() .map(|e| e.created_at) .filter(|&t| t > 0) .unwrap_or_else(util::now); let item = Upstream { base, auth, enabled, note, created_at }; table.insert(key.clone(), item.clone()); Ok(item) })?; sync_shm(&slot, &up); Ok(up) } /// 删除上游,并立刻从共享内存摘掉 pub fn remove(slot_raw: &str) -> Result { let slot = validate_slot(slot_raw)?; let key = slot.clone(); store::update_upstreams(move |table| { if table.remove(&key).is_none() { return Err(format!("上游 {key} 不存在")); } Ok(()) })?; state::remove_upstream(&slot); Ok(slot) } // =========================================================================== // 对外投影 // =========================================================================== /// 转成管理台可见的字段。 /// /// **绝不回显完整 auth**——管理台页面会被截图、被浏览器插件读取, /// 回显上游真 Key 等于把公司所有厂商密钥摆在一个 HTML 里。 pub fn view(slot: &str, up: &Upstream) -> Value { json!({ "slot": slot, "base": up.base, "auth_set": !up.auth.is_empty(), "auth_mask": if up.auth.is_empty() { "-".to_owned() } else { util::mask_key(&up.auth) }, "enabled": up.enabled, "note": up.note, "created_at": up.created_at, "created_at_text": util::fmt_time(up.created_at), }) } pub fn view_all(list: &[(String, Upstream)]) -> Vec { list.iter().map(|(slot, up)| view(slot, up)).collect() }