- plugin-llm 新 crate:llm/upstreams/usage_filter/llm_audit/stats/handlers/api/config/models/store - 下行契约(downstream_key/identity/check_quota/fail)与记账原语(usage::bump/read/bump_day)已下沉 ipass-core - usage_filter 改走 loc::enabled(Switch::Llm) + core::plugin::ctx_index(解除对 gateway 私有 ModuleConfig 的依赖) - gateway 收缩为壳:LlmHandler/LlmHealthHandler/AuditHandler 随 LlmPlugin 装配; /api/admin/trend 留 gateway(需 users+upstreams+apix 三方名册,组合根职责) - 行为等价:262 项回归全绿(gateway 102 + llm 160)
201 lines
7.5 KiB
Rust
201 lines
7.5 KiB
Rust
//! LLM 对话审计:把每个**被转发**的 LLM 请求体落盘存档,供事后审计与用量复盘。
|
||
//!
|
||
//! 设计要点(详见 docs/llm/AUDIT_LOG.md):
|
||
//! * **捕获方式**:LLM location 开 `client_body_in_file_only clean`,nginx 自己把
|
||
//! 请求体刷到临时文件;本模块在 **log 阶段**(临时文件此刻尚未被清理)把它
|
||
//! 复制进审计目录。热路径零改动——access 阶段不读体、不碰内存缓冲,
|
||
//! SSE 流式透传不受任何影响。被拒请求(401/403/404/429)与本地应答
|
||
//! (/v1/models)的 body 从未被读走 → 没有临时文件 → 天然不入档。
|
||
//! * **目录**:`<审计根>/YYYY-MM-DD/<毫秒>_<rand>.json` + 每目录一份 `meta.jsonl`。
|
||
//! 审计根默认 = data 目录的兄弟目录 `audit/`(`ipass_audit_dir` 指令可覆盖)。
|
||
//! * **清理**:按容量触发(`AUDIT_MAX_BYTES`)——写入后节流巡检
|
||
//! (≥ `AUDIT_PURGE_MIN_INTERVAL` 秒一次、AtomicBool 单飞),超限时按日期
|
||
//! 目录**从旧到新整目录删除**;worker 启动时强制巡检一次(不依赖外部 cron)。
|
||
//! * **失败策略**:审计是旁路功能,任何失败只 `log_err`,绝不影响转发结果。
|
||
|
||
use std::fs;
|
||
use std::io::Write;
|
||
use std::path::PathBuf;
|
||
use std::sync::Mutex;
|
||
use std::sync::atomic::{AtomicBool, AtomicI64, Ordering};
|
||
|
||
use ngx::ffi::ngx_http_request_t;
|
||
use serde_json::json;
|
||
|
||
use crate::config;
|
||
use ipass_core::store;
|
||
use ipass_core::util;
|
||
|
||
/// `ipass_audit_dir` 覆盖值。配置阶段由 nginx 主线程设置一次,之后只读。
|
||
static AUDIT_DIR_OVERRIDE: Mutex<Option<String>> = Mutex::new(None);
|
||
|
||
/// 上次容量巡检时刻(秒);0 = 从未巡检。
|
||
static LAST_PURGE_AT: AtomicI64 = AtomicI64::new(0);
|
||
|
||
/// 巡检单飞标记:多 worker / 多请求并发时只放一个进去。
|
||
static PURGING: AtomicBool = AtomicBool::new(false);
|
||
|
||
/// 指令 `ipass_audit_dir <path>`:显式指定审计根目录(缺省 = data 兄弟目录)。
|
||
pub fn set_dir(dir: &str) {
|
||
if let Ok(mut slot) = AUDIT_DIR_OVERRIDE.lock() {
|
||
*slot = Some(dir.to_owned());
|
||
}
|
||
}
|
||
|
||
/// 审计根目录:显式指令优先,否则取 data 目录的兄弟目录。
|
||
/// 每次现算(配置阶段后才可能被调用,store::data_dir() 已就绪)。
|
||
fn root() -> PathBuf {
|
||
if let Ok(slot) = AUDIT_DIR_OVERRIDE.lock() {
|
||
if let Some(d) = slot.as_deref() {
|
||
return PathBuf::from(d);
|
||
}
|
||
}
|
||
PathBuf::from(store::data_dir())
|
||
.parent()
|
||
.map(|p| p.join(config::AUDIT_DIR_NAME))
|
||
.unwrap_or_else(|| PathBuf::from(config::AUDIT_DIR_NAME))
|
||
}
|
||
|
||
/// worker 启动:确保审计目录存在 + 强制巡检一次容量。
|
||
/// 失败只降级(审计停用 / 跳过本次巡检),绝不阻塞 worker 启动。
|
||
pub fn startup() {
|
||
let r = root();
|
||
if let Err(e) = fs::create_dir_all(&r) {
|
||
util::log_err(&format!("[audit] 建目录失败 {}: {e},审计停用", r.display()));
|
||
return;
|
||
}
|
||
purge(true);
|
||
}
|
||
|
||
/// log 阶段捕获:复制 body 临时文件进审计目录 + 追加一行元数据。
|
||
///
|
||
/// `tin` / `tout` 是 body filter 旁路抓到的 token 数(`llm_usage` 模块提供),
|
||
/// 0 = 上游没给 usage(如 OpenAI 流式未开 include_usage)。
|
||
///
|
||
/// SAFETY: r 必须是 nginx 当前正在 finalize 的请求(log 阶段回调保证)。
|
||
pub unsafe fn capture(r: *mut ngx_http_request_t, username: &str, slot: &str, tin: u64, tout: u64) {
|
||
let rb = (*r).request_body;
|
||
if rb.is_null() {
|
||
return;
|
||
}
|
||
let tf = (*rb).temp_file;
|
||
if tf.is_null() {
|
||
// body 没被刷过盘(本地应答 / 被拒请求 / 无 body)→ 不审计
|
||
return;
|
||
}
|
||
// 临时文件路径:ngx_temp_file_t.file.name(nginx 创建时填好的完整路径)
|
||
let src = match core::str::from_utf8((*tf).file.name.as_bytes()) {
|
||
Ok(s) if !s.is_empty() => s.to_owned(),
|
||
_ => return,
|
||
};
|
||
|
||
let ts = util::now();
|
||
let day = util::fmt_time(ts).get(..10).unwrap_or("unknown").to_owned();
|
||
let dir = root().join(&day);
|
||
if let Err(e) = fs::create_dir_all(&dir) {
|
||
util::log_err(&format!("[audit] 建日期目录失败 {}: {e}", dir.display()));
|
||
return;
|
||
}
|
||
|
||
let fname = format!("{}_{}.json", ts * 1000, util::rand_digits(6));
|
||
let dst = dir.join(&fname);
|
||
// 复制(不是 rename):nginx 在请求池销毁时还要 unlink 临时文件,
|
||
// 改名会让它打出 unlink 失败告警;多一次拷贝换零噪音。
|
||
if let Err(e) = fs::copy(&src, &dst) {
|
||
util::log_err(&format!("[audit] 复制请求体失败 {src}: {e}"));
|
||
return;
|
||
}
|
||
let bytes = fs::metadata(&dst).map(|m| m.len()).unwrap_or(0);
|
||
|
||
let status = (*r).headers_out.status as u64;
|
||
let user = if username.is_empty() { "-" } else { username };
|
||
let up = if slot.is_empty() { "-" } else { slot };
|
||
let line = json!({
|
||
"ts": ts,
|
||
"time": util::fmt_time(ts),
|
||
"user": user,
|
||
"slot": up,
|
||
"status": status,
|
||
"tin": tin,
|
||
"tout": tout,
|
||
"file": format!("{day}/{fname}"),
|
||
"bytes": bytes,
|
||
});
|
||
match fs::OpenOptions::new()
|
||
.create(true)
|
||
.append(true)
|
||
.open(dir.join("meta.jsonl"))
|
||
{
|
||
Ok(mut f) => {
|
||
if let Err(e) = writeln!(f, "{line}") {
|
||
util::log_err(&format!("[audit] 写 meta 失败: {e}"));
|
||
}
|
||
}
|
||
Err(e) => util::log_err(&format!("[audit] 打开 meta 失败: {e}")),
|
||
}
|
||
|
||
purge(false);
|
||
}
|
||
|
||
/// 容量巡检入口。force=true 跳过节流(启动时用);平时每分钟最多一次。
|
||
pub fn purge(force: bool) {
|
||
let now = util::now();
|
||
if !force && now - LAST_PURGE_AT.load(Ordering::Relaxed) < config::AUDIT_PURGE_MIN_INTERVAL {
|
||
return;
|
||
}
|
||
LAST_PURGE_AT.store(now, Ordering::Relaxed);
|
||
if PURGING.swap(true, Ordering::Acquire) {
|
||
return; // 已有巡检在跑
|
||
}
|
||
let result = purge_once();
|
||
PURGING.store(false, Ordering::Release);
|
||
if let Err(e) = result {
|
||
util::log_err(&format!("[audit] 容量巡检失败: {e}"));
|
||
}
|
||
}
|
||
|
||
/// 扫描审计根:目录名即日期(字典序 = 时间序),总量超限就从最旧整目录删。
|
||
///
|
||
/// ⚠️ 本模块无法跑 `cargo test`(dylib 依赖 nginx 主程序的运行时符号,
|
||
/// `cargo test --lib` 直接 SIGABRT)——行为由 tests/llm/e2e.sh【9】覆盖。
|
||
fn purge_once() -> Result<(), String> {
|
||
let r = root();
|
||
let mut total: u64 = 0;
|
||
let mut dirs: Vec<(PathBuf, u64)> = Vec::new();
|
||
for ent in fs::read_dir(&r).map_err(|e| e.to_string())?.flatten() {
|
||
let p = ent.path();
|
||
if !p.is_dir() {
|
||
continue;
|
||
}
|
||
let mut size: u64 = 0;
|
||
if let Ok(files) = fs::read_dir(&p) {
|
||
for f in files.flatten() {
|
||
if let Ok(md) = f.metadata() {
|
||
if md.is_file() {
|
||
size += md.len();
|
||
}
|
||
}
|
||
}
|
||
}
|
||
total += size;
|
||
dirs.push((p, size));
|
||
}
|
||
if total <= config::AUDIT_MAX_BYTES {
|
||
return Ok(());
|
||
}
|
||
dirs.sort_by(|a, b| a.0.cmp(&b.0));
|
||
for (p, size) in dirs {
|
||
if total <= config::AUDIT_MAX_BYTES {
|
||
break;
|
||
}
|
||
match fs::remove_dir_all(&p) {
|
||
Ok(()) => {
|
||
total = total.saturating_sub(size);
|
||
util::log_notice(&format!("[audit] 超容量,已删除 {}", p.display()));
|
||
}
|
||
Err(e) => util::log_err(&format!("[audit] 删除 {} 失败: {e}", p.display())),
|
||
}
|
||
}
|
||
Ok(())
|
||
}
|