Commit Graph
3 Commits
Author SHA1 Message Date
admin 401f9be351 feat(llm): token 计量 + 对话审计日志(10GiB 容量触发式清理)
- llm_usage.rs: body filter 旁路(FFI 注册 top_body_filter,无需额外 C 模块),
  透传 SSE 的同时抓尾部 usage chunk(OpenAI stream_options.include_usage / Anthropic message_delta),
  解析 prompt/completion tokens 写 shm utt:/utms: 键
- llm_audit.rs: log 阶段把请求体临时文件复制进审计目录(audit/ = data 兄弟目录),
  meta.jsonl 记 user/slot/status/token;10 GiB 容量阈值触发式清理,按日期目录从最旧删起
- conf/nginx.conf: LLM location 去掉 proxy_request_buffering off(它管请求体方向、
  与 SSE 无关且与 client_body_in_file_only 互斥),SSE 流式由 proxy_buffering off 保障
- stats/api: 用量接口增加 tokens 维度(today/total per user per slot)
- ipass-agent.py: 容器重建时自动挂审计卷(宿主 audit/ = data 兄弟目录,自动建目录)
- update-agent-face.sh: 控制面自更新脚本(.11 上一行命令完成下载/备份/校验/重启/自检)
- tests: LLM 117/117(+6: 审计 4 + token 2)、网关 90/90,共 207 全绿
2026-09-12 17:59:34 +08:00
admin b76213bebb docs(llm): 补落地记录(出站头策略 + 统一注册),并同步 readme
- docs §七:本次改造实际发出的配置、生产验收表(.11 临时挂 echo 上游)、
  反证结果(还原成改造前 → 3 条凭据断言如实变红)、统一注册的改前改后实测、
  两个副作用(路径空间放大 / base_url 变协议中立)与回退命令。
- readme:§12.6 tag 表补齐 1.0.2 / 1.0.3 / 1.0.4(这三版此前没登记);
  §15 增加提示框说明「base 写到哪一层决定 base_url 是否协议中立」及
  Anthropic 客户端必须自己补 /anthropic;§16 补本轮变更记录。
2026-09-12 12:46:42 +08:00
admin 9ede90b06e docs(llm): 多协议路由与鉴权头调研(开源实现 + 官方指引 + 实测)
- LiteLLM:/anthropic/* 路径前缀路由;clean_headers 的 authenticated_with_header
  语义 + 默认摘凭据头 + 双层 allowlist + 日志/转发两副本分离
- one-api:根地址 + 路径天然区分,model 只选 channel,出站三头齐设
- Higress:Automatic Protocol Detection;v2.2.3 把按模型名宽泛匹配改成路径后缀判断
- Anthropic 官方:走网关用 ANTHROPIC_AUTH_TOKEN(发 Authorization),直连才用
  ANTHROPIC_API_KEY(发 X-Api-Key)
- 靶机改为记录全部收到的头:手挑字段会让未替换的头在回归里全绿通过

结论:协议由客户端路径表达,不需要网关分发;统一注册的实体是 base 写到 host。
鉴权头两种修法与 off 模式的必注入清单(漏 Content-Type 会让所有 POST 废)见文档。
2026-09-12 12:27:41 +08:00