功能(本轮 5 项需求的落地):
- 上游可挂多模型:llm-upstreams.json 每上游新增 models 清单(仅用于模型发现,不参与路由)
- 模型发现:GET /v1/models(OpenAI {object:list} 形状,网关本地应答)+ /api/v1/models + /api/v1/upstreams
- 用量统计:/api/admin/usage(管理台「用量统计」Tab)+ /api/v1/usage + /me 的 llm_usage 摘要
口径:只统计真正转发出去的请求,401/403/404/429 不计;与配额计数 st: 刻意分开
- 账号展示名 display_name(纯展示,不进 ukey:)
- 修复 /v1 版本段重复拼接(llm::join_target)→ 上游 base 自带 /v1 时不再 404 空体
- 修复删账号未清用量键(stats::forget)
部署脚本 deploy/update-ipass.sh:
- 拉镜像 → tar 备份数据 → 删旧容器 → 按旧容器复刻端口/挂载/网络起新容器 → 自检
- 参数从 docker inspect 静态配置读取(docker port 对停止态容器返回空,会让端口静默回落)
- 端口按 host:container 去重(inspect 同一映射含 IPv4/IPv6 两项,重复 -p 会 address already in use)
- --bg 用 setsid/start_new_session 真正脱离会话(仅 nohup & 会被父进程组连带杀掉)
- 旧镜像自动打 rollback-<时间> 标签,收尾打印回滚命令
回归:bash tests/run.sh all → 网关 78 + LLM 75 = 153 条断言全绿。
文档:readme §12.4 / §15 / §16、CLAUDE.md 常用操作 + 排障速查已同步。
82 lines
2.8 KiB
Plaintext
82 lines
2.8 KiB
Plaintext
# ============================================================================
|
||
# LLM 代理 · 本机回归配置模板(**不是**仓库里的生产配置 conf/nginx.conf)
|
||
#
|
||
# 由 tests/run.sh 渲染:@MODULE@ / @RUN@ 会被替换成绝对路径。
|
||
#
|
||
# 与生产配置的差异(均因本机 nginx 编译时关闭了 rewrite 模块):
|
||
# * 无 set / return / error_page 重定向 —— 所以生产里 error_page 那段测不到,
|
||
# 那部分是标准 nginx 用法,留给带 rewrite 模块的生产镜像
|
||
# * 端口 18090(LLM 网关) / 18999(python 假上游)
|
||
# * 状态目录 @RUN@/data —— 独立目录,**绝不碰生产 data/**
|
||
# ============================================================================
|
||
|
||
load_module @MODULE@;
|
||
|
||
worker_processes 2;
|
||
error_log @RUN@/logs/error.log info;
|
||
pid @RUN@/logs/nginx.pid;
|
||
|
||
events {
|
||
worker_connections 1024;
|
||
}
|
||
|
||
http {
|
||
default_type application/json;
|
||
|
||
# 把解析出的上游打进日志,便于直接观察注入结果
|
||
log_format llm '$remote_addr "$request" $status host=$llm_host upstream=$llm_target';
|
||
access_log @RUN@/logs/access.log llm;
|
||
|
||
ipass_state state 10m;
|
||
ipass_data_dir @RUN@/data;
|
||
|
||
# 可选 HTTPS:run.sh 会在 @RUN@/tls/ 放渲染好的 443 server + 自签证书;
|
||
# 文件不存在时此 include 空匹配,不影响启动
|
||
include @RUN@/tls/*.conf;
|
||
|
||
server {
|
||
listen 18090;
|
||
server_name _;
|
||
|
||
client_max_body_size 100m;
|
||
|
||
location / {
|
||
ipass_llm on;
|
||
|
||
proxy_pass $llm_target;
|
||
|
||
proxy_http_version 1.1;
|
||
proxy_set_header Host $llm_host;
|
||
proxy_set_header Authorization $llm_auth;
|
||
proxy_set_header X-Real-IP $remote_addr;
|
||
proxy_set_header Connection "";
|
||
|
||
# SSE 三件套:少一个流式就会退化成「攒完一次性返回」
|
||
proxy_buffering off;
|
||
proxy_request_buffering off;
|
||
proxy_cache off;
|
||
chunked_transfer_encoding on;
|
||
|
||
proxy_connect_timeout 5s;
|
||
proxy_send_timeout 60s;
|
||
proxy_read_timeout 60s;
|
||
}
|
||
}
|
||
|
||
# ---- 管理 server(只为在同一次回归里验账号态用量/模型接口)----
|
||
# 端口 18091;与生产一样只暴露 /api/,账号态用 X-API-Key 鉴权。
|
||
# 放在这里而不是另起一次 nginx:这样两个接口读的就是**同一块共享内存**,
|
||
# 「LLM 请求真的被计入用量」才是被验证到的事实,而不是各自独立的假象。
|
||
server {
|
||
listen 18091;
|
||
server_name _;
|
||
|
||
client_max_body_size 2m;
|
||
client_body_buffer_size 1m;
|
||
|
||
location /api/ {
|
||
ipass_api on;
|
||
}
|
||
}
|
||
}
|