feat(deploy): 新增 .11 一键更新脚本 + 上游多模型/模型发现/用量统计
功能(本轮 5 项需求的落地):
- 上游可挂多模型:llm-upstreams.json 每上游新增 models 清单(仅用于模型发现,不参与路由)
- 模型发现:GET /v1/models(OpenAI {object:list} 形状,网关本地应答)+ /api/v1/models + /api/v1/upstreams
- 用量统计:/api/admin/usage(管理台「用量统计」Tab)+ /api/v1/usage + /me 的 llm_usage 摘要
口径:只统计真正转发出去的请求,401/403/404/429 不计;与配额计数 st: 刻意分开
- 账号展示名 display_name(纯展示,不进 ukey:)
- 修复 /v1 版本段重复拼接(llm::join_target)→ 上游 base 自带 /v1 时不再 404 空体
- 修复删账号未清用量键(stats::forget)
部署脚本 deploy/update-ipass.sh:
- 拉镜像 → tar 备份数据 → 删旧容器 → 按旧容器复刻端口/挂载/网络起新容器 → 自检
- 参数从 docker inspect 静态配置读取(docker port 对停止态容器返回空,会让端口静默回落)
- 端口按 host:container 去重(inspect 同一映射含 IPv4/IPv6 两项,重复 -p 会 address already in use)
- --bg 用 setsid/start_new_session 真正脱离会话(仅 nohup & 会被父进程组连带杀掉)
- 旧镜像自动打 rollback-<时间> 标签,收尾打印回滚命令
回归:bash tests/run.sh all → 网关 78 + LLM 75 = 153 条断言全绿。
文档:readme §12.4 / §15 / §16、CLAUDE.md 常用操作 + 排障速查已同步。
This commit is contained in:
1 parent
94a48bef6e
commit
e38237dc4a
22 files changed
+1719
-93
No files matched your search
@@ -45,6 +45,7 @@ mod llm;
|
||||
mod models;
|
||||
mod session;
|
||||
mod state;
|
||||
mod stats;
|
||||
mod store;
|
||||
mod upstreams;
|
||||
mod util;
|
||||
@@ -268,6 +269,12 @@ impl HttpRequestHandler for LlmHandler {
|
||||
);
|
||||
};
|
||||
|
||||
// 「列出可用模型」是网关自己的元信息接口(OpenAI 兼容形状),
|
||||
// 在查上游之前就地应答——否则 `/v1/models` 会被当成 slot=v1 → 404。
|
||||
if llm::is_models_probe(r) {
|
||||
return llm::respond_models(r, &allowed);
|
||||
}
|
||||
|
||||
if state::get_upstream(&slot).is_none() {
|
||||
return llm::fail(
|
||||
r,
|
||||
@@ -295,6 +302,11 @@ impl HttpRequestHandler for LlmHandler {
|
||||
return resp;
|
||||
}
|
||||
|
||||
// 用量统计:走到这里说明请求**真的会被转发**,才计入。
|
||||
// 被拒的请求(401/403/404/429)不进统计——那是给人看的数字,
|
||||
// 把拒绝也算进"用量"只会误导(与配额计数 st: 的语义刻意不同)。
|
||||
stats::record(&username, &slot, util::now());
|
||||
|
||||
Status::NGX_DECLINED
|
||||
}
|
||||
}
|
||||
|
||||
Reference in new issue
Block a user