Commit Graph
6 Commits
Author SHA1 Message Date
admin 0a9047840d feat(llm): 上游账号冷却改指数退避 + 真实请求探测闭环 (1.0.44)
天锚定重置边界计算(resets)删掉:锚点算错过两次(1.0.14 / 1.0.24),
线上表现为「厂商 15:00 已重置、网关锁到 18:00」。resets 只存不路由。

新口径:uac: = <backoff>:<next_probe>:<hard_cap>
- 到期放一个「无绑定/绑定失效」的真实请求过去探测,2xx → clear_cool 回队;
- 仍耗尽 → 退避翻倍(首轮 ipass_probe_min,默认 60s,30min 硬顶无条件回队自愈);
- 绑定流量永不被劫持当探测(保 prompt 缓存亲和)。
- pick_account 必须纯决策:四个 $llm_* 变量各求值一次,副作用只在 log 阶段记一次。

fix: 探测窗口判定改严格小于 —— 秒级时钟下 >= 会让「标记于 45.95s、next_probe=46」
的账号在 46.05s 即被当探测目标,1s 退避实际只等 0.05s,冷却形同虚设(回归暴露)。

回归 370 条全绿(网关 108 + LLM 262,新增「探测恢复闭环」剧本)。
2026-09-17 07:19:35 +08:00
admin a47e08b5ac fix(me): by_slot last_status 用 max_ts 取最新一次的状态 (1.0.36)
`user_recent` 的 by_slot_7d 计算里 `entry.last_status = status` 无
条件覆盖,导致**昨天末尾的 status 覆盖今天最新**——
`list_days()` 是**倒序**(今天 → 昨天),如果昨天的最后几行是
失败状态(minimax 9-14 末尾 9 行全是 429),会覆盖今天的最新值。

现场:wugui minimax 最近 5 分钟全是 200,但 me.html 显示 429。

修:track `max_ts`,**仅在 ts > max_ts 才更新 last_status**——
保证 last_status 反映 7d 窗口内**最大 ts 的那次调用**。

回归 238/0 全绿。
2026-09-15 20:19:55 +08:00
admin 704a332f3f feat(me): 上游按协议分组 + 复制即用 curl + 24h 折线高度压半 (1.0.34)
- **上游按协议分组**:每个 upstream 的 `base_url`(OpenAI 协议)与
  `anthropic_base_url`(Anthropic 协议)**各自渲染一份 curl 示例**——
  同一个上游支持两种客户端(OpenAI SDK / Anthropic SDK),
  各拿各的 URL 即可。
- **复制即用**:每份 curl 带「OpenAI」「Anthropic」协议标签 + 复制按钮
  (IP.copyText,非安全上下文 fallback prompt)。**Key 占位 `<YOUR_KEY>`**。
- **协议判定**:后端 view 已返回 `base_url` / `anthropic_base_url`
  两个字段(1.0.23 起),不再做 heuristics 猜测。
- **24h 折线高度**:180 → **90**(再压一半),整体更紧凑。

回归 238/0 全绿。
2026-09-15 19:59:23 +08:00
admin bfa3cf8ff8 feat(llm): 上游多账号路由 + 账号级负载统计 (1.0.14)
一个 slot 挂多把上游账号 Key,解决厂商「单账号额度/并发受限」与
「同一用户缓存命中」两个矛盾诉求。

多账号路由 (plugin-llm)
- models: Upstream.accounts[] (auth/note/resets) + 上游级
  exhaust_status/exhaust_markers;顶层 auth 保留兼容(accounts 为空时合成单账号)
- upstreams::pick_account:粘性绑定 ukb:<key> 优先 → 无绑定时
  FNV-1a(下游 Key) % 可用数 冷分散 → 绑定账号冷却则重新分散 → 全冷却取最早恢复
  * 分散避开厂商单账号 agent 并发上限;落点固定保住 prompt/token 缓存
- cool_until_until 天锚定冷却:boundary = day0 + ceil(已过/窗口)*窗口,
  封顶次日 0 点(MiniMax 5h 窗口、24=5*4+4 → 末段 20:00-24:00 只有 4h 随天重置)
- 耗尽双检测 (log 阶段):$upstream_status 命中 exhaust_status,或
  usage_filter 流式扫到 marker → $llm_acct 定位本次账号 → 写冷却 uac:
- shm: up:/upa:/uac:/ukb:/upe: 五类前缀;$llm_acct 变量 (NOCACHEABLE)

账号级负载统计(问题发现与跟踪)
- 新增 uda:<slot>:<idx>:<day>(请求/token)与 uex:(耗尽次数) 日桶,
  复用内核 usage::bump_day —— 无数据库、无新进程(项目红线)
- 计数点只在 log 阶段一次;pick_account 会被 $llm_target/$llm_auth/$llm_acct
  三个变量各触发一次,放进那里会三倍计数
- view() 投影带每账号 load 与 account_trend + trend_labels(日期由后端算)
- 管理台「上游」页密钥列:各 Key 今日请求/token/耗尽 + 负载比例条 +
  14 天迷你趋势(自绘 SVG,零第三方依赖)+ 冷却/耗尽徽标 + 上游合计

测试与验证
- 回归 279 条全绿(网关 102 + LLM 177),新增 6 条多账号/负载断言
- 假上游新增 UPSTREAM_FAIL_AUTH 模拟账号额度耗尽;靶机验证 Key 真被替换
- 前端以真实 admin.css + upstreams.js 渲染路径做无头浏览器断言:
  比例条与负载成比例(412 vs 96 → 100%/23%)、每账号 14 条块、
  悬停峰值日期与数据逐位吻合、单账号/无账号兜底正常、无横向溢出、零 JS 错误

文档
- 新增 docs/llm/MULTI_ACCOUNT_ROUTING.md(数据模型/路由/冷却数学/shm 布局/负载统计)
- readme §11 数据模型 + §15 上游配置 + §15 用量统计 + §12.6 tag 表 + §16 变更记录
- 修正 docs/llm/*.md 中插件化前的过时路径(rust/src/* → crates/plugin-llm/src/*)
2026-09-14 11:57:08 +08:00
adminand小K 1fb83e4dda feat(admin/apix): 编辑改弹出卡片 + API 代理去「市场」概念 + 修示例地址拼接
1. LLM 上游 / API 代理的「新建 / 编辑」改为弹出卡片(IP.modal),
   列表页只留复制地址 / 测试 / 编辑 / 启停 / 删除,体验更轻。
2. API 代理彻底去「API 市场 / 平台级凭据」概念:souyi 仅作供应商之一,
   每条代理自带 base / 供应商 Key / asset_id(后端 platform 概念已移除),
   源码与文档均不再出现 souyi / AIMALL 品牌与目录直拉。
3. 修 apix.js 示例地址拼接 bug:之前末尾出现 `?q=?q=`,
   现 url 只拼一次 `?q=`、示例给出 `?q=关键词`(base 由后端返回纯基址)。

Co-Authored-By: 小K <[email protected]>
2026-09-13 10:19:33 +08:00
admin c426789734 feat(admin): 用量图表(趋势/token/按人/按 API 组)+ 管理台单页拆分多页
后端
- 新增日桶 ud:/udu:/uds:(键名带日窗 id,TTL 90 天),record 记请求、
  add_tokens 记 token,两者写同一批键、字段互补;forget 同步清 udu:
- 新增 GET /api/admin/trend?days=N(默认 14、上限 90),返回图表可直接吃的
  {labels,total,users,slots},每条含 requests/in/out 三条等长数组
- util::fmt_day 供 x 轴用(%m-%d)

前端(原 www/admin.html 1100+ 行单文件)
- 拆为 login.html + overview/review/domains/users/upstreams/usage.html
- 抽出 assets/:admin.css + core.js(请求/登录守卫/外壳)+ chart.js(自绘 SVG)
- 每页 <base href="/admin/">;nginx 侧 /admin 仍进总览,/admin/ alias 到 www/
- 图表零第三方依赖(CDN 会让内网部署白屏,本地副本要塞几百 KB 进镜像)

验收
- 回归 227 条全绿(网关 102 + LLM 125)
- agent.sh verify 新增「趋势接口返回 7 天序列」作为镜像换新证据
2026-09-13 00:42:13 +08:00