功能(本轮 5 项需求的落地):
- 上游可挂多模型:llm-upstreams.json 每上游新增 models 清单(仅用于模型发现,不参与路由)
- 模型发现:GET /v1/models(OpenAI {object:list} 形状,网关本地应答)+ /api/v1/models + /api/v1/upstreams
- 用量统计:/api/admin/usage(管理台「用量统计」Tab)+ /api/v1/usage + /me 的 llm_usage 摘要
口径:只统计真正转发出去的请求,401/403/404/429 不计;与配额计数 st: 刻意分开
- 账号展示名 display_name(纯展示,不进 ukey:)
- 修复 /v1 版本段重复拼接(llm::join_target)→ 上游 base 自带 /v1 时不再 404 空体
- 修复删账号未清用量键(stats::forget)
部署脚本 deploy/update-ipass.sh:
- 拉镜像 → tar 备份数据 → 删旧容器 → 按旧容器复刻端口/挂载/网络起新容器 → 自检
- 参数从 docker inspect 静态配置读取(docker port 对停止态容器返回空,会让端口静默回落)
- 端口按 host:container 去重(inspect 同一映射含 IPv4/IPv6 两项,重复 -p 会 address already in use)
- --bg 用 setsid/start_new_session 真正脱离会话(仅 nohup & 会被父进程组连带杀掉)
- 旧镜像自动打 rollback-<时间> 标签,收尾打印回滚命令
回归:bash tests/run.sh all → 网关 78 + LLM 75 = 153 条断言全绿。
文档:readme §12.4 / §15 / §16、CLAUDE.md 常用操作 + 排障速查已同步。
84 lines
3.0 KiB
Python
84 lines
3.0 KiB
Python
"""假上游:记录它**实际收到**的 path / auth / host / body。
|
|
|
|
这是验证「下游 Key 是否真被换成上游真 Key」的唯一可靠手段 ——
|
|
只看网关自己的响应是看不出来的(网关返回 200 不代表上游收到了正确的头)。
|
|
|
|
UPSTREAM_PORT=18999 UPSTREAM_LOG=/path/to/upstream.log python3 upstream.py
|
|
|
|
带 `"stream": true` 的请求体会回 SSE,分 3 块、每块间隔 0.4s,
|
|
用来验证 nginx 侧 `proxy_buffering off` 是否生效(缓冲住的话会攒完一次性返回)。
|
|
"""
|
|
|
|
import json
|
|
import os
|
|
import time
|
|
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
|
|
|
LOG = os.environ.get("UPSTREAM_LOG", "/tmp/upstream.log")
|
|
PORT = int(os.environ.get("UPSTREAM_PORT", "18999"))
|
|
|
|
|
|
class H(BaseHTTPRequestHandler):
|
|
protocol_version = "HTTP/1.1"
|
|
|
|
def _record(self, body: bytes):
|
|
rec = {
|
|
"path": self.path,
|
|
"method": self.command,
|
|
"auth": self.headers.get("Authorization", "-"),
|
|
"host": self.headers.get("Host", "-"),
|
|
"body": body.decode("utf-8", "replace"),
|
|
}
|
|
with open(LOG, "a") as f:
|
|
f.write(json.dumps(rec, ensure_ascii=False) + "\n")
|
|
|
|
def do_GET(self):
|
|
"""`GET /<slot>/v1/models` 必须原样透传到上游——这里验的就是这条。
|
|
|
|
网关自己的 `GET /v1/models`(无 slot 段)在本地应答、不会打到这里,
|
|
两条路互不干扰。
|
|
"""
|
|
self._record(b"")
|
|
payload = json.dumps({
|
|
"object": "list",
|
|
"data": [{"id": "upstream-model", "object": "model"}],
|
|
}).encode()
|
|
self.send_response(200)
|
|
self.send_header("Content-Type", "application/json")
|
|
self.send_header("Content-Length", str(len(payload)))
|
|
self.end_headers()
|
|
self.wfile.write(payload)
|
|
|
|
def do_POST(self):
|
|
n = int(self.headers.get("Content-Length") or 0)
|
|
body = self.rfile.read(n)
|
|
self._record(body)
|
|
|
|
if b'"stream"' in body and b"true" in body:
|
|
self.send_response(200)
|
|
self.send_header("Content-Type", "text/event-stream")
|
|
self.send_header("Cache-Control", "no-cache")
|
|
self.send_header("Connection", "close")
|
|
self.end_headers()
|
|
for i in range(3):
|
|
self.wfile.write(('data: {"i":%d}\n\n' % i).encode())
|
|
self.wfile.flush()
|
|
time.sleep(0.4)
|
|
self.close_connection = True
|
|
else:
|
|
payload = json.dumps({
|
|
"id": "chatcmpl-x",
|
|
"choices": [{"message": {"role": "assistant", "content": "pong"}}],
|
|
}).encode()
|
|
self.send_response(200)
|
|
self.send_header("Content-Type", "application/json")
|
|
self.send_header("Content-Length", str(len(payload)))
|
|
self.end_headers()
|
|
self.wfile.write(payload)
|
|
|
|
def log_message(self, *a):
|
|
pass
|
|
|
|
|
|
ThreadingHTTPServer(("127.0.0.1", PORT), H).serve_forever()
|