diff --git a/rust/crates/plugin-llm/src/llm.rs b/rust/crates/plugin-llm/src/llm.rs index 3b358d1..0f797ab 100644 --- a/rust/crates/plugin-llm/src/llm.rs +++ b/rust/crates/plugin-llm/src/llm.rs @@ -227,30 +227,42 @@ fn split_origin(base: &str) -> (&str, &str) { /// 拼上游完整 URL:`base + 客户端路径(已剥掉 slot)`。 /// -/// **唯一的例外是版本段重复**:上游 base 自带路径(如 DeepSeek 的 -/// `https://api.deepseek.com/v1`)而客户端路径又正好以同一段开头时, -/// 只保留一份。否则会拼出 `/v1/v1/chat/completions`。 +/// **核心规则:base 里已经带了路径段(即版本/前缀由 base 表达),客户端又按 +/// OpenAI 习惯带的 `/v1` 就是冗余的,必须剥掉再拼。** 否则会拼出 +/// `…/v4/v1/chat/completions`(智谱严格 404)或 `…/compatible-mode/v1/v1/…` +/// (阿里容忍但丑)。 /// /// ```text -/// base .../v1 + /v1/chat/completions → .../v1/chat/completions (去重) -/// base .../v1 + /chat/completions → .../v1/chat/completions (照常前缀) -/// base .../llm + /v1/chat/completions → .../llm/v1/chat/completions +/// base 裸 host(无路径段): +/// https://api.deepseek.com + /v1/chat/completions → https://api.deepseek.com/v1/chat/completions +/// https://api.minimaxi.com + /v1/chat/completions → https://api.minimaxi.com/v1/chat/completions +/// base 自带路径段(版本在 base 里): +/// …/api/coding/paas/v4 + /v1/chat/completions → …/api/coding/paas/v4/chat/completions (剥 /v1) +/// …/compatible-mode/v1 + /v1/chat/completions → …/compatible-mode/v1/chat/completions (剥 /v1) +/// …/api/coding/paas/v4 + /chat/completions → …/api/coding/paas/v4/chat/completions (客户端没带 /v1,照常) /// ``` /// -/// 这条规则是**实测踩坑换来的**:厂商文档里的 base_url 通常自带 `/v1` -/// (`https://api.deepseek.com/v1`),管理员照抄进 `llm-upstreams.json`, -/// 客户端又按 OpenAI 习惯把 `/v1` 带上 → 上游 404 且**响应体为空**, -/// 从网关侧完全看不出是拼接问题。去重后两种写法都通, -/// base_url 也就能做到「把厂商文档里的 host 换成网关域名」的逐个字符替换。 +/// 这条规则是**实测踩坑换来的**: +/// - 智谱(glm) 的 OpenAI 基址是 `…/api/coding/paas/v4`、Anthropic 基址是 +/// `…/api/anthropic`,两者路径段完全不同;客户端统一带 `/v1` 时,glm 会被 +/// 拼成 `…/v4/v1/chat/completions` 被智谱 404(响应体为空,网关侧看不出是拼接错)。 +/// - 阿里(qwen) 基址 `…/compatible-mode/v1`,双 /v1 虽被阿里容忍,但属于脏拼。 +/// 改为「base 带路径就剥客户端 /v1」后,所有厂商都只需把文档里的 host 换成 +/// 网关域名 + 保留厂商原始路径段,两种客户端写法(带/不带 /v1)都能正确转发。 fn join_target(base: &str, path: &str) -> String { let (origin, base_path) = split_origin(base); - if !base_path.is_empty() { - let with_slash = format!("{base_path}/"); - if path == base_path || path.starts_with(&with_slash) { - return format!("{origin}{path}"); - } + // base 就是裸 host(无自带路径段)→ 客户端路径原样拼 + // (deepseek/minimax 这类 `https://api.x.com` + `/v1/chat/completions`)。 + if base_path.is_empty() || base_path == "/" { + return format!("{base}{path}"); } - format!("{base}{path}") + // base 已自带路径段(已含版本/前缀):剥掉客户端冗余的 `/v1` 再拼。 + let tail = match path.strip_prefix("/v1") { + Some(t) if !t.is_empty() => t, // `/v1/chat/completions` → `/chat/completions` + Some(_) => "/", // 客户端只发了 `/v1` → 打到上游根 + None => path, // 客户端没带 `/v1`(如 `/chat/completions`)→ 照常拼 + }; + format!("{origin}{base_path}{tail}") } // =========================================================================== @@ -397,3 +409,36 @@ pub extern "C" fn var_get( } } } + +#[cfg(test)] +mod tests { + use super::join_target; + + #[test] + fn join_target_strips_redundant_v1_when_base_has_path() { + // 智谱:base 自带 /api/coding/paas/v4,客户端带 /v1 → 必须剥掉 + assert_eq!( + join_target("https://open.bigmodel.cn/api/coding/paas/v4", "/v1/chat/completions"), + "https://open.bigmodel.cn/api/coding/paas/v4/chat/completions" + ); + // 阿里:base 自带 /compatible-mode/v1,双 /v1 也要收敛成单 /v1 + assert_eq!( + join_target("https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", "/v1/chat/completions"), + "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions" + ); + // 客户端没带 /v1(如 OpenAI SDK 直接拼 /chat/completions)→ 照常 + assert_eq!( + join_target("https://open.bigmodel.cn/api/coding/paas/v4", "/chat/completions"), + "https://open.bigmodel.cn/api/coding/paas/v4/chat/completions" + ); + // 裸 host(无路径段)→ 客户端 /v1 原样保留(deepseek/minimax) + assert_eq!( + join_target("https://api.deepseek.com", "/v1/chat/completions"), + "https://api.deepseek.com/v1/chat/completions" + ); + assert_eq!( + join_target("https://api.minimaxi.com", "/v1/chat/completions"), + "https://api.minimaxi.com/v1/chat/completions" + ); + } +} diff --git a/tests/llm/e2e.sh b/tests/llm/e2e.sh index 7e10f8b..6da6493 100755 --- a/tests/llm/e2e.sh +++ b/tests/llm/e2e.sh @@ -310,14 +310,16 @@ echo echo "【9.5】★ 双协议地址:OpenAI 与 Anthropic 路径各走各的(智谱/阿里形态)" # glm 上游 OpenAI 路径 /api/coding/paas/v4、Anthropic 路径 /api/anthropic,完全不同。 # 网关按「路径里有没有 /anthropic 段」分流到 base / base_anthropic,其余路径原样拼。 -# - `/glm/chat/completions` → 上游 /api/coding/paas/v4/chat/completions -# - `/glm/anthropic/v1/messages` → 上游 /api/anthropic/v1/messages +# 真实客户端统一带 /v1(见 /openai/v1/chat/completions 约定),所以这里也发 /v1, +# 验证 join_target 会剥掉客户端多余的 /v1(否则 glm 会被拼成 …/v4/v1 被智谱 404)。 +# - `/glm/v1/chat/completions` → 上游 /api/coding/paas/v4/chat/completions +# - `/glm/anthropic/v1/messages` → 上游 /api/anthropic/v1/messages # 用 admin key(绕过白名单)直打,up_field path 读靶机实际收到的路径。 GLM_BODY='{"model":"glm-4","max_tokens":1,"messages":[{"role":"user","content":"hi"}]}' -ck "★glm OpenAI 协议 → 200" 200 \ +ck "★glm OpenAI 协议(带 /v1)→ 200" 200 \ "$(code -X POST -H "X-API-Key: $ADMIN_KEY" -H 'Content-Type: application/json' \ - -d "$GLM_BODY" $GW/glm/chat/completions)" -ck " 靶机路径 = base + /chat/completions(无 /v1 猜测)" \ + -d "$GLM_BODY" $GW/glm/v1/chat/completions)" +ck " 靶机路径 = base + /chat/completions(客户端 /v1 已剥)" \ "/api/coding/paas/v4/chat/completions" "$(up_field path)" ck "★glm Anthropic 协议 → 200" 200 \ "$(code -X POST -H "X-API-Key: $ADMIN_KEY" -H 'Content-Type: application/json' \