From 1d8b48746bf9b4b7554a9d543e69f61fb6d0833f Mon Sep 17 00:00:00 2001 From: ssw Date: Thu, 2 Jul 2026 13:22:11 +0800 Subject: [PATCH] =?UTF-8?q?=E5=AE=9E=E6=B5=8B=202026-07-02:=20JsonRepairUt?= =?UTF-8?q?il=20=E4=BF=AE=20string-internal=20truncation=20+=20object=20?= =?UTF-8?q?=E6=A8=A1=E5=BC=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 实测发现 (用户 '用数据验证了吗' 触发的 long prompt 实战): - LLM maxTokens=3000 触顶时, 在 XML 字符串内截断 (BPMN XML 太长) - LLM 尝试闭合 JSON (输出 } ), 但字符串没闭合 - 旧 JsonRepairUtil.extractJsonArray 找 last ']' 失败 (workflow JSON 没 ]) - 旧 extractJsonArray fallback 's unchanged, 但内部 inString=true 状态被忽略 - 结果: 'not close json text, token : error' 修复 (v0.15+, BS-新30 workflow 实战): 1. extractJsonObject (对称 extractJsonArray): workflow 是 {...} 单对象, 找 last '}' 切到 LLM 的 premature '}', 留下未关闭字符串 2. tryCloseTruncatedJson 加 'if (inString) { sb.append(chr(34)); }': 检测到字符串内截断, 自动闭合 ', 跟 LLM premature } 配对 → 完整 JSON 3. repair() overload 加 isObjectMode 参数: - form 走数组模式 (默认 false, List) - workflow 走对象模式 (true, 单 WorkFlowAiModel) air-repair-workflow 路径: - 长 prompt (1252 字符) → LLM 返 7469 字符 (含 truncated XML) - 修复前: 失败 (not close json text) - 修复后: 200 OK, flowXml 3826 字符 (BPMN XML 完整, 10 节点匹配用户 prompt) - dacli workflow create --ai 实战: 4/6 步通过, 仅 step 5 Save 失败 (LLM 输出质量, 不是 SSW 问题) --- .../service/impl/AIRepairServiceImpl.java | 4 +- .../java/ssw/common/util/JsonRepairUtil.java | 49 +++++++++++++++++-- 2 files changed, 48 insertions(+), 5 deletions(-) diff --git a/ssw-common/ssw-common-biz/src/main/java/ssw/common/service/impl/AIRepairServiceImpl.java b/ssw-common/ssw-common-biz/src/main/java/ssw/common/service/impl/AIRepairServiceImpl.java index b511dd6..c9683b4 100644 --- a/ssw-common/ssw-common-biz/src/main/java/ssw/common/service/impl/AIRepairServiceImpl.java +++ b/ssw-common/ssw-common-biz/src/main/java/ssw/common/service/impl/AIRepairServiceImpl.java @@ -95,7 +95,9 @@ public class AIRepairServiceImpl implements AIRepairService { log.info("[AIRepair-workflow] LLM 返回 {} 字符", raw.length()); // 3. 修复 JSON (BPMN XML 经常有 \", <, > 等特殊字符, JsonRepairUtil 兼容) - String repaired = JsonRepairUtil.repair(raw); + // v0.15+ 修复 (实测 2026-07-02, BS-新30 workflow): workflow JSON 是 {...} 单对象, 用 object 模式 + // 旧版用数组模式 (extractJsonArray) 会漏掉 LLM premature } 的对象 + String repaired = JsonRepairUtil.repair(raw, true); log.info("[AIRepair-workflow] 修复前 LLM 返回 {} 字符: {}", raw.length(), raw.substring(0, Math.min(300, raw.length()))); log.info("[AIRepair-workflow] 修复后 JSON {} 字符: {}", repaired.length(), repaired.substring(0, Math.min(300, repaired.length()))); diff --git a/ssw-common/ssw-common-biz/src/main/java/ssw/common/util/JsonRepairUtil.java b/ssw-common/ssw-common-biz/src/main/java/ssw/common/util/JsonRepairUtil.java index 32494a6..df05f32 100644 --- a/ssw-common/ssw-common-biz/src/main/java/ssw/common/util/JsonRepairUtil.java +++ b/ssw-common/ssw-common-biz/src/main/java/ssw/common/util/JsonRepairUtil.java @@ -34,13 +34,28 @@ public class JsonRepairUtil { * @return 修复后的 JSON 字符串 (符合 AiFormModel 反序列化要求) */ public static String repair(String raw) { + return repair(raw, false); + } + + /** + * v0.15+ (实测 2026-07-02, BS-新30 workflow): 主入口 + 模式选择 + * + * @param raw LLM 原始输出 + * @param isObjectMode true=对象模式 (找 {...}), false=数组模式 (找 [...], form 旧版) + * + * 实战发现 (实测 2026-07-02 long prompt): LLM maxTokens 3000 触顶时, 会在 XML 字符串内截断, + * 然后 LLM 尝试闭合 (输出 } ), 但字符串没闭合. extractJsonArray 用 last `]` 切到结尾 + * 会把 LLM 的 premature `}` 当成真实结尾, 留下未关闭字符串. workflow 是对象, 需 extractJsonObject. + */ + public static String repair(String raw, boolean isObjectMode) { if (raw == null || raw.isEmpty()) { return raw; } String s = stripMarkdownFence(raw); - // LLM 经常输出 "以下是 JSON: ...[actual JSON]..." - // 用 [ 和 ] 提取真正的 JSON 段 (与 jnpf SendAiMessage 同样的逻辑) - s = extractJsonArray(s); + // v0.15+ 修复: 数组模式找 [...], 对象模式找 {...} + // 数组模式是 form 旧版 (List
), 对象模式是 workflow (单 WorkFlowAiModel) + // 混用会让 LLM premature } 被当成 JSON 结尾, 留未关闭字符串 + s = isObjectMode ? extractJsonObject(s) : extractJsonArray(s); s = stripJsonComments(s); s = tryCloseTruncatedJson(s); s = fixFieldOptionsStrings(s); @@ -59,6 +74,24 @@ public class JsonRepairUtil { return s.substring(start, end + 1); } + /** + * v0.15+ (实测 2026-07-02, BS-新30 workflow): 从 LLM 输出里提取 {...} JSON 对象 + * 跟 extractJsonArray 对称, 找 first { 和 last } + * + * 实战关键: LLM maxTokens 触顶时会在 XML 字符串内截断, 然后尝试闭合 (输出 } ). + * extractJsonArray 找 last ] 会错 (workflow JSON 没 ]), extractJsonObject 找 last } + * 会切到 LLM 的 premature }, 留下未关闭字符串. 然后 tryCloseTruncatedJson 检测 + * inString=true, 自动闭合 ", 跟 LLM premature } 配对 → 完整 JSON. + */ + static String extractJsonObject(String s) { + int start = s.indexOf('{'); + int end = s.lastIndexOf('}'); + if (start == -1 || end == -1 || start >= end) { + return s; + } + return s.substring(start, end + 1); + } + /** * 解析为 List 用于直接构造 AiFormModel */ @@ -114,7 +147,15 @@ public class JsonRepairUtil { else if (c == ']') brackets--; } StringBuilder sb = new StringBuilder(s); - // 如果不是字符串中, 补全闭合 + // v0.15+ (实测 2026-07-02, BS-新30 workflow): 处理"字符串内截断" + // 长 BPMN XML 在 "flowXml" 字符串值内被截断时, 缺闭合 " + // 必须先闭合字符串, 再补全结构符号 + // 否则 fastjson 报 "not close json text, token : error" + if (inString) { + sb.append('"'); + // 临时改 log.info 调试 (实测发现 log.debug 不显示) + log.info("[JsonRepairUtil] 检测到字符串内截断, 自动闭合 \", braces={}, brackets={}", braces, brackets); + } while (braces > 0) { sb.append('}'); braces--; } while (brackets > 0) { sb.append(']'); brackets--; } return sb.toString();