实测 2026-07-02: JsonRepairUtil 修 string-internal truncation + object 模式
实测发现 (用户 '用数据验证了吗' 触发的 long prompt 实战):
- LLM maxTokens=3000 触顶时, 在 XML 字符串内截断 (BPMN XML 太长)
- LLM 尝试闭合 JSON (输出 } ), 但字符串没闭合
- 旧 JsonRepairUtil.extractJsonArray 找 last ']' 失败 (workflow JSON 没 ])
- 旧 extractJsonArray fallback 's unchanged, 但内部 inString=true 状态被忽略
- 结果: 'not close json text, token : error'
修复 (v0.15+, BS-新30 workflow 实战):
1. extractJsonObject (对称 extractJsonArray): workflow 是 {...} 单对象, 找 last '}'
切到 LLM 的 premature '}', 留下未关闭字符串
2. tryCloseTruncatedJson 加 'if (inString) { sb.append(chr(34)); }':
检测到字符串内截断, 自动闭合 ', 跟 LLM premature } 配对 → 完整 JSON
3. repair() overload 加 isObjectMode 参数:
- form 走数组模式 (默认 false, List<Table>)
- workflow 走对象模式 (true, 单 WorkFlowAiModel)
air-repair-workflow 路径:
- 长 prompt (1252 字符) → LLM 返 7469 字符 (含 truncated XML)
- 修复前: 失败 (not close json text)
- 修复后: 200 OK, flowXml 3826 字符 (BPMN XML 完整, 10 节点匹配用户 prompt)
- dacli workflow create --ai 实战: 4/6 步通过, 仅 step 5 Save 失败 (LLM 输出质量, 不是 SSW 问题)
This commit is contained in:
1 parent
6f96c937c4
commit
1d8b48746b
2 files changed
+48
-5
No files matched your search
+3
-1
@@ -95,7 +95,9 @@ public class AIRepairServiceImpl implements AIRepairService {
|
||||
log.info("[AIRepair-workflow] LLM 返回 {} 字符", raw.length());
|
||||
|
||||
// 3. 修复 JSON (BPMN XML 经常有 \", <, > 等特殊字符, JsonRepairUtil 兼容)
|
||||
String repaired = JsonRepairUtil.repair(raw);
|
||||
// v0.15+ 修复 (实测 2026-07-02, BS-新30 workflow): workflow JSON 是 {...} 单对象, 用 object 模式
|
||||
// 旧版用数组模式 (extractJsonArray) 会漏掉 LLM premature } 的对象
|
||||
String repaired = JsonRepairUtil.repair(raw, true);
|
||||
log.info("[AIRepair-workflow] 修复前 LLM 返回 {} 字符: {}", raw.length(), raw.substring(0, Math.min(300, raw.length())));
|
||||
log.info("[AIRepair-workflow] 修复后 JSON {} 字符: {}", repaired.length(), repaired.substring(0, Math.min(300, repaired.length())));
|
||||
|
||||
|
||||
@@ -34,13 +34,28 @@ public class JsonRepairUtil {
|
||||
* @return 修复后的 JSON 字符串 (符合 AiFormModel 反序列化要求)
|
||||
*/
|
||||
public static String repair(String raw) {
|
||||
return repair(raw, false);
|
||||
}
|
||||
|
||||
/**
|
||||
* v0.15+ (实测 2026-07-02, BS-新30 workflow): 主入口 + 模式选择
|
||||
*
|
||||
* @param raw LLM 原始输出
|
||||
* @param isObjectMode true=对象模式 (找 {...}), false=数组模式 (找 [...], form 旧版)
|
||||
*
|
||||
* 实战发现 (实测 2026-07-02 long prompt): LLM maxTokens 3000 触顶时, 会在 XML 字符串内截断,
|
||||
* 然后 LLM 尝试闭合 (输出 } ), 但字符串没闭合. extractJsonArray 用 last `]` 切到结尾
|
||||
* 会把 LLM 的 premature `}` 当成真实结尾, 留下未关闭字符串. workflow 是对象, 需 extractJsonObject.
|
||||
*/
|
||||
public static String repair(String raw, boolean isObjectMode) {
|
||||
if (raw == null || raw.isEmpty()) {
|
||||
return raw;
|
||||
}
|
||||
String s = stripMarkdownFence(raw);
|
||||
// LLM 经常输出 "以下是 JSON: ...[actual JSON]..."
|
||||
// 用 [ 和 ] 提取真正的 JSON 段 (与 jnpf SendAiMessage 同样的逻辑)
|
||||
s = extractJsonArray(s);
|
||||
// v0.15+ 修复: 数组模式找 [...], 对象模式找 {...}
|
||||
// 数组模式是 form 旧版 (List<Table>), 对象模式是 workflow (单 WorkFlowAiModel)
|
||||
// 混用会让 LLM premature } 被当成 JSON 结尾, 留未关闭字符串
|
||||
s = isObjectMode ? extractJsonObject(s) : extractJsonArray(s);
|
||||
s = stripJsonComments(s);
|
||||
s = tryCloseTruncatedJson(s);
|
||||
s = fixFieldOptionsStrings(s);
|
||||
@@ -59,6 +74,24 @@ public class JsonRepairUtil {
|
||||
return s.substring(start, end + 1);
|
||||
}
|
||||
|
||||
/**
|
||||
* v0.15+ (实测 2026-07-02, BS-新30 workflow): 从 LLM 输出里提取 {...} JSON 对象
|
||||
* 跟 extractJsonArray 对称, 找 first { 和 last }
|
||||
*
|
||||
* 实战关键: LLM maxTokens 触顶时会在 XML 字符串内截断, 然后尝试闭合 (输出 } ).
|
||||
* extractJsonArray 找 last ] 会错 (workflow JSON 没 ]), extractJsonObject 找 last }
|
||||
* 会切到 LLM 的 premature }, 留下未关闭字符串. 然后 tryCloseTruncatedJson 检测
|
||||
* inString=true, 自动闭合 ", 跟 LLM premature } 配对 → 完整 JSON.
|
||||
*/
|
||||
static String extractJsonObject(String s) {
|
||||
int start = s.indexOf('{');
|
||||
int end = s.lastIndexOf('}');
|
||||
if (start == -1 || end == -1 || start >= end) {
|
||||
return s;
|
||||
}
|
||||
return s.substring(start, end + 1);
|
||||
}
|
||||
|
||||
/**
|
||||
* 解析为 List<Map> 用于直接构造 AiFormModel
|
||||
*/
|
||||
@@ -114,7 +147,15 @@ public class JsonRepairUtil {
|
||||
else if (c == ']') brackets--;
|
||||
}
|
||||
StringBuilder sb = new StringBuilder(s);
|
||||
// 如果不是字符串中, 补全闭合
|
||||
// v0.15+ (实测 2026-07-02, BS-新30 workflow): 处理"字符串内截断"
|
||||
// 长 BPMN XML 在 "flowXml" 字符串值内被截断时, 缺闭合 "
|
||||
// 必须先闭合字符串, 再补全结构符号
|
||||
// 否则 fastjson 报 "not close json text, token : error"
|
||||
if (inString) {
|
||||
sb.append('"');
|
||||
// 临时改 log.info 调试 (实测发现 log.debug 不显示)
|
||||
log.info("[JsonRepairUtil] 检测到字符串内截断, 自动闭合 \", braces={}, brackets={}", braces, brackets);
|
||||
}
|
||||
while (braces > 0) { sb.append('}'); braces--; }
|
||||
while (brackets > 0) { sb.append(']'); brackets--; }
|
||||
return sb.toString();
|
||||
|
||||
Reference in new issue
Block a user