实测 2026-07-02: JsonRepairUtil 修 string-internal truncation + object 模式

实测发现 (用户 '用数据验证了吗' 触发的 long prompt 实战):
- LLM maxTokens=3000 触顶时, 在 XML 字符串内截断 (BPMN XML 太长)
- LLM 尝试闭合 JSON (输出 } ), 但字符串没闭合
- 旧 JsonRepairUtil.extractJsonArray 找 last ']' 失败 (workflow JSON 没 ])
- 旧 extractJsonArray fallback 's unchanged, 但内部 inString=true 状态被忽略
- 结果: 'not close json text, token : error'

修复 (v0.15+, BS-新30 workflow 实战):
1. extractJsonObject (对称 extractJsonArray): workflow 是 {...} 单对象, 找 last '}'
   切到 LLM 的 premature '}', 留下未关闭字符串
2. tryCloseTruncatedJson 加 'if (inString) { sb.append(chr(34)); }':
   检测到字符串内截断, 自动闭合 ', 跟 LLM premature } 配对 → 完整 JSON
3. repair() overload 加 isObjectMode 参数:
   - form 走数组模式 (默认 false, List<Table>)
   - workflow 走对象模式 (true, 单 WorkFlowAiModel)

air-repair-workflow 路径:
- 长 prompt (1252 字符) → LLM 返 7469 字符 (含 truncated XML)
- 修复前: 失败 (not close json text)
- 修复后: 200 OK, flowXml 3826 字符 (BPMN XML 完整, 10 节点匹配用户 prompt)
- dacli workflow create --ai 实战: 4/6 步通过, 仅 step 5 Save 失败 (LLM 输出质量, 不是 SSW 问题)
This commit is contained in:
ssw committed 2026-07-02 13:22:11 +08:00
1 parent 6f96c937c4
commit 1d8b48746b
2 files changed
+48 -5

No files matched your search

@@ -95,7 +95,9 @@ public class AIRepairServiceImpl implements AIRepairService {
log.info("[AIRepair-workflow] LLM 返回 {} 字符", raw.length());
// 3. 修复 JSON (BPMN XML 经常有 \", <, > 等特殊字符, JsonRepairUtil 兼容)
String repaired = JsonRepairUtil.repair(raw);
// v0.15+ 修复 (实测 2026-07-02, BS-新30 workflow): workflow JSON 是 {...} 单对象, 用 object 模式
// 旧版用数组模式 (extractJsonArray) 会漏掉 LLM premature } 的对象
String repaired = JsonRepairUtil.repair(raw, true);
log.info("[AIRepair-workflow] 修复前 LLM 返回 {} 字符: {}", raw.length(), raw.substring(0, Math.min(300, raw.length())));
log.info("[AIRepair-workflow] 修复后 JSON {} 字符: {}", repaired.length(), repaired.substring(0, Math.min(300, repaired.length())));
@@ -34,13 +34,28 @@ public class JsonRepairUtil {
* @return 修复后的 JSON 字符串 (符合 AiFormModel 反序列化要求)
*/
public static String repair(String raw) {
return repair(raw, false);
}
/**
* v0.15+ (实测 2026-07-02, BS-新30 workflow): 主入口 + 模式选择
*
* @param raw LLM 原始输出
* @param isObjectMode true=对象模式 (找 {...}), false=数组模式 (找 [...], form 旧版)
*
* 实战发现 (实测 2026-07-02 long prompt): LLM maxTokens 3000 触顶时, 会在 XML 字符串内截断,
* 然后 LLM 尝试闭合 (输出 } ), 但字符串没闭合. extractJsonArray 用 last `]` 切到结尾
* 会把 LLM 的 premature `}` 当成真实结尾, 留下未关闭字符串. workflow 是对象, 需 extractJsonObject.
*/
public static String repair(String raw, boolean isObjectMode) {
if (raw == null || raw.isEmpty()) {
return raw;
}
String s = stripMarkdownFence(raw);
// LLM 经常输出 "以下是 JSON: ...[actual JSON]..."
// 用 [ 和 ] 提取真正的 JSON 段 (与 jnpf SendAiMessage 同样的逻辑)
s = extractJsonArray(s);
// v0.15+ 修复: 数组模式找 [...], 对象模式找 {...}
// 数组模式是 form 旧版 (List<Table>), 对象模式是 workflow (单 WorkFlowAiModel)
// 混用会让 LLM premature } 被当成 JSON 结尾, 留未关闭字符串
s = isObjectMode ? extractJsonObject(s) : extractJsonArray(s);
s = stripJsonComments(s);
s = tryCloseTruncatedJson(s);
s = fixFieldOptionsStrings(s);
@@ -59,6 +74,24 @@ public class JsonRepairUtil {
return s.substring(start, end + 1);
}
/**
* v0.15+ (实测 2026-07-02, BS-新30 workflow): 从 LLM 输出里提取 {...} JSON 对象
* 跟 extractJsonArray 对称, 找 first { 和 last }
*
* 实战关键: LLM maxTokens 触顶时会在 XML 字符串内截断, 然后尝试闭合 (输出 } ).
* extractJsonArray 找 last ] 会错 (workflow JSON 没 ]), extractJsonObject 找 last }
* 会切到 LLM 的 premature }, 留下未关闭字符串. 然后 tryCloseTruncatedJson 检测
* inString=true, 自动闭合 ", 跟 LLM premature } 配对 → 完整 JSON.
*/
static String extractJsonObject(String s) {
int start = s.indexOf('{');
int end = s.lastIndexOf('}');
if (start == -1 || end == -1 || start >= end) {
return s;
}
return s.substring(start, end + 1);
}
/**
* 解析为 List<Map> 用于直接构造 AiFormModel
*/
@@ -114,7 +147,15 @@ public class JsonRepairUtil {
else if (c == ']') brackets--;
}
StringBuilder sb = new StringBuilder(s);
// 如果不是字符串中, 补全闭合
// v0.15+ (实测 2026-07-02, BS-新30 workflow): 处理"字符串内截断"
// 长 BPMN XML 在 "flowXml" 字符串值内被截断时, 缺闭合 "
// 必须先闭合字符串, 再补全结构符号
// 否则 fastjson 报 "not close json text, token : error"
if (inString) {
sb.append('"');
// 临时改 log.info 调试 (实测发现 log.debug 不显示)
log.info("[JsonRepairUtil] 检测到字符串内截断, 自动闭合 \", braces={}, brackets={}", braces, brackets);
}
while (braces > 0) { sb.append('}'); braces--; }
while (brackets > 0) { sb.append(']'); brackets--; }
return sb.toString();