feat(定时任务): 模板转换支持纯文本/含JSON文本/纯JSON三种源输入
- template_fill.extract_embedded_json:字符串感知平衡扫描,从含 JSON 的文本里抠出
内嵌 {…}/[…](纯文本返回 None)
- 调度器转换 prompt 预识别内嵌 JSON,单独标注「识别到的结构化数据」并保留原文;
纯文本则让模型按语义理解;conversion prompt 重写覆盖三种形态
- 内置 agent SOUL 说明三种源数据形态
- 文档同步
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
1 parent
8b022bffc5
commit
00181ebde8
5 files changed
+103
-12
No files matched your search
+28
-9
@@ -3,6 +3,7 @@
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import json
|
||||
import logging
|
||||
import mimetypes
|
||||
import re
|
||||
@@ -1375,14 +1376,29 @@ class ScheduledTaskService:
|
||||
}
|
||||
|
||||
@staticmethod
|
||||
def _build_conversion_prompt(skeleton_json: str, source: str) -> str:
|
||||
return (
|
||||
"请把下面的【源数据】转换为【目标结构】要求的 JSON。\n\n"
|
||||
"【目标结构】(展示了完整字段与类型,其中数组只示意 1 个样例元素,实际请按源数据填充全部元素):\n"
|
||||
"```json\n" + skeleton_json + "\n```\n\n"
|
||||
"【源数据】:\n" + source + "\n\n"
|
||||
"只输出一个 ```json 代码块,内含填充好的完整目标 JSON,不要任何解释文字。"
|
||||
)
|
||||
def _build_conversion_prompt(skeleton_json: str, source: str, embedded_json: Any | None = None) -> str:
|
||||
parts = [
|
||||
"请把下面的【源数据】转换为【目标结构】要求的 JSON。",
|
||||
"源数据可能是一段 JSON、一段纯文本、或包含 JSON 的文本——"
|
||||
"其中若有结构化 JSON 以 JSON 内容为准;若是纯文本请理解其语义后据实填充;"
|
||||
"源里没有对应内容的字段按其类型留空(\"\" / [] / null),不要臆造。",
|
||||
"",
|
||||
"【目标结构】(展示了完整字段与类型,其中数组只示意 1 个样例元素,实际请按源数据填充全部元素):",
|
||||
"```json\n" + skeleton_json + "\n```",
|
||||
"",
|
||||
]
|
||||
if embedded_json is not None:
|
||||
# 已从源数据里识别出结构化 JSON,单独标注帮助(尤其弱)模型对齐。
|
||||
parts.append("【从源数据中识别到的结构化数据】(优先以此为准):")
|
||||
parts.append("```json\n" + json.dumps(embedded_json, ensure_ascii=False) + "\n```")
|
||||
parts.append("")
|
||||
parts.append("【源数据原文】(含上面 JSON 之外的补充说明,一并参考):")
|
||||
else:
|
||||
parts.append("【源数据】:")
|
||||
parts.append(source)
|
||||
parts.append("")
|
||||
parts.append("只输出一个 ```json 代码块,内含填充好的完整目标 JSON,不要任何解释文字。")
|
||||
return "\n".join(parts)
|
||||
|
||||
@staticmethod
|
||||
def _build_retry_prompt(base_prompt: str, errors: list[str], gaps: list[str]) -> str:
|
||||
@@ -1467,7 +1483,10 @@ class ScheduledTaskService:
|
||||
model_name = None
|
||||
|
||||
skeleton = template_fill.schema_skeleton_json(template_id)
|
||||
base_prompt = self._build_conversion_prompt(skeleton, source)
|
||||
# 源数据可能是纯 JSON / 纯文本 / 含 JSON 的文本:先尽力抽出内嵌 JSON
|
||||
# 单独标注,原文一并保留(纯文本则无内嵌 JSON,让模型按语义理解)。
|
||||
embedded_json = template_fill.extract_embedded_json(source)
|
||||
base_prompt = self._build_conversion_prompt(skeleton, source, embedded_json)
|
||||
|
||||
# 转换 → 校验 → 失败回喂重试。
|
||||
last_errors: list[str] = []
|
||||
|
||||
+67
@@ -30,6 +30,73 @@ from functools import lru_cache
|
||||
from pathlib import Path
|
||||
from typing import Any
|
||||
|
||||
_FENCE_RE = re.compile(r"```(?:json)?\s*(.*?)```", re.DOTALL | re.IGNORECASE)
|
||||
|
||||
|
||||
def _scan_balanced(text: str, open_ch: str, close_ch: str) -> Any | None:
|
||||
"""从 text 里扫第一个**平衡**的 ``open_ch…close_ch`` 块并 ``json.loads``。
|
||||
|
||||
字符串感知(跳过引号内的括号/转义),失败返回 None。供从「含 JSON 的文本」里
|
||||
把 JSON 段抠出来用。
|
||||
"""
|
||||
start = text.find(open_ch)
|
||||
if start == -1:
|
||||
return None
|
||||
depth = 0
|
||||
in_string = False
|
||||
escape = False
|
||||
for i in range(start, len(text)):
|
||||
ch = text[i]
|
||||
if in_string:
|
||||
if escape:
|
||||
escape = False
|
||||
elif ch == "\\":
|
||||
escape = True
|
||||
elif ch == '"':
|
||||
in_string = False
|
||||
continue
|
||||
if ch == '"':
|
||||
in_string = True
|
||||
elif ch == open_ch:
|
||||
depth += 1
|
||||
elif ch == close_ch:
|
||||
depth -= 1
|
||||
if depth == 0:
|
||||
blob = text[start : i + 1]
|
||||
try:
|
||||
return json.loads(blob)
|
||||
except (ValueError, TypeError):
|
||||
return None
|
||||
return None
|
||||
|
||||
|
||||
def extract_embedded_json(text: str | None) -> Any | None:
|
||||
"""尽力从一段文本里抽出内嵌的 JSON(对象或数组)。
|
||||
|
||||
覆盖三种用户输入:纯 JSON(直接解析)、含 JSON 的文本(抠出第一个平衡的
|
||||
``{…}`` 或 ``[…]``)、纯文本(返回 ``None``)。也识别 ```json fence。
|
||||
"""
|
||||
if not text or not isinstance(text, str):
|
||||
return None
|
||||
s = text.strip()
|
||||
fence = _FENCE_RE.search(s)
|
||||
if fence:
|
||||
inner = fence.group(1).strip()
|
||||
try:
|
||||
return json.loads(inner)
|
||||
except (ValueError, TypeError):
|
||||
s = inner # fence 内不是完整 JSON,继续往下扫
|
||||
try:
|
||||
return json.loads(s)
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
# 取最靠前出现的那种括号块(对象优先于数组,谁先出现谁优先)。
|
||||
brace = _scan_balanced(s, "{", "}")
|
||||
bracket = _scan_balanced(s, "[", "]")
|
||||
if brace is not None and bracket is not None:
|
||||
return brace if s.find("{") <= s.find("[") else bracket
|
||||
return brace if brace is not None else bracket
|
||||
|
||||
# 模板资源根目录(随 git 发布,与本模块同级 ``templates/`` 子目录)。
|
||||
_TEMPLATES_ROOT = Path(__file__).parent / "templates"
|
||||
|
||||
|
||||
Reference in new issue
Block a user