sync update from LAN repo (source dhk-1 @ 3b1ec5b4)

This commit is contained in:
gozeros committed 2026-11-05 10:56:34 +08:00
1 parent da6521b6cb
commit 264e2200d6
995 files changed
+148105 -13399

No files matched your search

@@ -275,7 +275,7 @@ async def run_skill_via_real_agent(
from deerflow.config import get_app_config
from deerflow.subagents.config import SubagentConfig
from deerflow.subagents.executor import SubagentExecutor
from deerflow.tools import get_available_tools
from deerflow.tools import get_available_tools_async
from ..search.base import SearchResult
from ._agent_runner import RESEARCHER_AGENT_ID, WritingAgentUnavailable, load_writing_agent
@@ -293,7 +293,7 @@ async def run_skill_via_real_agent(
try:
app_config = get_app_config()
tools = get_available_tools(
tools = await get_available_tools_async(
model_name=model_name, subagent_enabled=False, include_mcp=True, app_config=app_config
)
except Exception as e: # noqa: BLE001
@@ -1,11 +1,13 @@
"""素材收集专家节点:关键词提取 → 全量技能自由编排检索(含笔记) → 相关度排序。
"""素材收集专家节点:关键词提取 → 技能编排检索(含笔记) → 相关度排序。
检索类型(material_source)有三种:
- ``general``(通用检索,默认):像普通问答一样从**全部启用技能**里自由编排检索
(不再按 ai-writing-researcher agent config.yaml 的 skills 白名单限制)。
- ``general``(通用检索,默认):从**素材收集专家 agent(ai-writing-researcher)
config.yaml ``skills`` 白名单**里的启用技能编排检索(技能目录动辄数百个,
全量技能列进选择提示词会直接把模型上下文撑爆)。
内置「知识库检索」技能(knowledge-base-search)保底且排最前,走原生
web/intranet 关键词并发检索;再由模型按写作意图从全部启用技能中挑最相关的
补充检索(其它技能用其 description 生成定向 query 调真实 provider)。
web/intranet 关键词并发检索;白名单里还有其它技能时,再由模型按写作意图
从中挑最相关的补充检索(其它技能用其 description 生成定向 query 调真实
provider)。
- ``knowledge_base``(知识库检索 / 内网直连检索):**直连内网知识库 ES 接口**
(``IntranetSearchProvider``),不编排任何技能、也不跑通用 provider。接口地址取
``ai_writing.intranet_search_url``,**留空时回退 provider 内置默认内网端点**——与旧版
@@ -14,7 +16,7 @@
旧值 ``skill`` 仍按 ``general`` 兼容处理。
PAUSE-1 素材确认卡的单输入框:用户用自然语言描述想补充检索的内容
(如「检索 A 的数据」)时,让模型从全部启用技能中按相关度匹配,逐个检索,
(如「检索 A 的数据」)时,让模型从白名单技能中按相关度匹配,逐个检索,
把新素材**追加**到现有素材列表(URL 去重、保持原有顺序、不重排不丢弃)。
"""
from __future__ import annotations
@@ -170,25 +172,57 @@ def _intranet_query_summary(rows: list[dict], limit: int = 5) -> str:
return ";".join(parts)
def _load_candidate_skills() -> list:
"""解析素材收集的候选技能池:**全部启用技能**,内置「知识库检索」保底且排最前。
def _researcher_skill_whitelist() -> list[str]:
"""素材收集专家(ai-writing-researcher)config.yaml ``skills`` 白名单。
不再受素材收集专家 agent(ai-writing-researcher)config.yaml ``skills``
白名单限制——像普通问答一样,模型从全部启用技能里自由挑选最相关的去
检索(见下方 SkillPicker 编排)。技能目录加载失败时回退为仅内置
「知识库检索」,保证通用检索永远可用。返回的元素带 ``name`` / ``description``
属性。
管理员在智能体管理页为素材收集专家配置的技能集合就是通用检索的候选池
边界。读取失败 / 未配置 / 显式空都返回 ``[]``(调用方回退仅内置
「知识库检索」保底)。
"""
skills: list = []
try:
from deerflow.skills.storage import get_or_new_skill_storage
from deerflow.config.agents_config import load_agent_config
skills = [s for s in get_or_new_skill_storage().load_skills(enabled_only=True) if getattr(s, "name", None)]
agent_cfg = load_agent_config(RESEARCHER_AGENT_ID)
raw = getattr(agent_cfg, "skills", None) if agent_cfg else None
except Exception:
logger.warning("researcher: 加载技能目录失败,回退内置知识库检索", exc_info=True)
logger.warning("researcher: 读取素材收集专家技能白名单失败,回退内置知识库检索", exc_info=True)
return []
if not isinstance(raw, list):
return []
return [str(name).strip() for name in raw if isinstance(name, str) and str(name).strip()]
# 内置「知识库检索」保底:已在目录里则挪到最前(原生多关键词并发检索始终
# 先跑);目录缺失/加载失败时补内存兜底,但显式下线时绝不补回。
def _load_candidate_skills() -> list:
"""解析素材收集的候选技能池:**素材收集专家 agent(ai-writing-researcher)
config.yaml ``skills`` 白名单里的启用技能**,内置「知识库检索」保底且排最前。
技能目录动辄数百个——把全部启用技能列进选择提示词会直接把模型上下文
撑爆(300+ 技能导致素材检索不可用),因此候选池限定为管理员在智能体
管理页为素材收集专家显式配置的技能集合;白名单未配置 / 加载失败时
回退为仅内置「知识库检索」,保证通用检索永远可用。返回的元素带
``name`` / ``description`` 属性。
"""
whitelist = _researcher_skill_whitelist()
skills: list = []
if whitelist:
try:
from deerflow.skills.storage import get_or_new_skill_storage
enabled = {
s.name: s
for s in get_or_new_skill_storage().load_skills(enabled_only=True)
if getattr(s, "name", None)
}
for name in whitelist:
skill = enabled.get(name)
if skill is not None:
skills.append(skill)
except Exception:
logger.warning("researcher: 加载技能目录失败,回退内置知识库检索", exc_info=True)
skills = []
# 内置「知识库检索」保底:白名单里配置了则挪到最前(原生多关键词并发检索始终
# 先跑);目录缺失/加载失败/白名单未包含时补内存兜底,但显式下线时绝不补回。
knowledge = next((s for s in skills if s.name == KNOWLEDGE_SEARCH_SKILL_NAME), None)
if knowledge is not None:
skills = [knowledge, *[s for s in skills if s.name != KNOWLEDGE_SEARCH_SKILL_NAME]]
@@ -198,26 +232,30 @@ def _load_candidate_skills() -> list:
def _fallback_candidate_skills(tried: set[str]) -> list:
"""容错兜底:从技能目录里挑出**尚未尝试过**的可用技能,内置「知识库检索」优先。
"""容错兜底:从素材收集专家白名单里挑出**尚未尝试过**的技能,内置「知识库检索」优先。
当本轮技能调用全部失败、且没收集到任何新素材时,researcher 用这些技能再试一轮,
而不是直接报错。内置知识库检索(原生多关键词并发,最稳)排在最前,其后是技能目录里
其它已启用的技能。技能目录加载失败时只回退内置知识库检索,保证兜底链永不断。
而不是直接报错。候选同样限定在素材收集专家配置的技能白名单内(与主候选池
同一边界,不会退回全量技能目录);白名单耗尽或目录加载失败时只回退内置
知识库检索,保证兜底链永不断。
"""
candidates: list = []
seen: set[str] = set(tried)
if KNOWLEDGE_SEARCH_SKILL_NAME not in seen and not _knowledge_search_is_explicitly_disabled():
candidates.append(_fallback_knowledge_skill())
seen.add(KNOWLEDGE_SEARCH_SKILL_NAME)
try:
from deerflow.skills.storage import get_or_new_skill_storage
whitelist = set(_researcher_skill_whitelist())
if whitelist:
try:
from deerflow.skills.storage import get_or_new_skill_storage
for s in get_or_new_skill_storage().load_skills(enabled_only=True):
if getattr(s, "name", None) and s.name not in seen:
candidates.append(s)
seen.add(s.name)
except Exception:
logger.warning("researcher: 兜底加载技能目录失败", exc_info=True)
for s in get_or_new_skill_storage().load_skills(enabled_only=True):
name = getattr(s, "name", None)
if name and name not in seen and name in whitelist:
candidates.append(s)
seen.add(s.name)
except Exception:
logger.warning("researcher: 兜底加载技能目录失败", exc_info=True)
return candidates
@@ -489,7 +527,7 @@ async def researcher_node(state: AIWritingState, config: RunnableConfig) -> dict
is_supplement = action == "supplement_search"
# PAUSE-1 素材确认卡用户在输入框填了自然语言(如「检索 A 的数据」):
# - 跳过 LLM 重新生成检索词(节省一次调用 + 尊重用户意图)
# - 从全部启用技能中匹配最相关的技能,逐个检索
# - 从素材收集专家白名单技能中匹配最相关的技能,逐个检索
# - **追加**:保留 existing material_package,新素材按 URL 去重后追加在末尾
# 旧版「启用技能检索」按钮(action=enable_skill_search)按同一语义兼容处理。
is_user_query_search = action in ("re_search", "enable_skill_search") and bool(user_query)
@@ -504,7 +542,7 @@ async def researcher_node(state: AIWritingState, config: RunnableConfig) -> dict
requested_append_count, residual_topic = _parse_append_request(user_query)
if requested_append_count is not None:
effective_user_query = residual_topic or intent
# 用户在写作表单选择的检索类型:general(通用检索,从全部启用技能自由编排)/
# 用户在写作表单选择的检索类型:general(通用检索,从素材收集专家白名单技能编排)/
# knowledge_base(知识库检索,直连内网 ES 接口)/ notebook(我的空间)。
# 旧值 skill 一律按 general 兼容。
raw_source = (intervention.get("material_source") or state.get("material_source") or "general").strip()
@@ -645,12 +683,13 @@ async def researcher_node(state: AIWritingState, config: RunnableConfig) -> dict
_emit(f"从笔记中获取到 {len(notebook_materials)} 条素材")
# Step 2: 检索
# 通用检索 = 全量技能自由编排。技能不是素材,是"检索策略 / 视角":
# a. 候选池 = 全部启用技能(内置「知识库检索」保底且排最前,_load_candidate_skills)
# 通用检索 = 白名单技能编排。技能不是素材,是"检索策略 / 视角":
# a. 候选池 = 素材收集专家 config.yaml skills 白名单里的启用技能
# (内置「知识库检索」保底且排最前,_load_candidate_skills)
# b. 池里有多个技能时让模型按相关度挑选(SkillPicker,像普通问答自由选技能)
# c. 「知识库检索」技能 → 对 Step 1 检索词做原生并发 web/intranet 检索
# d. 其它技能 → 用 skill.description 拼定向 query 调真实 provider
# e. user_query 模式(PAUSE-1 输入框)→ 按用户原话从全部启用技能中匹配再检索
# e. user_query 模式(PAUSE-1 输入框)→ 按用户原话从白名单技能中匹配再检索
# f. 累积素材到 max_materials 即 break,推 stop_early
skill_steps: list[dict] = []
search_errors: list[str] = []
@@ -800,13 +839,13 @@ async def researcher_node(state: AIWritingState, config: RunnableConfig) -> dict
new_results.extend(results or [])
search_errors.extend(getattr(provider, "errors", []))
else:
# ── 通用检索:全量技能自由编排 ──
# 候选池 = 全部启用技能(内置「知识库检索」保底且排最前),不再按
# ai-writing-researcher agent config.yaml 的 skills 白名单限制——
# 像普通问答一样想用什么技能就用什么:
# ── 通用检索:素材收集专家白名单技能编排 ──
# 候选池 = ai-writing-researcher agent config.yaml ``skills`` 白名单里的
# 启用技能(内置「知识库检索」保底且排最前)——技能目录动辄数百个,
# 全量列进选择提示词会直接把模型上下文撑爆:
# a. 首次检索:知识库检索原生路径先跑(多关键词并发,最稳的基线),
# 再让模型从全部启用技能里按写作意图挑最相关的补充检索
# b. PAUSE-1 用户输入:模型按用户原话从全部启用技能中匹配排序后逐个检索
# 再让模型按写作意图从白名单技能里挑最相关的补充检索
# b. PAUSE-1 用户输入:模型按用户原话从白名单技能中匹配排序后逐个检索
# c. 池里只有知识库检索一个技能时保持旧行为:不调 picker,直接原生检索
# d. 累积素材到 max_materials 即 break,推 stop_early
candidates = _load_candidate_skills()