wsk/deerflow-code
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,493 Commits 47 Branches 0 Tags
master-dev
Commit Graph
18 Commits
Author SHA1 Message Date
吉鑫升andClaude Opus 4.8 5ebbb82d66 feat: 知识库文件夹/模板、技能压缩设置与摘要窗口调优 
- 知识库新增文件夹与模板支持（模型/仓储/服务/迁移），前端知识管理组件
- 岗位管理模型与接口完善
- 技能新增压缩设置页与相关存储/工具能力
- 系统设置扩展配置项
- 摘要中间件 keep 窗口改用 token 预算（16000），减少重复压缩

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-16 15:23:54 +08:00
吉鑫升andClaude Fable 5 57a87d6322 feat: MySQL 索引长度兼容 + 启动自动补列 + 未发布徽标与查询加载态 
后端:
- 索引/唯一键改用 mysql_length 前缀索引，适配 MySQL 767 字节限制（error 1071）：knowledge_notes、knowledge_entities、knowledge_graph_blacklist、agent_skills、feedback
- engine.py 新增 _ensure_orm_columns_sync：启动时对比 ORM 元数据，自动 ALTER TABLE 补齐缺失的可空/带默认值列及其索引
- 新增 scripts/audit_index_key_lengths.py 审计全部索引键长度
- 更新 backend/CLAUDE.md 迁移说明

前端:
- 智能体卡片/技能列表：所有者与管理员可见未发布徽标
- 智能体广场：服务端查询进行中时灰显旧结果并悬浮加载提示
- 排行榜入口从 Header 移到欢迎语旁
- threads/hooks.ts：抽取 updateCachedThreadLists 统一处理数组与分页两种缓存形态

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-12 14:51:50 +08:00
吉鑫升andClaude Fable 5 28098b3155 feat: 知识库实体筛选、技能白名单收紧、嵌入主题与提问组件优化 
- 知识库笔记列表支持按实体精确筛选（路由/服务/仓储层透传，关系图索引查询）
- 自定义智能体技能白名单在 skill_view 与 skill_manage 的 list/view 别名上同样生效；
  config 未声明 skills 时视为无可见技能
- 嵌入圆桌主题解析默认深蓝，强制主题期间不再写 localStorage 覆盖主站选择
- 智能体提问建议拆出 agent-question-chips 组件，编辑器与详情面板联动优化
- 新增 qa-client 问答测试脚本

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-06-12 11:09:32 +08:00
吉鑫升andClaude Opus 4.8 f107ebc46d feat: 完善知识图谱交互与 Agent/线程持久化 
- 知识图谱画布、侧边栏、详情面板交互优化，新增图谱相关 API 与 hooks
- Agent 卡片与详情面板调整，对话页面重构
- 线程元数据持久化增强（base/memory/sql），knowledge 仓储与导出补充
- 网关路由 agents/knowledge/threads 同步更新

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-11 19:58:34 +08:00
吉鑫升andClaude Opus 4.8 f0aec4cd7f feat(square): 新增发布广场功能，智能体/技能按广场分类展示 
- 后端新增 PublishSquare/PublishSquaresSettings 配置与读写接口
- agents/skills 增加 square_id 字段及对应迁移脚本
- 前端新增发布广场设置页、技能转移选择器，画廊按广场分 Tab 展示
- lead_agent prompt 及若干持久化层适配调整

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-11 11:37:42 +08:00
吉鑫升andClaude Opus 4.8 3845d5090b feat(knowledge): 支持文件导入沉淀知识，知识图谱可视化随主题切换 
- 后端新增 /api/knowledge/ingest/file：上传 md/txt/pdf/word/ppt/excel，
  转 Markdown 后走 wiki-capture LLM 蒸馏为陈述式知识笔记，失败回退逐字草稿
- service.capture_file + 文档专用蒸馏提示词，按主题拆分 1~4 页
- 知识图谱导出 HTML 支持 ?theme=light|dark，布局稳定后冻结，
  按度数缩放节点，悬停/点击聚焦邻居
- 前端知识库页新增「导入文件」对话框与 ingestKnowledgeFile API
- 智能体问答页与简介侧边栏 UI 优化；批量人物蒸馏脚本提取正文逻辑修正

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-11 10:25:27 +08:00
吉鑫升andClaude Opus 4.8 96e0d695c0 feat(skills,knowledge): 中文名补全与知识库沉淀支持可选大模型并明确大模型报错 
技能中文名:
- 单个「AI 生成」与「一键补充中文名」均可在请求体 model_name 选择大模型
- 一键补充改为仅管理员开放
- _generate_skill_name_zh 在模型自身失败(构建/超时/API 报错)时抛
  SkillNameZhModelError,与模型返回无效名称区分;单个接口返回
  502「大模型报错,无法补全技能中文名」,批量在 model_error 中带回代表性报错

知识库沉淀:
- 对话保存到知识库 / 批量导入均新增可选 model_name(透传至 capture_thread
  → extract_thread_llm_multi)
- 批量返回 llm_fallback 计数;模型异常时仍按既有逻辑回退规则抽取并落草稿,
  前端明确提示「已改用规则抽取」(保存按钮保持后台异步)

前端新增 components/workspace/model-name-select.tsx 复用下拉(默认=系统配置模型)

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-10 11:23:01 +08:00
AdministratorandClaude Opus 4.8 b70ed38d51 feat(knowledge): 图谱跟随删除 + 笔记页展示实体 + 标签美化 
图谱不随删除变化的根因：实体/关系删除时从不清理，build_graph 又把所有实体
都当节点，导致已删笔记的实体（六福珠宝/COMEX/CM助手…）永久残留。

- build_graph 只保留被「活笔记」提及的实体，孤儿实体节点不再出现（render 层兜底，
  历史脏数据无需迁移即生效）
- delete_note 删除时 clear_note_relations + prune_orphan_entities，DB 同步收敛
- get_note 返回 entities（repo.list_note_entities），笔记详情页展示实体
- 前端：实体按类型彩色 chip 展示（人物/机构/概念/产品/技术/地区…），标签改为 pill 样式
- 测试：get_note 返回实体 + 删除后图谱与实体表同步收敛

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 23:39:25 +08:00
AdministratorandClaude Opus 4.8 70bb2783b9 chore(knowledge): 每次沉淀必打入口/结果日志，便于确认是否触发 
success 路径原先完全静默，导致"看不到日志"无法区分"没触发"还是"日志不可见"。
现在每次 capture_thread 至少打 [knowledge] capturing… + 结果/跳过/失败 各一行。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 23:11:54 +08:00
AdministratorandClaude Opus 4.8 d9fc7c9fdf chore(knowledge): 沉淀决策日志统一加 [knowledge] 前缀，跳过提到 WARNING 级 
便于 docker logs 一条 grep 抓全部捕获决策（跳过/回退/失败）：
  docker logs deerflow-vite-gateway 2>&1 | grep "\[knowledge\]"

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 22:55:44 +08:00
AdministratorandClaude Opus 4.8 76320ca5a3 fix(knowledge): 模型判定 should_ingest=false 时直接跳过，不再落草稿 
日志显示寒暄/无效会话并非 LLM 调用失败，而是模型正确返回 should_ingest=false。
上一版把这种情况也当失败回退、堆成草稿，反而把无价值对话存进了库。

- llm_extractor: 模型显式 should_ingest=false 且无 notes → 抛 LLMRejectedIngest
- capture_thread: 捕获后抛 EmptyThreadError → 整条跳过、不入库（寒暄/总结此页这类不再进库）
- 仅当真正失败（API 报错 / 非 JSON）才回退规则抽取并落草稿
- 兼容包装 extract_thread_llm 吞掉该异常返回 None
- 更新测试（should_ingest=false 跳过）+ CLAUDE.md

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 22:49:00 +08:00
AdministratorandClaude Opus 4.8 4aef81284a feat(knowledge): 出处标记渲染 + 相关笔记按标签精确匹配 + LLM 回退落草稿 
A) 前端把 ^[inferred]/^[ambiguous] 渲染成「推测」「存疑」小角标（原先原样显示文本）
B) 相关笔记只按"区分性标签"精确匹配（去掉标题/摘要关键词检索——中文分词导致
   助手/知识图谱/页面 等泛词误关联，如「AI助手打招呼」被错误拉进 Related）；
   无区分性标签则不关联、不渲染 ## Related 段
C) LLM 提炼启用但失败时不再静默回退成"原文堆砌"：
   - 回退笔记落为 draft（草稿）而非 approved，便于复核
   - capture_thread 记 WARNING 并返回 llm_fallback；router 透出该标志
   - llm_extractor 在 JSON 解析失败/无 notes 时补充可诊断的 WARNING 日志

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 22:22:28 +08:00
AdministratorandClaude Opus 4.8 e7ff07debd feat(knowledge): 项目名改 zncm + 去除元链接噪音 + 创建人显示人名 
- project_name 默认 deerflow → zncm（config.yaml + 配置默认 + 模块内字面量）
- related_links() 返回空：笔记 Related 不再注入 index/_meta/taxonomy/hub 结构链接，
  只保留真实相关笔记的可点 [[标题]]；无相关笔记且无来源时不再渲染 ## Related 段
- 移除随之多余的项目 hub 页脚手架（index.md/_meta/taxonomy.md 仍由 obsidian 脚手架保留，可解析）
- GET /notes/{id} 用 auth provider 把 created_by/updated_by(UUID) 解析为邮箱
  (created_by_name/updated_by_name)，前端 footer 显示人名、解析不到才显示短 id
- 仅对新沉淀笔记生效，现有笔记不动

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 21:50:56 +08:00
AdministratorandClaude Opus 4.8 df3fac1032 feat(knowledge): 可跳转 wikilink + 真实相关 note + 一对话多页 
- [[wikilink]] 解析器：note id / vault_path / 标题 / vault 元页 / missing
- 前端 MarkdownRenderer 把非数字 [[...]] 渲染成可点链接，元页弹窗查看，缺失置灰
- vault 脚手架补建项目 hub 页，三个结构性链接（index/taxonomy/hub）始终可跳
- capture 时按标题+摘要+区分性标签检索同主题 note，注入真实 [[标题]] 到 Related + 记 related 图谱边
- LLM 提取支持 notes[] 数组，一次对话拆 1~4 页并按标题互链（multi_note_enabled 开关）
- 新增接口 POST /resolve、GET /notes/{id}/wikilinks、GET /vault-page
- 新增配置 related_notes_enabled / related_notes_limit / multi_note_enabled

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 21:20:31 +08:00
AdministratorandClaude Opus 4.8 81e4fd92ce feat(knowledge): 阶段三 知识治理 + 阶段四 图谱增强 
阶段三（治理）:
- sensitive.py：写入前脱敏 token/密钥/手机号/身份证/邮箱（sensitive_redaction_enabled）
- 版本快照：更新前写 knowledge_note_versions；GET /notes/{id}/versions
- dedup.py：标题/摘要 Jaccard + 内容哈希查重；GET /duplicates、POST /merge（来源并入主条目、重复项归档）
- auto_ingest.py：独立后台队列/线程沉淀，不阻塞问答；中间件 after_agent 在 auto_ingest_enabled 时入队；价值判断（最小字符）+ skip_existing 去重；自动沉淀落 draft 待审

阶段四（图谱）:
- LLM 抽取 entities/relations；service 存 knowledge_entities/knowledge_relations 并连边
- exporter.build_graph 支持实体节点 + note→entity/entity→entity 边；graph.html/json 增强
- GET /api/knowledge/graph 返回产品图谱数据

前端：知识库页「查重合并」对话框 + 相关 api/hooks
配置：sensitive_redaction_enabled / dedup_similarity_threshold / entity_extraction_enabled
测试：tests/test_knowledge.py 20 passed

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 18:31:33 +08:00
AdministratorandClaude Opus 4.8 683cc6d76e feat(knowledge): 阶段二 向量 RAG 与召回注入 
- embeddings.py：OpenAI 兼容 embedding 客户端，未配置时关键词兜底
- chunking.py + knowledge_embeddings 表：Markdown 分块与向量索引（Python 余弦）
- search.py：keyword/vector/hybrid 三种模式，向量不可用自动降级
- 笔记创建/更新自动重建向量索引；新增 /reindex 维护接口
- KnowledgeRagMiddleware：按对话级开关 knowledge_rag_enabled 注入 <knowledge-context>，接入 lead agent 中间件链（默认随 config.knowledge.rag_enabled）
- service.build_rag_context（wiki-query 风格分层召回）
- 笔记版本快照（knowledge_note_versions）+ GET /notes/{id}/versions
- 前端：聊天页「知识库」对话级 RAG 开关 + 类型字段
- 新增 entities/relations 表（阶段四预置）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 18:18:04 +08:00
AdministratorandClaude Opus 4.8 8463289f75 feat(knowledge): LLM 提炼陈述式知识（wiki-capture 规范），规则抽取兜底 
之前沉淀直接堆砌对话原文。现默认用大模型按 wiki-capture 规范提炼为 Context/Finding/Reasoning/Implications/Related 结构化陈述式知识，过滤寒暄与中间推理；LLM 不可用或解析失败时回退规则抽取。新增 llm_extractor.py + 配置 llm_extract_enabled/extract_model_name/extract_max_input_chars。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 18:00:46 +08:00
AdministratorandClaude Opus 4.8 cc99ebba81 feat: 产品内知识库（obsidian-wiki 兼容 vault） 
后端：新增自包含 deerflow.knowledge 模块（models/repository/schemas/
extractor/sources/markdown_vault/manifest/obsidian_adapter/exporter/
search/service），通过 deps.py 装配为 app.state.knowledge_service，
挂载 /api/knowledge 路由；config.yaml 增加 knowledge 配置段，
AppConfig 注册 KnowledgeConfig，ORM 注册 4 张 knowledge_* 表。

前端：新增知识库页面（KnowledgeBasePage/KnowledgeGraphPage）、
core/knowledge api/hooks/types、聊天侧 knowledge-save-trigger，
侧边栏增加「知识库」入口。

知识库为全局共享，不做 user_id 隔离，写入记录 created_by/updated_by
作为审计。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-08 17:38:28 +08:00