sync update from LAN repo (source master @ ca48c4ec)
This commit is contained in:
1 parent
8bc8b0e082
commit
ea9dcff9c0
873 files changed
+107866
-14011
No files matched your search
@@ -0,0 +1,36 @@
|
||||
# 接口性能管理
|
||||
|
||||
管理员入口:**设置 → Redis 与性能**。页面集中管理 Redis 读取缓存、浏览器状态接口访问、历史统计数据定时清理。
|
||||
|
||||
## 控制项
|
||||
|
||||
- Redis 总开关及有效期:1–3600 秒,默认 300 秒。已有管理员设置优先于 YAML 默认值。
|
||||
- 接口列表:15 组,支持搜索和单独开关。同组路径共用一个开关;总开关关闭时保留每组选择。列表由后端实际接入目录返回。
|
||||
- 浏览器状态:允许/拒绝 `GET /api/browser-context/status`,保存后生效。为兼容现有插件,升级默认允许;关闭时返回 403,错误码 `browser_status_disabled`,并建议客户端 300 秒后重试。此开关只控制状态查询,不改变 capture/ask/task 接口的原有权限。
|
||||
- 定时清理:复用原有审计清理调度及持久化暂停标记。关闭时在当前小批次完成后停止;重启保持关闭。清理范围仍是超过 90 天的工具调用、模型调用、已结束运行摘要和排行榜快照,不清理对话消息。页面仅打开时或手动刷新状态,不新增轮询。
|
||||
|
||||
## 缓存覆盖
|
||||
|
||||
智能体列表、技能列表、展示脱敏词、个人偏好、常用提示词、推荐问题、轻应用列表/侧栏/详情、完整菜单、简洁菜单、任务按钮、业务映射、HTML 模板、模型能力目录、标签及资源标签、浏览器状态。
|
||||
|
||||
模型配置仍按当前配置即时组装,缓存的是其数据库能力目录。智能体、技能和推荐问题保留原有可缓存请求条件。用户相关数据保持用户隔离,菜单同时按角色和菜单类型隔离。对话、流式响应和写入操作不缓存。
|
||||
|
||||
写入后使相关缓存失效;同键并发未命中请求合并填充。Redis 未配置、超时或不可用时回到原读取逻辑。超出大小限制的结果不缓存。
|
||||
|
||||
## 持久化和升级
|
||||
|
||||
`api_read_cache_settings` 保存总开关、有效期、逐组配置和浏览器状态开关。迁移 `20261029_01` 增加有效期,`20261029_02` 增加逐组配置、浏览器开关和缓存代次。沿用项目正常数据库迁移流程后再启动新版服务。
|
||||
|
||||
每次保存配置都会轮换持久化缓存代次,避免在 Redis 离线时关闭/开启缓存、随后 Redis 恢复或 Gateway 重启后重新命中旧数据。设置写入在进程内串行化,并使用数据库行锁合并更新;其他 Gateway 进程最多约 2 秒刷新设置。
|
||||
|
||||
浏览器扩展也应同步更新:修复服务地址不变时探测时间戳未更新的问题,成功状态短暂缓存、同地址鉴权请求合并,禁用/失败至少退避 5 分钟。旧扩展仍可能发送请求,服务端关闭开关会拒绝这些请求。
|
||||
|
||||
## 管理员排行榜
|
||||
|
||||
移除 `GET /api/admin/users/{user_id}/analytics` 及用户详情展示/调用;排行榜聚合统计和用户管理保留。旧详情 URL 返回 404。
|
||||
|
||||
## 回归入口
|
||||
|
||||
后端:`test_api_read_cache.py`、`test_api_performance_controls.py`、`test_api_performance_edge_cases.py`、`test_catalog_cache_routes.py`、`test_admin_analytics_removed.py`,以及菜单、模型管理和审计清理现有测试。
|
||||
|
||||
浏览器扩展:`node --test browser-extension/deer-web-clipper/background.test.cjs`。
|
||||
@@ -0,0 +1,21 @@
|
||||
# 按模型追加全局提示词
|
||||
|
||||
管理员打开「设置 → 模型追加提示词」,选择模型,填写提示词并开启开关,点击「保存此模型设置」。每个模型独立保存,关闭开关会保留文本。
|
||||
|
||||
设置按模型配置的 `name` 精确匹配,而不是显示名或供应商模型名。所有用户通过平台统一模型入口调用该模型时,都会在系统提示词末尾追加该文本;切换到其他模型不会携带它。未设置的模型保持原有行为。
|
||||
|
||||
设置保存在运行目录的 `system_settings.json` 的 `model_prompt_suffixes` 中,默认空、默认关闭。每次模型请求读取最新设置,已经创建的模型实例也能在下一次请求使用新值,无需重启。不会改写用户问题或持久化聊天记录,也不会修改原有智能体提示词文件。提示词用于引导回答方式,无法保证上游模型一定回答。
|
||||
|
||||
## 接口与实现
|
||||
|
||||
- `GET /api/system-settings/model-prompt-suffixes`:读取全部设置,仅管理员。
|
||||
- `PUT /api/system-settings/model-prompt-suffixes/{model_name}`:保存单个模型,正文为 `{ "enabled": true, "prompt": "自定义要求" }`,仅管理员;模型名需 URL 编码,支持包含 `/` 的名称。文本最多 20000 字符,启用时不可为空。
|
||||
- 统一入口 `deerflow.models.factory.create_chat_model` 保留原供应商模型的工具绑定与流式能力;OpenAI 兼容请求在传输适配提示词处理后追加,支持 Chat Completions 和 Responses;其他适配器在输入转换与批量生成入口追加。
|
||||
- 外部系统自行调用模型、绕过此统一入口的调用不受该设置控制。
|
||||
- 回归测试:`packages/harness/tests/test_model_prompt_suffix.py`,覆盖权限、持久化、模型隔离、重复追加防护、原始消息不变、即时更新、同步/异步/流式/批量调用及工具绑定。
|
||||
|
||||
## 普通问答与智能体问答的末尾顺序验证
|
||||
|
||||
两种页面均传递当前输入框的 `model_name`。Lead Agent 按「请求选择 → 智能体默认 → 系统默认」解析实际模型,然后调用同一 `create_chat_model`。普通问答使用通用模板,智能体问答使用其 SOUL.md 模板;主题、知识库范围、项目上下文及运行时中间件继续组装提示词。追加设置在模型请求层处理,因此位于这些内容之后。
|
||||
|
||||
回归测试运行两种 Lead Agent 分支的真实 LangGraph 图、模型工厂与 OpenAI 请求序列化,用模拟 HTTP 接口捕获最终请求,覆盖普通/智能体、默认/目标/其他模型、同步响应/流式响应共 12 种组合。测试注入后置系统要求和检索上下文,断言最终系统文本以管理员提示词结尾且只出现一次,用户问题保持原样。另验证 text_bridge、buffered_gateway、artifact_renderer 三种文件传输适配提示词均位于管理员提示词之前。测试不访问真实上游模型。
|
||||
File diff suppressed because it is too large.
Load diff
@@ -0,0 +1,76 @@
|
||||
# 单机动态在线 Worker
|
||||
|
||||
## 范围与入口
|
||||
|
||||
管理员「设置 → 执行节点管理」配置 SSH 主机/IP、端口、账号、密码、SSH 主机指纹、源容器、Docker 网络、镜像内 Python/后端目录、节点数量、并发、队列和资源预算。也支持已有 Docker socket 挂载的本机连接,无需填写 SSH 密码。
|
||||
|
||||
本实现将 `/api/threads/{id}/runs`、`runs/stream`、`runs/wait` 的普通/智能体问答分发到固定会话所属的在线 Worker。分配后,该会话的状态、历史、停止、重连等 `/api/threads/{id}/…` 请求也转发到同一节点。鉴权及原有任务共享、用户隔离检查仍然执行。搜索、计数和未启用时沿用主服务。
|
||||
|
||||
定时任务、任务分析、研究、会商、工作流以及系统内部会话仍由唯一主服务执行;不在在线 Worker 启动它们的扫描、恢复或调度循环。无状态 `/api/runs/*`、专用写作接口等未纳入在线池。后台任务池尚未实现,不应将此版本描述为全业务分布式任务队列。
|
||||
|
||||
## 存储与并发
|
||||
|
||||
- 业务库与聊天存储独立:保留 MySQL/PostgreSQL 业务库,聊天存储支持 PostgreSQL 或 SQLite。SQLite 必须使用同机共享持久目录(不能单文件挂载或网络文件系统),开启 WAL、30 秒锁等待及跨进程初始化锁;内存存储拒绝开启。
|
||||
- Worker 的运行事件使用共享业务数据库;聊天检查点沿用已有 PG/SQLite 配置,不迁移聊天记录。
|
||||
- 控制器私有目录保存加密 SSH 凭证、加密密钥、实例标识和 SQLite 会话归属表。该表只保存路由,不存聊天正文。目录必须独立持久化,不能挂载给 Worker。实例标识和归属表不能单独删除或在旧容器运行时重建。
|
||||
- Worker 池默认关闭。关闭时不启动控制器轮询、不申请单实例锁、不连接 Docker/SSH,也不创建亲和性或诊断数据库;原部署方式与多进程服务按原样运行。只有管理员启用 Worker 池后,控制器才申请单实例锁并开始管理容器;启用期间主服务需使用单个 Uvicorn 进程。同机同套部署的启用中主服务必须共用控制器卷。
|
||||
- 执行额度绑定真实运行 Task 的生命周期;HTTP 请求结束或后台返回不提前释放额度。排队有数量和时间上限;超限返回 429/Retry-After。
|
||||
- 每节点业务库连接池不允许额外溢出;检查点和 LangGraph Store 各有单独的 PG 连接池。系统按 `节点数 ×(业务库池大小 + 2 × PG 池大小)` 校验 Worker 连接预算。该预算须预先扣除主服务及其他应用的连接额度。
|
||||
- Worker 在新运行开始前检查共享技能扩展配置,启停变更会刷新本进程缓存;技能文件变更按最多五秒的检查间隔刷新目录提示。CPU、模型配置等需要重启的配置仍应先排空 Worker 后更新。
|
||||
- 会话归属在扩容后保持。缩容节点停止接收新运行,等待执行、排队和代理请求结束后停止,再释放归属。不自动重放失败请求。节点失联时返回 503;可确认进程停止后才允许后续重新分配。
|
||||
- 重启后的旧运行读取为中断错误,不自动重试带外部副作用的工具。系统保留存储中已完成的检查点,不能承诺从任意工具执行位置无损恢复。
|
||||
|
||||
## 部署要求
|
||||
|
||||
发布仓库 `deerflow-offline-deployment` 已为标准模板增加控制器独立卷和 SSH/加密依赖清单。必须按该仓库既有流程构建包含全部依赖的离线包并部署新前后端源码。
|
||||
|
||||
1. Worker 池关闭时保留原部署进程数即可;启用 Worker 池后主容器使用单个 Uvicorn 进程。固定 `AUTH_JWT_SECRET` 必须在容器环境变量中。
|
||||
2. 使用用户自定义 Docker 网络,主容器和新 Worker 均在该网络。数据库地址不能指向容器自身的 `localhost`。
|
||||
3. 挂载全部运行目录、上传文件、技能、配置及必要的源码覆盖目录。Worker 复用其挂载,保留 ExtraHosts/DNS;不继承宿主机端口、Docker socket或特权模式。
|
||||
4. `DEER_FLOW_WORKER_CONTROL_HOME` 指向独立持久卷,如 `/var/lib/deerflow-worker-control`。该卷会被自动排除,不传给 Worker;控制目录嵌在其他共享卷内时拒绝创建。
|
||||
5. 当前支持不依赖 Docker socket 的执行沙箱。若业务配置需要 Worker 自行创建 Docker 沙箱,须先接入独立受控沙箱服务,不得直接复制 socket 权限。
|
||||
6. 设置中默认保持关闭;填写连接参数和测试连接不会启动容器。管理员明确开启后才创建 Worker。标准离线镜像 Python 为 `/opt/venv/bin/python`,工作目录为 `/app/backend`;其他镜像按实际路径填写。
|
||||
7. SSH 主机指纹可在页面读取并由管理员确认;账号需具备运行 Docker 的权限。不接受未知指纹,也不自动安装服务器软件。
|
||||
|
||||
容器使用源容器的精确镜像 ID,执行源码覆盖挂载与主容器相同。升级前数量设为 0,等待节点退出后升级主服务,再恢复数量;不会自动替换仍在执行的旧容器。
|
||||
|
||||
## 验证与容量
|
||||
|
||||
`tests/test_worker_pool.py` 包含凭证脱敏、模板限制、排队取消/超时、后台任务额度、归属持久化、失联不重放、缩容等待、双主进程拒绝、管理员授权,以及 70 个 HTTP 客户端分配到四个模拟 Worker 并返回 SSE 的回归。
|
||||
|
||||
这些是功能与模拟并发测试,不等同于真实模型、PostgreSQL、Docker 和服务器硬件的 70 人容量验收。部署后应在测试环境同时运行普通问答、文件工具和定时任务,观察首字延迟、完成时间、数据库连接数、模型限流和资源峰值;执行中的关闭浏览器、停止生成、节点重启、缩容都要验证。每节点并发数乘以节点数只是顶层运行上限,工具/子智能体仍可能产生额外模型调用,应配置模型服务总额度。
|
||||
|
||||
回退:将期望数量改为 0,等待全部节点消失后关闭池。主服务重新处理普通问答,聊天记录和运行目录继续保留。节点不能正常退出时不要直接删除控制器卷或归属表。
|
||||
|
||||
## 本次开发验证(2026-10-23)
|
||||
|
||||
- Worker 专项、账户鉴权、运行记录回收、执行线程池、完成超时和运行争用相关回归合计 **136 项通过**。
|
||||
- 70 个模拟 HTTP 客户端进入四个模拟执行节点,分配为 18 / 18 / 17 / 17,全部收到 SSE 结束事件;另测执行额度、超时、取消及后台运行不提前释放额度。这不包含真实模型耗时。
|
||||
- Python 静态检查、编译检查、改动空白检查通过;Linux 离线发布配置生成/校验通过。
|
||||
- 新增前端页面及设置入口语法检查通过。全量 TypeScript 检查仍有其他模块错误,不能将前端全量检查标记为通过。
|
||||
- 119 服务器检测为 32 核 CPU、128806 MB 内存;8008 实例已启动 4 个实际 Docker Worker,每节点 2 CPU / 2048 MB / 4 个同时执行额度;业务库保持 MySQL,既有聊天 SQLite 配置不变。
|
||||
- 实际模型短问答:同一管理员下 70 个独立会话同时发起,70/70 完成,流式阶段约 59.59 秒;随后 70/70 历史记录读取确认回答已保存。这是短问答突发负载,不代表 70 个不同用户的复杂工具任务容量。
|
||||
- Linux 上分别用 SQLite 和 PostgreSQL 执行 4 个进程各 25 次检查点/写入/Store 读写验证,各 100 次成功;PG 使用独立验收实例,未迁移业务库。
|
||||
- 4→0→4 缩扩容与主服务重启后发现原有 4 个节点已验证(未重启整台服务器)。Worker 不启动定时任务调度器。
|
||||
- 新增服务器探测和资源推荐:页面先读取 SSH 指纹,管理员确认后才发送密码登录;检测 Docker CPU/内存总量和其他容器资源上限,保留至少半台服务器资源,建议最多 4 个起步节点。不是实时空闲内存测量。
|
||||
- 密码经 Fernet 加密保存在控制器持久卷;页面/API 不返回密码。更换服务器身份后必须重新填写密码,不能复用原服务器密码。配置和密钥卷需一起保留。
|
||||
- Worker/聊天存储/跨线程数据库/资源推荐专项回归 37 项通过。
|
||||
|
||||
|
||||
### 管理页面验收补充
|
||||
|
||||
2026-10-23 23:06 在 119:8008 实际页面完成保存并应用、测试已保存连接、读取服务器资源,三个请求均成功。截取资源推荐与四个就绪节点页面,保存在本次 `.runtime/worker-deploy-119/` 验收目录。前端生产构建成功。
|
||||
|
||||
当前运行池使用本机 Docker Socket。SSH 指纹读取已在服务器内网地址实测;SSH 账号密码认证尚需管理员在页面填写实际凭证验证。密码密文持久化、读取不回显、更换主机不复用密码、错误指纹拒绝连接均有测试覆盖。重启验证指主服务重启,未重启宿主机。
|
||||
|
||||
## 服务器诊断与并发验收补充(2026-10-24)
|
||||
|
||||
管理员诊断页 `/page/workspace/admin/server-diagnostics` 提供按开关采集的宿主机资源、MySQL/PG 连接、HTTP/SSE 分段耗时、主容器和 Worker 状态、日志读取与归档。主后端挂载 Docker Socket 和只读 `/proc`、`/sys`,Worker 不继承这些挂载。主服务日志轮转为 20 MB × 5,Worker 为 10 MB × 3;节点删除前保存有界日志归档。采样和请求摘要保存在控制器私有卷,接口不记录聊天正文、查询参数或鉴权头。
|
||||
|
||||
修复 Worker 执行队列阻塞流首次连接:先注册真实运行、建立流,再等待执行额度;保留额度上限和取消、超时语义。新线程默认只写元数据,首次运行再初始化检查点,保留显式初始化兼容参数;历史查询缩短 SQLite 游标持有时间。
|
||||
|
||||
本轮相关回归 133 项通过。119 实际 2 节点、4 节点各执行 70 路冷启动和 70 路第二轮,共 280/280 成功,两组各 70 个会话历史和状态回读通过。4 节点冷/热整轮耗时 68.851/46.287 秒,响应头 P95 为 18.141/11.548 秒;2 节点冷/热整轮耗时 115.026/74.151 秒。此为同一管理员的独立客户端短问答,不代表复杂工具容量。验收后恢复原先保存的 2 个节点。
|
||||
|
||||
页面实际验证了采集开关、资源和数据库卡片、主服务/Worker/归档日志,浏览器无脚本错误。119 当时 CPU 100%,独立采样 steal 约 24.6%,内存和 MySQL 连接仍有余量;需同时排查宿主机 CPU 争抢。PG/SQLite 兼容性在独立实例验证,业务 MySQL 和原聊天配置不变。
|
||||
|
||||
Linux AMD64/Python 3.12 增量交付包和部署说明保存在离线发版仓库;文档 `deploy/linux-docker-offline-deerflow-only/docs/14-Worker池与服务器诊断更新部署.md` 包含 Docker Socket 挂载、更新排空、依赖、资源建议和回退。交付源代码基于本次 119 验收版本,配置与数据不打入包。
|
||||
@@ -0,0 +1,188 @@
|
||||
# 报告协作工作台 — 交互重设计方案(v2)
|
||||
|
||||
> 日期:2026-09-07
|
||||
> 状态:**待确认**(确认后按 §7 分期实施)
|
||||
> 取代:现行「规则澄清 + 三张模板方案卡 + 画布为主」的交互
|
||||
> 原则:回到最初设计 —— **协调者智能体全程与用户对话的主线**
|
||||
|
||||
---
|
||||
|
||||
## 1. 设计目标与总体形态
|
||||
|
||||
用户视角只有一条主线:**和一个规划师智能体对话 → 它摸清意图并规划工作流 → 确认后执行、过程在流程图上可见 → 随时插话干预、指定智能体重跑 → 最终成稿、继续对话式修改**。
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────┐
|
||||
│ 阶段1 计划模式 阶段2/3 执行+干预 阶段4 成稿 │
|
||||
│ ┌───────────┐ ┌───────────┐ ┌──────────┐ │
|
||||
│ │ 规划师对话 │ 确认 │ 聊天时间线 │ 审稿过 │ 对话改稿 │ │
|
||||
│ │ 需求摘要卡 │ ─────→ │ +成员Tab │ ─────→ │ 版本/diff│ │
|
||||
│ │ 工作流卡 │ 冻结 │ +流程图动画│ 报告卡 │ 上游重跑 │ │
|
||||
│ └───────────┘ └───────────┘ └──────────┘ │
|
||||
│ ↑ 回到计划模式(replan)随时可触发 ↑ │
|
||||
└─────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
与现行的核心差异:
|
||||
|
||||
| 维度 | 现行(做偏的) | v2 |
|
||||
|------|----------------|-----|
|
||||
| 需求澄清 | 规则模板问句秒回 | 规划师智能体(LLM)领域化提问 |
|
||||
| 工作流来源 | 3 张确定性模板 | LLM 按意图生成自定义 DAG,对话迭代修改 |
|
||||
| 执行展示 | 画布为主、聊天为辅 | **聊天时间线为主**(成员 Tab 切换保留),**执行状态在流程图上动画呈现** |
|
||||
| 干预 | 命令确认卡体系 | 输入框常开 → 协调者智能体分类;支持**指定智能体重跑** |
|
||||
| 报告修改 | 改写候选(纯文字层) | 意图分流:润色走改写;**事实性问题触发上游节点重跑** |
|
||||
|
||||
---
|
||||
|
||||
## 2. 阶段 1:计划模式 — 需求梳理与工作流规划
|
||||
|
||||
### 2.1 计划模式状态
|
||||
|
||||
- 用户发出第一条需求消息起进入**计划模式**,Header 显示徽章「📋 计划模式」,输入框提示语切换为「梳理需求中,你可以随时补充或纠正…」。
|
||||
- 计划模式在**工作流确认冻结**时结束;执行期大改可通过 replan 回到计划模式(见 §5.4)。
|
||||
|
||||
### 2.2 规划师对话(LLM,替换现行规则路由)
|
||||
|
||||
- 必须调用独立内置智能体 `report-collaboration-intent` 的真实 LangGraph thread,并原样消费 `messages-tuple` SSE;禁止用 `ainvoke()` 等待完整 JSON 后再包装成一话。
|
||||
- 流式正文、思考内容和工具步骤直接进入工作台现有 `MessageList`,与普通智能体问答采用同一套步骤条 / Reasoning 展示。
|
||||
- 模型:`report_collaboration.planner_model`(回退 `coordinator_model` → 默认模型,复用现有 model_resolver 冻结机制)。
|
||||
- 提问是领域化的:写市场分析就问「关注整车还是供应链 / 要不要竞品对比 / 给谁看 / 篇幅」,而非固定模板问句。
|
||||
- 澄清轮次上限沿用 `max_clarification_rounds`;用户随时可以说「直接开始」按默认假设推进。
|
||||
|
||||
### 2.3 需求摘要卡
|
||||
|
||||
信息足够后,规划师在对话中输出一张**结构化需求摘要卡**(业务卡插槽渲染):主题 / 目的 / 读者 / 角度清单 / 篇幅与重点 / 默认假设。用户逐项看,可在对话里继续改(「读者改成投资人」→ 卡片更新出新版)。
|
||||
|
||||
### 2.4 工作流生成与迭代
|
||||
|
||||
- 规划师判断意图信息足够后,立即按已确认意图自动生成**一份**工作流方案(不是三选一),不再要求用户额外点击“确认意图/生成方案”;方案以工作流卡(成员构成、各节点使命、预计时长/成本)+ 右侧流程图预览呈现。
|
||||
- 生成约束(保证可执行):**节点类型受词表约束** — `research / verify / analyze / write / review`;自由的是结构(几条线、并行还是串行、核验深度)与每个节点的使命/角度/工具。
|
||||
- 对话式修改:「把价格策略单独拆一条线」「加一个政策风险分析」→ 规划师修订后出新版工作流卡(带变更说明),再确认。
|
||||
- 「开始执行」→ 冻结需求 + 工作流(含模型/预算快照,沿用现有 freeze 机制)。
|
||||
|
||||
---
|
||||
|
||||
## 3. 阶段 2:执行 — 过程在流程图上可见
|
||||
|
||||
### 3.1 流程图动画规格(执行状态的可视化主载体)
|
||||
|
||||
节点状态 → 样式(`ReportFlowCanvas` / `ReportFlowNode`,状态源 `selectNodeStatusMap`,事件源 `node.status.changed` SSE):
|
||||
|
||||
| 状态 | 节点样式 | 连入边 |
|
||||
|------|----------|--------|
|
||||
| planned / queued | 灰色常态 | 静态 |
|
||||
| **running** | 主色描边 + **呼吸脉冲动画**(ring)+ 角标 spinner | **流动动画**(@xyflow 内置 `animated: true` 的 dash 流动) |
|
||||
| **completed** | 绿色 + ✓ 角标,常驻 | 恢复静态实线 |
|
||||
| failed | 红色 + 错误角标 | 红色虚线 |
|
||||
| awaiting_input | 橙色 + ?角标 | 橙色静态 |
|
||||
| interrupted / superseded | 半透明降级 | 灰 |
|
||||
|
||||
- 语义:**边流动 = 数据正在流入该节点**(该节点执行中);节点完成即停动画换完成样式。
|
||||
- 实现成本:@xyflow 原生支持 animated 边与自定义节点 className,纯 CSS 补呼吸动画即可,无需新依赖。
|
||||
|
||||
### 3.2 聊天区(保留现有 Tab 切换)
|
||||
|
||||
- 并行成员沿用 **AgentStageSelector Tab 切换**(维持现状,不改交错时间线)。
|
||||
- 每个 Tab 内是该成员的完整流式输出:思考、工具调用卡、检索过程、正文 —— 与普通智能体问答同观感(message-adapter 已具备映射能力)。
|
||||
- 协调者播报(「研究线 A 完成,核心发现 X,开始交叉核验」)进入总时间线 Tab。
|
||||
|
||||
---
|
||||
|
||||
## 4. 阶段 3:干预 — 对话即干预 + 指定重跑
|
||||
|
||||
### 4.1 输入框常开,协调者智能体分流
|
||||
|
||||
执行期输入框永远可用,所有输入先到协调者(LLM 分类,规则高精度直判兜底——复用 RC-BE-014 IntentRouter 骨架,把「规则优先」反转为「LLM 优先 + 规则快路径」):
|
||||
|
||||
| 用户意图 | 协调者行为 | 生效时机 |
|
||||
|----------|-----------|----------|
|
||||
| 提问(「查到什么了?」) | 直接回答 | 立即,不打断 |
|
||||
| 修正方向(「重点看下沉市场」) | 小改:在安全点注入 overlay,并回复说明 | 下个安全点 |
|
||||
| **指定重跑**(见 §4.2) | 出确认卡 → 重开节点 attempt | 确认后 |
|
||||
| 大改(砍线/加线) | 提议 replan → 回计划模式 | 用户确认 |
|
||||
| 停止 | 直接取消 | 立即 |
|
||||
|
||||
### 4.2 指定智能体重跑(新增核心交互)
|
||||
|
||||
**场景**:用户发现某节点传给下游的信息不对(如研究线 B 的结论有误)。
|
||||
|
||||
两个入口,同一后端动作:
|
||||
|
||||
1. **对话**:「研究线 B 的结果不对,重新查,重点看价格战」→ 协调者解析出 `node_id` + 新指令;
|
||||
2. **画布**:点节点 → 抽屉(NodeInspectorDrawer)加「↻ 重新执行」按钮。
|
||||
|
||||
**级联规则**(复用并补全 ledger 的 targeted rework):
|
||||
|
||||
```
|
||||
重跑节点 N(attempt+1,带用户新指令作为 mission overlay)
|
||||
→ N 完成 → 所有直接/间接依赖 N 产物的下游节点标记 superseded
|
||||
→ 按 DAG 依赖序逐波重跑(边动画重新流动,用户全程可见)
|
||||
→ 受影响章节重新生成
|
||||
```
|
||||
|
||||
- 确认卡必须展示**影响面**:「将级联重跑 核验B / 分析 / 写作 共 3 个节点,预计 +8 分钟」。
|
||||
- 成本保护:级联重跑计入 run 预算(现有 budget 机制),预算不足时明确报因。
|
||||
|
||||
---
|
||||
|
||||
## 5. 阶段 4:报告成稿与对话式修改
|
||||
|
||||
### 5.1 成稿
|
||||
|
||||
审稿通过 → 报告卡出现在时间线(点开 ReportPreviewDialog 全文),协调者播报总结(各线核心发现 → 结论如何形成)。
|
||||
|
||||
### 5.2 修改意图分流(协调者 LLM 判定)
|
||||
|
||||
| 用户说 | 判定 | 动作 |
|
||||
|--------|------|------|
|
||||
| 「把第二章结论写得更笃定」 | 文字润色 | 改写候选(现有 rewrite API)→ 对比预览 → apply → 新版本 |
|
||||
| 「这个数据不对 / 重新收集一下」 | **事实性问题** | 定位来源节点 → **触发该节点重跑(可带新角度)→ 级联 §4.2 → 受影响章节重生成 → 新版本** |
|
||||
| 「再从供应链角度补一节」 | 结构性新增 | replan:回计划模式改工作流(只增不删已完成部分) |
|
||||
| 「恢复到上一版」 | 版本回退 | 现有 restore API |
|
||||
|
||||
- 版本链:每次 apply / restore / 级联重跑产出均产生新 head,历史完整保留(现有机制)。
|
||||
- 修改对话里协调者必须先**复述理解**(「你是想让研究线 B 换个角度重查,然后重写第三章,对吗?」)再执行,避免误触发昂贵的级联。
|
||||
|
||||
---
|
||||
|
||||
## 6. 工程改造清单
|
||||
|
||||
### 6.1 保留(本次联调已验证)
|
||||
|
||||
- 持久化 13 张表 + durable SSE + `after_seq` 断线续传;幂等键 / 乐观锁 / 预算框架。
|
||||
- MessageList 复用链路(message-adapter → LangGraph Message → 业务卡插槽)。
|
||||
- AgentStageSelector Tab、commands 安全点骨架(RC-BE-014)、报告版本三件套(RC-BE-015)、前端 hooks/reducer/selectors 主体。
|
||||
- 「清空历史」「生成候选方案」等本次新增入口。
|
||||
|
||||
### 6.2 后端重做 / 新建
|
||||
|
||||
| 项 | 说明 |
|
||||
|----|------|
|
||||
| 规划师智能体 | LLM 多轮澄清(替换 `requirement/intent_router.py` 规则路由)+ 需求摘要结构化 + **工作流 LLM 生成**(受 §2.4 词表约束,替换 `planning/controller.py` 三模板)+ 对话式工作流修订 |
|
||||
| 协调者智能体升级 | 干预分类 LLM 优先;修改意图分流(§5.2);执行前复述确认 |
|
||||
| 指定重跑 + 级联 | ledger targeted rework 补全级联 superseded/重跑波次;确认卡带影响面计算 |
|
||||
| AgentScope 适配器修复 | `count_tokens` 协议缺失(上下文压缩必崩);attempt 耗尽终态化(防僵尸 run) |
|
||||
| 事件补齐 | 边流动所需的节点状态事件已有;补「级联影响预告」事件 |
|
||||
|
||||
### 6.3 前端重做 / 新建
|
||||
|
||||
| 项 | 说明 |
|
||||
|----|------|
|
||||
| 计划模式 UI | Header 徽章、composer 提示切换、需求摘要卡、工作流卡(替换现三张模板卡) |
|
||||
| 流程图动画 | running 节点呼吸动画 + 入边 `animated`、completed ✓ 样式、级联重跑时边动画重流(§3.1) |
|
||||
| 节点抽屉 | 加「重新执行」按钮 → 确认卡 |
|
||||
| 干预交互 | 执行期输入框常开;意图确认卡(含影响面);修改对话复述确认 |
|
||||
| 布局 | 聊天为主、画布为辅的默认比例微调(不动整体两栏结构) |
|
||||
|
||||
---
|
||||
|
||||
## 7. 实施分期
|
||||
|
||||
| 期 | 内容 | 验收 |
|
||||
|----|------|------|
|
||||
| **P0 地基** | AgentScope `count_tokens` 修复;attempt 耗尽终态化;级联重跑的 ledger 补全 | 执行阶段不崩、无僵尸 run、单节点重跑级联正确(后端测试) |
|
||||
| **P1 计划模式 + 执行可视化** | 规划师 LLM 对话、需求摘要卡、工作流 LLM 生成与迭代、计划模式 UI、流程图动画 | 从新会话到确认工作流全程对话完成;执行时动画正确随状态流转 |
|
||||
| **P2 干预 + 成稿修改** | 协调者 LLM 分类、指定重跑(两入口 + 影响面确认卡)、报告修改意图分流、上游级联重跑 | 四类干预各自走通;「数据不对→重跑→新章节→新版本」全链路 |
|
||||
|
||||
每期结束跑 RC 全量测试(当前基线 233 通过)+ 前端 26 单测,不引入对其他模块的影响。
|
||||
@@ -229,23 +229,27 @@ sequenceDiagram
|
||||
|
||||
```http
|
||||
POST /api/report-collaboration/sessions
|
||||
POST /api/report-collaboration/sessions/{sessionId}/messages
|
||||
Content-Type: application/json
|
||||
|
||||
{ "text": "请写一份…", "target_node_id": null, "agent_run_id": null }
|
||||
POST /api/intent/init
|
||||
POST /api/intent/stream
|
||||
POST /api/report-collaboration/sessions/{sessionId}/intent-turns
|
||||
```
|
||||
|
||||
- `useReportCollaborationSession.send()`:当 `session.status` 不是 `running` / `awaiting_input` / `reviewing` 时走 `sendMessage`。
|
||||
- 报告页面固定调用内置 `report-collaboration-intent` 智能体;`/api/intent/stream` 原样透传 LangGraph `messages-tuple`,不是等待模型完成后包装响应。
|
||||
- 正文 token、provider reasoning 和工具调用步骤实时写入当前 `MessageList` 气泡;终态后 `/intent-turns` 只负责持久化镜像与状态交接,不再调用模型识别意图。
|
||||
- 旧 `/sessions/{sessionId}/messages` 在 `empty/clarifying` 阶段返回 `409 USE_STREAMING_INTENT`,防止退回阻塞式 `ainvoke` 路径。
|
||||
- 会话状态:`empty` → `clarifying` → `planning` → `proposal_ready`。
|
||||
- 澄清问题以 `CollaborationMessage` 进入时间线;业务卡通过 `MessageList` 的 `businessCardSlot` 渲染(`additional_kwargs.report_collaboration_card`)。
|
||||
- 意图智能体输出 `INTENT_READY` 后,`POST /intent-turns` 自动创建并完成 `plan_request`;前端无需再展示“确认意图”或“生成候选方案”按钮。
|
||||
|
||||
### 5.3 阶段 2:候选方案
|
||||
|
||||
```http
|
||||
POST /api/report-collaboration/sessions/{sessionId}/plan-requests
|
||||
# 正常路径:由最后一轮 POST /messages 自动触发规划
|
||||
POST /api/report-collaboration/sessions/{sessionId}/plans/{planId}/select
|
||||
```
|
||||
|
||||
- `POST /plan-requests` 仅保留给“重新生成”与兼容调用,不是首次规划的必经步骤。
|
||||
- 规划师尚未判定 `ready` 时直接调用该兼容接口会返回 `422 REQUIREMENT_NOT_READY`,防止跳过意图确认。
|
||||
- **预览方案**(`previewPlanId`):纯前端,不调 API。
|
||||
- **采用方案**:`select` 写 `selected_plan_id`,**不**创建 run。
|
||||
- 409:方案 revision 过期 → 前端 `refreshSnapshot`,提示用户重选。
|
||||
|
||||
@@ -0,0 +1,31 @@
|
||||
# 日常使用复查(2026-09-14)
|
||||
|
||||
范围:ji 分支上继续检查知识库管理、助手知识库、我的项目、项目问答和官方入口。沿用本地隔离后端数据目录 `.runtime/ji-acceptance`,浏览器检查 464×642 与 1440×900 两种尺寸;未向生产库写入验收项目。
|
||||
|
||||
## 发现与修复
|
||||
|
||||
**首屏白屏的直接业务触发点也已修复:** `LlmWikiKnowledgeSelector` 在懒加载/未加载知识目录时,每次渲染创建新的空数组,推荐问题 effect 随之回写父页状态,形成无限更新。将目录空结果和默认助手库选择稳定化后,重新从登录进入新对话成功,欢迎引导、输入框及知识空间下拉均可操作(截图 06)。仅升级依赖并不能消除这个业务循环;上述修复与依赖兼容更新共同保留。
|
||||
|
||||
1. **首次进入:高影响,已修复依赖。** 本轮首次登录后出现整页空白,控制台为 ScrollArea `Maximum update depth exceeded`。安装版本 1.2.10 使用不稳定引用回调;升级并锁定 1.2.18,同步 package-lock,核对源码使用稳定 setState 引用。冷启动仍复现组合引用循环,进一步发现各基础组件带入 Slot 1.2.3/1.2.4;统一锁定 Slot 1.3.3,npm 与 pnpm 均配置覆盖间接依赖。依据 [Radix 发布记录](https://www.radix-ui.com/primitives/docs/overview/releases) 的 React 19 无限重渲染及 Slot 引用修复。
|
||||
2. **新建项目:已修复。** 手机表单出现两个菜单按钮(截图 01)。由外层提供菜单时不再显示内部按钮;官方入口也去掉无效的内部侧栏按钮。
|
||||
3. **项目历史:已修复。** 我的项目侧栏链接跳到旧项目空间(截图 02),导致返回目的地变化。现在保留我的项目路径,普通聊天与旧项目空间保持原路由。手机点历史后菜单自动收起。官方侧栏原本把项目聊天打开为普通聊天,现按项目归属进入项目工作区;`/official/workspace/projects/groups` 根路径回到普通问答项目列表。
|
||||
4. **项目设置与失败恢复:已修复。** 默认智能体更新后,同步新对话选择器;项目对话权限/归属加载失败、普通问答项目列表失败均有重试入口。
|
||||
5. **助手知识检索:已修复。** 连续检索或切换库时,以递增请求序号隔离过期成功/失败/结束回调,防止旧结果覆盖新库;新检索清除旧结果;空输入禁止提交。无结果原本只有小标签(截图 03),现在说明可调整关键词并提供浏览目录按钮。输入框补充可访问名称。
|
||||
6. **窄屏输入栏:已修复。** 464px 截图中发送箭头被工具栏挤出右边缘(截图 07);工具区允许换行、发送区不收缩,截图 08 确认按钮完整可见。项目问答网络错误也增加“重新加载对话”,只重建读取状态,不自动重发消息。
|
||||
|
||||
## 复测记录
|
||||
|
||||
- 具名项目创建成功;新建项目对话,通过真实模型收到“项目问答回归通过”;刷新保留消息与项目归属。
|
||||
- 修复工具栏后,在窄屏实际点击发送并收到“窄屏发送通过”;首屏知识空间菜单完成加载、选择助手库后显示已选择 1 个,未再出现循环白屏。
|
||||
- 手机项目历史链接确认留在 `qa/projects/groups`;桌面官方 groups 根路径跳回正确列表,官方项目历史进入相同项目。
|
||||
- 官方和常规项目切换时偶发网络 `Failed to fetch`,刷新/重新挂载恢复历史消息;没有将其描述为已排除的网络问题,新增恢复按钮未进行独立网络故障注入测试。
|
||||
- 助手知识库列表、阅读、检索无结果、返回入口实际操作;空查询按钮禁用。检索竞态由代码检查修复,未使用浏览器网络故障注入。
|
||||
- 后端 22 个相关文件重新运行:**273 passed**,涵盖知识库管理/导入/检索、Wiki、编码与向量、项目归属隔离、策略持久化及调用边界。
|
||||
- 前端项目与策略测试:**33 passed**,新增项目历史保持入口、旧项目和普通聊天/创建向导回归。
|
||||
- 生产构建通过。全仓类型检查仍有 **59 个既有错误**,与上一轮错误列表一致;不宣称全仓类型检查通过。
|
||||
|
||||
## 证据与边界
|
||||
|
||||
本轮截图与日志存放在 `frontend-web/.runtime/daily-usage-audit/`:`01-create-before.png`、`02-history-before.png`、`03-knowledge-search.png`、`04-official-desktop.png`、`05-official-project-after.png`(网络失败状态)、后续 after 截图,以及 tests/build/typecheck 日志。后端日志为 `.runtime/ji-acceptance/daily-regression.txt`。
|
||||
|
||||
上一轮真实文件入库、向量命中、方案生成与保存的验证详见 `ji-knowledge-projects-acceptance.md`。本轮不重复付费生成完整方案;没有进行生产全量语料质量评估、负载测试、断网故障注入或完整无障碍合规审计。已检查可见导航、表单名称、窄屏显示和主要失败恢复,不能据此承诺所有模块没有缺陷。代码未提交、推送或部署。
|
||||
@@ -0,0 +1,37 @@
|
||||
# ji 分支知识库与我的项目验收
|
||||
|
||||
日期:2026-09-14。基线:`ji` / `f62a512a`,已从 origin fast-forward 更新。
|
||||
|
||||
## 修复范围
|
||||
|
||||
1. 简洁模式进入我的项目保留功能导航,覆盖列表、策略工作台和问答项目;移动端有菜单展开入口。
|
||||
2. 策略结果卡片的模型思考前置;检查意图、评判、方案、展开视图保持过程在正文前。
|
||||
3. 普通问答改为真实项目分组:先填写项目名称创建项目,再在项目中创建多条问答。服务端持久归属与权限校验沿用 analysis-projects;不自动迁移或标记历史普通聊天。官方入口支持对应 groups 子路由。
|
||||
4. 修复方案列表要求预先选中策略导致无法进入的问题;任务变化后已有方案仍可查看;请求序号避免旧请求失败覆盖成功结果。
|
||||
5. 修复知识库管理目录缓存导致上游删除后仍显示的问题;保留检索端缓存。
|
||||
6. 项目编辑保留知识库绑定,助手知识库补充普通用户空态。
|
||||
|
||||
## 自动化
|
||||
|
||||
- 后端 22 个相关测试文件:273 passed(知识库、Wiki、向量、编码器、项目归属、策略配置与持久化、边界等)。
|
||||
- 前端策略与项目测试:31 passed。新增用例覆盖未选择策略、已有方案变更任务、未完成评判及全部策略失败。
|
||||
- `tests/test_knowledge_live_embedding.py`:真实接口 1 passed;默认跳过,设置 `KNOWLEDGE_TEST_EMBEDDING_KEY` 后运行。默认服务 SiliconFlow、模型 BAAI/bge-m3;可用 `KNOWLEDGE_TEST_EMBEDDING_URL` / `KNOWLEDGE_TEST_EMBEDDING_MODEL` 更换。
|
||||
- `pnpm build`:通过。
|
||||
- `pnpm typecheck`:未完全通过,59 个错误位于此次未改动文件(nextra 缺失、Markdown 插件类型、旧 JSX 类型及旧问答页等);修改文件无类型错误。不能将生产构建通过等同于全仓类型检查通过。
|
||||
|
||||
## 真实接口与浏览器
|
||||
|
||||
测试使用 `.runtime/ji-acceptance` 独立数据目录,保留测试数据便于复查,未操作业务数据库已有项目。
|
||||
|
||||
- BAAI/bge-m3:中英文 3 条输入,均返回 1024 维有效向量。
|
||||
- 实际检索服务:相关正文排名、指定库范围、草稿排除、概览查询通过。
|
||||
- 两个项目 A/B:A 创建两条对话,B 列表为零;跨项目读取 A 的对话返回 404。
|
||||
- 浏览器:简洁模式完整菜单可见;新建具名普通问答项目;项目内真实发送并收到回答;第二条对话独立;回列表仍是一张项目卡,刷新后保留。
|
||||
- 方案整理:真实模型返回 1539 字符正文,含 agent_done / all_done,流正常结束。
|
||||
- 方案入口:完成评判但尚未勾选策略的测试项目出现在方案列表。浏览器进入后勾选策略、生成 2755 字符正文、保存成功;服务端校验 synthesisStatus=done 且 solutionSavedAt 非空,刷新后正文与导出按钮恢复。
|
||||
- 官方入口:`/official/workspace/projects/groups/new` 正常展示具名问答项目表单,官方侧栏保留。
|
||||
- 助手知识库:创建、重命名、列表、拒绝 .py 上传通过;上传测试文本任务 completed;生成 Wiki 页面,向量检索命中 1 条,详情 HTTP 200。
|
||||
|
||||
## 限制
|
||||
|
||||
真实模型测试使用最小合成读书活动/设备资料,未对生产全量知识语料进行质量评估。API 密钥仅用于测试进程,不提交配置。仓库原有未跟踪 docx 与 packages1.zip 保持不变。未提交、推送代码,也未执行离线发布。
|
||||
@@ -0,0 +1,105 @@
|
||||
# 本地问答、资料库与技能并发验收
|
||||
|
||||
测试日期:2026-09-28 至 2026-09-29 凌晨。环境:Windows、约 8GB 物理内存、Python 3.12、Node 22、Gateway 单进程、SQLite、默认 MiniMax-M2.5。前端 Vite 5174,Gateway 8001。模型并发限流与 Redis 分布式门控未启用。
|
||||
|
||||
本次保留并验收了工作区原有的资料库索引、问答收尾、沙箱超时和流式恢复修改,另外修复了压测复现的技能刷新重复校验,以及真实地图问答暴露的内部待办提醒显示问题。测试结果不能等同于 Linux 多进程生产环境容量。
|
||||
|
||||
## 版本范围
|
||||
|
||||
开始测试时本地为 `3a07c476`,没有 `cognitive-situation-map`。随后拉取远程,发现 `origin/master` 已前进至 `3107f2cc`,包含该技能的初始化及 v2.6.0 精简运行时。保留本地修改后合入远程,合并提交为 `c9effe83`;最终绘图与多用户测试以合入后的代码为准。
|
||||
|
||||
旧本地版本里 `page-report-generation` 的地图仅支持中、美、日、台,因此其“不支持菲律宾”的反馈不能用于评价最新的 `cognitive-situation-map`。
|
||||
|
||||
## 真实问答
|
||||
|
||||
使用独立普通测试账户,阶梯间顺序运行,逐条检查预期测试关键词与结果、SSE `end`、持久化 `success`,结束后删除本轮生成的测试线程。1/3/5/10 路检查正文包含“测试”和数字 4;20 路增强为检查“测试正常”及明确的“2加2等于4”。这属于简单问答验收,不是复杂内容质量评测。
|
||||
|
||||
| 同时问答用户数 | 成功 | 首段答案中位耗时 | 流结束中位耗时 | 流结束最慢 |
|
||||
|---|---:|---:|---:|---:|
|
||||
| 1 | 1/1 | 5.792s | 6.439s | 6.439s |
|
||||
| 3 | 3/3 | 2.214s | 3.245s | 3.287s |
|
||||
| 5 | 5/5 | 2.885s | 3.702s | 4.373s |
|
||||
| 10 | 10/10 | 2.920s | 4.796s | 5.416s |
|
||||
| 20 | 20/20 | 4.364s | 10.622s | 11.135s |
|
||||
|
||||
累计 39/39 通过。20 用户整批耗时 11.829s,同期 health 12/12 成功、中位 13ms、最大 371ms。这里是一次阶梯短时突发,并未证明百用户持续长任务容量。
|
||||
|
||||
取消接口返回 204,58ms 后状态为 `interrupted`,测试线程删除返回 200。同期健康探测 20 次均成功,中位 9ms,最大 3.044s;说明仍存在数秒调度尖峰,不能仅凭平均值宣布无阻塞。
|
||||
|
||||
早期多个磁盘基准同时运行时,单路首段答案为 33.853s,日志显示同步 agent 构建 28.344s,health 也有 5s 超时。这批明确有本机资源争用,不纳入稳定容量结论。开发脚本启动的服务进程还曾消失,没有拿到退出或 reload 日志,原因未确认;期间的连接失败剔除。后续使用无热重载的固定进程复测。
|
||||
|
||||
## 资料库和知识库
|
||||
|
||||
- 资料库/知识库相关回归 186 项通过;资料库新存储 Memory/SQLite 专项另有 8 项通过,覆盖用户隔离、分页、原子换代、并发租约和旧任务围栏。
|
||||
- 真实测试账户看到 2 个共享知识库;选中的库包含 668 份文档、168 个 Wiki 页面。首次 hybrid 查询 3.58s,返回 5 条。
|
||||
- 排除合成磁盘负载后,空资料库、知识库目录和 hybrid 查询分别测试 1/4/8 并发,每档 8 次,总计 72/72 HTTP 200,零异常。
|
||||
|
||||
| 接口 | 8 并发中位耗时 | 8 并发最大耗时 |
|
||||
|---|---:|---:|
|
||||
| 资料库列表(空测试账户) | 165ms | 224ms |
|
||||
| 知识库目录 | 517ms | 557ms |
|
||||
| hybrid 检索(相同问题、5条结果) | 426ms | 441ms |
|
||||
|
||||
这组重复使用同账号和查询,包含热缓存效果;空账户列表不代表有大量文件的资料库。独立测试 SQLite 另生成了 101 个合成用户、10 万条资料元数据,480 次查询全部成功;其中单用户 5 万条资料关键词查询 P95 为 1.08s、首页 P95 为 130ms,但此轮同时有其他 IO 测试,只作为规模观察值。
|
||||
|
||||
资料库索引按 5 分钟过期刷新;进程异常退出时正在同步的租约最多等待 30 分钟恢复。大库关键词查询仍使用多字段包含匹配,不能据当前测试证明生产规模检索始终快速。
|
||||
|
||||
## 大技能与并发刷新
|
||||
|
||||
文件体积大和小文件数量多分别测试,使用隔离临时目录,不改真实技能内容。
|
||||
|
||||
| 场景 | 结果 |
|
||||
|---|---|
|
||||
| 真实技能副本,269 文件 / 2.75MiB,稳定缓存 64 并发 | 全成功,约 1.05s;早期混合负载观察值 |
|
||||
| 同副本改 1 个资产,32 并发,修复前混合负载 | 27 成功、5 个 30s 锁等待超时,复现问题 |
|
||||
| 独占配对:同副本改 1 个资产,32 并发,旧逻辑 | 32/32 成功,P95 13.700s,最大 14.842s |
|
||||
| 独占配对:同场景,新逻辑 | 32/32 成功,P95 / 最大 3.963s,P95 降低约 71% |
|
||||
| 128MiB 资产、34 文件,新逻辑 | 冷初始化 5.54s;变更后 32 并发 P95 0.584s,全成功 |
|
||||
| 约 160 技能、5120 个小文件(修复前规模观察) | 冷加载执行者约 107s,31/32 等待者超时;热校验约 18s |
|
||||
|
||||
修复让同一进程内、相同权限配置的一批重叠请求共享一次刷新及最终校验。等待者仍检查当前缓存身份、权限哈希和能力标记;失败或技能下线时不返回旧视图。新增 8 项回归连同原有 62 项,共 70 项通过。
|
||||
|
||||
**剩余风险:** 数千个小文件的单次 Windows 元数据扫描仍昂贵,本次修复没有消除这项成本,也未证明跨进程刷新能合并。不能把 32/64 个技能调用线程等同于 32/64 个真实模型用户。
|
||||
|
||||
实际调用 `gongwen-assistant` 读取技能并输出短通知,10.672s 内正常结束,无工具卡住。但答案把要求的 10月8日改成10月15日:通信/技能读取通过,内容日期遵循失败,不能记为整体语义验收通过。
|
||||
|
||||
## 绘图与界面
|
||||
|
||||
普通问答已实际生成菲律宾地图底图及马尼拉、吕宋北部、巴拉望、棉兰老四个点位,点位弹窗可打开。使用明确标注的虚构数据,未进行时事真实性评估。初次模型额外要求确认消息内地图,回复确认后完成,属于可见的额外交互成本。
|
||||
|
||||
这次真实对话发现 `todo_completion_reminder` 被当作用户问题展示。修复后,后端待办提醒带 `hide_from_ui`,前端也按两个历史内部名字过滤聊天和问题导航;真实用户引用 `<system_reminder>` 的文本仍保留。后端 3 项、前端新及关联分组 12 项通过。
|
||||
|
||||
最新 `cognitive-situation-map v2.6.0` 已经通过真实问答完整调用:读取技能和菲律宾参考 JSON、写入场景、调用技能自带 `node render.mjs`、检查文件、`present_files` 交付,42.481s 完成,SSE 正常结束并保存 `success`。产物标题为“菲律宾冲突认知态势图(功能验收示意)”,包含 4 个事件、4 个标注、3 个行为体和 2 条连线,明确标注所有事件与等级均为测试数据。输出 `status=ok`、无恢复和警告。模型曾发起两次过宽的目录 glob,被技能访问隔离拒绝后自行改用指定技能目录完成,没有循环卡住。
|
||||
|
||||
同一最新技能的直接渲染为 624ms;8 个并发独立渲染进程全部成功,范围 650–949ms。围栏/截断/缺失字段/约 600KiB 场景输入的恢复、非空目录拒绝覆盖、脚本结束标签转义均完成专项检查。真实 Windows LocalSandbox 虚拟路径经 PowerShell 调用 Node 成功(含冷 shell 7.85s)。CSS、JS、菲律宾底图和旗帜资源均返回 200;2.93MB 底图一次请求耗时 208ms。8 个渲染进程不等于 8 个同时生成长内容的模型用户。
|
||||
|
||||
**最新 HTML 的视觉验收未通过:** 测试账户能在会话中看到生成文件卡片,文件接口返回 200,源码模式能显示 HTML、正确资源地址和页面结构,但 Codex 内嵌浏览器的预览面板空白;DOM 中 iframe 的 `src` 为 `blob:http://127.0.0.1:5174/...`,可访问树仍为 `about:blank`。普通地图组件的可见性不能替代这个 HTML 的验收,渲染器返回成功也不能证明最终视觉正确。已保留空白预览截图,未将此项计为通过。
|
||||
|
||||
进一步在内存中执行真实 `prepareGeneratedHtml`:11,269 字节输入变为 14,597 字节,原有 3 个脚本逐字保留、DOM id 与外链 URL 均不变,新增兼容脚本语法有效。暂未发现生成器或预处理破坏 HTML 的证据;故障停在预览加载/Blob 导航阶段,具体原因未确认,不将其归为已知浏览器限制,也不宣称已修复。
|
||||
|
||||
界面还复现了 TDesign 新手引导闲置时的 `reading 'element'` 异常:`current=-1` 时其 resize 监听仍读取不存在的步骤。简洁模式与智能体两处包装组件已改为只有有效步骤才挂载 Guide。浏览器复测了文件面板开关、侧栏切换、手动启动、下一步、跳过,未再出现新的同类异常;完成/跳过的持久化语义保持不变。
|
||||
|
||||
## 合并后回归
|
||||
|
||||
- 完整 harness:274/274 通过,53.07s;包含前述技能及 Todo 子集,不重复累加。
|
||||
- 模型并发配置专项:10 项通过;种子技能资源:4 项通过。
|
||||
- 前端流式恢复专项:9 组共 44 项通过;待办可见性及相关消息分组:12 项通过。
|
||||
- 全量前端构建和类型检查最初并行运行时,系统空闲内存降到约 17MB,因此主动停止该轮类型检查,改为串行执行;该轮中断不作为代码失败。
|
||||
- `pnpm build` 通过(10m25s,包含前期资源争用,有大 chunk 警告)。其后新增的两个 Guide 挂载条件已通过单独语法检查和真实浏览器回归;另补齐问题导航抽取后的类型导入,不改变生成代码行为。
|
||||
- 最终 `pnpm typecheck` 仍未通过,共 73 项原有诊断;与测试前本地 `hang-typecheck.log` 的 75 项逐条比较,减少了消息分组测试的 2 项,没有新增诊断。本轮发现的 `QuestionItem` 类型导入遗漏已经修正,复跑后消失。剩余问题包括 `nextra` 依赖、旧 JSX 类型和既有组件/测试类型,未扩大范围处理,不能标记全量类型检查通过。
|
||||
|
||||
## 本地证据和复测入口
|
||||
|
||||
详细证据仅保留在 `.runtime/test-results/20260928-local-qa/`,不提交模型凭证、问答日志、测试数据库、构建 ZIP 或技能临时大目录:
|
||||
|
||||
- `qa-concurrency-results.json`:逐轮时间、结束事件、答案检查和清理结果。
|
||||
- `qa-concurrency-20-results.json`、`harness-full.xml`:20 个独立用户问答和完整 harness 回归。
|
||||
- `knowledge-stable-recheck.json`、`knowledge-library-report.md`:知识库与资料库稳定复测及限制。
|
||||
- `skills-benchmark-paired.json`、`skills-findings.md`:同机旧/新刷新配对;“旧逻辑”在隔离进程禁用新合并函数回放,不改服务源码。
|
||||
- `philippines-html.json`、`large-skill.json`:旧页面技能能力缺口与公文技能真实调用。
|
||||
- `philippines-map-ui.png`:普通地图真实浏览器渲染。
|
||||
- `cognitive-philippines.json`、`cognitive-skill-probe.json`:最新技能真实完整问答及渲染器专项。
|
||||
- `cognitive-preview-ui.png`:最新 HTML 在本轮内嵌浏览器出现空白的实际截图。
|
||||
- `frontend-build.log`、`frontend-typecheck-final.log`:全量构建与最终类型检查。
|
||||
|
||||
提交的回归入口包括 `packages/harness/tests/test_skill_view_refresh_coalescing.py`、`test_skill_view_waits.py`、`test_sandbox_command_liveness.py`、`test_run_completion_timeout.py`、`test_todo_reminder_visibility.py`,以及前端 `control-timeout`、`stream-terminal-recovery` 和 `todo-reminder-visibility` 测试。
|
||||
@@ -0,0 +1,539 @@
|
||||
# Thread 创建慢与回答结束后 History 等待:优化方案
|
||||
|
||||
日期:2026-10-22
|
||||
配套文档:[完整排查手册](./线程创建与History等待慢-排查手册.md)
|
||||
|
||||
## 1. 优化目标与结论
|
||||
|
||||
目标:
|
||||
|
||||
- 降低 `POST /api/threads` 的 `checkpoint_create` 延迟;
|
||||
- 降低 SSE 结束后 `/history` 的延迟;
|
||||
- 避免慢 history 长时间占用全局 saver 锁并阻塞其他 thread;
|
||||
- 处理 RunManager 内存 registry 持续增长;
|
||||
- 保留对话 checkpoint 和历史记录,不通过直接删数据解决问题。
|
||||
|
||||
建议分四层实施:
|
||||
|
||||
| 优先级 | 动作 | 是否重启 | 风险 |
|
||||
| --- | --- | --- | --- |
|
||||
| P0 | 基于 EXPLAIN 在线补建 history 组合索引 | 否 | 低;增加少量写放大和磁盘占用 |
|
||||
| P1 | History 明确主 namespace,缩短 alist 持锁范围并补计时 | 是 | 中;需要 history/subgraph 回归 |
|
||||
| P1 | 修复 `RunManager.cleanup()` 未调用 | 是 | 低到中;需要重连/终态回归 |
|
||||
| P2 | 让 PG saver 真正支持并发读写,或拆出独立 history reader | 是 | 中到高;需要并发与一致性测试 |
|
||||
| P3 | 根据 dead tuples、I/O 和保留策略做维护/归档 | 视操作而定 | 中到高 |
|
||||
|
||||
最快的低风险止血方案是:先确认跨 namespace History 执行计划确实有 Sort,然后在线创建 `(thread_id, checkpoint_id DESC)` 索引。该索引只能缩短 SQL 和持锁时间,不能消除 saver 实例级串行。
|
||||
|
||||
## 2. P0:在线补建 History 组合索引
|
||||
|
||||
### 2.1 适用条件
|
||||
|
||||
同时满足以下条件时执行:
|
||||
|
||||
1. 线上 `/history` 当前需要跨 `checkpoint_ns` 返回最新 checkpoint;或者短期内不能发布代码来限定 namespace。
|
||||
2. 慢 thread 的执行计划出现 per-thread Sort、扫描候选行较多或执行时间明显高于限定 `checkpoint_ns=''` 的版本。
|
||||
3. 已确认目标表 schema;以下示例假设是 `public`。
|
||||
|
||||
如果每个 thread 只有极少 checkpoint,EXPLAIN 已是亚毫秒级且无明显扫描/Sort,建索引不会解决应用层 saver lock 排队,应直接转向 P1/P2。
|
||||
|
||||
### 2.2 建索引前检查
|
||||
|
||||
```sql
|
||||
SELECT current_database(), current_schema(), current_schemas(true);
|
||||
|
||||
SELECT
|
||||
schemaname,
|
||||
tablename,
|
||||
indexname,
|
||||
indexdef
|
||||
FROM pg_indexes
|
||||
WHERE tablename = 'checkpoints'
|
||||
ORDER BY indexname;
|
||||
```
|
||||
|
||||
确认没有等价的 `(thread_id, checkpoint_id)` 索引。已有单列 `checkpoints_thread_id_idx(thread_id)` 不等价:它可以过滤 thread,但不能直接提供跨 namespace 的 `checkpoint_id` 顺序。
|
||||
|
||||
保存变更前基线:
|
||||
|
||||
```sql
|
||||
EXPLAIN (ANALYZE, BUFFERS, SETTINGS)
|
||||
SELECT checkpoint_id, checkpoint_ns
|
||||
FROM public.checkpoints
|
||||
WHERE thread_id = '<THREAD_ID>'
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1;
|
||||
```
|
||||
|
||||
### 2.3 在线创建
|
||||
|
||||
`CREATE INDEX CONCURRENTLY` 必须作为独立语句执行,不能放在显式事务块中。确认数据库客户端没有自动把整段脚本包在一个事务里。
|
||||
|
||||
```sql
|
||||
SET lock_timeout = '5s';
|
||||
SET statement_timeout = '0';
|
||||
|
||||
CREATE INDEX CONCURRENTLY IF NOT EXISTS
|
||||
checkpoints_thread_checkpoint_id_desc_idx
|
||||
ON public.checkpoints (thread_id, checkpoint_id DESC);
|
||||
|
||||
RESET lock_timeout;
|
||||
RESET statement_timeout;
|
||||
```
|
||||
|
||||
然后更新统计:
|
||||
|
||||
```sql
|
||||
ANALYZE public.checkpoints;
|
||||
```
|
||||
|
||||
不要把 `checkpoint` 或 `metadata` JSONB 加进 `INCLUDE`;它们较大,会显著扩大索引且不能解决此排序问题。
|
||||
|
||||
### 2.4 验证索引有效
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
i.relname AS index_name,
|
||||
x.indisvalid,
|
||||
x.indisready,
|
||||
pg_size_pretty(pg_relation_size(i.oid)) AS index_size,
|
||||
pg_get_indexdef(i.oid) AS indexdef
|
||||
FROM pg_class t
|
||||
JOIN pg_index x ON x.indrelid = t.oid
|
||||
JOIN pg_class i ON i.oid = x.indexrelid
|
||||
JOIN pg_namespace n ON n.oid = t.relnamespace
|
||||
WHERE n.nspname = 'public'
|
||||
AND t.relname = 'checkpoints'
|
||||
AND i.relname = 'checkpoints_thread_checkpoint_id_desc_idx';
|
||||
```
|
||||
|
||||
必须看到:
|
||||
|
||||
```text
|
||||
indisvalid = true
|
||||
indisready = true
|
||||
```
|
||||
|
||||
重跑执行计划:
|
||||
|
||||
```sql
|
||||
EXPLAIN (ANALYZE, BUFFERS, SETTINGS)
|
||||
SELECT checkpoint_id, checkpoint_ns
|
||||
FROM public.checkpoints
|
||||
WHERE thread_id = '<THREAD_ID>'
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1;
|
||||
```
|
||||
|
||||
预期:
|
||||
|
||||
- 使用 `checkpoints_thread_checkpoint_id_desc_idx`;
|
||||
- 不再出现额外 Sort;
|
||||
- 扫描行数接近 1;
|
||||
- buffer read 和实际执行时间明显下降。
|
||||
|
||||
### 2.5 上线观察
|
||||
|
||||
至少对比变更前后:
|
||||
|
||||
- `/history` p50/p95/p99;
|
||||
- `POST /threads` 的 `checkpoint_create` p50/p95/p99;
|
||||
- checkpoint INSERT/UPSERT 的平均与最大耗时;
|
||||
- 新索引大小;
|
||||
- `pg_stat_user_indexes.idx_scan`;
|
||||
- checkpoint 写入吞吐与 WAL/磁盘增长。
|
||||
|
||||
索引使用统计:
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
schemaname,
|
||||
relname,
|
||||
indexrelname,
|
||||
idx_scan,
|
||||
idx_tup_read,
|
||||
idx_tup_fetch
|
||||
FROM pg_stat_user_indexes
|
||||
WHERE relname = 'checkpoints'
|
||||
ORDER BY indexrelname;
|
||||
```
|
||||
|
||||
### 2.6 回滚
|
||||
|
||||
如果索引导致不可接受的写放大、磁盘占用,或代码发布后已经不再需要跨 namespace 查询,可在线删除:
|
||||
|
||||
```sql
|
||||
DROP INDEX CONCURRENTLY IF EXISTS
|
||||
public.checkpoints_thread_checkpoint_id_desc_idx;
|
||||
```
|
||||
|
||||
同样不要放在显式事务块内。
|
||||
|
||||
如果在线创建被中断,先查询 `indisvalid/indisready`。若留下 invalid 索引,低峰执行上面的 `DROP INDEX CONCURRENTLY` 后再重新创建,不要假设 `IF NOT EXISTS` 会修复 invalid 索引。
|
||||
|
||||
## 3. P1:让普通 History 明确查询主 namespace
|
||||
|
||||
### 3.1 为什么这是长期更优方案
|
||||
|
||||
普通聊天主图状态使用:
|
||||
|
||||
```text
|
||||
checkpoint_ns = ''
|
||||
```
|
||||
|
||||
`checkpoints` 现有主键:
|
||||
|
||||
```text
|
||||
(thread_id, checkpoint_ns, checkpoint_id)
|
||||
```
|
||||
|
||||
如果 History 的业务语义就是“普通聊天主图历史”,限定 `checkpoint_ns=''` 后,PostgreSQL 可以直接利用现有主键倒序取最新 checkpoint:
|
||||
|
||||
```sql
|
||||
WHERE thread_id = $1
|
||||
AND checkpoint_ns = ''
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1
|
||||
```
|
||||
|
||||
这样不需要为同一访问模式长期维护额外索引,也避免误把 subgraph namespace 中较新的 checkpoint 当作主聊天最新状态。
|
||||
|
||||
### 3.2 建议代码改动
|
||||
|
||||
当前:
|
||||
|
||||
```python
|
||||
config: dict[str, Any] = {"configurable": {"thread_id": thread_id}}
|
||||
```
|
||||
|
||||
建议:
|
||||
|
||||
```python
|
||||
config: dict[str, Any] = {
|
||||
"configurable": {
|
||||
"thread_id": thread_id,
|
||||
"checkpoint_ns": "",
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
位置:
|
||||
|
||||
```text
|
||||
offline-backend-20260512/backend/app/gateway/routers/threads.py:1886
|
||||
```
|
||||
|
||||
### 3.3 发布前必须验证
|
||||
|
||||
- 普通 lead agent 首轮和多轮历史恢复;
|
||||
- 自定义 agent 历史恢复;
|
||||
- subagent/subgraph 事件不应错误覆盖主图历史;
|
||||
- interrupt/HITL 恢复;
|
||||
- checkpoint `before` 分页;
|
||||
- 页面刷新、重新打开会话、断流重连;
|
||||
- `fetchStateHistory: { limit: 1 }` 返回的 messages、title、thread_data 正确。
|
||||
|
||||
如果某些 API 消费者明确要求跨 namespace 历史,不要直接全局改变语义。可以为普通聊天与诊断/调试接口拆分不同路径。
|
||||
|
||||
### 3.4 与 P0 索引的关系
|
||||
|
||||
- 紧急止血可以先建 P0 索引,再发布 namespace 修复。
|
||||
- namespace 修复稳定运行一段时间后,通过 `pg_stat_user_indexes` 确认 P0 索引已不再需要,再在线删除。
|
||||
- 不要在代码上线同一时刻立刻删索引,保留可快速回退窗口。
|
||||
|
||||
## 4. P1:缩短 `/history` 持有 saver lock 的时间
|
||||
|
||||
### 4.1 当前问题
|
||||
|
||||
当前 route 在下面的 `async for` 内处理并序列化每个 checkpoint:
|
||||
|
||||
```python
|
||||
async for checkpoint_tuple in checkpointer.alist(config, limit=body.limit):
|
||||
# 读取 checkpoint
|
||||
# 序列化 messages
|
||||
# 构造 HistoryEntry
|
||||
```
|
||||
|
||||
PostgreSQL saver 的 `alist()` 在 `_cursor()` context 内 fetchall 后逐条 yield。调用方在处理 yielded tuple 时,generator 尚未退出,因此 saver lock 可能覆盖业务层消息序列化时间。
|
||||
|
||||
### 4.2 低风险 quick win
|
||||
|
||||
先完整、快速消费 bounded 结果,让 generator 退出并释放 saver cursor/lock,再在锁外做响应序列化:
|
||||
|
||||
```python
|
||||
checkpoint_tuples = [
|
||||
item
|
||||
async for item in checkpointer.alist(config, limit=body.limit)
|
||||
]
|
||||
|
||||
for checkpoint_tuple in checkpoint_tuples:
|
||||
# 原来的 HistoryEntry/messages 序列化逻辑
|
||||
```
|
||||
|
||||
当前普通前端请求 `limit=1`,额外内存可以忽略。接口模型允许更大 limit 时,仍需保留现有上限并测试大 checkpoint payload。
|
||||
|
||||
该改动不会解除 saver 内部对 SQL/反序列化的串行,但能避免 route 的 Python 序列化继续占着 saver lock。
|
||||
|
||||
### 4.3 同时增加 History 分段计时
|
||||
|
||||
建议记录无内容的阶段指标:
|
||||
|
||||
```text
|
||||
history_checkpoint_fetch_ms
|
||||
history_serialize_ms
|
||||
history_total_ms
|
||||
thread_id(清洗后)
|
||||
limit
|
||||
checkpointer 类型
|
||||
```
|
||||
|
||||
这样可以区分:
|
||||
|
||||
- saver lock + SQL + checkpoint load;
|
||||
- Gateway 消息序列化;
|
||||
- route 外的鉴权/代理等待。
|
||||
|
||||
不要在日志中记录消息正文、checkpoint JSON、数据库 URL 或 token。
|
||||
|
||||
## 5. P1:修复 RunManager 内存 registry 增长
|
||||
|
||||
### 5.1 当前问题
|
||||
|
||||
`RunManager.cleanup()` 已存在:
|
||||
|
||||
```text
|
||||
packages/harness/deerflow/runtime/runs/manager.py:318-324
|
||||
```
|
||||
|
||||
但 worker finally 当前只调:
|
||||
|
||||
```python
|
||||
asyncio.create_task(bridge.cleanup(run_id, delay=60))
|
||||
```
|
||||
|
||||
这只删除 stream bridge 中的流缓存,不删除 `RunManager._runs`。因此一个进程运行越久,`create_or_reject()` 在 manager lock 内扫描的对象越多。
|
||||
|
||||
### 5.2 建议改动
|
||||
|
||||
在 run 已完成、终态已持久化并发布 SSE end 后,调度 run registry 清理:
|
||||
|
||||
```python
|
||||
asyncio.create_task(bridge.cleanup(run_id, delay=60))
|
||||
asyncio.create_task(run_manager.cleanup(run_id, delay=300))
|
||||
```
|
||||
|
||||
延迟值可以结合重连窗口调整,但不要无限保留。
|
||||
|
||||
### 5.3 必须验证
|
||||
|
||||
- 完成后 60 秒内 SSE join/reconnect 行为不变;
|
||||
- 内存记录删除后,`GET run` 能从持久化 store fallback;
|
||||
- 已完成 run 的 join 能返回干净终态,而不是 404;
|
||||
- cancel/rollback 与正在运行的任务不会被提前删除;
|
||||
- 管理员并发监控只展示真实 active run;
|
||||
- 进程内 `_runs` 数量在稳定负载下有上限,不随总历史永久增长。
|
||||
|
||||
这项修复与数据库 `runs` 保留策略无关,不会删除持久化历史记录。
|
||||
|
||||
## 6. P2:解除单 saver 实例的全局串行
|
||||
|
||||
### 6.1 不能采用的“优化”
|
||||
|
||||
仅提高:
|
||||
|
||||
```text
|
||||
DEER_FLOW_PG_POOL_MAX
|
||||
```
|
||||
|
||||
不会解决问题,因为 saver 在 pool checkout 前先获取实例锁。连接池容量只有在多个可并发 saver 操作真正进入 checkout 时才有意义。
|
||||
|
||||
### 6.2 可评估的实现方向
|
||||
|
||||
按风险从低到高:
|
||||
|
||||
1. 为只读 History 建立独立 saver/reader 实例,与 graph 写入 saver 使用同一个连接池但不同实例锁。
|
||||
2. 将 History 改为专用、只读、受支持的 PostgreSQL repository,明确复用 LangGraph schema 与序列化协议。
|
||||
3. 升级到确认支持 pool 并发且兼容当前 schema/serializer 的 checkpointer 版本。
|
||||
4. 维护受控 patch,使 pool 场景不再用一个实例锁包住所有连接,但必须保留单连接/pipeline 模式所需的互斥。
|
||||
|
||||
不要直接删除第三方 saver 的 lock。该 lock 还保护单连接、pipeline、cursor 和 setup 等行为,粗暴移除可能造成事务/cursor 并发错误。
|
||||
|
||||
### 6.3 并发回归要求
|
||||
|
||||
至少覆盖:
|
||||
|
||||
- 一个慢 history 与一个新 thread `aput` 并发;
|
||||
- history 与 graph `aput_writes` 并发;
|
||||
- 20 个不同 thread 同时读/写;
|
||||
- 同一个 thread 的顺序和 checkpoint parent 关系;
|
||||
- PostgreSQL 重启、断开连接、pool 替换坏连接;
|
||||
- cancellation 不泄漏 cursor/connection/lock;
|
||||
- setup migration 只安全执行一次或可幂等执行;
|
||||
- 回答正文、最终 state 和历史 reopen 一致。
|
||||
|
||||
现有回归入口:
|
||||
|
||||
```text
|
||||
offline-backend-20260512/backend/packages/harness/tests/test_thread_operation_timing.py
|
||||
```
|
||||
|
||||
## 7. 前端结束态优化
|
||||
|
||||
### 7.1 当前行为
|
||||
|
||||
SDK 将结束后的 history refresh 放在 stream 的成功收尾内等待,因此 `/history` 延迟会直接延长 `thread.isLoading`。
|
||||
|
||||
30 秒 control/history timeout 只是防止永久挂死,不是性能优化。
|
||||
|
||||
### 7.2 可选方向
|
||||
|
||||
如果后端已经保证 SSE 最终 state 足够完整,可以评估:
|
||||
|
||||
- SSE `end` 到达后立即结束输入区 loading;
|
||||
- `/history` 改为后台刷新;
|
||||
- 刷新失败不丢弃已经流式到达的答案;
|
||||
- 后台 history 成功后再校准 checkpoint id、title、thread_data 和 messages。
|
||||
|
||||
不要只把 `fetchStateHistory` 改成 `false`。当前 `onFinish(state, runMeta)` 依赖最终 state,直接关闭会改变回调语义,并可能影响标题、消息状态、listener 和断流恢复。
|
||||
|
||||
发布前至少验证:
|
||||
|
||||
- 最后一条 assistant message 不闪退、不重复;
|
||||
- 首轮 thread id 和 URL 更新正确;
|
||||
- interrupt/HITL 与 resume 正确;
|
||||
- 页面刷新能从 checkpoint 恢复;
|
||||
- SSE 丢失终态时仍能通过后台 history 校准;
|
||||
- 用户不会在后端 run 尚未真正结束时误发下一轮。
|
||||
|
||||
因此前端解耦建议放在数据库索引、namespace 和 saver 持锁优化之后。
|
||||
|
||||
## 8. runs 表的针对性优化
|
||||
|
||||
### 8.1 先确认实际索引
|
||||
|
||||
当前 ORM 声明包括:
|
||||
|
||||
```text
|
||||
runs_pkey(run_id)
|
||||
ix_runs_thread_status(thread_id, status)
|
||||
ix_runs_created_user_status(created_at, user_id, status)
|
||||
ix_runs_user_created(user_id, created_at)
|
||||
ix_runs_thread_created(thread_id, created_at)
|
||||
ix_runs_created_assistant_user(created_at, assistant_id, user_id)
|
||||
ix_runs_created_model_user(created_at, model_name, user_id)
|
||||
```
|
||||
|
||||
生产库是否实际存在必须用 `pg_indexes` 验证。
|
||||
|
||||
### 8.2 不要为普通 INSERT/PK UPDATE 盲目加索引
|
||||
|
||||
普通 run 创建是 INSERT,结束是 `WHERE run_id = ?` 的 UPDATE。已有主键时,额外索引不会让这两个操作更快,反而增加每次 INSERT/UPDATE 的索引维护成本。
|
||||
|
||||
只有某个明确查询的 EXPLAIN 证明缺索引时才补建。例如:
|
||||
|
||||
- `WHERE thread_id=? ORDER BY created_at DESC LIMIT 100` 缺少 `(thread_id, created_at)`;
|
||||
- pending 恢复查询成为已确认慢点时,才评估 partial index:
|
||||
|
||||
```sql
|
||||
CREATE INDEX CONCURRENTLY IF NOT EXISTS ix_runs_pending_created
|
||||
ON public.runs (created_at)
|
||||
WHERE status = 'pending';
|
||||
```
|
||||
|
||||
该 partial index不在普通 `/threads` 或 `/history` 路径上,不能作为本次问题的默认修复。
|
||||
|
||||
### 8.3 维护与膨胀
|
||||
|
||||
只有 `pg_stat_user_tables` 显示 runs/checkpoint 表死元组高、autovacuum 长期未运行时,才安排:
|
||||
|
||||
```sql
|
||||
VACUUM (ANALYZE) public.runs;
|
||||
VACUUM (ANALYZE) public.checkpoints;
|
||||
VACUUM (ANALYZE) public.checkpoint_blobs;
|
||||
VACUUM (ANALYZE) public.checkpoint_writes;
|
||||
```
|
||||
|
||||
普通 `VACUUM (ANALYZE)` 与 `VACUUM FULL` 不同,但仍会产生 I/O,应低峰执行并监控。不要在线直接使用 `VACUUM FULL`。
|
||||
|
||||
autovacuum 参数应根据写入速率、表大小、死元组和数据库资源制定,不在没有现场指标时给所有表套固定值。
|
||||
|
||||
## 9. 数据保留和归档
|
||||
|
||||
归档不是本次 6 秒问题的第一优先级。确有长期容量压力时,另行设计:
|
||||
|
||||
- 明确保留期限与可恢复 SLA;
|
||||
- 只归档真正终态且超过保留期的 thread;
|
||||
- `checkpoints`、`checkpoint_blobs`、`checkpoint_writes` 必须按同一批 thread 完整处理;
|
||||
- 停止相关 writer 或使用经过验证的一致性流程;
|
||||
- 先 dry-run,导出候选 thread,备份并演练恢复;
|
||||
- 同库 archive schema 不一定立即回收磁盘;
|
||||
- 旧会话入口与正文恢复策略要一起设计。
|
||||
|
||||
不要只删除 `checkpoints` 主表而留下 blob/write,也不要只按全局时间无视仍活跃 thread。
|
||||
|
||||
## 10. 建议实施顺序
|
||||
|
||||
### 阶段 A:当天可做
|
||||
|
||||
1. 用配套排查文档采集一轮完整证据。
|
||||
2. 确认 6 秒集中在 `checkpoint_create` 或 `/history`。
|
||||
3. 对慢 thread 跑两条 EXPLAIN。
|
||||
4. 如果跨 namespace 查询有 Sort/大量扫描,低峰在线创建 P0 索引。
|
||||
5. `ANALYZE checkpoints`,重跑 EXPLAIN。
|
||||
6. 对比变更前后 `/history` 与 `checkpoint_create`。
|
||||
|
||||
### 阶段 B:下一次应用发布
|
||||
|
||||
1. 确认普通 history 的 namespace 语义并限定 `checkpoint_ns=''`。
|
||||
2. 先完整消费 `alist`,在 saver lock 释放后序列化响应。
|
||||
3. 增加 history fetch/serialize 分段计时。
|
||||
4. 调用 `RunManager.cleanup()`,限制内存 registry 增长。
|
||||
5. 补单元、集成和并发回归。
|
||||
|
||||
### 阶段 C:压测后实施
|
||||
|
||||
1. 评估独立 history saver/reader 或兼容升级。
|
||||
2. 验证多 checkpoint 操作真实并发。
|
||||
3. 再根据新架构调整 pool 大小。
|
||||
4. 基于真实容量与保留期制定归档策略。
|
||||
|
||||
## 11. 验收标准
|
||||
|
||||
不要只看一次“变快了”,至少记录一段稳定流量下的分位数。
|
||||
|
||||
| 指标 | 验收方式 |
|
||||
| --- | --- |
|
||||
| `/threads` 总耗时 | 浏览器/APM p50、p95、p99 |
|
||||
| `checkpoint_create` | `Server-Timing`/日志 p50、p95、p99 |
|
||||
| `/history` 总耗时 | Gateway/APM p50、p95、p99 |
|
||||
| History SQL | `pg_stat_statements` mean/max,EXPLAIN 实际时间 |
|
||||
| saver 排队 | 应用分段计时中 lock/fetch 与 serialize 分离后观察 |
|
||||
| 正确性 | 首轮、多轮、刷新、重连、interrupt、subagent 历史一致 |
|
||||
| 资源 | PG CPU、I/O、WAL、连接数、新索引大小 |
|
||||
| 内存 registry | `_runs` 数量不再随累计历史永久增长 |
|
||||
|
||||
成功信号:
|
||||
|
||||
- History 计划使用目标组合索引,或限定 namespace 后使用现有主键;
|
||||
- `/history` 不再出现秒级长尾;
|
||||
- 同期 history 不再让新 thread 的 `checkpoint_create` 出现同等长尾;
|
||||
- 回答正文结束到 UI 可再次输入之间的间隔显著下降;
|
||||
- 对话刷新、历史恢复和重连行为无回归。
|
||||
|
||||
如果 History SQL 已稳定在毫秒级,但 `checkpoint_create` 仍有秒级长尾,应停止继续堆索引,转向 saver 实例锁和事件循环排队的 P1/P2 优化。
|
||||
|
||||
## 12. 变更与回滚清单
|
||||
|
||||
```text
|
||||
[ ] 保存部署 commit、配置和指标基线
|
||||
[ ] 保存目标 thread 的 EXPLAIN
|
||||
[ ] 核对 schema 和现有等价索引
|
||||
[ ] CREATE INDEX CONCURRENTLY(不在事务中)
|
||||
[ ] 检查 indisvalid/indisready
|
||||
[ ] ANALYZE checkpoints
|
||||
[ ] 重跑 EXPLAIN
|
||||
[ ] 观察 API、PG、WAL、磁盘指标
|
||||
[ ] 准备 DROP INDEX CONCURRENTLY 回滚语句
|
||||
[ ] 代码变更补 history/subgraph/reconnect 回归
|
||||
[ ] 先发布代码并观察,再决定是否删除临时索引
|
||||
```
|
||||
@@ -0,0 +1,916 @@
|
||||
# Thread 创建慢与回答结束后 History 等待:完整排查手册
|
||||
|
||||
日期:2026-10-22
|
||||
适用范围:DeerFlow Gateway、LangGraph `useStream`、PostgreSQL 业务库与 PostgreSQL checkpointer。
|
||||
|
||||
## 1. 先说结论
|
||||
|
||||
当前代码证据表明:
|
||||
|
||||
1. `POST /api/threads` **不查询 `runs` 表**。它查询/写入 `threads_meta`,然后同步写入一个空 checkpoint。
|
||||
2. 创建 run 时,持久化层主要执行 `INSERT INTO runs (...)`;run 结束时主要执行 `UPDATE runs ... WHERE run_id = ?`。`run_id` 是主键,`runs` 有 5 万行本身通常不足以造成 6 秒延迟。
|
||||
3. 回答流结束后出现 `POST /api/threads/{thread_id}/history` 是前端 SDK 的正常行为。当前前端配置 `fetchStateHistory: { limit: 1 }`,SDK 会等待这个请求完成后才结束 `isLoading`,因此会出现“回答文字已经显示完,但页面仍在等待中”。
|
||||
4. `/history` 实际查询 `checkpoints`、`checkpoint_blobs`、`checkpoint_writes`,不是查询 `runs`。
|
||||
5. 当前 `/history` 只传 `thread_id`,核心查询是:
|
||||
|
||||
```sql
|
||||
WHERE thread_id = $1
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1
|
||||
```
|
||||
|
||||
`checkpoints` 主键为 `(thread_id, checkpoint_ns, checkpoint_id)`。当不限定 `checkpoint_ns` 时,主键不能直接提供跨 namespace 的 `checkpoint_id` 顺序,可能需要扫描该 thread 的候选行并做 top-N Sort。
|
||||
6. 当前进程只创建一个全局 `AsyncPostgresSaver`。该 saver 在取得连接池连接之前先获取实例级 `asyncio.Lock`,所以 checkpoint 的 `aget/alist/aput/aput_writes` 在一个 Gateway 进程内实际是串行的。慢 `/history` 会延长持锁时间,并阻塞新 thread 的空 checkpoint 写入。
|
||||
|
||||
最符合当前现象的候选链路是:
|
||||
|
||||
```text
|
||||
回答正文已经通过 SSE 到达浏览器
|
||||
-> 后端完成 run 收尾并发送 SSE end
|
||||
-> 前端 SDK 同步请求 /history
|
||||
-> /history 查询或反序列化 checkpoint,期间占用 saver 实例锁
|
||||
-> SDK 的 isLoading 仍为 true,页面继续显示等待
|
||||
-> 同期创建新 thread 时,checkpoint_create 等待同一把 saver 锁
|
||||
-> POST /threads 偶发耗时数秒
|
||||
```
|
||||
|
||||
这只是代码层面的高概率根因。最终必须使用同一次线上复现的 `Server-Timing`、Gateway 日志和 PostgreSQL 活动快照闭环确认。
|
||||
|
||||
## 2. 两类 PostgreSQL 数据不要混淆
|
||||
|
||||
系统存在两类持久化访问。即使它们使用同一个 PostgreSQL DSN,也有不同的连接池和代码路径。
|
||||
|
||||
| 类型 | 主要表 | 主要用途 |
|
||||
| --- | --- | --- |
|
||||
| 应用 ORM 数据 | `threads_meta`、`runs` | 会话元数据、run 状态、统计字段 |
|
||||
| LangGraph checkpointer | `checkpoints`、`checkpoint_blobs`、`checkpoint_writes`、`checkpoint_migrations` | 对话状态、消息、通道值、pending writes |
|
||||
|
||||
排查前先记录:
|
||||
|
||||
```text
|
||||
部署 commit:
|
||||
前端构建版本:
|
||||
Gateway worker 数:
|
||||
database.backend:
|
||||
database PostgreSQL 主机/库名(脱敏):
|
||||
checkpointer 实际后端:
|
||||
checkpointer PostgreSQL 主机/库名(脱敏):
|
||||
langgraph-checkpoint-postgres 版本:
|
||||
```
|
||||
|
||||
注意:
|
||||
|
||||
- 仅确认 `database.backend=postgres` 不等于已经确认 `/history` 使用 PostgreSQL checkpointer。
|
||||
- 当前运行时可能由统一 `database.postgres_url` 提供业务 ORM 与 checkpointer,也可能使用兼容配置中的独立 `checkpointer` 段。
|
||||
- 若 legacy 配置为 `checkpointer.type=postgres` 但 `use_postgres=false`,checkpointer 会回退 SQLite。
|
||||
- 当前 live run 与 SSE bridge 是进程内状态,正常部署要求 `GATEWAY_WORKERS=1`。不要用盲目增加 worker 的方式绕过该问题。
|
||||
|
||||
## 3. 浏览器看到的完整请求时间线
|
||||
|
||||
```mermaid
|
||||
sequenceDiagram
|
||||
participant UI as 浏览器 / useStream
|
||||
participant API as Gateway
|
||||
participant APPDB as 业务 PostgreSQL
|
||||
participant CP as Checkpointer PostgreSQL
|
||||
|
||||
UI->>API: POST /api/threads
|
||||
API->>APPDB: SELECT/INSERT threads_meta
|
||||
API->>CP: UPSERT 初始 checkpoint
|
||||
API-->>UI: thread_id
|
||||
UI->>API: POST /api/threads/{id}/runs/stream
|
||||
API->>APPDB: INSERT runs
|
||||
API-->>UI: SSE 正文/工具事件
|
||||
API->>CP: 持续写 checkpoint/blob/write
|
||||
API->>APPDB: UPDATE runs 终态
|
||||
API-->>UI: SSE end
|
||||
UI->>API: POST /api/threads/{id}/history limit=1
|
||||
API->>CP: 最新 checkpoint + blob/write
|
||||
API-->>UI: history
|
||||
Note over UI: history 完成后 isLoading 才结束
|
||||
```
|
||||
|
||||
### 3.1 创建新会话
|
||||
|
||||
前端 SDK 在没有 `threadId` 时,会先 `await client.threads.create(...)`,成功后才发起 `runs.stream(...)`。因此 `POST /api/threads` 慢 6 秒,会直接表现为点击发送后 6 秒才开始回答流。
|
||||
|
||||
后端调用位置:
|
||||
|
||||
- `app/gateway/routers/threads.py:853-927`
|
||||
- 前端使用点:`frontend-web/src/core/threads/hooks.ts:702-711`
|
||||
- SDK 等待 thread create:安装包 `dist/react/stream.lgp.js:318-327`
|
||||
|
||||
### 3.2 回答结束后的 History
|
||||
|
||||
当前前端配置:
|
||||
|
||||
```ts
|
||||
fetchStateHistory: { limit: 1 }
|
||||
```
|
||||
|
||||
SDK 在 SSE 成功结束后执行:
|
||||
|
||||
```ts
|
||||
const lastHead = (await history.mutate(threadId))?.at(0);
|
||||
```
|
||||
|
||||
之后才调用 `onFinish` 并结束当前 stream loading 状态。当前项目的 `onFinish(state, runMeta)` 还显式接收最终 state,所以 SDK 也需要拿到 history state。
|
||||
|
||||
相关位置:
|
||||
|
||||
- `frontend-web/src/core/threads/hooks.ts:711`
|
||||
- `frontend-web/src/core/threads/hooks.ts:976-1038`
|
||||
- SDK `dist/react/stream.lgp.js:379-388`
|
||||
- 页面最终暴露的 loading:`frontend-web/src/core/threads/hooks.ts:1920`
|
||||
- 普通控制/history 请求超时保护:`frontend-web/src/core/api/api-client.ts:96-101`,当前为 30 秒
|
||||
|
||||
结论:最后看到 `/history` 并不表示模型还在生成;它可能只是 SDK 在做结束后的最终状态刷新。
|
||||
|
||||
## 4. 每个阶段实际执行什么 SQL
|
||||
|
||||
以下为当前代码和 `langgraph-checkpoint-postgres==3.1.2` 对应的等价 SQL。SQLAlchemy/psycopg 最终的占位符和列顺序可能略有差异,但访问表、过滤条件和索引需求一致。
|
||||
|
||||
### 4.1 `POST /api/threads`
|
||||
|
||||
调用链:
|
||||
|
||||
```text
|
||||
threads.create_thread
|
||||
-> ThreadMetaRepository.get
|
||||
-> ThreadMetaRepository.create(仅新 thread)
|
||||
-> AsyncPostgresSaver.aput(empty_checkpoint)
|
||||
```
|
||||
|
||||
第一步,幂等查询:
|
||||
|
||||
```sql
|
||||
SELECT ...
|
||||
FROM threads_meta
|
||||
WHERE thread_id = $1;
|
||||
```
|
||||
|
||||
`threads_meta.thread_id` 应为主键。
|
||||
|
||||
新 thread 写元数据:
|
||||
|
||||
```sql
|
||||
INSERT INTO threads_meta (...)
|
||||
VALUES (...);
|
||||
```
|
||||
|
||||
同步写入初始 checkpoint:
|
||||
|
||||
```sql
|
||||
INSERT INTO checkpoints (
|
||||
thread_id,
|
||||
checkpoint_ns,
|
||||
checkpoint_id,
|
||||
parent_checkpoint_id,
|
||||
checkpoint,
|
||||
metadata
|
||||
)
|
||||
VALUES ($1, '', $2, NULL, $3, $4)
|
||||
ON CONFLICT (thread_id, checkpoint_ns, checkpoint_id)
|
||||
DO UPDATE SET
|
||||
checkpoint = EXCLUDED.checkpoint,
|
||||
metadata = EXCLUDED.metadata;
|
||||
```
|
||||
|
||||
初始 checkpoint 的 `new_versions={}`,通常不会同时写 `checkpoint_blobs`。
|
||||
|
||||
该接口分阶段计时:
|
||||
|
||||
| `Server-Timing` 字段 | 实际内容 |
|
||||
| --- | --- |
|
||||
| `metadata_lookup` | `threads_meta` 按 `thread_id` 查询 |
|
||||
| `metadata_create` | 新建 `threads_meta` 并提交事务 |
|
||||
| `checkpoint_create` | 等待 saver 锁、取得连接、写 checkpoint、提交/同步 pipeline |
|
||||
| `handler_total` | 进入 route handler 后的总时间 |
|
||||
|
||||
关键点:该接口的整条路径不读取或写入 `runs`。
|
||||
|
||||
### 4.2 `POST /api/threads/{thread_id}/runs/stream`
|
||||
|
||||
调用链:
|
||||
|
||||
```text
|
||||
thread_runs.stream_run
|
||||
-> services.start_run
|
||||
-> RunManager.create_or_reject
|
||||
-> RunRepository.put
|
||||
-> 创建后台 run_agent task
|
||||
```
|
||||
|
||||
`RunManager.create_or_reject` 先在 Python 进程内的全局 manager lock 下扫描 `_runs.values()`,检查同 thread、同模型以及同用户模型并发。该步骤不是 SQL。
|
||||
|
||||
然后持久化 run:
|
||||
|
||||
```sql
|
||||
INSERT INTO runs (
|
||||
run_id,
|
||||
thread_id,
|
||||
assistant_id,
|
||||
user_id,
|
||||
status,
|
||||
model_name,
|
||||
multitask_strategy,
|
||||
metadata_json,
|
||||
kwargs_json,
|
||||
error,
|
||||
follow_up_to_run_id,
|
||||
created_at,
|
||||
updated_at,
|
||||
...
|
||||
)
|
||||
VALUES (...);
|
||||
```
|
||||
|
||||
随后会查询或更新 `threads_meta`,再启动后台 agent。Gateway 在慢路径输出:
|
||||
|
||||
```text
|
||||
[start-run-timing] thread=... total=...s enforce_access=...s run_create=...s thread_upsert=...s build_payload=...s
|
||||
```
|
||||
|
||||
其中 `run_create` 包含:
|
||||
|
||||
- 进程内 `_runs` 扫描;
|
||||
- `INSERT INTO runs`;
|
||||
- 数据库 COMMIT。
|
||||
|
||||
### 4.3 graph 执行期间
|
||||
|
||||
LangGraph 会反复调用:
|
||||
|
||||
```sql
|
||||
INSERT INTO checkpoint_blobs (...)
|
||||
VALUES (...)
|
||||
ON CONFLICT (thread_id, checkpoint_ns, channel, version)
|
||||
DO NOTHING;
|
||||
```
|
||||
|
||||
```sql
|
||||
INSERT INTO checkpoints (...)
|
||||
VALUES (...)
|
||||
ON CONFLICT (thread_id, checkpoint_ns, checkpoint_id)
|
||||
DO UPDATE SET checkpoint = EXCLUDED.checkpoint,
|
||||
metadata = EXCLUDED.metadata;
|
||||
```
|
||||
|
||||
```sql
|
||||
INSERT INTO checkpoint_writes (...)
|
||||
VALUES (...)
|
||||
ON CONFLICT (thread_id, checkpoint_ns, checkpoint_id, task_id, idx)
|
||||
DO UPDATE SET channel = EXCLUDED.channel,
|
||||
type = EXCLUDED.type,
|
||||
blob = EXCLUDED.blob;
|
||||
```
|
||||
|
||||
因此 checkpoint 数据量一般会明显大于 runs 数量:一个 run 可以产生多个 checkpoint、blob 和 write。
|
||||
|
||||
### 4.4 回答正文结束到 SSE `end`
|
||||
|
||||
graph 流结束后,后端仍会执行终态检查与收尾:
|
||||
|
||||
1. 第一次读取主 namespace 最新 checkpoint,用于确认 graph 已留下 terminal state:
|
||||
|
||||
```sql
|
||||
SELECT ...
|
||||
FROM checkpoints
|
||||
WHERE thread_id = $1
|
||||
AND checkpoint_ns = ''
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1;
|
||||
```
|
||||
|
||||
2. 更新 run 状态:
|
||||
|
||||
```sql
|
||||
UPDATE runs
|
||||
SET status = $2,
|
||||
updated_at = $3,
|
||||
error = COALESCE($4, error)
|
||||
WHERE run_id = $1;
|
||||
```
|
||||
|
||||
3. 更新 run completion/token/message 统计,仍然是:
|
||||
|
||||
```sql
|
||||
UPDATE runs
|
||||
SET ...
|
||||
WHERE run_id = $1;
|
||||
```
|
||||
|
||||
4. 收尾阶段再次读取主 namespace 最新 checkpoint,用于同步标题和最终元数据。
|
||||
5. 更新 `threads_meta` 状态/标题等信息。
|
||||
6. 最后发布 SSE `end`。
|
||||
|
||||
两次 checkpoint 读取都会争用同一个 saver 实例锁。因此实际等待链可能是“正文已经生成 → terminal checkpoint 读取等锁 → completion 更新 → finalize checkpoint 读取再次等锁 → SSE end → 前端 `/history` 再次读 checkpoint”。
|
||||
|
||||
`runs` 的上述 UPDATE 按 `run_id` 主键定位。若该阶段慢,应该检查锁等待、连接池、事务提交和死元组,而不是仅凭总行数判断。
|
||||
|
||||
后端为终态收尾设置了 10 秒预算,相关日志包括:
|
||||
|
||||
```text
|
||||
RUN_COMPLETION_TIMEOUT run_id=... phase=terminal_checkpoint
|
||||
RUN_COMPLETION_TIMEOUT run_id=... phase=terminal_status
|
||||
RUN_COMPLETION_TIMEOUT run_id=... phase=metadata_cleanup
|
||||
```
|
||||
|
||||
### 4.5 `POST /api/threads/{thread_id}/history`
|
||||
|
||||
路由当前构造的 config 只有 `thread_id`:
|
||||
|
||||
```python
|
||||
config = {"configurable": {"thread_id": thread_id}}
|
||||
```
|
||||
|
||||
前端当前传 `limit=1`。saver 生成的核心 SQL 形态为:
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
thread_id,
|
||||
checkpoint,
|
||||
checkpoint_ns,
|
||||
checkpoint_id,
|
||||
parent_checkpoint_id,
|
||||
metadata,
|
||||
(
|
||||
SELECT array_agg(...)
|
||||
FROM jsonb_each_text(checkpoint -> 'channel_versions')
|
||||
JOIN checkpoint_blobs bl
|
||||
ON bl.thread_id = checkpoints.thread_id
|
||||
AND bl.checkpoint_ns = checkpoints.checkpoint_ns
|
||||
AND bl.channel = jsonb_each_text.key
|
||||
AND bl.version = jsonb_each_text.value
|
||||
) AS channel_values,
|
||||
(
|
||||
SELECT array_agg(...)
|
||||
FROM checkpoint_writes cw
|
||||
WHERE cw.thread_id = checkpoints.thread_id
|
||||
AND cw.checkpoint_ns = checkpoints.checkpoint_ns
|
||||
AND cw.checkpoint_id = checkpoints.checkpoint_id
|
||||
) AS pending_writes
|
||||
FROM checkpoints
|
||||
WHERE thread_id = $1
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1;
|
||||
```
|
||||
|
||||
其中 blob/write 的相关子查询可以使用各自组合主键;最值得核对的是最外层 `checkpoints` 的跨 namespace 排序。
|
||||
|
||||
## 5. 为什么连接池最大 10 仍可能串行
|
||||
|
||||
当前 provider 创建:
|
||||
|
||||
```text
|
||||
AsyncConnectionPool(min_size=1, max_size=10)
|
||||
-> 一个 AsyncPostgresSaver(pool)
|
||||
-> 挂到 app.state,供所有 thread/run/history 共用
|
||||
```
|
||||
|
||||
`langgraph-checkpoint-postgres==3.1.2` 的 `_cursor()` 关键实现是:
|
||||
|
||||
```python
|
||||
async with self.lock, get_connection(self.conn) as conn:
|
||||
```
|
||||
|
||||
这意味着:
|
||||
|
||||
- saver 先拿实例锁,再去连接池 checkout;
|
||||
- 同一个 saver 的所有 checkpoint 读写一次只能有一个进入 `_cursor()`;
|
||||
- 把 `DEER_FLOW_PG_POOL_MAX` 从 10 调到更大,不能解除这个实例锁;
|
||||
- 等待 saver 锁的 coroutine 尚未进入 PostgreSQL,因此 `pg_stat_activity` 可能只看到一个活动连接,看不到应用中其余等待者;
|
||||
- `alist()` 在 cursor context 内 `fetchall()` 后逐项 `yield`,调用方处理 yielded tuple 时 generator 尚未退出,实例锁仍可能保持占用。
|
||||
|
||||
仓库已有 characterization test:
|
||||
|
||||
```text
|
||||
packages/harness/tests/test_thread_operation_timing.py:204-247
|
||||
```
|
||||
|
||||
它验证了 pool 场景下第二个 saver cursor 会等待第一个 cursor 释放。
|
||||
|
||||
## 6. `runs` 5 万行到底会不会慢
|
||||
|
||||
### 6.1 数据库中的 5 万条 runs
|
||||
|
||||
正常创建/完成路径主要是:
|
||||
|
||||
```sql
|
||||
INSERT INTO runs (...);
|
||||
UPDATE runs SET ... WHERE run_id = $1;
|
||||
```
|
||||
|
||||
`run_id` 是主键,5 万行对 PostgreSQL 很小。只要:
|
||||
|
||||
- `runs_pkey` 存在且有效;
|
||||
- 没有严重锁等待;
|
||||
- 死元组和表/索引膨胀不严重;
|
||||
- 数据库连接与存储 I/O 正常;
|
||||
|
||||
就不应仅因为 5 万行产生 6 秒延迟。
|
||||
|
||||
### 6.2 进程内 `_runs` 与数据库 `runs` 不是一回事
|
||||
|
||||
代码中存在一个独立问题:
|
||||
|
||||
- `RunManager.cleanup()` 能从 `_runs` 字典删除已结束记录;
|
||||
- 当前 worker finally 只调用 `StreamBridge.cleanup()`;
|
||||
- 全仓当前没有调用 `run_manager.cleanup(...)`;
|
||||
- 因此同一个 Gateway 进程生命周期内完成的 run 会一直留在 `_runs`;
|
||||
- 每次 `create_or_reject()` 会在 manager lock 内对 `_runs.values()` 做 1~3 次 O(N) 扫描。
|
||||
|
||||
数据库的 5 万条 runs 不会在启动时自动全部加载到 `_runs`。只有当当前进程自身长期运行并累计大量 run 时,这个问题才会放大。它是应该修复的增长性缺陷,但通常不是单独造成 6 秒的首要解释。
|
||||
|
||||
## 7. 一次完整的线上复现怎么采集
|
||||
|
||||
### 7.1 浏览器 Network
|
||||
|
||||
打开 DevTools → Network:
|
||||
|
||||
1. 勾选 `Preserve log`。
|
||||
2. 过滤 `threads`。
|
||||
3. 从创建新对话开始完整复现一次。
|
||||
4. 记录以下请求:
|
||||
|
||||
| 阶段 | 请求 |
|
||||
| --- | --- |
|
||||
| 创建会话 | `POST /api/threads` |
|
||||
| 问答流 | `POST /api/threads/{thread_id}/runs/stream` |
|
||||
| 结束刷新 | `POST /api/threads/{thread_id}/history` |
|
||||
|
||||
记录:
|
||||
|
||||
```text
|
||||
thread_id:
|
||||
run_id:
|
||||
请求开始时间:
|
||||
HTTP 状态:
|
||||
Waiting/TTFB:
|
||||
Content Download:
|
||||
响应大小:
|
||||
请求结束时间:
|
||||
```
|
||||
|
||||
另外记录:
|
||||
|
||||
- `runs/stream` 最后一个可见正文 chunk 的时间;
|
||||
- SSE 真正结束时间;
|
||||
- `/history` 开始和完成时间;
|
||||
- 页面退出“等待中”的时间;
|
||||
- `POST /api/threads` 响应头中的 `Server-Timing`。
|
||||
|
||||
导出 HAR 前删除 Authorization、Cookie、token 和业务正文。
|
||||
|
||||
### 7.2 `POST /threads` 的 `Server-Timing`
|
||||
|
||||
示例:
|
||||
|
||||
```http
|
||||
Server-Timing: metadata_lookup;dur=18.20, metadata_create;dur=25.10, checkpoint_create;dur=5880.30, handler_total;dur=5930.10
|
||||
```
|
||||
|
||||
判断:
|
||||
|
||||
| 结果 | 优先结论 |
|
||||
| --- | --- |
|
||||
| `checkpoint_create` 约等于总耗时 | saver 锁等待、checkpointer 连接获取或 checkpoint PG 写入 |
|
||||
| `metadata_lookup` 慢 | 业务 PG 的 `threads_meta` 主键查询、连接池或锁 |
|
||||
| `metadata_create` 慢 | 业务 PG 插入/提交、索引维护或锁 |
|
||||
| 所有 phase 很快但 `handler_total` 慢 | phase 外逻辑或事件循环调度竞争 |
|
||||
| `handler_total` 很快但浏览器 TTFB 慢 | 鉴权、中间件、反向代理、进入 handler 前排队 |
|
||||
| 没有 `Server-Timing` | 线上版本不包含该诊断,或请求没有进入预期 route |
|
||||
|
||||
`checkpoint_create` 包含 saver lock 和 pool 等待,不只是 SQL 执行时间。
|
||||
|
||||
### 7.3 Gateway 日志
|
||||
|
||||
本地脚本部署:
|
||||
|
||||
```powershell
|
||||
rg -n "GATEWAY_OPERATION_TIMING|start-run-timing|RUN_COMPLETION_TIMEOUT|completion metadata exceeded|Failed to finalize run|Checkpointer|pool timeout|OperationalError" .runtime/logs
|
||||
```
|
||||
|
||||
容器部署:
|
||||
|
||||
```bash
|
||||
docker logs --since 15m <gateway-container> 2>&1 \
|
||||
| rg "GATEWAY_OPERATION_TIMING|start-run-timing|RUN_COMPLETION_TIMEOUT|completion metadata exceeded|Failed to finalize run|Checkpointer|pool timeout|OperationalError"
|
||||
```
|
||||
|
||||
将同一个 `thread_id`、`run_id` 整理成时间线:
|
||||
|
||||
```text
|
||||
T0 POST /threads 开始
|
||||
T1 thread_create 分阶段日志
|
||||
T2 run 开始
|
||||
T3 最后正文事件
|
||||
T4 run 标记 success/error
|
||||
T5 SSE end
|
||||
T6 /history 开始
|
||||
T7 /history 完成
|
||||
T8 UI 退出等待
|
||||
```
|
||||
|
||||
## 8. PostgreSQL 只读排查 SQL
|
||||
|
||||
以下查询默认当前连接就是目标数据库。若应用使用非 `public` schema,先确认实际 schema,再修改后续 SQL。`<THREAD_ID>` 和 `<RUN_ID>` 必须替换成真实值。
|
||||
|
||||
### 8.1 确认 schema、版本和现有索引
|
||||
|
||||
```sql
|
||||
SELECT current_database(), current_schema(), current_schemas(true);
|
||||
|
||||
SELECT max(v) AS checkpoint_schema_version
|
||||
FROM checkpoint_migrations;
|
||||
|
||||
SELECT
|
||||
schemaname,
|
||||
tablename,
|
||||
indexname,
|
||||
indexdef
|
||||
FROM pg_indexes
|
||||
WHERE tablename IN (
|
||||
'runs',
|
||||
'threads_meta',
|
||||
'checkpoints',
|
||||
'checkpoint_blobs',
|
||||
'checkpoint_writes'
|
||||
)
|
||||
ORDER BY tablename, indexname;
|
||||
```
|
||||
|
||||
`langgraph-checkpoint-postgres 3.1.2` 正常 setup 应包含三张 checkpoint 表的组合主键以及:
|
||||
|
||||
```text
|
||||
checkpoints_thread_id_idx
|
||||
checkpoint_blobs_thread_id_idx
|
||||
checkpoint_writes_thread_id_idx
|
||||
```
|
||||
|
||||
不要因为模型代码声明了索引就假设生产库一定存在,最终以 `pg_indexes`/`pg_index` 为准。
|
||||
|
||||
确认索引是否 valid/ready:
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
n.nspname AS schema_name,
|
||||
t.relname AS table_name,
|
||||
i.relname AS index_name,
|
||||
x.indisvalid,
|
||||
x.indisready,
|
||||
pg_get_indexdef(i.oid) AS indexdef
|
||||
FROM pg_class t
|
||||
JOIN pg_namespace n ON n.oid = t.relnamespace
|
||||
JOIN pg_index x ON x.indrelid = t.oid
|
||||
JOIN pg_class i ON i.oid = x.indexrelid
|
||||
WHERE t.relname IN (
|
||||
'runs',
|
||||
'threads_meta',
|
||||
'checkpoints',
|
||||
'checkpoint_blobs',
|
||||
'checkpoint_writes'
|
||||
)
|
||||
ORDER BY t.relname, i.relname;
|
||||
```
|
||||
|
||||
### 8.2 表规模、死元组和维护情况
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
schemaname,
|
||||
relname,
|
||||
n_live_tup,
|
||||
n_dead_tup,
|
||||
round(
|
||||
100.0 * n_dead_tup /
|
||||
greatest(n_live_tup + n_dead_tup, 1),
|
||||
2
|
||||
) AS dead_pct,
|
||||
last_vacuum,
|
||||
last_autovacuum,
|
||||
last_analyze,
|
||||
last_autoanalyze
|
||||
FROM pg_stat_user_tables
|
||||
WHERE relname IN (
|
||||
'runs',
|
||||
'threads_meta',
|
||||
'checkpoints',
|
||||
'checkpoint_blobs',
|
||||
'checkpoint_writes'
|
||||
)
|
||||
ORDER BY relname;
|
||||
```
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
schemaname,
|
||||
relname,
|
||||
pg_size_pretty(
|
||||
pg_total_relation_size(
|
||||
format('%I.%I', schemaname, relname)::regclass
|
||||
)
|
||||
) AS total_size
|
||||
FROM pg_stat_user_tables
|
||||
WHERE relname IN (
|
||||
'runs',
|
||||
'threads_meta',
|
||||
'checkpoints',
|
||||
'checkpoint_blobs',
|
||||
'checkpoint_writes'
|
||||
)
|
||||
ORDER BY pg_total_relation_size(
|
||||
format('%I.%I', schemaname, relname)::regclass
|
||||
) DESC;
|
||||
```
|
||||
|
||||
统计值是估算值,足以用于判断规模和维护异常;不必先执行昂贵的全表 `count(*)`。
|
||||
|
||||
### 8.3 故障 thread 的 checkpoint 分布
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
checkpoint_ns,
|
||||
count(*) AS checkpoint_rows,
|
||||
min(checkpoint_id) AS oldest_checkpoint_id,
|
||||
max(checkpoint_id) AS newest_checkpoint_id
|
||||
FROM checkpoints
|
||||
WHERE thread_id = '<THREAD_ID>'
|
||||
GROUP BY checkpoint_ns
|
||||
ORDER BY checkpoint_rows DESC;
|
||||
```
|
||||
|
||||
如果单个 thread 有大量 checkpoint 或多个 namespace,当前 `/history` 的跨 namespace 排序更值得关注。
|
||||
|
||||
### 8.4 对比 History 与主 namespace 的执行计划
|
||||
|
||||
只对一个已知慢 thread 在低峰执行:
|
||||
|
||||
```sql
|
||||
EXPLAIN (ANALYZE, BUFFERS, SETTINGS)
|
||||
SELECT checkpoint_id, checkpoint_ns
|
||||
FROM checkpoints
|
||||
WHERE thread_id = '<THREAD_ID>'
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1;
|
||||
```
|
||||
|
||||
对比限定主 namespace:
|
||||
|
||||
```sql
|
||||
EXPLAIN (ANALYZE, BUFFERS, SETTINGS)
|
||||
SELECT checkpoint_id, checkpoint_ns
|
||||
FROM checkpoints
|
||||
WHERE thread_id = '<THREAD_ID>'
|
||||
AND checkpoint_ns = ''
|
||||
ORDER BY checkpoint_id DESC
|
||||
LIMIT 1;
|
||||
```
|
||||
|
||||
重点看:
|
||||
|
||||
- 第一条是否出现 `Sort` / `top-N heapsort`;
|
||||
- `Rows Removed by Filter`;
|
||||
- 实际扫描行数;
|
||||
- shared buffer read/hit;
|
||||
- 第二条是否使用 `checkpoints_pkey` 的 backward index scan;
|
||||
- 两条的实际耗时差异。
|
||||
|
||||
`EXPLAIN ANALYZE` 会真实执行 SELECT。这里的 SELECT 是只读的,但仍应对一个明确 thread 在低峰执行,不要直接对完整大型历史查询做无界分析。
|
||||
|
||||
### 8.5 验证 runs 的关键查询
|
||||
|
||||
按 run id:
|
||||
|
||||
```sql
|
||||
EXPLAIN (ANALYZE, BUFFERS)
|
||||
SELECT run_id, status
|
||||
FROM runs
|
||||
WHERE run_id = '<RUN_ID>';
|
||||
```
|
||||
|
||||
预期使用 `runs_pkey`。
|
||||
|
||||
按 thread 列表:
|
||||
|
||||
```sql
|
||||
EXPLAIN (ANALYZE, BUFFERS)
|
||||
SELECT run_id, status, created_at
|
||||
FROM runs
|
||||
WHERE thread_id = '<THREAD_ID>'
|
||||
ORDER BY created_at DESC
|
||||
LIMIT 100;
|
||||
```
|
||||
|
||||
预期使用 `(thread_id, created_at)` 组合索引,例如 ORM 当前声明的 `ix_runs_thread_created`。如果生产库没有该索引,先核对部署 migration/自动补列逻辑,再决定是否补建;不要建立重复索引。
|
||||
|
||||
### 8.6 卡顿正在发生时查看 PostgreSQL 活动
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
pid,
|
||||
application_name,
|
||||
usename,
|
||||
state,
|
||||
wait_event_type,
|
||||
wait_event,
|
||||
xact_start,
|
||||
query_start,
|
||||
now() - query_start AS query_age,
|
||||
pg_blocking_pids(pid) AS blocking_pids,
|
||||
left(query, 500) AS query
|
||||
FROM pg_stat_activity
|
||||
WHERE datname = current_database()
|
||||
AND pid <> pg_backend_pid()
|
||||
AND (state <> 'idle' OR wait_event IS NOT NULL)
|
||||
ORDER BY query_start;
|
||||
```
|
||||
|
||||
阻塞关系:
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
blocked.pid AS blocked_pid,
|
||||
now() - blocked.query_start AS blocked_for,
|
||||
blocked.wait_event_type,
|
||||
blocked.wait_event,
|
||||
left(blocked.query, 300) AS blocked_query,
|
||||
blocker.pid AS blocker_pid,
|
||||
blocker.state AS blocker_state,
|
||||
now() - blocker.xact_start AS blocker_xact_age,
|
||||
left(blocker.query, 300) AS blocker_query
|
||||
FROM pg_stat_activity AS blocked
|
||||
JOIN LATERAL unnest(pg_blocking_pids(blocked.pid)) AS b(pid) ON true
|
||||
JOIN pg_stat_activity AS blocker ON blocker.pid = b.pid
|
||||
ORDER BY blocked.query_start;
|
||||
```
|
||||
|
||||
注意:如果请求在 Python saver lock 上等待,它还没有 checkout PostgreSQL 连接,因此 PostgreSQL 里可能看不到对应 blocked session。
|
||||
|
||||
### 8.7 如果启用了 `pg_stat_statements`
|
||||
|
||||
先确认扩展:
|
||||
|
||||
```sql
|
||||
SELECT extname, extversion
|
||||
FROM pg_extension
|
||||
WHERE extname = 'pg_stat_statements';
|
||||
```
|
||||
|
||||
checkpoint 查询:
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
calls,
|
||||
round(mean_exec_time::numeric, 2) AS mean_ms,
|
||||
round(max_exec_time::numeric, 2) AS max_ms,
|
||||
rows,
|
||||
shared_blks_hit,
|
||||
shared_blks_read,
|
||||
temp_blks_written,
|
||||
left(query, 700) AS query
|
||||
FROM pg_stat_statements
|
||||
WHERE dbid = (
|
||||
SELECT oid
|
||||
FROM pg_database
|
||||
WHERE datname = current_database()
|
||||
)
|
||||
AND query ILIKE '%checkpoints%'
|
||||
ORDER BY max_exec_time DESC
|
||||
LIMIT 30;
|
||||
```
|
||||
|
||||
runs 查询:
|
||||
|
||||
```sql
|
||||
SELECT
|
||||
calls,
|
||||
round(mean_exec_time::numeric, 2) AS mean_ms,
|
||||
round(max_exec_time::numeric, 2) AS max_ms,
|
||||
rows,
|
||||
shared_blks_hit,
|
||||
shared_blks_read,
|
||||
temp_blks_written,
|
||||
left(query, 700) AS query
|
||||
FROM pg_stat_statements
|
||||
WHERE dbid = (
|
||||
SELECT oid
|
||||
FROM pg_database
|
||||
WHERE datname = current_database()
|
||||
)
|
||||
AND query ILIKE '%runs%'
|
||||
ORDER BY max_exec_time DESC
|
||||
LIMIT 30;
|
||||
```
|
||||
|
||||
## 9. 证据如何判定
|
||||
|
||||
| 现场证据 | 结论/下一步 |
|
||||
| --- | --- |
|
||||
| `/threads` 的 `checkpoint_create` 接近 6 秒 | 优先排查 saver 锁排队或 checkpoint PG 写入 |
|
||||
| `checkpoint_create` 很慢,但 `pg_stat_activity` 没有相应慢 SQL/锁 | 强烈支持请求仍在进程内 saver lock 上排队 |
|
||||
| History EXPLAIN 出现大量候选扫描 + Sort | 为 `(thread_id, checkpoint_id DESC)` 建候选索引,或让接口限定 `checkpoint_ns=''` |
|
||||
| History SQL 自身毫秒级,但接口仍数秒 | 重点查 saver lock wait、反序列化、消息序列化和事件循环阻塞 |
|
||||
| 最后正文已到但 SSE 未结束,日志出现 `terminal_checkpoint` | run 收尾在 checkpoint 读取处等待 |
|
||||
| 日志出现 `terminal_status` | `runs` 终态 UPDATE/COMMIT、业务 PG 连接或锁等待 |
|
||||
| 日志出现 `metadata_cleanup` | journal、completion、标题或 thread 元数据收尾超时 |
|
||||
| SSE 已结束,只有 `/history` pending | SDK 结束后 history 刷新卡住,不是模型还在生成 |
|
||||
| `/history` 已 200,页面仍 loading | 再查前端构建版本、状态恢复和渲染逻辑 |
|
||||
| `runs_pkey` 命中,dead tuples 低,无 DB wait | 5 万 runs 不是该故障的主要原因 |
|
||||
| `runs` dead tuples 高、autovacuum 长期不工作 | 可能拖慢 UPDATE/COMMIT,但仍不能解释 `/history` 路径 |
|
||||
| PG 出现 `wait_event_type='Lock'` 和 blocking pid | 已确认数据库锁等待,先处理 blocker |
|
||||
| PG 出现明显 I/O wait 或大量 shared reads | 检查存储、缓存命中、膨胀及查询计划 |
|
||||
| checkpoint migration 或必要索引缺失/invalid | 修复 schema/setup,再评估应用层锁 |
|
||||
|
||||
## 10. 不建议直接做的操作
|
||||
|
||||
- 不要因为有 5 万条 runs 就直接删除 runs。
|
||||
- 不要在生产直接执行 `VACUUM FULL`,它会对表获取强锁。
|
||||
- 不要先增加大量重复索引;每个索引都会增加 checkpoint 写放大。
|
||||
- 不要只增大 `DEER_FLOW_PG_POOL_MAX`;单 saver 的实例锁仍会串行。
|
||||
- 不要通过增加 Gateway worker 临时绕过;当前 run registry 与 SSE bridge 是进程内状态。
|
||||
- 不要在未确认 history namespace 语义前直接把所有查询改成 `checkpoint_ns=''`。
|
||||
- 不要把 checkpoint 归档作为本次 6 秒问题的第一步;归档涉及停写、备份、恢复演练,并不能消除 saver 实例锁。
|
||||
|
||||
## 11. 单次事故记录模板
|
||||
|
||||
```text
|
||||
部署 commit:
|
||||
前端构建版本:
|
||||
Gateway worker:
|
||||
database backend/host/db:
|
||||
checkpointer backend/host/db:
|
||||
发生时间:
|
||||
thread_id:
|
||||
run_id:
|
||||
|
||||
POST /threads:
|
||||
- 浏览器总耗时:
|
||||
- Server-Timing:
|
||||
- HTTP 状态:
|
||||
|
||||
runs/stream:
|
||||
- 开始时间:
|
||||
- 最后正文时间:
|
||||
- SSE end 时间:
|
||||
- 是否收到 end:
|
||||
|
||||
history:
|
||||
- 开始时间:
|
||||
- TTFB:
|
||||
- 完成/取消时间:
|
||||
- HTTP 状态:
|
||||
- 响应大小:
|
||||
|
||||
Gateway 日志:
|
||||
- GATEWAY_OPERATION_TIMING:
|
||||
- start-run-timing:
|
||||
- RUN_COMPLETION_TIMEOUT:
|
||||
- pool/DB 异常:
|
||||
|
||||
PostgreSQL:
|
||||
- activity/wait_event:
|
||||
- blocking_pids:
|
||||
- checkpoint migration:
|
||||
- 索引缺失/invalid:
|
||||
- live/dead tuples:
|
||||
- History EXPLAIN:
|
||||
|
||||
初步判定:
|
||||
已经排除:
|
||||
尚缺证据:
|
||||
下一步:
|
||||
```
|
||||
|
||||
## 12. 关键代码位置
|
||||
|
||||
| 位置 | 内容 |
|
||||
| --- | --- |
|
||||
| `offline-backend-20260512/backend/app/gateway/routers/threads.py:853-927` | 创建 thread、分阶段计时、同步写初始 checkpoint |
|
||||
| `offline-backend-20260512/backend/app/gateway/routers/threads.py:1873-1944` | History config、alist 和消息序列化 |
|
||||
| `offline-backend-20260512/backend/app/gateway/operation_timing.py:14-60` | `Server-Timing` 和 `GATEWAY_OPERATION_TIMING` |
|
||||
| `offline-backend-20260512/backend/app/gateway/routers/thread_runs.py:98-133` | run 创建与 SSE 路由 |
|
||||
| `offline-backend-20260512/backend/app/gateway/services.py:1374-1976` | `start_run` 和 `[start-run-timing]` |
|
||||
| `offline-backend-20260512/backend/packages/harness/deerflow/persistence/run/sql.py:66-206` | runs INSERT/UPDATE |
|
||||
| `offline-backend-20260512/backend/packages/harness/deerflow/persistence/run/model.py:14-56` | runs 主键和 ORM 索引声明 |
|
||||
| `offline-backend-20260512/backend/packages/harness/deerflow/runtime/runs/manager.py:211-324` | `_runs` 扫描与未被调用的 cleanup |
|
||||
| `offline-backend-20260512/backend/packages/harness/deerflow/runtime/runs/worker.py:479-501` | run 收尾后仅清理 stream bridge |
|
||||
| `offline-backend-20260512/backend/packages/harness/deerflow/runtime/checkpointer/async_provider.py:93-123` | PG pool 与单 saver |
|
||||
| `.venv/Lib/site-packages/langgraph/checkpoint/postgres/base.py:43-150` | checkpoint schema、索引和 SQL |
|
||||
| `.venv/Lib/site-packages/langgraph/checkpoint/postgres/aio.py:119-179` | alist 查询、fetchall 与持锁 yield |
|
||||
| `.venv/Lib/site-packages/langgraph/checkpoint/postgres/aio.py:363-403` | saver 实例锁先于 pool checkout |
|
||||
| `frontend-web/src/core/threads/hooks.ts:702-711` | `fetchStateHistory: { limit: 1 }` |
|
||||
| `frontend-web/src/core/threads/hooks.ts:976-1038` | onFinish 依赖最终 state |
|
||||
| `frontend-web/src/core/api/api-client.ts:96-101` | 控制/history 请求 30 秒超时 |
|
||||
|
||||
## 13. 推荐排查顺序
|
||||
|
||||
按下面顺序执行,通常一次复现就能缩小范围:
|
||||
|
||||
1. 浏览器保存 `/threads`、`runs/stream`、`history` 时间线。
|
||||
2. 查看 `/threads` 的 `Server-Timing`。
|
||||
3. 用同一 `thread_id/run_id` 对齐 Gateway 日志。
|
||||
4. 卡顿发生时立即保存 `pg_stat_activity` 和 blocker 快照。
|
||||
5. 查询实际索引与表统计,不依赖代码声明猜测生产 schema。
|
||||
6. 对慢 thread 比较两条 History EXPLAIN。
|
||||
7. 只有证据显示查询计划问题时才加索引;只有 SQL 已很快而接口仍等待时,才优先改 saver/应用锁路径。
|
||||
@@ -0,0 +1,358 @@
|
||||
# 技能并发与流式修复:配置、前端包与验收说明
|
||||
|
||||
日期:2026-09-27(2026-09-28 补充高并发运行配置)。
|
||||
|
||||
本说明对应本次提交的修改,包含模型流式兼容与恢复、React #185 错误处理和已完成的最小技能示例,
|
||||
以及可选的技能视图复用、版本缓存、模型计时日志队列和 Gateway 线程池扩容。
|
||||
部署前通过 `git log -1` 核对代码提交;仅修改配置或替换旧包不能确认已部署本次修复。
|
||||
|
||||
## 1. 先确认需要更新什么
|
||||
|
||||
- **后台代码也要更新**:四个新开关需要新版后台读取。只换前端 dist 或只把字段写进旧版 config.yaml 不会实现后台优化。
|
||||
- **前端**:使用本说明末尾的 ZIP,里面是完整 `dist/`,不是源码或 node_modules。
|
||||
- **仓库运行配置已开启优化**:两份 config.yaml 的四个开关均已显式设为 `true`。但已有服务器的持久化/外挂配置不会被仓库自动覆盖,仍需手工同步。
|
||||
- 开启线程池开关后可将上限调整为 100,但不提高模型服务商配额、不启用多 worker。
|
||||
|
||||
## 2. .env 需要修改哪些项
|
||||
|
||||
后台启动所使用的 `.env` 保持或修改为:
|
||||
|
||||
```dotenv
|
||||
# Gateway 进程数,不是线程池大小;当前内存流/运行管理器必须单进程。
|
||||
GATEWAY_WORKERS=1
|
||||
|
||||
# 默认就是 0;显式写 0 可防止误用不安全的多进程覆盖开关。
|
||||
DEERFLOW_ALLOW_UNSAFE_MULTIWORKER=0
|
||||
|
||||
# Gateway asyncio 线程池上限;还必须打开下一节的 asyncio_thread_pool_enabled。
|
||||
DEER_FLOW_ASYNCIO_THREAD_POOL_SIZE=100
|
||||
```
|
||||
|
||||
适用于已更新的 `scripts/start_backend-online.sh` 和 `offline-backend-20260512/start_backend.sh`。
|
||||
若通过自定义服务直接运行 Uvicorn,也应确认实际命令是单 worker;仅修改 .env 不会改变硬编码的启动命令。
|
||||
启动环境中已导出的同名变量可能覆盖 .env,需一并核对。
|
||||
|
||||
前面三个技能/日志优化没有独立环境变量,它们配置在下一节的 `config.yaml`。
|
||||
线程池上限变量现已真正接入;修改 .env 后必须重新启动后台,Docker 应通过现有启动脚本重新创建容器,
|
||||
单纯 `docker restart` 不会更新容器创建时注入的环境变量。
|
||||
其余模型地址、密钥、数据库连接等保留服务器原值,不用本机 .env 覆盖生产文件。
|
||||
|
||||
### 100 个线程与环境变量优先级
|
||||
|
||||
`GATEWAY_WORKERS=100` **不是**把工具线程池调成 100,而是启动 100 个进程,当前部署不要这样设置。
|
||||
|
||||
`DEER_FLOW_ASYNCIO_THREAD_POOL_SIZE=100` **已经实现**,兼容别名 `DEERFLOW_IO_THREADS=100`,
|
||||
两者任选其一即可。开启线程池开关后,按以下顺序取第一个非空值:
|
||||
|
||||
1. `DEER_FLOW_ASYNCIO_THREAD_POOL_SIZE`(正式变量)
|
||||
2. `DEERFLOW_IO_THREADS`(兼容别名)
|
||||
3. `config.yaml` 的 `runtime_performance.asyncio_thread_pool_size`(默认 100)
|
||||
|
||||
有效范围为整数 **1..1024**。选中环境变量的值非法时启动失败并提示,不会静默退回默认小线程池。
|
||||
开关关闭时不读取环境变量来改变线程池,保留 Python 原默认。已有正式变量时,修改别名不会覆盖它。
|
||||
线程按需创建,100 是上限,不会预先常驻启动 100 个线程。
|
||||
|
||||
## 3. config.yaml 新增配置
|
||||
|
||||
在实际加载的 `config.yaml` **顶层**配置这一段,不能缩进到 `models`、`sandbox` 或 `skills` 内,
|
||||
也不要重复定义两个 `runtime_performance`。下面是程序在字段缺失时的兼容性默认值;
|
||||
当前仓库的两份可运行配置已使用后文的高并发开启值:
|
||||
|
||||
```yaml
|
||||
runtime_performance:
|
||||
# 一次工具调用内只获取一次已验证技能视图,默认 false。
|
||||
skill_view_reuse_enabled: false
|
||||
|
||||
# 版本未变时复用技能视图,默认 false。
|
||||
skill_view_cache_enabled: false
|
||||
|
||||
# 模型计时日志使用独立队列,不争抢耗时工具线程,默认 false。
|
||||
model_timing_nonblocking_enabled: false
|
||||
|
||||
# 是否覆盖 Gateway asyncio 默认线程池,默认 false。
|
||||
asyncio_thread_pool_enabled: false
|
||||
asyncio_thread_pool_size: 100
|
||||
```
|
||||
|
||||
如决定启用本次四项优化并将线程池上限设为 100,改为:
|
||||
|
||||
```yaml
|
||||
runtime_performance:
|
||||
skill_view_reuse_enabled: true
|
||||
skill_view_cache_enabled: true
|
||||
model_timing_nonblocking_enabled: true
|
||||
asyncio_thread_pool_enabled: true
|
||||
asyncio_thread_pool_size: 100
|
||||
```
|
||||
|
||||
四个开关独立生效,可以单独开关。关闭/省略对应项时,对应的性能优化走原实现。
|
||||
这四项不控制模型协议兼容修复或前端错误处理;全部关闭不等于回退所有代码。
|
||||
为了让已有模型实例和所有后台进程配置一致,修改后重启后台;回退也是改回 `false` 后重启。
|
||||
|
||||
### 确认没有改错配置文件
|
||||
|
||||
- 已设置 `DEER_FLOW_CONFIG_PATH` 时,以它指向的文件为准;Docker 内该值必须是容器内可访问路径。
|
||||
- 本仓库包含 `offline-backend-20260512/config.yaml` 和 `offline-backend-20260512/backend/config.yaml`;
|
||||
两份已同步为高并发开启值,但服务器要修改的仍是启动时实际加载/挂载的那一份。
|
||||
- 启动日志 `Loaded AppConfig from ...` 可确认路径,`RUNTIME_PERFORMANCE` 可确认实际开关值。
|
||||
|
||||
## 4. 开启后做了什么,没做什么
|
||||
|
||||
### 单次调用复用
|
||||
|
||||
同一次 `read_file`、`ls`、`glob`、`grep`、`bash` 等工具执行期间,技能检查、沙箱初始化、
|
||||
路径替换和输出脱敏共用一份已验证视图;退出调用后清理作用域,下一次调用重新验证。
|
||||
不会把一个问答最初的技能启停状态一直沿用到结束。
|
||||
|
||||
### 技能版本缓存
|
||||
|
||||
每次核对启停 JSON 内容、已知源/目标文件和目录的元数据及标记。
|
||||
版本一致时不重新发现/解析全部技能、不复制文件、不持有全局刷新锁。
|
||||
新增、编辑、删除、启停及支持文件变化触发重建,并保留跨进程锁合并并发刷新。
|
||||
|
||||
没有采用会延迟下线的 TTL 缓存;下一次工具调用能发现下线或无效配置并拒绝访问。
|
||||
已经开始执行的工具不因此被强行中断。
|
||||
缓存仅用于标准 `LocalSkillStorage`,自定义存储实现/子类保守回到原刷新路径。
|
||||
同一 Gateway 进程内,仅在多个热命中调用真正重叠时合并为一次元数据校验;
|
||||
该批调用结束后结果立即丢弃,新调用仍重新校验。启停文件哈希不同的调用不会加入旧校验,
|
||||
校验异常会对该批调用统一 fail-closed,且不会阻止后续调用重试。
|
||||
|
||||
热路径仍有 O(文件数) 元数据校验,慢磁盘/网络挂载仍可能耗时;这不是“所有文件操作零开销”,
|
||||
也没有把受锁保护的重建变成无锁写入。
|
||||
|
||||
### 模型计时日志
|
||||
|
||||
仅轻量计时/入队在回调中执行,日志 I/O 由独立线程消费,不占工具共享线程池或事件循环。
|
||||
队列上限 4096 条;日志端长期阻塞时会丢弃诊断并在恢复后汇总告警,不无限积压或阻塞模型输出。
|
||||
退出时最多等待 0.5 秒尽力刷新,异常退出可能丢失尾部日志。
|
||||
|
||||
这是 `ModelTimingCallback` 的优化,不会改变其他回调(如 RunJournal、可选追踪插件)、
|
||||
子智能体调度池、数据库池或模型上游的连接/速率限制。不能据此保证 100 个会话同时生成。
|
||||
|
||||
### Gateway 工具线程池
|
||||
|
||||
开启 `asyncio_thread_pool_enabled` 后,在后台启动时、LangGraph 初始化之前设置当前
|
||||
Gateway 事件循环的默认执行器。同步工具、该循环的 `asyncio.to_thread` 等可使用最多 100 个槽位。
|
||||
关闭时完全不替换默认执行器;退出时由拥有该事件循环的服务运行器清理。
|
||||
|
||||
这不是 AnyIO 的同步 HTTP 路由线程池,也不改变子智能体专用池或独立事件循环的默认池。
|
||||
线程池扩大只能减少可并行 I/O 的排队,不能让同一把技能锁同时被多人持有,也不会增加模型端的生成配额。
|
||||
|
||||
## 5. 日志检查
|
||||
|
||||
确认加载日志类似:
|
||||
|
||||
```text
|
||||
RUNTIME_PERFORMANCE skill_view_reuse_enabled=True skill_view_cache_enabled=True model_timing_nonblocking_enabled=True asyncio_thread_pool_enabled=True asyncio_thread_pool_size=100
|
||||
```
|
||||
|
||||
线程池最终是否生效,以另一条启动日志为准(进程 id 随实际启动变化):
|
||||
|
||||
```text
|
||||
GATEWAY_ASYNCIO_EXECUTOR enabled=true max_workers=100 source=DEER_FLOW_ASYNCIO_THREAD_POOL_SIZE pid=12345
|
||||
```
|
||||
|
||||
如果仍显示 `enabled=false max_workers=python_default`,说明线程池开关没打开或改错了配置文件,
|
||||
不是已经调整到 100。改环境变量后若日志仍取旧值,检查是否重建了 Docker 容器及实际 env-file。
|
||||
|
||||
查看以下日志:
|
||||
|
||||
| 日志 | 用途 |
|
||||
| --- | --- |
|
||||
| `GATEWAY_ASYNCIO_EXECUTOR` | 实际线程池开关、最终上限、配置来源和进程 id;关闭时显示使用 Python 默认,不虚报 100 |
|
||||
| `SKILL_VIEW_CACHE status=refreshed` | 发生重建;包含 `lock_wait_ms`、`refresh_ms`、`total_ms` 和条目数 |
|
||||
| `SKILL_VIEW_CACHE status=joined` | 等待期间其他线程/进程已完成重建,本次直接复用 |
|
||||
| `SKILL_VIEW_CACHE status=hit` | 缓存命中;正常命中为 DEBUG,超过 500ms 的慢命中为 INFO |
|
||||
| `SKILL_VIEW_CACHE status=failed` | 刷新失败,旧能力不可继续使用,需要排查配置/磁盘 |
|
||||
| `LLM_CONNECT_START/OK`、`LLM_REQUEST_DONE/FAILED` | 模型调用生命周期、首块和总耗时 |
|
||||
| `LLM_CALL_RETRY/FAILED`、`OPENAI_TOOL_STREAM_SUMMARY` | 模型重试/兼容处理诊断 |
|
||||
| `LLM_TIMING_LOG_DROPPED` | 日志队列曾满;检查日志磁盘/采集端速度 |
|
||||
|
||||
如需查看正常缓存命中,可短时设置顶层 `log_level: debug`;排查后恢复 `info`。
|
||||
首块耗时不等于纯网络连接等待,仍包括上游排队、模型处理等阶段。单次 curl 成功也不能证明并发容量足够。
|
||||
本次日志不记录技能正文、模型正文或 API 密钥。
|
||||
|
||||
## 6. 前端替换与回退
|
||||
|
||||
1. 先备份服务器当前前端目录和 `runtime-config.js`,并备份实际后台 .env/config.yaml。
|
||||
2. 校验下载 ZIP 的 SHA-256 与本说明记录一致,再解压到一个新的发布目录。
|
||||
3. ZIP 包含 `dist/`;Web 根目录应指向其内部,确保根下直接能找到 `index.html`,不要误放成 `dist/dist/`。
|
||||
4. **保留/恢复服务器自己的 `runtime-config.js`**。核对生产后台地址、认证和嵌入参数;不要把构建机默认值当生产配置。
|
||||
也不要覆盖生产 .env 的密钥与数据库配置。恢复 runtime-config 后其单文件哈希自然与原包不同。
|
||||
5. 更新后台代码并按需设置四个开关,使用现有部署方式重启后台,再切换前端发布目录。
|
||||
6. 刷新浏览器缓存后检查普通问答、智能体问答、技能示例、读取技能、生成文件以及离开后重新打开正在生成的会话。
|
||||
7. 如需回退性能优化,后台关闭相应开关并重启,无需删除技能文件或技能缓存目录。
|
||||
如需回退模型协议或前端修复,须恢复对应的已备份代码/前端发布目录,单独关闭性能开关不够。
|
||||
|
||||
正式 Linux AMD64 离线镜像/发版仍通过独立的 `knowledge-base-bj/deerflow-offline-deployment`
|
||||
仓库流程执行;本次前端 ZIP 不是完整后台离线镜像。
|
||||
|
||||
## 7. 本地验证结果与限制
|
||||
|
||||
### 后台
|
||||
|
||||
- 提交前最终专项:技能/线程池/日志/启动配置及技能老回归 **166 项通过**;模型适配、错误分类、
|
||||
诊断失败保护、SSE 响应头、会话计时与真实 transport **123 项通过**(两组不重叠,共 289 项)。
|
||||
对应修改模块与测试 Ruff 通过,harness 未增加对 app 的反向依赖。后续没有执行生产模型并发压测。
|
||||
- 本次技能复用/缓存/配置、日志回调与相关技能目录、大文件安全专项:**79 项通过**;
|
||||
又补充 1 项开关关闭/重新开启的回退测试,通过缓存文件全部 13 项回归,合计 **80 项**。
|
||||
- 模型工具参数流/推理流、错误恢复、SSE 传输和启动 worker 校验另 **76 项通过**;相关专项共 **156 项通过**。
|
||||
- 后续新增线程池接入与配置专项 **45 项通过**(与前述配置测试有重叠,不相加充当独立总数):
|
||||
覆盖默认关闭、两个环境变量优先级/别名、非法值拒启、启动顺序,以及实际 **24 / 100 个本地阻塞任务同时执行**、
|
||||
退出后线程全部清理;新模块和相关测试 Ruff 检查通过。另一次联合技能/日志/启动配置回归 **88 项通过**。
|
||||
该测试只验证本地线程池,不是 100 路模型压测。
|
||||
- 线程池接入后再次尝试后台全量测试(首次失败即停止):**604 通过、2 跳过、1 失败**,
|
||||
仍停在修改前已复现的 `test_llm_metrics.py::test_middleware_records_success_with_speed`,不是全量通过。
|
||||
- 冷启动 8 线程并发只构建一次;真实第二进程复用持久化清单、不再发现技能。
|
||||
- 下线/无效配置、源文件变更、同长保留 mtime 编辑、目标篡改、Windows junction 保护均有回归覆盖。
|
||||
- 真实 LangChain 异步模型测试证明:默认工具线程池占满且日志处理器阻塞时,启用计时日志优化仍可开始、输出 token 并结束;未调用真实模型服务。
|
||||
- 修改后尝试全量测试,设置失败 5 项停止:**871 通过、2 跳过、5 失败**,并非全量通过。
|
||||
失败包括 `test_llm_metrics.py` 的 3 项记录时序断言、既有 Wiki `auto_sync` 配置与测试预期不一致、
|
||||
`test_model_management.py` 的 thinking 参数预期不一致。首项在本轮修改前即已复现;
|
||||
本轮没有修改指标中间件、模型工厂或 Wiki auto_sync 设置,不为过测试擅改这些业务配置。
|
||||
- 本次针对 #185/MD 的追加回归:模型真实 SDK 回放、工具参数、思考字段、日志、配置、线程池、
|
||||
错误中间件和传输联合 **145 项通过**。其中新增 SDK 回放 19 项,覆盖 8 种写文件形态,
|
||||
确认 JSON 尚未闭合时部分 MD 已传出、最终工具名称和参数正确;没有连接线上模型。
|
||||
|
||||
### 合成性能对比
|
||||
|
||||
Windows 11 / Python 3.12.13,本机临时目录:150 个技能、450 个文件,各模式预热一次后串行 10 次。
|
||||
旧刷新平均约 **3133ms**,缓存命中平均约 **806ms**(本次约 3.89 倍);
|
||||
`load_skills` 从 10 次降为 0 次。临时数据已清理。
|
||||
这不是生产 Linux 性能结论,也不是多人访问模型的承载压测。
|
||||
|
||||
### 前端与交付包
|
||||
|
||||
- 提交前最终前端专项 **60 项通过**(原 57 项,加同 reader 续接/新页面重播与迟到事件隔离 2 项、
|
||||
最小技能示例 1 项);真实生产 React 浏览器错误边界测试再次通过。
|
||||
- 最终全量类型检查仍有既有 **75 个诊断**,本次变更文件无新增诊断;记录在
|
||||
`.runtime/frontend-final-typecheck-20260927.log`。不要把构建成功等同全量类型检查通过。
|
||||
- 前端本次流式恢复、React #185 分类、技能示例、流式预览及相关权限等 **32 项专项通过**;
|
||||
修正新增测试文件一处 `.ts` 导入导致的 TS5097 后,相关 16 项再次通过。
|
||||
- 最新追加前端专项 **57 项通过**,含真实 SDK SSE → 文件参数 → MD 预览;旧 16ms 设置在连续流中
|
||||
没有通知刷新,修复后在 JSON 尚未闭合时持续更新。真实 Chrome + 生产 React 中用循环 layoutEffect
|
||||
触发 #185,验证静态友好兜底、无自动重挂、点击重新载入后恢复。
|
||||
- 最新 `pnpm build` **通过**:Vite 13,853 个模块,8 分 49 秒;存在大于 500KB 的 chunk 提醒,不是构建失败。
|
||||
构建日志 `.runtime/frontend-final-build-20260927.log`;本次修复重新打开会话的游标边界后已重新打包。
|
||||
- 前一版临时 localhost 静态 HTTP 烟测 **通过**:入口 HTML 及引用的主 JS/CSS/runtime 等 5 个资源均 200,
|
||||
响应字节 SHA-256 与磁盘一致,没有缺失资源;烟测服务已关闭。
|
||||
- 最新 ZIP 中 **886 个文件**均逐文件比对大小和 SHA-256,与本次 dist 一致;入口/CSS 的 99 个本地资源引用全部存在。包内无 `.env`,
|
||||
入口为 `dist/index.html`,包含 `dist/runtime-config.js`。
|
||||
- 全量 `pnpm typecheck` **未通过**:复测还有 **75 个诊断、涉及 29 个本次未修改文件**,
|
||||
包括现有 nextra / `@codemirror/state` 依赖、旧测试及 legacy QA 类型问题;
|
||||
本次新增测试文件的 TS5097 已修正并复测,本次前端变更文件无类型诊断。
|
||||
完整本地日志为 `.runtime/qa/frontend-delivery-typecheck-20260927.log`;
|
||||
不能把生产构建通过表述成整个项目类型检查通过。
|
||||
追加修复后本次产品变更文件无全量类型诊断,新增测试及依赖专项 TypeScript 检查为 0 诊断。
|
||||
- 附加 legacy Chrome CSS 检查 **未通过**,报三个本轮未修改文件
|
||||
`legacy-html-preview.test.ts`、`legacy-html-preview.ts`、`SolutionProjectLanding.tsx` 中的现代颜色函数字样;
|
||||
没有报本次 dist CSS 缺失回退,也不能据此宣称完成旧浏览器端到端兼容验收。
|
||||
|
||||
交付 ZIP(仓库根目录):
|
||||
|
||||
```text
|
||||
deerflow-frontend-dist-20260927-master-final.zip
|
||||
```
|
||||
|
||||
- ZIP 大小:35,869,210 字节(约 34.2 MiB)。
|
||||
- 此包替代 `deerflow-frontend-dist-20260927-191207-185-stream-fix.zip` 及更早版本;旧包保留,但不包含最终的游标作用域修复。
|
||||
- 解压后文件总大小:66,347,693 字节。
|
||||
- ZIP SHA-256:
|
||||
|
||||
```text
|
||||
7E4C1525BDEB686161FFF5AED12D36087407BBF4F472B87E78CA04DADD1DF371
|
||||
```
|
||||
|
||||
Linux 可用 `sha256sum deerflow-frontend-dist-20260927-master-final.zip`;
|
||||
Windows 可用 `Get-FileHash -Algorithm SHA256 .\deerflow-frontend-dist-20260927-master-final.zip`。
|
||||
|
||||
未连接生产环境进行真实多人模型问答端到端验收,不能宣称所有线上卡顿已被实测消除。
|
||||
|
||||
## 8. 关于 20 人同时使用
|
||||
|
||||
当前不能承诺 20 人同时问答一定流畅。本次验证了本地代码路径和构建产物,并没有验证你的两台服务器、
|
||||
上游模型地址/API key 配额、数据库/磁盘及实际技能耗时在 20 路负载下的容量。
|
||||
|
||||
部署新版后台、明确开启所需开关后,先在测试环境按 5 → 10 → 20 个独立会话逐级测试:
|
||||
|
||||
1. 纯聊天和包含技能读取/写文件的问答分开测试,保持提示长度和输出规模接近真实业务。
|
||||
2. 每级记录成功/失败/超时数、首字和总耗时的分位数,以及技能 `lock_wait_ms/total_ms`。
|
||||
3. 同步查看模型端 429/503、排队数量/首 token 延迟,以及应用 CPU、内存、磁盘和数据库等待。
|
||||
4. 若上游只能并行处理少量请求,应用扩线程无法增加上游容量;应控制并发或扩容模型服务。
|
||||
|
||||
20 个在线用户、20 条运行中的问答和 20 个正在模型端生成的请求不是同一指标。
|
||||
|
||||
## 9. #185 与 MD 流式追加修复
|
||||
|
||||
用户已确认思考模式正常;本节针对仍出现的 #185 和 MD 预览卡住。
|
||||
|
||||
- 四个直接流入口统一使用 `STREAM_RENDER_BATCHING=true`,避免安装版本 SDK 的数字 16ms
|
||||
尾部防抖不断推迟 UI 刷新;保留异步批处理,不改成每个片段同步强制渲染。
|
||||
- #185 流错误不会再按模型异常直接显示原始错误串;同一轮最多一次自动恢复,重复失败暂停重连,
|
||||
不主动取消后台任务,不循环重新发送问题。友好提示 30 秒去重。
|
||||
- 真正渲染/commit 阶段的 #185 由页面错误边界接住,进入静态提示,只能手动重新载入;
|
||||
不吞其他错误。控制台 `react_ui_render_error` 保留组件堆栈,帮助定位未知的线上循环组件。
|
||||
- 恢复游标与当前页面的消息累积器绑定:同一页面断线续接不重复拼接工具参数,离开后重新打开或
|
||||
切换会话则完整重播,不能复用全局旧游标跳过正文前缀;旧 reader 的迟到事件也不污染新页面。
|
||||
- 后端兼容重复工具名称,避免 `write_filewrite_file` 使工具路由和预览识别失效;
|
||||
`OPENAI_TOOL_STREAM_SUMMARY repeated_tool_names` 可确认是否命中。也修复了空 `error:{}` 被误判失败。
|
||||
- 诊断日志写入失败不会覆盖真实模型异常、取消或成功结果。错误脱敏后仍在内存中识别上下文超限,
|
||||
并识别 `invalid_api_key` 等结构化认证错误,防止本应修剪上下文或停止重试的请求反复排队。
|
||||
- **实时预览和物理落盘不同**:模型还在生成参数时展示虚拟 MD 内容;参数完整、工具校验通过后,
|
||||
`write_file` 才正式写沙箱文件。此次不把未完成的 JSON 直接写进最终文件。
|
||||
|
||||
本地已经复现并修复上述具体缺陷,但没有线上原始流/组件堆栈,不能保证它们解释全部生产故障。
|
||||
|
||||
## 10. `threads` 创建慢:数据库路由与阶段耗时
|
||||
|
||||
`POST /api/threads` 会先查/写应用数据库的 `threads_meta`,再调用检查点存储写入空 checkpoint;
|
||||
它不需要请求模型,也不会在创建时遍历所有旧问答。
|
||||
|
||||
当前仓库部署模板是 `database.backend: mysql`,同时 `checkpointer.type: postgres`、
|
||||
`checkpointer.use_postgres: false`。如果服务器保持这些值且没有 `DEER_FLOW_USE_PG_CHECKPOINTER`
|
||||
覆盖,实际是 **MySQL 元数据 + SQLite 检查点**,清理 PostgreSQL 不会加速这条链路。
|
||||
本地开发配置则是 SQLite。线上以实际加载的配置和环境覆盖为准,不凭数据库连接串是否存在判断。
|
||||
|
||||
新建/搜索接口新增 `GATEWAY_OPERATION_TIMING` 日志和 `Server-Timing` 响应头,
|
||||
浏览器 Network 的响应头也能看到,不必先拿服务器日志:
|
||||
|
||||
- `metadata_lookup` / `metadata_create`:应用元数据查询/写入。
|
||||
- `checkpoint_create`:检查点创建,包含 saver 锁/连接池等待和数据库写入,不能等同为纯 SQL 时间。
|
||||
- `metadata_search`:会话列表的元数据查询。
|
||||
- `handler_total`:进入处理函数后的耗时;**不含进入函数前的事件循环/鉴权/代理排队**。
|
||||
|
||||
模型图构建仍保持原来的任务上下文。新增 `AGENT_BUILD_TIMING`:超过 500ms 以 WARNING 记录,
|
||||
正常为 DEBUG。已在本地复现同步慢工厂阻塞同事件循环的其他请求,但不能直接裸搬到线程:
|
||||
延迟工具注册上下文需回传,MCP 初始化存在跨事件循环约束。此处目前是定位日志,不是已经消除阻塞。
|
||||
|
||||
本机安装的 SQLite saver 和 PostgreSQL saver 都存在实例级串行锁;后者使用连接池也不代表
|
||||
同一个 saver 自动并行处理所有检查点。扩大 asyncio 线程池不解除此锁。
|
||||
尚未取得线上分阶段耗时,因此不能承诺新建 10 秒已经根治,也不能承诺归档即可解决。
|
||||
新增计时与真实 SQLite 锁测试、已有分析项目/浏览器内部创建入口联合 **43 项通过**,
|
||||
其中计时专项 14 项;这是本地回归,不是线上延迟验收。
|
||||
|
||||
## 11. 30 天已结束会话的 PostgreSQL 归档 SQL
|
||||
|
||||
归档脚本单独交付,不进入本源码仓库,也不在启动时执行。使用 `pg_checkpoint_archive.sql` 搬移,
|
||||
`pg_checkpoint_restore.sql` 按提交批次恢复;两者需与 `pg_checkpoint_common.sql` 放在同一目录。
|
||||
应用数据库在 MySQL / PostgreSQL 的候选只读导出分别为
|
||||
`mysql_checkpoint_candidates.sql` / `pg_checkpoint_candidates.sql`。
|
||||
|
||||
按用户确认,候选仅包括 30 天未更新、所有运行已结束的会话,排除正在运行、待处理和等待用户输入的会话。
|
||||
PG 检查点没有应用会话终态字段,因此不能只按 `checkpoint.ts` 猜测,必须先从应用元数据导出候选 ID。
|
||||
脚本仅在确认实际启用 PG、全部写入服务已停、备份可恢复及双读回退关闭后允许提交。
|
||||
默认是预览/回滚;提交时三张原始表的全部 namespace 一起搬入新归档 schema,逐行校验后才删源行,
|
||||
恢复时不覆盖同 ID 的新数据,归档副本保留。不删除沙箱文件。
|
||||
|
||||
**范围与风险**:这是 PG 检查点冷归档,不是完整应用归档。它不搬 MySQL `threads_meta/runs`,
|
||||
因此旧会话列表入口可能仍在,但归档正文需要恢复后才能读取/续聊。归档到同一库的新表也不保证减少总磁盘占用。
|
||||
SQL 的验证记录与具体执行命令见单独交付包的 README;部署前仍须在生产备份恢复的隔离副本演练。
|
||||
不要跳过预检直接在生产提交。如果线上仍为 SQLite,这组 PG SQL 不适用。
|
||||
|
||||
独立包 `deerflow-db-archive-20260927.zip` 含 SQL、README 和复验测试,不含数据库数据、连接凭据或数据库二进制。
|
||||
已在 PostgreSQL 16.15 + 安装的 LangGraph checkpoint 3.1.2 原始建表结构上通过 13 项真实执行和 14 项静态检查;
|
||||
未执行真实 MySQL 候选导出,详见独立包 README。ZIP 共 9 个文件、20,983 字节,SHA-256:
|
||||
|
||||
```text
|
||||
E90A189DA7D7032527EED7CEC9B51DE1A30FB6D48B4382CE06AF1C287B670F59
|
||||
```
|
||||
@@ -0,0 +1,73 @@
|
||||
# 问答停在执行命令或读取技能:排查与修复
|
||||
|
||||
日期:2026-09-28。
|
||||
|
||||
本次检查针对普通问答和智能体问答:页面停在工具步骤,上游模型没有收到下一轮请求。
|
||||
以下是代码审查和受控回归确认的触发路径;尚未收到具体生产对话 ID 和现场日志,不能据此认定某次现场故障只有一个根因。
|
||||
|
||||
## 已修复的等待路径
|
||||
|
||||
| 位置 | 原来的触发条件 | 当前行为 |
|
||||
| --- | --- | --- |
|
||||
| LocalSandbox 命令执行 | `subprocess.run` 超时仅终止外层 shell,后代仍持有输出管道;Windows 超时收尾继续无期限 `communicate` | 独立进程组、关闭交互输入、临时文件采集输出;超时清理进程树并限制回收等待 |
|
||||
| 技能视图刷新 | 进程锁、跨进程文件锁和等待并发校验结果均没有统一等待上限 | 等待最多 30 秒后抛出明确工具错误;不删除正在执行的刷新,不使用未经校验的旧视图 |
|
||||
| AIO 沙箱 | 上次命令未返回时,后续命令或文件操作无限等待同一把锁 | 锁等待 30 秒后失败;不抢占旧请求的锁,不自动重复执行命令 |
|
||||
| 文件分段读取 | 超长单行先读完整行才裁剪;FIFO/设备文件可能一直等数据 | 达到当前行输出预算即返回;本地读取用非阻塞打开并检查普通文件,远端分段读取同步限制 |
|
||||
| 前端结束恢复 | 后端已 success/error,但旧 SSE 仍开着,SDK `isLoading` 一直为真;整段 SSE 期间的 `sendInFlight` 又把同一轮结束快照丢掉 | 核对轮次及运行 ID 后清理重连标记、关闭本地 reader、应用结束快照;不因此取消后端或覆盖新一轮 |
|
||||
| 前端恢复查询 | `/runs`、检查点或历史请求悬挂,占着 single-flight 恢复槽 | 普通 SDK 请求设置 30 秒超时;恢复失败仍保留后续检查机会,SSE 不受此总时长限制 |
|
||||
| 后端结束收尾 | 图已返回,但检查点检查、状态写入、日志刷新或标题同步永远不返回,导致 `end` 发不出去 | 终态检查、终态状态写入分别有 10 秒预算;后续元数据收尾共享 10 秒预算,独立 finally 发出 `end` |
|
||||
|
||||
技能锁超时走原有工具错误处理链,模型可收到失败结果并决定后续操作;不会把“超时”伪装成成功。
|
||||
元数据收尾超时只发生在图已经结束后,不给整个研究/子智能体执行增加统一短时限。
|
||||
终态检查点超时会报告运行失败,不能直接当成模型成功。
|
||||
|
||||
## 配置和上线
|
||||
|
||||
本次需同时更新后端代码和前端构建产物,重启后端后生效。只刷新页面或调线程数不能替代修复。
|
||||
本次未操作生产服务、未发布前端包;正式离线发版仍使用独立的 `deerflow-offline-deployment` 仓库。
|
||||
|
||||
本地命令保留原来的 600 秒默认执行时限,新版允许在实际加载的配置文件中调整:
|
||||
|
||||
```yaml
|
||||
sandbox:
|
||||
# 合并到已有 sandbox 段中,保留 use、mounts 等既有字段。
|
||||
command_timeout_seconds: 600
|
||||
```
|
||||
|
||||
该字段只控制 LocalSandbox 命令执行,必须为有限正数。未配置仍为 600 秒;不要把它误认为模型请求超时。
|
||||
命令输出每个流最多读入 1 MiB 头尾内容,再经过既有工具输出裁剪。
|
||||
运行中的命令约每 100ms 检查累计捕获输出,超过 16 MiB 请求终止;这是采样护栏,不是磁盘硬配额。
|
||||
正常退出后的显式后台进程需要自行重定向输出和管理生命周期。
|
||||
|
||||
前端已有的无业务事件检查窗口仍为 90 秒;这是启动后台状态核对的时机,不是宣判任务失败的时限。
|
||||
30 秒控制请求超时不影响合法的长时间 SSE 和工具执行。
|
||||
|
||||
## 仍需现场证据区分的情况
|
||||
|
||||
- 磁盘/NFS 本身阻塞的刷新执行者仍可能卡在操作系统 I/O;本次限制的是其他调用的等待,不宣称能终止任意内核 I/O。
|
||||
- 自定义技能脚本自身请求外部服务不返回,仍会等到本地命令时限;建议技能内各 HTTP 请求也设置连接/读取超时。
|
||||
- 整个图中的第三方异步工具、模型前中间件和检查点操作没有统一的“无事件即取消”规则,避免误杀合法研究任务。
|
||||
- 检查点回滚是实际数据修改,保持原有完成/取消语义,不把仍在执行的回滚丢到后台后开放下一轮。
|
||||
- 已提交给数据库的单条写入未必能被驱动撤销;取消和新轮次检查可阻止旧清理继续发起后续写入,不能保证撤回已经执行的 SQL。
|
||||
|
||||
再次出现时,记录对话 ID、运行 ID、最后一步和时间,并对照上游请求日志、运行状态及
|
||||
`RUN_COMPLETION_TIMEOUT run_id=... phase=terminal_checkpoint|terminal_status|metadata_cleanup`。
|
||||
技能锁超时会包含 `Timed out waiting for skill view ...`;沙箱命令超时会包含 `Command timed out`。
|
||||
不要仅凭页面最后显示“读取技能”就断定仍在读文件,它也可能是结束消息没有传到浏览器。
|
||||
|
||||
## 回归入口
|
||||
|
||||
- 后端 `packages/harness/tests/test_skill_view_waits.py`:锁竞争和并发校验超时、失败后恢复。
|
||||
- 后端 `packages/harness/tests/test_skill_view_cache.py`、`test_skill_view_tool_reuse.py`:既有启停与缓存安全性。
|
||||
- 后端 `packages/harness/tests/test_sandbox_command_liveness.py`:真实父子进程、输出、非交互输入及特殊文件/长行。
|
||||
- 后端 `packages/harness/tests/test_run_completion_timeout.py`:挂起的结束收尾、取消、新一轮隔离及正常长图执行。
|
||||
- 前端 `src/core/api/control-timeout.test.ts`、`src/core/threads/stream-terminal-recovery.test.ts`:控制请求超时及真实 SDK reader 恢复。
|
||||
- 前端既有 `stream-recovery`、`stream-display`、`stream-reasoning-replay`、`stream-cursor` 测试继续验证断流重连和消息显示。
|
||||
|
||||
## 本机验证结果
|
||||
|
||||
- 后端 `python -m pytest packages/harness/tests -q`:**263 passed**。旧同步日志断言补了显式测试配置,避免当前启用异步日志时与后台队列竞速;异步日志仍由独立测试覆盖,未改实际运行配置。
|
||||
- 前端八个相关测试文件打包后用 Node test runner 执行:**31 passed**;新增测试类型修正后其中三个新增用例再次通过。
|
||||
- 修改的后端代码和测试通过 Ruff;`git diff --check` 通过。
|
||||
- 完整前端类型检查未通过:**75 个 TypeScript 错误**,均在本次未修改的文件,涉及 `nextra` 缺失、旧 JSX 类型、既有测试类型等。本次修改文件及新增测试无诊断。详细输出保留在 `frontend-web/.runtime/hang-typecheck.log`(本机文件,不作为发版资产)。
|
||||
- 命令进程树测试在 Windows 使用真实子进程;Linux 进程组分支已审查,但本机未做 Linux 实跑,AIO 未连接实际容器。未用生产模型调用或真实业务技能执行验证。
|
||||
Reference in new issue
Block a user