阶段4(上):LangGraph、Function Calling、MCP(SDK 2.x)、Agent 评测与运维、Agent 设计专题;run_examples 设置 RUN_EXAMPLES=1
This commit is contained in:
1 parent
6650f7eb6d
commit
caaec830b3
38 files changed
+3515
-64
No files matched your search
@@ -1,15 +1,45 @@
|
||||
---
|
||||
id: ai.agent-ops.index
|
||||
title: Agent 记忆、评测与可观测性
|
||||
title: Agent 评测与运维
|
||||
type: index
|
||||
domain: ai
|
||||
stack: [agent-ops]
|
||||
tags: []
|
||||
tags: [评测, 质量门禁, 幻觉防护, Bad Case, 可观测性, 成本, 记忆]
|
||||
week: [12, 13]
|
||||
---
|
||||
|
||||
# Agent 记忆、评测与可观测性
|
||||
# Agent 评测与运维
|
||||
|
||||
短期 / 长期记忆、评测集、LLM 评分、追踪、成本。
|
||||
让 Agent 从“能跑的 demo”变成“能上线的系统”:评测集、质量门禁、幻觉防护、Bad Case 分析、链路追踪、成本和延迟、记忆管理。BOSS直聘 2026-10-23 的调研中这些是 Agent 岗位反复出现的要求,也是和“只会调 API”的候选人拉开差距的地方。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [Agent 评测和质量门禁:评测集、打分方法、幻觉防护、Bad Case 分析](01-eval-quality-gate.md) | 高级 | 4 小时 |
|
||||
| 2 | [Agent 可观测性、成本和延迟:链路追踪、记忆管理、缓存和降级](02-observability-cost.md) | 高级 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [客服 Agent 上线流程:评测集、质量门禁、灰度和线上 Bad Case 闭环](scenarios/agent-quality-gate.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [Agent 评测与运维面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/eval-gate](examples/eval-gate/):评测集分组打分、Bad Case 分类、回归检查、质量门禁(`--ci` 时以退出码阻止合并)、成本和延迟统计、简易链路追踪(只用标准库,带测试)
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 12 周:持久化和记忆](../../../plan/week12-agent-m3-persistence.md)、[第 13 周:评测和可观测性](../../../plan/week13-agent-m4-eval-lowcode.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
以官方文档为准:
|
||||
|
||||
- LangSmith:https://docs.smith.langchain.com/
|
||||
- Langfuse:https://langfuse.com/docs
|
||||
- OpenTelemetry 生成式 AI 语义约定:https://opentelemetry.io/docs/specs/semconv/gen-ai/
|
||||
- Ragas:https://docs.ragas.io/
|
||||
Reference in new issue
Block a user