zhuangang/topics/ai/agent-ops/index.md

id, title, type, domain, stack, tags, week

id	title	type	domain	stack	tags	week
ai.agent-ops.index	Agent 评测与运维	index	ai	agent-ops	评测 质量门禁 幻觉防护 Bad Case 可观测性 成本 记忆	12 13

Agent 评测与运维

让 Agent 从“能跑的 demo”变成“能上线的系统”：评测集、质量门禁、幻觉防护、Bad Case 分析、链路追踪、成本和延迟、记忆管理。BOSS直聘 2026-10-23 的调研中这些是 Agent 岗位反复出现的要求，也是和“只会调 API”的候选人拉开差距的地方。

学习路线

顺序	课程	级别	预计
1	Agent 评测和质量门禁：评测集、打分方法、幻觉防护、Bad Case 分析	高级	4 小时
2	Agent 可观测性、成本和延迟：链路追踪、记忆管理、缓存和降级	高级	3 小时

企业场景

• 客服 Agent 上线流程：评测集、质量门禁、灰度和线上 Bad Case 闭环

面试题

• Agent 评测与运维面试题

示例代码

• examples/eval-gate：评测集分组打分、Bad Case 分类、回归检查、质量门禁（--ci 时以退出码阻止合并）、成本和延迟统计、简易链路追踪（只用标准库，带测试）

在 16 周计划中

• 第 12 周：持久化和记忆、第 13 周：评测和可观测性

官方资料

以官方文档为准：

• LangSmith：https://docs.smith.langchain.com/
• Langfuse：https://langfuse.com/docs
• OpenTelemetry 生成式 AI 语义约定：https://opentelemetry.io/docs/specs/semconv/gen-ai/
• Ragas：https://docs.ragas.io/