---
id: ai.agent-ops.index
title: Agent 评测与运维
type: index
domain: ai
stack: [agent-ops]
tags: [评测, 质量门禁, 幻觉防护, Bad Case, 可观测性, 成本, 记忆]
week: [12, 13]
---

# Agent 评测与运维

让 Agent 从“能跑的 demo”变成“能上线的系统”：评测集、质量门禁、幻觉防护、Bad Case 分析、链路追踪、成本和延迟、记忆管理。BOSS直聘 2026-10-23 的调研中这些是 Agent 岗位反复出现的要求，也是和“只会调 API”的候选人拉开差距的地方。

## 学习路线

| 顺序 | 课程 | 级别 | 预计 |
| --- | --- | --- | --- |
| 1 | [Agent 评测和质量门禁：评测集、打分方法、幻觉防护、Bad Case 分析](01-eval-quality-gate.md) | 高级 | 4 小时 |
| 2 | [Agent 可观测性、成本和延迟：链路追踪、记忆管理、缓存和降级](02-observability-cost.md) | 高级 | 3 小时 |

## 企业场景

- [客服 Agent 上线流程：评测集、质量门禁、灰度和线上 Bad Case 闭环](scenarios/agent-quality-gate.md)

## 面试题

- [Agent 评测与运维面试题](interview.md)

## 示例代码

- [examples/eval-gate](examples/eval-gate/)：评测集分组打分、Bad Case 分类、回归检查、质量门禁（`--ci` 时以退出码阻止合并）、成本和延迟统计、简易链路追踪（只用标准库，带测试）

## 在 16 周计划中

- [第 12 周：持久化和记忆](../../../plan/week12-agent-m3-persistence.md)、[第 13 周：评测和可观测性](../../../plan/week13-agent-m4-eval-lowcode.md)

## 官方资料

以官方文档为准：

- LangSmith：https://docs.smith.langchain.com/
- Langfuse：https://langfuse.com/docs
- OpenTelemetry 生成式 AI 语义约定：https://opentelemetry.io/docs/specs/semconv/gen-ai/
- Ragas：https://docs.ragas.io/