46 lines
1.8 KiB
Markdown
46 lines
1.8 KiB
Markdown
---
|
||
id: ai.agent-ops.index
|
||
title: Agent 评测与运维
|
||
type: index
|
||
domain: ai
|
||
stack: [agent-ops]
|
||
tags: [评测, 质量门禁, 幻觉防护, Bad Case, 可观测性, 成本, 记忆]
|
||
week: [12, 13]
|
||
---
|
||
|
||
# Agent 评测与运维
|
||
|
||
让 Agent 从“能跑的 demo”变成“能上线的系统”：评测集、质量门禁、幻觉防护、Bad Case 分析、链路追踪、成本和延迟、记忆管理。BOSS直聘 2026-10-23 的调研中这些是 Agent 岗位反复出现的要求，也是和“只会调 API”的候选人拉开差距的地方。
|
||
|
||
## 学习路线
|
||
|
||
| 顺序 | 课程 | 级别 | 预计 |
|
||
| --- | --- | --- | --- |
|
||
| 1 | [Agent 评测和质量门禁：评测集、打分方法、幻觉防护、Bad Case 分析](01-eval-quality-gate.md) | 高级 | 4 小时 |
|
||
| 2 | [Agent 可观测性、成本和延迟：链路追踪、记忆管理、缓存和降级](02-observability-cost.md) | 高级 | 3 小时 |
|
||
|
||
## 企业场景
|
||
|
||
- [客服 Agent 上线流程：评测集、质量门禁、灰度和线上 Bad Case 闭环](scenarios/agent-quality-gate.md)
|
||
|
||
## 面试题
|
||
|
||
- [Agent 评测与运维面试题](interview.md)
|
||
|
||
## 示例代码
|
||
|
||
- [examples/eval-gate](examples/eval-gate/)：评测集分组打分、Bad Case 分类、回归检查、质量门禁（`--ci` 时以退出码阻止合并）、成本和延迟统计、简易链路追踪（只用标准库，带测试）
|
||
|
||
## 在 16 周计划中
|
||
|
||
- [第 12 周：持久化和记忆](../../../plan/week12-agent-m3-persistence.md)、[第 13 周：评测和可观测性](../../../plan/week13-agent-m4-eval-lowcode.md)
|
||
|
||
## 官方资料
|
||
|
||
以官方文档为准：
|
||
|
||
- LangSmith：https://docs.smith.langchain.com/
|
||
- Langfuse：https://langfuse.com/docs
|
||
- OpenTelemetry 生成式 AI 语义约定：https://opentelemetry.io/docs/specs/semconv/gen-ai/
|
||
- Ragas：https://docs.ragas.io/
|