68 lines
4.3 KiB
Markdown
68 lines
4.3 KiB
Markdown
---
|
|
id: ai.agent-ops.interview
|
|
title: Agent 评测与运维面试题
|
|
type: interview
|
|
domain: ai
|
|
stack: [agent-ops]
|
|
tags: [评测, 幻觉, 可观测性, 成本, 面试]
|
|
level: advanced
|
|
related: [ai.agent-ops.eval-quality-gate, ai.agent-ops.observability-cost]
|
|
week: [13, 16]
|
|
---
|
|
|
|
# Agent 评测与运维面试题
|
|
|
|
## 基础
|
|
|
|
### 【基础】你怎么评测一个 Agent？
|
|
|
|
**参考答案**：建立分组的评测集（正常、拒答、越权、工具调用、多轮、注入），每条标注期望行为；评测最终答案（正确性、忠实度）和过程（工具选择、参数、步数）；规则判断优先，答案质量用 LLM 评分并用人工样本校准；和基线比较，每次改动都跑。
|
|
|
|
**追问**：评测集要多大？→ 起步几十条覆盖主要类型即可，逐步积累到几百条；关键是覆盖面和持续更新，而不是数量。
|
|
|
|
### 【基础】什么是大模型幻觉？怎么减少？
|
|
|
|
**参考答案**：模型生成看似合理但没有依据或错误的内容。减少：RAG 提供资料并要求引用；资料不足时拒答；结构化输出加校验；关键信息（数字、政策）生成后核对；评测集中加入应拒答的问题持续监控。
|
|
|
|
**追问**：能完全消除幻觉吗？→ 不能，只能降低并控制影响：高风险场景加人工确认，答案展示引用让用户核对。
|
|
|
|
### 【基础】Agent 需要监控哪些指标？
|
|
|
|
**参考答案**：技术指标（请求量、错误率、P95 延迟、首 token 延迟、token 消耗和成本、工具错误率）和业务指标（拒答率、转人工率、用户点踩率、任务完成率）。
|
|
|
|
**追问**：哪个指标最能反映效果？→ 业务指标，如任务完成率和转人工率；技术指标正常不代表答案正确。
|
|
|
|
## 进阶
|
|
|
|
### 【进阶】LLM-as-judge 有什么问题？怎么用好？
|
|
|
|
**参考答案**：评分模型会有偏好（偏向更长的答案、偏向自己生成的内容、受位置影响）、结果不稳定。用好：写明确的评分标准和示例；用人工标注的样本校准一致率；评分模型和被测模型尽量不同；安全类和可规则判断的用规则；关键结论人工复核。
|
|
|
|
**追问**：怎么衡量评分模型可不可靠？→ 用一批人工标注样本，计算评分模型和人工结论的一致率，低于要求就调整评分提示词或换模型。
|
|
|
|
### 【进阶】什么是质量门禁？包含哪些规则？
|
|
|
|
**参考答案**：在 CI / 发布流程中自动运行评测，不满足规则就阻止合并或发布。规则示例：安全类失败数为 0；基线通过的用例不能回归；总通过率不下降；成本和延迟增长不超过阈值。
|
|
|
|
**追问**：为什么要检查“回归”而不只看总分？→ 总分可能因为修好了一些用例而上升，同时掩盖了新出现的失败。
|
|
|
|
### 【进阶】怎么降低 Agent 的成本？
|
|
|
|
**参考答案**：模型分级（小模型做分类路由）、精简上下文（摘要历史、精选检索结果、裁剪工具结果）、缓存（答案缓存、提示词前缀缓存）、限制步数和预算、批量处理离线任务。每次优化都要跑评测确认效果没变差。
|
|
|
|
**追问**：怎么知道钱花在哪里？→ 链路追踪中每个 span 记录 token 和成本，按功能、用户、步骤聚合分析。
|
|
|
|
## 场景题
|
|
|
|
### 【场景题】用户反馈 Agent 回答错误，你怎么分析？
|
|
|
|
**参考答案**：根据会话找到链路记录；逐步检查：意图识别 → 工具选择和参数 → 工具 / 检索返回的内容 → 最终生成；确定失败环节并归类（检索未命中、工具选错、生成幻觉、资料错误等）；修复后把这条加入评测集，跑门禁确认没有回归。
|
|
|
|
**追问**：一周有几百条差评，怎么处理？→ 先自动分类（按意图、失败环节，可以用 LLM 辅助），统计占比，优先解决最大的类别，抽样人工复核。
|
|
|
|
### 【场景题】换了一个更便宜的模型，怎么确认能上线？
|
|
|
|
**参考答案**：在评测集上和当前模型对比（分组通过率、安全类、回归用例、成本、延迟）；通过门禁后灰度一小部分流量，对比线上业务指标；保留快速切回的开关。
|
|
|
|
**追问**：评测通过了，灰度时转人工率上升了怎么办？→ 立即回切；分析灰度期间的失败对话，补充到评测集（说明评测集覆盖不足）。
|