89 lines
4.7 KiB
Markdown
89 lines
4.7 KiB
Markdown
---
|
||
id: scenario.content-moderation
|
||
title: 内容审核：规则 + 模型的分层审核、异步流水线、人工复审、申诉和效果度量
|
||
type: scenario
|
||
domain: cross
|
||
stack: [mq, redis, postgresql, prompt-engineering, agent-ops, fastapi, react]
|
||
tags: [内容审核, 分层过滤, 敏感词, 大模型审核, 人工复审, 异步, 召回率, 误杀率]
|
||
level: intermediate
|
||
prerequisites: [backend.mq.index, ai.prompt-engineering.index]
|
||
est_hours: 2.5
|
||
related: [ai.prompt-engineering.scenario.injection-defense, ai.agent-ops.scenario.agent-quality-gate, backend.mq.reliability]
|
||
week: [13, 14]
|
||
---
|
||
|
||
# 内容审核：规则 + 模型的分层审核、异步流水线、人工复审、申诉和效果度量
|
||
|
||
## 业务背景与问题
|
||
|
||
社区产品允许用户发帖、评论，同时 AI 助手会生成回复。监管和平台要求：
|
||
|
||
1. 违规内容（色情、暴力、诈骗广告、个人信息泄露）要及时拦截；
|
||
2. 纯人工审核成本高、速度慢；纯关键词误杀多（“打击诈骗”被当成诈骗）；
|
||
3. AI 生成的内容同样要审核；
|
||
4. 用户对误判可以申诉。
|
||
|
||
## 约束
|
||
|
||
- 发帖体验不能明显变慢。
|
||
- 高风险内容宁可误杀；低风险内容宁可放过后再处理。
|
||
- 审核标准会随政策变化。
|
||
|
||
## 方案设计
|
||
|
||
1. **分层审核**：
|
||
- 第一层（同步，毫秒级）：敏感词（AC 自动机 / 词库服务）、黑名单 URL、正则（手机号、身份证号）→ 命中高危直接拒绝；
|
||
- 第二层（异步，秒级）：大模型按审核标准分类，输出结构化结果（类别、风险等级、证据片段、理由）；
|
||
- 第三层（人工）：中风险和模型不确定的内容进入人工复审队列，按风险和时效排序。
|
||
2. **发布策略**：低风险先发布（“先发后审”），中风险“仅自己可见”直到审核完成，高风险拒绝。
|
||
3. **异步流水线**：发帖写库后发消息，审核服务消费（重试、死信、幂等：按内容 id + 内容哈希）；结果回写并通知。
|
||
4. **AI 生成内容**：输出前过第一层；流式输出时按句缓冲检测，命中即中止并替换为提示语。
|
||
5. **审核标准即配置**：审核提示词和类别定义版本化管理；修改后用标注集回归（召回率、误杀率）通过才上线。
|
||
6. **申诉与反馈**：申诉进入人工复审；复审结论回流到标注集，用于评测和改进规则。
|
||
7. **防对抗**：谐音、拆字、图片中的文字（OCR）；提示词注入（帖子内容里写“忽略审核规则”），审核提示词中把用户内容作为数据隔离。
|
||
|
||
## 关键代码
|
||
|
||
审核结果结构与决策（示意）：
|
||
|
||
```python
|
||
class ModerationResult(BaseModel):
|
||
category: Literal["ok", "porn", "violence", "fraud", "pii", "other"]
|
||
risk: Literal["low", "medium", "high"]
|
||
evidence: list[str] = Field(max_length=5) # 命中的原文片段，方便复审
|
||
reason: str
|
||
|
||
def decide(rule_hit: RuleHit | None, model: ModerationResult | None) -> str:
|
||
if rule_hit and rule_hit.level == "high":
|
||
return "reject"
|
||
if model is None: # 模型超时 / 不可用：进入人工，不自动放行中高风险
|
||
return "manual_review"
|
||
if model.risk == "high":
|
||
return "reject"
|
||
if model.risk == "medium" or (rule_hit and rule_hit.level == "medium"):
|
||
return "manual_review"
|
||
return "publish"
|
||
```
|
||
|
||
审核提示词中隔离用户内容（防注入）的写法见[提示词注入防护](../topics/ai/prompt-engineering/scenarios/injection-defense.md)；评测和门禁见 [Agent 质量门禁](../topics/ai/agent-ops/scenarios/agent-quality-gate.md)。
|
||
|
||
## 取舍
|
||
|
||
| 决策 | 选择 | 原因 |
|
||
| --- | --- | --- |
|
||
| 审核方式 | 规则 + 模型 + 人工分层 | 兼顾速度、成本和准确率 |
|
||
| 发布时机 | 按风险分级 | 体验和安全的平衡 |
|
||
| 模型故障 | 降级为人工 | 不能因故障放行风险内容 |
|
||
| 标准变更 | 标注集回归 | 防止改一条规则引起大量误杀 |
|
||
|
||
## 易错点
|
||
|
||
- 只看召回率（拦住多少违规），不看误杀率（误伤多少正常内容）。
|
||
- 审核结果覆盖了用户后来编辑过的新内容（用内容哈希校验版本）。
|
||
- 把用户内容直接拼进审核提示词，被注入。
|
||
- 审核日志中保存了大量个人信息，没有脱敏和保留期限。
|
||
|
||
## 面试怎么讲
|
||
|
||
> “内容审核我做了三层：同步的敏感词和正则直接拦高危；异步的大模型按审核标准输出类别、风险和证据；中风险和不确定的进人工复审。发布按风险分级，模型故障时降级到人工而不是放行。审核标准作为版本化配置，修改后用标注集回归召回率和误杀率。申诉结论回流到标注集。”
|