101 lines
5.0 KiB
Markdown
101 lines
5.0 KiB
Markdown
---
|
||
id: backend.data-pipeline.reliability
|
||
title: 数据管道基础:批处理与流处理、增量同步、限流重试、幂等、数据质量和告警
|
||
type: lesson
|
||
domain: backend
|
||
stack: [data-pipeline]
|
||
tags: [ETL, 批处理, 流处理, 增量同步, 水位线, 限流, 重试, 幂等, 死信, 数据质量, 告警]
|
||
level: intermediate
|
||
prerequisites: [backend.postgresql.index-tx-mvcc, backend.mq.reliability]
|
||
est_hours: 3
|
||
related: [backend.data-pipeline.scenario.third-party-sync, backend.data-pipeline.interview, backend.elasticsearch.scenario.kb-search-sync]
|
||
week: [14]
|
||
order: 1
|
||
---
|
||
|
||
# 数据管道基础:批处理与流处理、增量同步、限流重试、幂等、数据质量和告警
|
||
|
||
> BOSS直聘 2026-10-23 的调研中,部分 AI 应用岗位要求“数据处理 / 数据管道”能力:知识库文档的采集清洗、第三方平台数据对接、报表数据准备。这里讲后端工程师需要掌握的基础,不涉及大数据平台。
|
||
|
||
## 解释说明
|
||
|
||
### 批处理和流处理
|
||
|
||
| | 批处理 | 流处理 |
|
||
| --- | --- | --- |
|
||
| 触发 | 定时(每小时 / 每天) | 事件到达即处理 |
|
||
| 延迟 | 分钟到小时 | 秒级 |
|
||
| 实现 | 定时任务 + SQL / Python | 消息队列(Kafka / RabbitMQ)+ 消费者,或 CDC |
|
||
| 适合 | 报表、对账、全量重建 | 搜索同步、实时告警、实时推荐 |
|
||
|
||
很多系统两者结合:流处理保证实时,批处理定期对账兜底。
|
||
|
||
### 增量同步的关键
|
||
|
||
1. **水位线**:记录上次同步到哪里(时间戳 + 主键打破平局),失败后从水位线继续。**水位线只在本批数据成功落库后推进**。
|
||
2. **限流**:第三方接口有调用频率限制,用令牌桶控制;收到 429 时遵守 `Retry-After`。
|
||
3. **重试**:区分可重试错误(超时、5xx、429)和不可重试错误(401、参数错误);指数退避 + 抖动(避免大量客户端同时重试),有上限。
|
||
4. **幂等**:重复运行结果一致——按主键 upsert,并且比较版本号 / 更新时间,旧数据不能覆盖新数据。
|
||
5. **坏数据**:单条坏数据进入死信表,不阻塞整批;坏数据比例超过阈值说明上游出问题了,应停止并告警。
|
||
6. **数据质量检查**:行数波动、空值率、取值范围、唯一性、与源头的对账。
|
||
7. **可观测**:每次运行记录拉取数、写入数、死信数、耗时;失败和质量异常告警。
|
||
|
||
### 常用工具(了解)
|
||
|
||
定时调度:cron、Celery Beat、APScheduler;编排:Airflow、Dagster、Prefect;CDC:Debezium;数据质量:Great Expectations 一类工具。小团队先用“定时任务 + 本课的这些原则”就够了。
|
||
|
||
## 案例
|
||
|
||
每 10 分钟从电商平台开放接口同步订单到自己的数据库,供 AI 报表 Agent 查询:接口每秒限 50 次、偶尔超时;有时返回状态值异常的数据;同步中断后要能续跑;不能产生重复订单。
|
||
|
||
## 代码示例
|
||
|
||
[examples/incremental-sync](examples/incremental-sync/)(只用标准库,`python pipeline.py` 运行,`test_pipeline.py` 6 个测试通过):
|
||
|
||
```text
|
||
第一次:拉取 251,写入 250,死信 1,接口调用 5 次(含 2 次失败重试)
|
||
第二次(没有新数据):拉取 0
|
||
orders 表 250 行,水位线 ('2026-10-23T11:00:00', 'bad1')
|
||
```
|
||
|
||
幂等且防止旧版本覆盖:
|
||
|
||
```sql
|
||
INSERT INTO orders (id, amount_cents, status, updated_at) VALUES (:id, :amount_cents, :status, :updated_at)
|
||
ON CONFLICT(id) DO UPDATE SET amount_cents = excluded.amount_cents, status = excluded.status, updated_at = excluded.updated_at
|
||
WHERE excluded.updated_at > orders.updated_at
|
||
```
|
||
|
||
重试(指数退避 + 全抖动,遵守 Retry-After):
|
||
|
||
```python
|
||
def with_retry(fn, *, attempts=5, base=0.2, cap=5.0, sleep=time.sleep, rng=None):
|
||
rng = rng or random.Random()
|
||
for i in range(attempts):
|
||
try:
|
||
return fn()
|
||
except RetryableError as e:
|
||
if i == attempts - 1:
|
||
raise
|
||
delay = e.retry_after if e.retry_after is not None else rng.uniform(0, min(cap, base * 2 ** i))
|
||
sleep(delay)
|
||
```
|
||
|
||
质量检查不通过时整批回滚、水位线不前进并告警(见 `test_quality_gate_rolls_back_and_alerts`)。
|
||
|
||
## 易错点
|
||
|
||
- 先推进水位线再写数据:中途失败就丢数据。
|
||
- 只用时间戳做水位线:同一秒内有多条数据时会漏或重复;要加主键打破平局。
|
||
- **迟到数据**:来源系统的事务晚提交,`updated_at` 比水位线还早,被永远跳过。办法:每次往回多拉一个重叠窗口(例如 5 分钟),依赖幂等写入去重;再加定期对账。
|
||
- 对所有错误都重试,包括 401,结果被对方封禁。
|
||
- 没有抖动的重试,故障恢复瞬间所有任务一起打过去。
|
||
- 坏数据直接让整个任务失败,或者相反——静默丢弃没有任何记录。
|
||
|
||
## 面试常问
|
||
|
||
- 怎么设计一个可以断点续传的增量同步任务?
|
||
- 怎么保证同步任务幂等?
|
||
- 第三方接口限流和不稳定怎么处理?
|
||
- 怎么发现数据质量问题?
|