---
id: backend.data-pipeline.index
title: 数据管道基础
type: index
domain: backend
stack: [data-pipeline]
tags: [ETL, 增量同步, 幂等, 数据质量]
week: [14]
---

# 数据管道基础

批处理与流处理、增量同步、限流重试、幂等、数据质量和告警。BOSS直聘 2026-10-23 的调研中部分 AI 应用岗位要求数据处理能力：知识库文档采集、第三方数据对接、报表数据准备都离不开它。

## 学习路线

| 顺序 | 课程 | 级别 | 预计 |
| --- | --- | --- | --- |
| 1 | [数据管道基础：批处理与流处理、增量同步、限流重试、幂等、数据质量和告警](01-batch-stream-reliability.md) | 进阶 | 3 小时 |

## 企业场景

- [第三方平台订单同步：限流、断点续跑、迟到数据、对账和告警](scenarios/third-party-sync.md)

## 面试题

- [数据管道面试题](interview.md)

## 示例代码

- [examples/incremental-sync](examples/incremental-sync/)：水位线、令牌桶、指数退避 + 抖动重试、幂等 upsert、死信、质量检查回滚（只用标准库，6 个测试通过）

## 在 16 周计划中

- [第 14 周：后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)