36 lines
1.2 KiB
Markdown
36 lines
1.2 KiB
Markdown
---
|
|
id: backend.data-pipeline.index
|
|
title: 数据管道基础
|
|
type: index
|
|
domain: backend
|
|
stack: [data-pipeline]
|
|
tags: [ETL, 增量同步, 幂等, 数据质量]
|
|
week: [14]
|
|
---
|
|
|
|
# 数据管道基础
|
|
|
|
批处理与流处理、增量同步、限流重试、幂等、数据质量和告警。BOSS直聘 2026-10-23 的调研中部分 AI 应用岗位要求数据处理能力：知识库文档采集、第三方数据对接、报表数据准备都离不开它。
|
|
|
|
## 学习路线
|
|
|
|
| 顺序 | 课程 | 级别 | 预计 |
|
|
| --- | --- | --- | --- |
|
|
| 1 | [数据管道基础：批处理与流处理、增量同步、限流重试、幂等、数据质量和告警](01-batch-stream-reliability.md) | 进阶 | 3 小时 |
|
|
|
|
## 企业场景
|
|
|
|
- [第三方平台订单同步：限流、断点续跑、迟到数据、对账和告警](scenarios/third-party-sync.md)
|
|
|
|
## 面试题
|
|
|
|
- [数据管道面试题](interview.md)
|
|
|
|
## 示例代码
|
|
|
|
- [examples/incremental-sync](examples/incremental-sync/)：水位线、令牌桶、指数退避 + 抖动重试、幂等 upsert、死信、质量检查回滚（只用标准库，6 个测试通过）
|
|
|
|
## 在 16 周计划中
|
|
|
|
- [第 14 周：后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)
|