phase 5 part 3: mongodb, elasticsearch hybrid search, data-pipeline, nodejs BFF topics with verified examples

This commit is contained in:
Shikui Wang committed 2026-10-23 16:38:52 +08:00
1 parent 9eeb10aede
commit 075872e31e
27 files changed
+2405 -52

No files matched your search

+25 -5
View File
@@ -1,15 +1,35 @@
---
id: backend.data-pipeline.index
title: 数据管道与第三方接口对接
title: 数据管道基础
type: index
domain: backend
stack: [data-pipeline]
tags: []
tags: [ETL, 增量同步, 幂等, 数据质量]
week: [14]
---
# 数据管道与第三方接口对接
# 数据管道基础
批处理与流处理、失败重试、幂等、数据质量告警、第三方 API 限流与字段变化。
批处理与流处理、增量同步、限流重试、幂等、数据质量和告警。BOSS直聘 2026-10-23 的调研中部分 AI 应用岗位要求数据处理能力:知识库文档采集、第三方数据对接、报表数据准备都离不开它。
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
## 学习路线
| 顺序 | 课程 | 级别 | 预计 |
| --- | --- | --- | --- |
| 1 | [数据管道基础:批处理与流处理、增量同步、限流重试、幂等、数据质量和告警](01-batch-stream-reliability.md) | 进阶 | 3 小时 |
## 企业场景
- [第三方平台订单同步:限流、断点续跑、迟到数据、对账和告警](scenarios/third-party-sync.md)
## 面试题
- [数据管道面试题](interview.md)
## 示例代码
- [examples/incremental-sync](examples/incremental-sync/):水位线、令牌桶、指数退避 + 抖动重试、幂等 upsert、死信、质量检查回滚(只用标准库,6 个测试通过)
## 在 16 周计划中
- [第 14 周:后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)