phase 5 part 3: mongodb, elasticsearch hybrid search, data-pipeline, nodejs BFF topics with verified examples
This commit is contained in:
1 parent
9eeb10aede
commit
075872e31e
27 files changed
+2405
-52
No files matched your search
@@ -1,15 +1,35 @@
|
||||
---
|
||||
id: backend.data-pipeline.index
|
||||
title: 数据管道与第三方接口对接
|
||||
title: 数据管道基础
|
||||
type: index
|
||||
domain: backend
|
||||
stack: [data-pipeline]
|
||||
tags: []
|
||||
tags: [ETL, 增量同步, 幂等, 数据质量]
|
||||
week: [14]
|
||||
---
|
||||
|
||||
# 数据管道与第三方接口对接
|
||||
# 数据管道基础
|
||||
|
||||
批处理与流处理、失败重试、幂等、数据质量告警、第三方 API 限流与字段变化。
|
||||
批处理与流处理、增量同步、限流重试、幂等、数据质量和告警。BOSS直聘 2026-10-23 的调研中部分 AI 应用岗位要求数据处理能力:知识库文档采集、第三方数据对接、报表数据准备都离不开它。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [数据管道基础:批处理与流处理、增量同步、限流重试、幂等、数据质量和告警](01-batch-stream-reliability.md) | 进阶 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [第三方平台订单同步:限流、断点续跑、迟到数据、对账和告警](scenarios/third-party-sync.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [数据管道面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/incremental-sync](examples/incremental-sync/):水位线、令牌桶、指数退避 + 抖动重试、幂等 upsert、死信、质量检查回滚(只用标准库,6 个测试通过)
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 14 周:后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)
|
||||
Reference in new issue
Block a user