phase 5 part 3: mongodb, elasticsearch hybrid search, data-pipeline, nodejs BFF topics with verified examples

This commit is contained in:
Shikui Wang committed 2026-10-23 16:38:52 +08:00
1 parent 9eeb10aede
commit 075872e31e
27 files changed
+2405 -52

No files matched your search

+105
View File
@@ -0,0 +1,105 @@
---
id: backend.mongodb.document-model
title: MongoDB 基础:文档建模(嵌入还是引用)、索引与 ESR、聚合、事务和变更流
type: lesson
domain: backend
stack: [mongodb]
tags: [MongoDB, 文档模型, 嵌入, 引用, 复合索引, ESR, 聚合管道, 事务, 变更流, 副本集]
level: basic
prerequisites: [backend.postgresql.index]
est_hours: 3
related: [backend.mongodb.scenario.conversation-store, backend.elasticsearch.index, backend.mongodb.interview]
week: [14]
order: 1
---
# MongoDB 基础:文档建模(嵌入还是引用)、索引与 ESR、聚合、事务和变更流
> BOSS直聘 2026-10-23 的调研中,有岗位把 MongoDB 列为要求或加分项(常见于存储对话记录、日志、灵活结构的业务数据)。定位:**了解并能用**,主库仍以 PostgreSQL / MySQL 为主。示例基于 MongoDB 8.2 + PyMongo 4.19 实际运行通过;以官方文档为准:https://www.mongodb.com/docs/manual/ 。
## 解释说明
### 和关系型数据库的对应
| 关系型 | MongoDB |
| --- | --- |
| 数据库 / 表 / 行 | database / collection / document(BSON,类似 JSON) |
| 表结构 | 默认无固定结构,可用 `$jsonSchema` 校验 |
| JOIN | 优先“嵌入”,必要时用聚合的 `$lookup` |
| 事务 | 单文档写入天然原子;多文档事务需要副本集或分片集群 |
### 建模:嵌入还是引用
- **嵌入**:总是一起读写、数量有上限的子数据(会话中的最近消息、订单中的商品快照)。一次读取拿到全部,单文档原子更新。
- **引用**:数量无上限或会被独立访问、多处共享的数据(用户、商品主数据、海量消息)。
- 单个文档上限 16MB,数组不能无限增长(“无限数组”是常见反模式)。
### 索引
- 单字段、复合、多键(数组)、TTL(自动过期)、唯一、文本索引等。
- **复合索引的 ESR 规则**:等值条件字段在前(Equality),排序字段居中(Sort),范围条件字段在后(Range)。
- 用 `explain()` 看是否 `IXSCAN`(走索引)、有没有 `COLLSCAN`(全表扫描)和 `SORT`(内存排序)。
### 聚合管道
`$match` → `$unwind` → `$group` → `$sort` → `$project` …… 像流水线一样处理;`$match` 尽量放在最前面以利用索引。
### 副本集、事务、变更流
- **副本集**:一主多从,自动故障转移;读写关注(`readConcern` / `writeConcern`)控制一致性。
- **事务**:多文档 ACID,需要副本集;有性能成本,优先通过建模让一次写入只改一个文档。
- **变更流(Change Streams)**:订阅集合的变更,常用于同步到 ES / 缓存 / 消息队列,支持 resume token 断点续传。
## 案例
AI 客服会话存储:会话文档嵌入最近消息(上限 200 条),结构随渠道不同而变化;按“租户 + 状态 + 时间倒序”查询待处理会话;转人工时同时改会话状态并创建工单(事务);变更流把工单同步到搜索服务。
## 代码示例
[examples/conversations/mongo_demo.py](examples/conversations/mongo_demo.py)(需要 `MONGO_URL`,单节点副本集即可),实际输出:
```text
1. Schema 校验:非法 status 被拒绝
2. 查询走索引且无需内存排序:['FETCH', 'IXSCAN', 'LIMIT']
3. 聚合统计 6 组,例如 {'tenant': 't0', 'channel': 'app'} 共 50 个会话,平均 22.9 tokens
4. 幂等 upsert:重复投递 3 次只有 1 条
5. 事务:成功的提交生效,失败的整体回滚
6. 变更流收到插入事件,并拿到 resume token 用于断点续传
```
ESR 索引和 explain:
```python
conv.create_index([("tenant_id", 1), ("status", 1), ("created_at", -1)]) # 等值、等值、排序
plan = conv.find({"tenant_id": "t1", "status": "handoff"}).sort("created_at", -1).limit(10).explain()
```
幂等 upsert:
```python
events.create_index("event_id", unique=True)
events.update_one({"event_id": "evt-001"}, {"$setOnInsert": {"payload": "退款申请"}}, upsert=True)
```
本地启动单节点副本集(无 Docker 时可用官方二进制包):
```bash
mongod --dbpath ./data --replSet rs0 --bind_ip 127.0.0.1 --port 27017
mongosh --eval 'rs.initiate()' # 或用 PyMongo 执行 replSetInitiate
```
## 易错点
- 把关系型的表结构原样搬过来,到处 `$lookup`,失去文档模型的优势。
- 无限增长的嵌入数组。
- 以为“无结构”就不需要校验:关键字段要用 Schema 校验和应用层校验。
- 复合索引顺序不对,查询仍然内存排序。
- 单机(非副本集)部署上使用事务或变更流,直接报错。
- 用 `skip` 做深分页:越往后越慢,改用“基于上一页最后一个值”的范围查询。
## 面试常问
- 什么时候选 MongoDB,什么时候选 PostgreSQL?
- 嵌入和引用怎么选?
- 复合索引的设计原则?
- MongoDB 支持事务吗?有什么限制?
@@ -0,0 +1,132 @@
# requires: pymongo
"""MongoDB:AI 客服会话存储——Schema 校验、复合索引与 explain、聚合统计、幂等 upsert、事务、变更流。
运行:MONGO_URL="mongodb://127.0.0.1:27017/?directConnection=true" python mongo_demo.py
需要 MongoDB 以副本集方式运行(事务和变更流都要求副本集;单节点副本集即可)。没有设置环境变量时跳过。
使用一个随机名字的临时数据库,结束后删除。
"""
import os
import sys
import uuid
from datetime import datetime, timedelta, timezone
from pymongo import ASCENDING, DESCENDING, MongoClient
from pymongo.errors import DuplicateKeyError, WriteError
url = os.environ.get("MONGO_URL")
if not url:
print("未设置 MONGO_URL,跳过")
sys.exit(0)
client = MongoClient(url, serverSelectionTimeoutMS=3000)
db = client[f"learn_{uuid.uuid4().hex[:8]}"]
def plan_stages(plan: dict) -> set[str]:
"""递归收集 explain 结果中的执行阶段名(IXSCAN / COLLSCAN / FETCH ...)。"""
out = {plan.get("stage", "")}
for key in ("inputStage", "queryPlan"):
if key in plan:
out |= plan_stages(plan[key])
for child in plan.get("inputStages", []):
out |= plan_stages(child)
return out
try:
# 1. Schema 校验:文档模型灵活,但关键字段仍要约束
db.create_collection("conversations", validator={"$jsonSchema": {
"bsonType": "object",
"required": ["tenant_id", "user_id", "status", "created_at", "messages"],
"properties": {
"tenant_id": {"bsonType": "string"},
"status": {"enum": ["open", "handoff", "closed"]},
"messages": {"bsonType": "array", "maxItems": 200}, # 嵌入数组要设上限,防止文档无限增长(单文档上限 16MB)
},
}})
conv = db.conversations
try:
conv.insert_one({"tenant_id": "t1", "user_id": "u1", "status": "unknown", "created_at": datetime.now(timezone.utc), "messages": []})
raise AssertionError("非法 status 应该被拒绝")
except WriteError:
print("1. Schema 校验:非法 status 被拒绝")
# 2. 写入数据:消息嵌入在会话文档中(一起读、一起写,数量有上限)
now = datetime.now(timezone.utc)
docs = []
for i in range(300):
tenant = f"t{i % 3}"
docs.append({
"tenant_id": tenant, "user_id": f"u{i % 50}",
"status": ["open", "handoff", "closed"][i % 3],
"created_at": now - timedelta(minutes=i),
"channel": "web" if i % 2 else "app",
"messages": [{"role": "user", "text": f"问题{i}"}, {"role": "assistant", "text": f"回答{i}", "tokens": 20 + i % 7}],
})
conv.insert_many(docs)
# 3. 复合索引:遵循 ESR(等值 Equality → 排序 Sort → 范围 Range)
conv.create_index([("tenant_id", ASCENDING), ("status", ASCENDING), ("created_at", DESCENDING)], name="tenant_status_time")
query = {"tenant_id": "t1", "status": "handoff"}
plan = conv.find(query).sort("created_at", DESCENDING).limit(10).explain()["queryPlanner"]["winningPlan"]
stages = plan_stages(plan)
assert "IXSCAN" in stages and "COLLSCAN" not in stages and "SORT" not in stages, stages
print(f"2. 查询走索引且无需内存排序:{sorted(s for s in stages if s)}")
# 4. 聚合:每个租户每个渠道的会话数和平均 token
pipeline = [
{"$match": {"created_at": {"$gte": now - timedelta(hours=24)}}},
{"$unwind": "$messages"},
{"$match": {"messages.role": "assistant"}},
{"$group": {"_id": {"tenant": "$tenant_id", "channel": "$channel"}, "conversations": {"$sum": 1}, "avg_tokens": {"$avg": "$messages.tokens"}}},
{"$sort": {"_id.tenant": 1, "_id.channel": 1}},
]
rows = list(conv.aggregate(pipeline))
assert sum(r["conversations"] for r in rows) == 300
print(f"3. 聚合统计 {len(rows)} 组,例如 {rows[0]['_id']} 共 {rows[0]['conversations']} 个会话,平均 {rows[0]['avg_tokens']:.1f} tokens")
# 5. 幂等写入:外部消息 id 做唯一索引 + upsert,重复投递不会产生重复数据
events = db.events
events.create_index("event_id", unique=True)
for _ in range(3): # 同一条消息投递 3 次
events.update_one({"event_id": "evt-001"}, {"$setOnInsert": {"payload": "退款申请", "at": now}}, upsert=True)
assert events.count_documents({"event_id": "evt-001"}) == 1
try:
events.insert_one({"event_id": "evt-001"})
raise AssertionError("唯一索引应该拒绝")
except DuplicateKeyError:
pass
print("4. 幂等 upsert:重复投递 3 次只有 1 条")
# 6. 多文档事务:转人工时同时更新会话和创建工单,要么都成功要么都失败
tickets = db.tickets
target = conv.find_one({"status": "open"})
assert target is not None
with client.start_session() as s:
with s.start_transaction():
conv.update_one({"_id": target["_id"]}, {"$set": {"status": "handoff"}}, session=s)
tickets.insert_one({"conversation_id": target["_id"], "tenant_id": target["tenant_id"], "state": "new"}, session=s)
assert conv.find_one({"_id": target["_id"]})["status"] == "handoff" and tickets.count_documents({}) == 1
try:
with client.start_session() as s:
with s.start_transaction():
tickets.insert_one({"conversation_id": "x", "state": "new"}, session=s)
raise RuntimeError("模拟中途失败")
except RuntimeError:
pass
assert tickets.count_documents({}) == 1
print("5. 事务:成功的提交生效,失败的整体回滚")
# 7. 变更流:数据同步到搜索引擎 / 缓存的常用手段(可以用 resume token 断点续传)
with tickets.watch([{"$match": {"operationType": "insert"}}]) as stream:
tickets.insert_one({"conversation_id": "y", "tenant_id": "t2", "state": "new"})
change = stream.try_next()
while change is None:
change = stream.try_next()
token = stream.resume_token
assert change["fullDocument"]["conversation_id"] == "y" and token is not None
print("6. 变更流收到插入事件,并拿到 resume token 用于断点续传")
print("全部检查通过")
finally:
client.drop_database(db.name)
client.close()
+28 -3
View File
@@ -4,12 +4,37 @@ title: MongoDB
type: index
domain: backend
stack: [mongodb]
tags: []
tags: [MongoDB, 文档数据库, NoSQL]
week: [14]
---
# MongoDB
文档模型、查询与聚合、索引、何时选 MongoDB 而不是关系库。
文档数据库的基础:建模、索引、聚合、事务、变更流。BOSS直聘 2026-10-23 的调研中有岗位提到,定位为“了解并能用”,主库仍以 PostgreSQL 为主。
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
## 学习路线
| 顺序 | 课程 | 级别 | 预计 |
| --- | --- | --- | --- |
| 1 | [MongoDB 基础:文档建模(嵌入还是引用)、索引与 ESR、聚合、事务和变更流](01-document-model.md) | 基础 | 3 小时 |
## 企业场景
- [AI 客服会话存储:海量对话记录的建模、查询、归档和同步](scenarios/conversation-store.md)
## 面试题
- [MongoDB 面试题](interview.md)
## 示例代码
- [examples/conversations](examples/conversations/):Schema 校验、ESR 索引 + explain、聚合、幂等 upsert、事务、变更流(MongoDB 8.2 单节点副本集实际运行通过)
## 在 16 周计划中
- [第 14 周:后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)
## 官方资料
- https://www.mongodb.com/docs/manual/
- PyMongo:https://www.mongodb.com/docs/languages/python/pymongo-driver/current/
+67
View File
@@ -0,0 +1,67 @@
---
id: backend.mongodb.interview
title: MongoDB 面试题
type: interview
domain: backend
stack: [mongodb]
tags: [MongoDB, 文档模型, 索引, 事务, 面试]
level: basic
related: [backend.mongodb.document-model]
week: [14, 16]
---
# MongoDB 面试题
## 基础
### 【基础】MongoDB 和 MySQL / PostgreSQL 怎么选?
**参考答案**:结构多变、以文档为单位读写、写入量大、可以接受反范式的数据(日志、对话、内容、配置)适合 MongoDB;强一致事务、复杂关联查询和报表(订单、账务)更适合关系型。很多系统组合使用。
**追问**:PostgreSQL 的 JSONB 能不能代替?→ 中小规模、需要和关系数据一起做事务时完全可以;数据量大、结构差异大、需要水平分片时 MongoDB 更自然。
### 【基础】嵌入和引用怎么选?
**参考答案**:一起读写、数量有上限、不被单独访问的子数据嵌入;数量无上限、被多处共享或独立访问的数据引用。要考虑 16MB 单文档上限。
**追问**:订单里的商品信息嵌入还是引用?→ 嵌入下单时的快照(价格、名称),同时保留商品 id 引用,因为订单要记录成交时的状态。
### 【基础】MongoDB 支持事务吗?
**参考答案**:单文档操作天然原子;4.0 起支持副本集上的多文档事务,4.2 起支持分片集群。事务有性能开销和时间限制,优先通过建模减少对多文档事务的依赖。
**追问**:单机能用事务吗?→ 不能,需要副本集,开发环境可以启动单节点副本集。
## 进阶
### 【进阶】复合索引怎么设计?
**参考答案**:按 ESR 规则:等值字段在前、排序字段中间、范围字段在后;考虑选择性和查询覆盖;用 `explain` 验证是否走索引、是否有内存排序。
**追问**:为什么范围字段放在排序字段之前会有问题?→ 范围扫描后的结果在排序字段上不再有序,需要额外的内存排序。
### 【进阶】深分页怎么优化?
**参考答案**:避免大 `skip`(需要扫描并丢弃前面的文档),改用基于游标的分页:记录上一页最后一条的排序字段值(加 `_id` 打破平局),下一页查询“小于这个值”的数据。
**追问**:这种分页的缺点?→ 不能直接跳到第 N 页,适合无限滚动和“下一页”场景。
### 【进阶】变更流有什么用?怎么保证不丢事件?
**参考答案**:订阅数据变更,用于同步到搜索引擎、缓存、消息队列、审计。消费者处理完后保存 resume token,重启时从 token 继续;消费端做幂等;注意 oplog 保留窗口,停太久 token 会失效,需要全量重建。
**追问**:和 PostgreSQL 的什么机制类似?→ 逻辑复制 / CDC(如 Debezium 读取 WAL),以及 outbox 模式。
## 场景题
### 【场景题】AI 客服的对话记录怎么存储?
**参考答案**:会话文档嵌入最近消息,完整消息单独集合并以 `conversation_id + seq` 唯一索引保证顺序和幂等;带 `tenant_id` 做隔离;按 ESR 建列表索引;变更流同步 ES 做检索;按保留期归档。详见[会话存储场景](scenarios/conversation-store.md)。
**追问**:如何防止越权查询?→ 数据访问层统一注入 `tenant_id` 条件,并有测试覆盖“缺少租户条件时拒绝执行”。
### 【场景题】线上一个查询突然变慢,你怎么排查?
**参考答案**:开启慢查询分析(profiler 或日志),对慢查询执行 `explain("executionStats")` 看扫描的文档数与返回数之比、是否 COLLSCAN 或内存排序;检查是否新增了查询条件导致索引不匹配、数据分布变化、索引过多影响写入;修复后对比执行统计。
**追问**:建索引会影响线上吗?→ 会占用资源,选择低峰期建立,大集合关注构建进度和副本同步延迟。
@@ -0,0 +1,78 @@
---
id: backend.mongodb.scenario.conversation-store
title: AI 客服会话存储:海量对话记录的建模、查询、归档和同步
type: scenario
domain: backend
stack: [mongodb, postgresql, elasticsearch]
tags: [对话记录, 文档建模, TTL, 归档, 变更流, 多租户]
level: intermediate
prerequisites: [backend.mongodb.document-model]
est_hours: 2
related: [backend.mongodb.interview]
week: [14]
---
# AI 客服会话存储:海量对话记录的建模、查询、归档和同步
## 业务背景与问题
AI 客服上线后,每天产生大量对话(用户消息、模型回复、工具调用记录、评分),原先存在 PostgreSQL 的一张 JSONB 大表中:
1. 消息结构经常变化(新增工具调用、图片、引用来源),频繁改表;
2. 坐席后台按租户查“待处理会话”越来越慢;
3. 需要按关键词搜索历史对话;
4. 数据只需要在线保留 180 天,之后归档。
## 约束
- 订单、退款等核心交易数据仍在 PostgreSQL,强一致。
- 对话数据允许最终一致的检索。
- 多租户隔离。
## 方案设计
1. **职责划分**:交易数据留在 PostgreSQL;对话记录迁移到 MongoDB(结构灵活、写入量大);全文 / 语义检索交给 Elasticsearch。
2. **建模**:
- `conversations`:会话元数据 + 最近 N 条消息嵌入(列表页和详情首屏一次读取);
- `messages`:完整消息单独集合,按 `conversation_id + seq` 引用(避免无限数组);
- 每个文档都带 `tenant_id`。
3. **索引**:`{tenant_id, status, updated_at: -1}`(坐席列表,ESR)、`{conversation_id, seq}` 唯一(幂等写入和顺序读取)、`messages.created_at` 上的 TTL 索引或按月归档任务。
4. **同步检索**:变更流 → 消费者 → 写入 ES;保存 resume token,断线后续传;消费者幂等(以消息 id 为 ES 文档 id)。
5. **一致性**:转人工(改会话 + 建工单)用事务,或者把工单放在 PostgreSQL 并通过 outbox 模式保证一致。
## 关键代码
```python
# 追加消息:唯一索引保证重复投递不重复写入;同时更新会话的最近消息(保留最后 20 条)
messages.update_one(
{"conversation_id": cid, "seq": seq},
{"$setOnInsert": {"tenant_id": tenant, "role": role, "text": text, "created_at": now}},
upsert=True,
)
conversations.update_one(
{"_id": cid, "tenant_id": tenant},
{"$push": {"recent": {"$each": [{"seq": seq, "role": role, "text": text}], "$slice": -20}},
"$set": {"updated_at": now}},
)
```
可运行的基础示例:[examples/conversations](../examples/conversations/)。
## 取舍
| 选择 | 优点 | 缺点 |
| --- | --- | --- |
| **MongoDB 存对话 + PG 存交易(本方案)** | 各取所长,结构灵活 | 多一种数据库要运维,跨库一致性要设计 |
| 全部留在 PostgreSQL JSONB | 技术栈简单,事务方便 | 写入量大时表膨胀,结构变化仍需维护索引 |
| 对话直接写 ES | 检索方便 | ES 不适合作为主存储(更新代价、一致性) |
## 易错点
- 消息全部嵌入会话文档,长会话超过 16MB。
- 查询忘记带 `tenant_id`,越权读取其他租户数据。
- 变更流消费者没有保存 resume token,重启后丢事件或全量重放。
- 归档前没有确认合规要求(对话内容可能包含个人信息,需要脱敏或加密)。
## 面试怎么讲
> “对话记录结构多变、写入量大,我把它从 PG 的 JSONB 表迁到了 MongoDB,交易数据留在 PG。会话文档嵌入最近 20 条消息,完整消息单独集合用 conversation_id+seq 唯一索引,既避免无限数组又保证幂等。坐席列表按 ESR 原则建复合索引。检索通过变更流同步到 ES,保存 resume token 断点续传。180 天后归档。”