phase 5 part 3: mongodb, elasticsearch hybrid search, data-pipeline, nodejs BFF topics with verified examples
This commit is contained in:
1 parent
9eeb10aede
commit
075872e31e
27 files changed
+2405
-52
No files matched your search
@@ -0,0 +1,105 @@
|
||||
---
|
||||
id: backend.mongodb.document-model
|
||||
title: MongoDB 基础:文档建模(嵌入还是引用)、索引与 ESR、聚合、事务和变更流
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [mongodb]
|
||||
tags: [MongoDB, 文档模型, 嵌入, 引用, 复合索引, ESR, 聚合管道, 事务, 变更流, 副本集]
|
||||
level: basic
|
||||
prerequisites: [backend.postgresql.index]
|
||||
est_hours: 3
|
||||
related: [backend.mongodb.scenario.conversation-store, backend.elasticsearch.index, backend.mongodb.interview]
|
||||
week: [14]
|
||||
order: 1
|
||||
---
|
||||
|
||||
# MongoDB 基础:文档建模(嵌入还是引用)、索引与 ESR、聚合、事务和变更流
|
||||
|
||||
> BOSS直聘 2026-10-23 的调研中,有岗位把 MongoDB 列为要求或加分项(常见于存储对话记录、日志、灵活结构的业务数据)。定位:**了解并能用**,主库仍以 PostgreSQL / MySQL 为主。示例基于 MongoDB 8.2 + PyMongo 4.19 实际运行通过;以官方文档为准:https://www.mongodb.com/docs/manual/ 。
|
||||
|
||||
## 解释说明
|
||||
|
||||
### 和关系型数据库的对应
|
||||
|
||||
| 关系型 | MongoDB |
|
||||
| --- | --- |
|
||||
| 数据库 / 表 / 行 | database / collection / document(BSON,类似 JSON) |
|
||||
| 表结构 | 默认无固定结构,可用 `$jsonSchema` 校验 |
|
||||
| JOIN | 优先“嵌入”,必要时用聚合的 `$lookup` |
|
||||
| 事务 | 单文档写入天然原子;多文档事务需要副本集或分片集群 |
|
||||
|
||||
### 建模:嵌入还是引用
|
||||
|
||||
- **嵌入**:总是一起读写、数量有上限的子数据(会话中的最近消息、订单中的商品快照)。一次读取拿到全部,单文档原子更新。
|
||||
- **引用**:数量无上限或会被独立访问、多处共享的数据(用户、商品主数据、海量消息)。
|
||||
- 单个文档上限 16MB,数组不能无限增长(“无限数组”是常见反模式)。
|
||||
|
||||
### 索引
|
||||
|
||||
- 单字段、复合、多键(数组)、TTL(自动过期)、唯一、文本索引等。
|
||||
- **复合索引的 ESR 规则**:等值条件字段在前(Equality),排序字段居中(Sort),范围条件字段在后(Range)。
|
||||
- 用 `explain()` 看是否 `IXSCAN`(走索引)、有没有 `COLLSCAN`(全表扫描)和 `SORT`(内存排序)。
|
||||
|
||||
### 聚合管道
|
||||
|
||||
`$match` → `$unwind` → `$group` → `$sort` → `$project` …… 像流水线一样处理;`$match` 尽量放在最前面以利用索引。
|
||||
|
||||
### 副本集、事务、变更流
|
||||
|
||||
- **副本集**:一主多从,自动故障转移;读写关注(`readConcern` / `writeConcern`)控制一致性。
|
||||
- **事务**:多文档 ACID,需要副本集;有性能成本,优先通过建模让一次写入只改一个文档。
|
||||
- **变更流(Change Streams)**:订阅集合的变更,常用于同步到 ES / 缓存 / 消息队列,支持 resume token 断点续传。
|
||||
|
||||
## 案例
|
||||
|
||||
AI 客服会话存储:会话文档嵌入最近消息(上限 200 条),结构随渠道不同而变化;按“租户 + 状态 + 时间倒序”查询待处理会话;转人工时同时改会话状态并创建工单(事务);变更流把工单同步到搜索服务。
|
||||
|
||||
## 代码示例
|
||||
|
||||
[examples/conversations/mongo_demo.py](examples/conversations/mongo_demo.py)(需要 `MONGO_URL`,单节点副本集即可),实际输出:
|
||||
|
||||
```text
|
||||
1. Schema 校验:非法 status 被拒绝
|
||||
2. 查询走索引且无需内存排序:['FETCH', 'IXSCAN', 'LIMIT']
|
||||
3. 聚合统计 6 组,例如 {'tenant': 't0', 'channel': 'app'} 共 50 个会话,平均 22.9 tokens
|
||||
4. 幂等 upsert:重复投递 3 次只有 1 条
|
||||
5. 事务:成功的提交生效,失败的整体回滚
|
||||
6. 变更流收到插入事件,并拿到 resume token 用于断点续传
|
||||
```
|
||||
|
||||
ESR 索引和 explain:
|
||||
|
||||
```python
|
||||
conv.create_index([("tenant_id", 1), ("status", 1), ("created_at", -1)]) # 等值、等值、排序
|
||||
plan = conv.find({"tenant_id": "t1", "status": "handoff"}).sort("created_at", -1).limit(10).explain()
|
||||
```
|
||||
|
||||
幂等 upsert:
|
||||
|
||||
```python
|
||||
events.create_index("event_id", unique=True)
|
||||
events.update_one({"event_id": "evt-001"}, {"$setOnInsert": {"payload": "退款申请"}}, upsert=True)
|
||||
```
|
||||
|
||||
本地启动单节点副本集(无 Docker 时可用官方二进制包):
|
||||
|
||||
```bash
|
||||
mongod --dbpath ./data --replSet rs0 --bind_ip 127.0.0.1 --port 27017
|
||||
mongosh --eval 'rs.initiate()' # 或用 PyMongo 执行 replSetInitiate
|
||||
```
|
||||
|
||||
## 易错点
|
||||
|
||||
- 把关系型的表结构原样搬过来,到处 `$lookup`,失去文档模型的优势。
|
||||
- 无限增长的嵌入数组。
|
||||
- 以为“无结构”就不需要校验:关键字段要用 Schema 校验和应用层校验。
|
||||
- 复合索引顺序不对,查询仍然内存排序。
|
||||
- 单机(非副本集)部署上使用事务或变更流,直接报错。
|
||||
- 用 `skip` 做深分页:越往后越慢,改用“基于上一页最后一个值”的范围查询。
|
||||
|
||||
## 面试常问
|
||||
|
||||
- 什么时候选 MongoDB,什么时候选 PostgreSQL?
|
||||
- 嵌入和引用怎么选?
|
||||
- 复合索引的设计原则?
|
||||
- MongoDB 支持事务吗?有什么限制?
|
||||
@@ -0,0 +1,132 @@
|
||||
# requires: pymongo
|
||||
"""MongoDB:AI 客服会话存储——Schema 校验、复合索引与 explain、聚合统计、幂等 upsert、事务、变更流。
|
||||
|
||||
运行:MONGO_URL="mongodb://127.0.0.1:27017/?directConnection=true" python mongo_demo.py
|
||||
需要 MongoDB 以副本集方式运行(事务和变更流都要求副本集;单节点副本集即可)。没有设置环境变量时跳过。
|
||||
使用一个随机名字的临时数据库,结束后删除。
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
import uuid
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
from pymongo import ASCENDING, DESCENDING, MongoClient
|
||||
from pymongo.errors import DuplicateKeyError, WriteError
|
||||
|
||||
url = os.environ.get("MONGO_URL")
|
||||
if not url:
|
||||
print("未设置 MONGO_URL,跳过")
|
||||
sys.exit(0)
|
||||
|
||||
client = MongoClient(url, serverSelectionTimeoutMS=3000)
|
||||
db = client[f"learn_{uuid.uuid4().hex[:8]}"]
|
||||
|
||||
|
||||
def plan_stages(plan: dict) -> set[str]:
|
||||
"""递归收集 explain 结果中的执行阶段名(IXSCAN / COLLSCAN / FETCH ...)。"""
|
||||
out = {plan.get("stage", "")}
|
||||
for key in ("inputStage", "queryPlan"):
|
||||
if key in plan:
|
||||
out |= plan_stages(plan[key])
|
||||
for child in plan.get("inputStages", []):
|
||||
out |= plan_stages(child)
|
||||
return out
|
||||
|
||||
|
||||
try:
|
||||
# 1. Schema 校验:文档模型灵活,但关键字段仍要约束
|
||||
db.create_collection("conversations", validator={"$jsonSchema": {
|
||||
"bsonType": "object",
|
||||
"required": ["tenant_id", "user_id", "status", "created_at", "messages"],
|
||||
"properties": {
|
||||
"tenant_id": {"bsonType": "string"},
|
||||
"status": {"enum": ["open", "handoff", "closed"]},
|
||||
"messages": {"bsonType": "array", "maxItems": 200}, # 嵌入数组要设上限,防止文档无限增长(单文档上限 16MB)
|
||||
},
|
||||
}})
|
||||
conv = db.conversations
|
||||
try:
|
||||
conv.insert_one({"tenant_id": "t1", "user_id": "u1", "status": "unknown", "created_at": datetime.now(timezone.utc), "messages": []})
|
||||
raise AssertionError("非法 status 应该被拒绝")
|
||||
except WriteError:
|
||||
print("1. Schema 校验:非法 status 被拒绝")
|
||||
|
||||
# 2. 写入数据:消息嵌入在会话文档中(一起读、一起写,数量有上限)
|
||||
now = datetime.now(timezone.utc)
|
||||
docs = []
|
||||
for i in range(300):
|
||||
tenant = f"t{i % 3}"
|
||||
docs.append({
|
||||
"tenant_id": tenant, "user_id": f"u{i % 50}",
|
||||
"status": ["open", "handoff", "closed"][i % 3],
|
||||
"created_at": now - timedelta(minutes=i),
|
||||
"channel": "web" if i % 2 else "app",
|
||||
"messages": [{"role": "user", "text": f"问题{i}"}, {"role": "assistant", "text": f"回答{i}", "tokens": 20 + i % 7}],
|
||||
})
|
||||
conv.insert_many(docs)
|
||||
|
||||
# 3. 复合索引:遵循 ESR(等值 Equality → 排序 Sort → 范围 Range)
|
||||
conv.create_index([("tenant_id", ASCENDING), ("status", ASCENDING), ("created_at", DESCENDING)], name="tenant_status_time")
|
||||
query = {"tenant_id": "t1", "status": "handoff"}
|
||||
plan = conv.find(query).sort("created_at", DESCENDING).limit(10).explain()["queryPlanner"]["winningPlan"]
|
||||
stages = plan_stages(plan)
|
||||
assert "IXSCAN" in stages and "COLLSCAN" not in stages and "SORT" not in stages, stages
|
||||
print(f"2. 查询走索引且无需内存排序:{sorted(s for s in stages if s)}")
|
||||
|
||||
# 4. 聚合:每个租户每个渠道的会话数和平均 token
|
||||
pipeline = [
|
||||
{"$match": {"created_at": {"$gte": now - timedelta(hours=24)}}},
|
||||
{"$unwind": "$messages"},
|
||||
{"$match": {"messages.role": "assistant"}},
|
||||
{"$group": {"_id": {"tenant": "$tenant_id", "channel": "$channel"}, "conversations": {"$sum": 1}, "avg_tokens": {"$avg": "$messages.tokens"}}},
|
||||
{"$sort": {"_id.tenant": 1, "_id.channel": 1}},
|
||||
]
|
||||
rows = list(conv.aggregate(pipeline))
|
||||
assert sum(r["conversations"] for r in rows) == 300
|
||||
print(f"3. 聚合统计 {len(rows)} 组,例如 {rows[0]['_id']} 共 {rows[0]['conversations']} 个会话,平均 {rows[0]['avg_tokens']:.1f} tokens")
|
||||
|
||||
# 5. 幂等写入:外部消息 id 做唯一索引 + upsert,重复投递不会产生重复数据
|
||||
events = db.events
|
||||
events.create_index("event_id", unique=True)
|
||||
for _ in range(3): # 同一条消息投递 3 次
|
||||
events.update_one({"event_id": "evt-001"}, {"$setOnInsert": {"payload": "退款申请", "at": now}}, upsert=True)
|
||||
assert events.count_documents({"event_id": "evt-001"}) == 1
|
||||
try:
|
||||
events.insert_one({"event_id": "evt-001"})
|
||||
raise AssertionError("唯一索引应该拒绝")
|
||||
except DuplicateKeyError:
|
||||
pass
|
||||
print("4. 幂等 upsert:重复投递 3 次只有 1 条")
|
||||
|
||||
# 6. 多文档事务:转人工时同时更新会话和创建工单,要么都成功要么都失败
|
||||
tickets = db.tickets
|
||||
target = conv.find_one({"status": "open"})
|
||||
assert target is not None
|
||||
with client.start_session() as s:
|
||||
with s.start_transaction():
|
||||
conv.update_one({"_id": target["_id"]}, {"$set": {"status": "handoff"}}, session=s)
|
||||
tickets.insert_one({"conversation_id": target["_id"], "tenant_id": target["tenant_id"], "state": "new"}, session=s)
|
||||
assert conv.find_one({"_id": target["_id"]})["status"] == "handoff" and tickets.count_documents({}) == 1
|
||||
try:
|
||||
with client.start_session() as s:
|
||||
with s.start_transaction():
|
||||
tickets.insert_one({"conversation_id": "x", "state": "new"}, session=s)
|
||||
raise RuntimeError("模拟中途失败")
|
||||
except RuntimeError:
|
||||
pass
|
||||
assert tickets.count_documents({}) == 1
|
||||
print("5. 事务:成功的提交生效,失败的整体回滚")
|
||||
|
||||
# 7. 变更流:数据同步到搜索引擎 / 缓存的常用手段(可以用 resume token 断点续传)
|
||||
with tickets.watch([{"$match": {"operationType": "insert"}}]) as stream:
|
||||
tickets.insert_one({"conversation_id": "y", "tenant_id": "t2", "state": "new"})
|
||||
change = stream.try_next()
|
||||
while change is None:
|
||||
change = stream.try_next()
|
||||
token = stream.resume_token
|
||||
assert change["fullDocument"]["conversation_id"] == "y" and token is not None
|
||||
print("6. 变更流收到插入事件,并拿到 resume token 用于断点续传")
|
||||
print("全部检查通过")
|
||||
finally:
|
||||
client.drop_database(db.name)
|
||||
client.close()
|
||||
@@ -4,12 +4,37 @@ title: MongoDB
|
||||
type: index
|
||||
domain: backend
|
||||
stack: [mongodb]
|
||||
tags: []
|
||||
tags: [MongoDB, 文档数据库, NoSQL]
|
||||
week: [14]
|
||||
---
|
||||
|
||||
# MongoDB
|
||||
|
||||
文档模型、查询与聚合、索引、何时选 MongoDB 而不是关系库。
|
||||
文档数据库的基础:建模、索引、聚合、事务、变更流。BOSS直聘 2026-10-23 的调研中有岗位提到,定位为“了解并能用”,主库仍以 PostgreSQL 为主。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [MongoDB 基础:文档建模(嵌入还是引用)、索引与 ESR、聚合、事务和变更流](01-document-model.md) | 基础 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [AI 客服会话存储:海量对话记录的建模、查询、归档和同步](scenarios/conversation-store.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [MongoDB 面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/conversations](examples/conversations/):Schema 校验、ESR 索引 + explain、聚合、幂等 upsert、事务、变更流(MongoDB 8.2 单节点副本集实际运行通过)
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 14 周:后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
- https://www.mongodb.com/docs/manual/
|
||||
- PyMongo:https://www.mongodb.com/docs/languages/python/pymongo-driver/current/
|
||||
@@ -0,0 +1,67 @@
|
||||
---
|
||||
id: backend.mongodb.interview
|
||||
title: MongoDB 面试题
|
||||
type: interview
|
||||
domain: backend
|
||||
stack: [mongodb]
|
||||
tags: [MongoDB, 文档模型, 索引, 事务, 面试]
|
||||
level: basic
|
||||
related: [backend.mongodb.document-model]
|
||||
week: [14, 16]
|
||||
---
|
||||
|
||||
# MongoDB 面试题
|
||||
|
||||
## 基础
|
||||
|
||||
### 【基础】MongoDB 和 MySQL / PostgreSQL 怎么选?
|
||||
|
||||
**参考答案**:结构多变、以文档为单位读写、写入量大、可以接受反范式的数据(日志、对话、内容、配置)适合 MongoDB;强一致事务、复杂关联查询和报表(订单、账务)更适合关系型。很多系统组合使用。
|
||||
|
||||
**追问**:PostgreSQL 的 JSONB 能不能代替?→ 中小规模、需要和关系数据一起做事务时完全可以;数据量大、结构差异大、需要水平分片时 MongoDB 更自然。
|
||||
|
||||
### 【基础】嵌入和引用怎么选?
|
||||
|
||||
**参考答案**:一起读写、数量有上限、不被单独访问的子数据嵌入;数量无上限、被多处共享或独立访问的数据引用。要考虑 16MB 单文档上限。
|
||||
|
||||
**追问**:订单里的商品信息嵌入还是引用?→ 嵌入下单时的快照(价格、名称),同时保留商品 id 引用,因为订单要记录成交时的状态。
|
||||
|
||||
### 【基础】MongoDB 支持事务吗?
|
||||
|
||||
**参考答案**:单文档操作天然原子;4.0 起支持副本集上的多文档事务,4.2 起支持分片集群。事务有性能开销和时间限制,优先通过建模减少对多文档事务的依赖。
|
||||
|
||||
**追问**:单机能用事务吗?→ 不能,需要副本集,开发环境可以启动单节点副本集。
|
||||
|
||||
## 进阶
|
||||
|
||||
### 【进阶】复合索引怎么设计?
|
||||
|
||||
**参考答案**:按 ESR 规则:等值字段在前、排序字段中间、范围字段在后;考虑选择性和查询覆盖;用 `explain` 验证是否走索引、是否有内存排序。
|
||||
|
||||
**追问**:为什么范围字段放在排序字段之前会有问题?→ 范围扫描后的结果在排序字段上不再有序,需要额外的内存排序。
|
||||
|
||||
### 【进阶】深分页怎么优化?
|
||||
|
||||
**参考答案**:避免大 `skip`(需要扫描并丢弃前面的文档),改用基于游标的分页:记录上一页最后一条的排序字段值(加 `_id` 打破平局),下一页查询“小于这个值”的数据。
|
||||
|
||||
**追问**:这种分页的缺点?→ 不能直接跳到第 N 页,适合无限滚动和“下一页”场景。
|
||||
|
||||
### 【进阶】变更流有什么用?怎么保证不丢事件?
|
||||
|
||||
**参考答案**:订阅数据变更,用于同步到搜索引擎、缓存、消息队列、审计。消费者处理完后保存 resume token,重启时从 token 继续;消费端做幂等;注意 oplog 保留窗口,停太久 token 会失效,需要全量重建。
|
||||
|
||||
**追问**:和 PostgreSQL 的什么机制类似?→ 逻辑复制 / CDC(如 Debezium 读取 WAL),以及 outbox 模式。
|
||||
|
||||
## 场景题
|
||||
|
||||
### 【场景题】AI 客服的对话记录怎么存储?
|
||||
|
||||
**参考答案**:会话文档嵌入最近消息,完整消息单独集合并以 `conversation_id + seq` 唯一索引保证顺序和幂等;带 `tenant_id` 做隔离;按 ESR 建列表索引;变更流同步 ES 做检索;按保留期归档。详见[会话存储场景](scenarios/conversation-store.md)。
|
||||
|
||||
**追问**:如何防止越权查询?→ 数据访问层统一注入 `tenant_id` 条件,并有测试覆盖“缺少租户条件时拒绝执行”。
|
||||
|
||||
### 【场景题】线上一个查询突然变慢,你怎么排查?
|
||||
|
||||
**参考答案**:开启慢查询分析(profiler 或日志),对慢查询执行 `explain("executionStats")` 看扫描的文档数与返回数之比、是否 COLLSCAN 或内存排序;检查是否新增了查询条件导致索引不匹配、数据分布变化、索引过多影响写入;修复后对比执行统计。
|
||||
|
||||
**追问**:建索引会影响线上吗?→ 会占用资源,选择低峰期建立,大集合关注构建进度和副本同步延迟。
|
||||
@@ -0,0 +1,78 @@
|
||||
---
|
||||
id: backend.mongodb.scenario.conversation-store
|
||||
title: AI 客服会话存储:海量对话记录的建模、查询、归档和同步
|
||||
type: scenario
|
||||
domain: backend
|
||||
stack: [mongodb, postgresql, elasticsearch]
|
||||
tags: [对话记录, 文档建模, TTL, 归档, 变更流, 多租户]
|
||||
level: intermediate
|
||||
prerequisites: [backend.mongodb.document-model]
|
||||
est_hours: 2
|
||||
related: [backend.mongodb.interview]
|
||||
week: [14]
|
||||
---
|
||||
|
||||
# AI 客服会话存储:海量对话记录的建模、查询、归档和同步
|
||||
|
||||
## 业务背景与问题
|
||||
|
||||
AI 客服上线后,每天产生大量对话(用户消息、模型回复、工具调用记录、评分),原先存在 PostgreSQL 的一张 JSONB 大表中:
|
||||
|
||||
1. 消息结构经常变化(新增工具调用、图片、引用来源),频繁改表;
|
||||
2. 坐席后台按租户查“待处理会话”越来越慢;
|
||||
3. 需要按关键词搜索历史对话;
|
||||
4. 数据只需要在线保留 180 天,之后归档。
|
||||
|
||||
## 约束
|
||||
|
||||
- 订单、退款等核心交易数据仍在 PostgreSQL,强一致。
|
||||
- 对话数据允许最终一致的检索。
|
||||
- 多租户隔离。
|
||||
|
||||
## 方案设计
|
||||
|
||||
1. **职责划分**:交易数据留在 PostgreSQL;对话记录迁移到 MongoDB(结构灵活、写入量大);全文 / 语义检索交给 Elasticsearch。
|
||||
2. **建模**:
|
||||
- `conversations`:会话元数据 + 最近 N 条消息嵌入(列表页和详情首屏一次读取);
|
||||
- `messages`:完整消息单独集合,按 `conversation_id + seq` 引用(避免无限数组);
|
||||
- 每个文档都带 `tenant_id`。
|
||||
3. **索引**:`{tenant_id, status, updated_at: -1}`(坐席列表,ESR)、`{conversation_id, seq}` 唯一(幂等写入和顺序读取)、`messages.created_at` 上的 TTL 索引或按月归档任务。
|
||||
4. **同步检索**:变更流 → 消费者 → 写入 ES;保存 resume token,断线后续传;消费者幂等(以消息 id 为 ES 文档 id)。
|
||||
5. **一致性**:转人工(改会话 + 建工单)用事务,或者把工单放在 PostgreSQL 并通过 outbox 模式保证一致。
|
||||
|
||||
## 关键代码
|
||||
|
||||
```python
|
||||
# 追加消息:唯一索引保证重复投递不重复写入;同时更新会话的最近消息(保留最后 20 条)
|
||||
messages.update_one(
|
||||
{"conversation_id": cid, "seq": seq},
|
||||
{"$setOnInsert": {"tenant_id": tenant, "role": role, "text": text, "created_at": now}},
|
||||
upsert=True,
|
||||
)
|
||||
conversations.update_one(
|
||||
{"_id": cid, "tenant_id": tenant},
|
||||
{"$push": {"recent": {"$each": [{"seq": seq, "role": role, "text": text}], "$slice": -20}},
|
||||
"$set": {"updated_at": now}},
|
||||
)
|
||||
```
|
||||
|
||||
可运行的基础示例:[examples/conversations](../examples/conversations/)。
|
||||
|
||||
## 取舍
|
||||
|
||||
| 选择 | 优点 | 缺点 |
|
||||
| --- | --- | --- |
|
||||
| **MongoDB 存对话 + PG 存交易(本方案)** | 各取所长,结构灵活 | 多一种数据库要运维,跨库一致性要设计 |
|
||||
| 全部留在 PostgreSQL JSONB | 技术栈简单,事务方便 | 写入量大时表膨胀,结构变化仍需维护索引 |
|
||||
| 对话直接写 ES | 检索方便 | ES 不适合作为主存储(更新代价、一致性) |
|
||||
|
||||
## 易错点
|
||||
|
||||
- 消息全部嵌入会话文档,长会话超过 16MB。
|
||||
- 查询忘记带 `tenant_id`,越权读取其他租户数据。
|
||||
- 变更流消费者没有保存 resume token,重启后丢事件或全量重放。
|
||||
- 归档前没有确认合规要求(对话内容可能包含个人信息,需要脱敏或加密)。
|
||||
|
||||
## 面试怎么讲
|
||||
|
||||
> “对话记录结构多变、写入量大,我把它从 PG 的 JSONB 表迁到了 MongoDB,交易数据留在 PG。会话文档嵌入最近 20 条消息,完整消息单独集合用 conversation_id+seq 唯一索引,既避免无限数组又保证幂等。坐席列表按 ESR 原则建复合索引。检索通过变更流同步到 ES,保存 resume token 断点续传。180 天后归档。”
|
||||
Reference in new issue
Block a user