phase 5 part 3: mongodb, elasticsearch hybrid search, data-pipeline, nodejs BFF topics with verified examples
This commit is contained in:
1 parent
9eeb10aede
commit
075872e31e
27 files changed
+2405
-52
No files matched your search
@@ -0,0 +1,96 @@
|
||||
---
|
||||
id: backend.elasticsearch.search-hybrid
|
||||
title: Elasticsearch:倒排索引、映射与中文分词、BM25、kNN 向量检索、混合检索和别名重建
|
||||
type: lesson
|
||||
domain: backend
|
||||
stack: [elasticsearch]
|
||||
tags: [Elasticsearch, 倒排索引, BM25, IK 分词, cjk, dense_vector, kNN, RRF, 混合检索, 别名, reindex]
|
||||
level: intermediate
|
||||
prerequisites: [ai.rag.hybrid-rerank]
|
||||
est_hours: 3
|
||||
related: [backend.elasticsearch.scenario.kb-search-sync, ai.rag.index, backend.elasticsearch.interview]
|
||||
week: [6, 14]
|
||||
order: 1
|
||||
---
|
||||
|
||||
# Elasticsearch:倒排索引、映射与中文分词、BM25、kNN 向量检索、混合检索和别名重建
|
||||
|
||||
> BOSS直聘 2026-10-23 的调研中,多个 RAG 岗位提到“ES 混合检索”。示例基于 Elasticsearch 9.5.1 + Python 客户端 9.5.1 实际运行通过。功能可用性与许可证有关(例如本地 basic 许可下服务端 RRF 返回 403),以官方文档为准:https://www.elastic.co/docs 。
|
||||
|
||||
## 解释说明
|
||||
|
||||
### 倒排索引和 BM25
|
||||
|
||||
- **倒排索引**:词 → 包含这个词的文档列表。查询时先分词,再查倒排表,速度与文档总数关系不大。
|
||||
- **BM25**:ES 默认的相关性算法,考虑词频(有饱和上限)、逆文档频率(越稀有的词越重要)和文档长度。
|
||||
- **擅长**:精确词、专有名词、错误码、型号;**不擅长**:同义表达(“不想要了” vs “退货”)。
|
||||
|
||||
### 映射和分词
|
||||
|
||||
| 字段类型 | 用途 |
|
||||
| --- | --- |
|
||||
| `text` | 全文检索,写入时分词 |
|
||||
| `keyword` | 精确匹配、过滤、聚合、排序(租户、状态、标签) |
|
||||
| `dense_vector` | 向量,支持 kNN(HNSW) |
|
||||
|
||||
中文分词:内置 `cjk` 分析器按二元切分,可用但粗糙;生产常用 **IK 分词插件**(`ik_max_word` 写入、`ik_smart` 查询)并维护业务词典和同义词,插件版本必须与 ES 版本匹配(以插件文档为准)。**映射一旦创建,已有字段的类型和分词器不能修改**,只能新建索引并重建数据。
|
||||
|
||||
### 查询
|
||||
|
||||
- `bool` 查询:`must`(参与算分)、`filter`(不算分、可缓存,用于租户 / 权限 / 状态)、`should`、`must_not`。
|
||||
- `multi_match` 多字段检索,`title^2` 提高标题权重。
|
||||
- `knn`:向量近似检索,`num_candidates` 越大越准越慢;`filter` 在检索过程中生效。
|
||||
|
||||
### 混合检索
|
||||
|
||||
关键词和向量各检索一次,用 **RRF(倒数排名融合)** 合并:只看名次,不需要把 BM25 分数和余弦相似度放在同一尺度上。ES 提供服务端的 `retriever.rrf`(许可证要求以官方文档为准),也可以在应用层融合(示例中的做法,任何许可都能用)。融合后通常再接**重排模型**(rerank)。
|
||||
|
||||
### 别名和零停机重建
|
||||
|
||||
业务只访问别名;修改映射时新建 `v2` 索引 → 全量导入 + 追增量 → 校验 → 原子切换别名 → 保留旧索引一段时间以便回滚。
|
||||
|
||||
## 案例
|
||||
|
||||
知识库问答:用户问“错误码 E1024 是什么”时关键词检索命中准确;问“商品不想要了怎么退”时依赖向量检索;两者 RRF 融合后再重排,取前几条给大模型。租户条件放在 `filter` 中,在两路检索中都生效。
|
||||
|
||||
## 代码示例
|
||||
|
||||
[examples/hybrid-search/es_hybrid.py](examples/hybrid-search/es_hybrid.py)(需要 `ES_URL`),实际输出:
|
||||
|
||||
```text
|
||||
1. 关键词检索擅长精确词(错误码):E1024 → ['d6']
|
||||
2. 租户过滤生效:t1 搜“退货” → ['d1'](没有 t2 的 d5)
|
||||
3. 向量检索(玩具嵌入):['d6', 'd2', 'd1']
|
||||
4. RRF 混合检索:['d1', 'd2', 'd6']
|
||||
5. 服务端 RRF 不可用(AuthorizationException: ...current license is non-compli...),使用客户端 RRF
|
||||
6. 别名原子切换到 v2,查询不中断
|
||||
```
|
||||
|
||||
(第 3 步用的是玩具嵌入,向量结果没有语义意义,只演示流程;真实项目换成嵌入模型。)
|
||||
|
||||
```python
|
||||
def rrf(*rankings: list[str], k: int = 60) -> list[str]:
|
||||
score: dict[str, float] = {}
|
||||
for ranking in rankings:
|
||||
for rank, doc_id in enumerate(ranking, start=1):
|
||||
score[doc_id] = score.get(doc_id, 0.0) + 1.0 / (k + rank)
|
||||
return sorted(score, key=lambda d: (-score[d], d))
|
||||
|
||||
fused = rrf(bm25(q, tenant, 5), knn(q, tenant, 5))
|
||||
```
|
||||
|
||||
## 易错点
|
||||
|
||||
- 租户 / 权限条件写在 `must` 中(参与算分)或者在检索后才过滤(可能导致结果不足)。
|
||||
- 把需要精确匹配的字段设成 `text`。
|
||||
- 直接把 BM25 分数和向量相似度加权相加,尺度不同,权重很难调。
|
||||
- 修改映射后直接改原索引(做不到),或者没有别名导致切换时停机。
|
||||
- 用 ES 作为唯一的数据存储:ES 是检索引擎,数据源应在数据库中,ES 可以重建。
|
||||
- 本地关闭安全认证的配置被带到生产。
|
||||
|
||||
## 面试常问
|
||||
|
||||
- 倒排索引是什么?BM25 和 TF-IDF 的区别?
|
||||
- `text` 和 `keyword` 的区别?
|
||||
- 混合检索怎么做?为什么用 RRF?
|
||||
- 怎么在不停机的情况下修改映射?
|
||||
@@ -0,0 +1,136 @@
|
||||
# requires: elasticsearch
|
||||
"""Elasticsearch:中文分词、BM25 关键词检索、kNN 向量检索、RRF 混合检索、别名零停机重建索引。
|
||||
|
||||
运行:ES_URL=http://127.0.0.1:9200 python es_hybrid.py
|
||||
本地测试用的单节点 ES 关闭了安全认证;生产环境必须开启认证和 TLS。没有设置环境变量时跳过。
|
||||
向量用一个“字符二元组哈希”的玩具嵌入代替真实模型,只为演示流程;索引名带随机后缀,结束后删除。
|
||||
"""
|
||||
import hashlib
|
||||
import math
|
||||
import os
|
||||
import sys
|
||||
import uuid
|
||||
|
||||
from elasticsearch import Elasticsearch, helpers
|
||||
|
||||
url = os.environ.get("ES_URL")
|
||||
if not url:
|
||||
print("未设置 ES_URL,跳过")
|
||||
sys.exit(0)
|
||||
|
||||
es = Elasticsearch(url, request_timeout=30)
|
||||
suffix = uuid.uuid4().hex[:6]
|
||||
alias = f"kb-{suffix}"
|
||||
DIM = 64
|
||||
|
||||
DOCS = [
|
||||
{"id": "d1", "tenant": "t1", "title": "退货政策", "body": "签收后七天内可以申请无理由退货,商品需保持完好。"},
|
||||
{"id": "d2", "tenant": "t1", "title": "退款到账时间", "body": "退款审核通过后,原路退回,一般一到三个工作日到账。"},
|
||||
{"id": "d3", "tenant": "t1", "title": "发票开具", "body": "订单完成后可以在订单详情页申请电子发票。"},
|
||||
{"id": "d4", "tenant": "t1", "title": "会员积分", "body": "每消费一元累计一个积分,积分可以抵扣运费。"},
|
||||
{"id": "d5", "tenant": "t2", "title": "退货政策(其他租户)", "body": "本店商品不支持无理由退货。"},
|
||||
{"id": "d6", "tenant": "t1", "title": "错误码 E1024", "body": "E1024 表示支付渠道超时,请稍后重试或更换支付方式。"},
|
||||
]
|
||||
|
||||
|
||||
def embed(text: str) -> list[float]:
|
||||
"""玩具嵌入:字符二元组哈希到 64 维再归一化。真实项目换成嵌入模型。"""
|
||||
v = [0.0] * DIM
|
||||
for a, b in zip(text, text[1:]):
|
||||
h = int(hashlib.md5((a + b).encode()).hexdigest(), 16)
|
||||
v[h % DIM] += 1.0
|
||||
n = math.sqrt(sum(x * x for x in v)) or 1.0
|
||||
return [x / n for x in v]
|
||||
|
||||
|
||||
def create_index(name: str) -> None:
|
||||
es.indices.create(index=name, mappings={
|
||||
"properties": {
|
||||
"tenant": {"type": "keyword"}, # 过滤用,不分词
|
||||
"title": {"type": "text", "analyzer": "cjk"}, # 内置 cjk 分析器(中文二元切分);生产常用 IK 插件,以插件文档为准
|
||||
"body": {"type": "text", "analyzer": "cjk"},
|
||||
"vec": {"type": "dense_vector", "dims": DIM, "index": True, "similarity": "cosine"},
|
||||
}
|
||||
})
|
||||
|
||||
|
||||
def load(index: str) -> None:
|
||||
# 用业务 id 作为 _id:重复同步是覆盖而不是新增(幂等)
|
||||
actions = ({"_index": index, "_id": d["id"], "_source": {**{k: v for k, v in d.items() if k != "id"}, "vec": embed(d["title"] + d["body"])}} for d in DOCS)
|
||||
ok, errors = helpers.bulk(es, actions, refresh="wait_for")
|
||||
assert ok == len(DOCS) and not errors
|
||||
|
||||
|
||||
def bm25(q: str, tenant: str, k: int = 3) -> list[str]:
|
||||
r = es.search(index=alias, size=k, query={"bool": {
|
||||
"must": {"multi_match": {"query": q, "fields": ["title^2", "body"]}}, # 标题权重更高
|
||||
"filter": {"term": {"tenant": tenant}}, # 租户过滤放 filter:不算分、可缓存
|
||||
}})
|
||||
return [h["_id"] for h in r["hits"]["hits"]]
|
||||
|
||||
|
||||
def knn(q: str, tenant: str, k: int = 3) -> list[str]:
|
||||
r = es.search(index=alias, size=k, knn={
|
||||
"field": "vec", "query_vector": embed(q), "k": k, "num_candidates": 50,
|
||||
"filter": {"term": {"tenant": tenant}}, # 过滤在向量检索过程中生效,而不是检索后再过滤
|
||||
})
|
||||
return [h["_id"] for h in r["hits"]["hits"]]
|
||||
|
||||
|
||||
def rrf(*rankings: list[str], k: int = 60) -> list[str]:
|
||||
"""倒数排名融合:只看名次,不看分数(BM25 分数和向量相似度不可直接比较)。"""
|
||||
score: dict[str, float] = {}
|
||||
for ranking in rankings:
|
||||
for rank, doc_id in enumerate(ranking, start=1):
|
||||
score[doc_id] = score.get(doc_id, 0.0) + 1.0 / (k + rank)
|
||||
return sorted(score, key=lambda d: (-score[d], d))
|
||||
|
||||
|
||||
try:
|
||||
v1 = f"{alias}-v1"
|
||||
create_index(v1)
|
||||
load(v1)
|
||||
es.indices.put_alias(index=v1, name=alias) # 业务只访问别名
|
||||
|
||||
exact = bm25("E1024", "t1")
|
||||
assert exact[0] == "d6", exact
|
||||
print(f"1. 关键词检索擅长精确词(错误码):E1024 → {exact}")
|
||||
|
||||
kw = bm25("退货", "t1")
|
||||
assert "d5" not in kw and kw[0] == "d1", kw
|
||||
print(f"2. 租户过滤生效:t1 搜“退货” → {kw}(没有 t2 的 d5)")
|
||||
|
||||
sem = knn("商品不想要了怎么退", "t1")
|
||||
print(f"3. 向量检索(玩具嵌入):{sem}")
|
||||
assert "d5" not in sem
|
||||
|
||||
fused = rrf(bm25("退货 退款多久到账", "t1", 5), knn("退货 退款多久到账", "t1", 5))
|
||||
assert set(fused[:2]) == {"d1", "d2"}, fused
|
||||
print(f"4. RRF 混合检索:{fused[:3]}")
|
||||
|
||||
# 服务端 RRF(retriever 语法)。许可证和可用版本以官方文档为准,不可用时退回客户端融合
|
||||
try:
|
||||
r = es.search(index=alias, size=3, retriever={"rrf": {"retrievers": [
|
||||
{"standard": {"query": {"bool": {"must": {"match": {"body": "退款"}}, "filter": {"term": {"tenant": "t1"}}}}}},
|
||||
{"knn": {"field": "vec", "query_vector": embed("退款到账"), "k": 3, "num_candidates": 50, "filter": {"term": {"tenant": "t1"}}}},
|
||||
]}})
|
||||
print(f"5. 服务端 RRF:{[h['_id'] for h in r['hits']['hits']]}")
|
||||
except Exception as e: # noqa: BLE001 —— 例如 basic 许可下返回 403 授权错误
|
||||
print(f"5. 服务端 RRF 不可用({type(e).__name__}: {str(e)[:80]}),使用客户端 RRF")
|
||||
|
||||
# 别名切换:新建 v2(例如修改了映射),灌数据,原子切换别名,业务无感知
|
||||
v2 = f"{alias}-v2"
|
||||
create_index(v2)
|
||||
load(v2)
|
||||
es.indices.update_aliases(actions=[
|
||||
{"remove": {"index": v1, "alias": alias}},
|
||||
{"add": {"index": v2, "alias": alias}},
|
||||
])
|
||||
assert list(es.indices.get_alias(name=alias).keys()) == [v2]
|
||||
assert bm25("E1024", "t1")[0] == "d6"
|
||||
print("6. 别名原子切换到 v2,查询不中断")
|
||||
print("全部检查通过")
|
||||
finally:
|
||||
# 生产集群通常禁止通配符删除(action.destructive_requires_name),这里逐个写明索引名
|
||||
es.indices.delete(index=[f"{alias}-v1", f"{alias}-v2"], ignore_unavailable=True)
|
||||
es.close()
|
||||
@@ -4,12 +4,38 @@ title: Elasticsearch
|
||||
type: index
|
||||
domain: backend
|
||||
stack: [elasticsearch]
|
||||
tags: []
|
||||
tags: [Elasticsearch, 全文检索, 混合检索, 向量检索]
|
||||
week: [6, 14]
|
||||
---
|
||||
|
||||
# Elasticsearch
|
||||
|
||||
倒排索引、中文分词、BM25、与向量的混合检索、数据同步。
|
||||
倒排索引、中文分词、BM25 与 kNN 向量检索、混合检索和数据同步。BOSS直聘 2026-10-23 的调研中多个 RAG 岗位提到“ES 混合检索”,是 RAG 全链路的重要一环。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [Elasticsearch:倒排索引、映射与中文分词、BM25、kNN 向量检索、混合检索和别名重建](01-search-basics-hybrid.md) | 进阶 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [知识库混合检索:数据库到 ES 的同步、权限过滤、分词词典和检索效果评估](scenarios/kb-search-sync.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [Elasticsearch 面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/hybrid-search](examples/hybrid-search/):`cjk` 分词、租户过滤、BM25、kNN、应用层 RRF、别名切换(ES 9.5.1 单节点实际运行通过)
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 6 周:RAG(二)](../../../plan/week06-rag-2.md)
|
||||
- [第 14 周:后端扩展与部署](../../../plan/week14-backend-extend-deploy.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
- https://www.elastic.co/docs
|
||||
- IK 分词插件:https://github.com/infinilabs/analysis-ik
|
||||
@@ -0,0 +1,67 @@
|
||||
---
|
||||
id: backend.elasticsearch.interview
|
||||
title: Elasticsearch 面试题
|
||||
type: interview
|
||||
domain: backend
|
||||
stack: [elasticsearch]
|
||||
tags: [Elasticsearch, 倒排索引, 混合检索, 面试]
|
||||
level: intermediate
|
||||
related: [backend.elasticsearch.search-hybrid]
|
||||
week: [14, 16]
|
||||
---
|
||||
|
||||
# Elasticsearch 面试题
|
||||
|
||||
## 基础
|
||||
|
||||
### 【基础】什么是倒排索引?
|
||||
|
||||
**参考答案**:从“词”到“包含该词的文档列表(及位置、词频)”的映射。写入时对文本分词建立倒排表,查询时分词后查表求交并、算分,所以全文检索快。
|
||||
|
||||
**追问**:为什么 ES 写入后不能立即搜到?→ 近实时:写入先进内存缓冲,`refresh`(默认约 1 秒)后生成新的段才可搜索;可以 `refresh=wait_for` 但会影响写入性能。
|
||||
|
||||
### 【基础】`text` 和 `keyword` 的区别?
|
||||
|
||||
**参考答案**:`text` 会分词,用于全文检索;`keyword` 不分词,用于精确匹配、过滤、排序和聚合。同一字段可以用多字段(`fields`)同时建两种。
|
||||
|
||||
**追问**:对 `text` 字段做 `term` 查询会怎样?→ 往往查不到,因为存储的是分词后的词项,而 `term` 查询不分词。
|
||||
|
||||
### 【基础】`must` 和 `filter` 的区别?
|
||||
|
||||
**参考答案**:都要求匹配;`must` 参与相关性算分,`filter` 不算分并且可以被缓存,适合租户、权限、状态、时间范围等条件。
|
||||
|
||||
**追问**:权限条件应该放哪里?→ `filter`,并且在向量检索中也要通过 `knn.filter` 传入。
|
||||
|
||||
## 进阶
|
||||
|
||||
### 【进阶】混合检索怎么做?为什么常用 RRF?
|
||||
|
||||
**参考答案**:关键词(BM25)和向量(kNN)分别召回,再融合。BM25 分数无上限、与查询相关,向量相似度在固定区间,直接加权需要归一化且不稳定;RRF 只用名次 `1/(k+rank)` 求和,简单稳健。融合后再用重排模型精排。
|
||||
|
||||
**追问**:服务端 RRF 和应用层 RRF 怎么选?→ 服务端少一次往返、写法简洁,但受版本和许可证限制;应用层灵活、可以融合来自不同系统(例如 ES + pgvector)的结果。
|
||||
|
||||
### 【进阶】映射需要修改怎么办?
|
||||
|
||||
**参考答案**:已有字段的类型和分词器不能修改。新建索引(新映射)→ `_reindex` 或从数据源重新导入 → 追平增量 → 校验 → 原子切换别名 → 保留旧索引以便回滚。
|
||||
|
||||
**追问**:重建期间的增量写入怎么处理?→ 双写到新旧索引,或者重建完成后按时间戳 / 版本号补齐差异再切换。
|
||||
|
||||
### 【进阶】中文分词怎么做?
|
||||
|
||||
**参考答案**:常用 IK 插件:写入用细粒度(`ik_max_word`),查询用粗粒度(`ik_smart`);维护业务词典和同义词;插件版本要与 ES 一致。内置 `cjk` 分析器按二元切分,可以作为没有插件时的方案。
|
||||
|
||||
**追问**:词典更新后要做什么?→ 新写入的数据按新词典分词,已有数据需要重建索引才会生效。
|
||||
|
||||
## 场景题
|
||||
|
||||
### 【场景题】RAG 知识库对型号、错误码检索不准,怎么改?
|
||||
|
||||
**参考答案**:引入关键词检索与向量检索混合(ES BM25 + kNN,RRF 融合 + 重排);业务词典保证型号不被切碎;权限作为 filter;同步链路保证数据新鲜;用标注集评估召回率。详见[知识库混合检索场景](scenarios/kb-search-sync.md)。
|
||||
|
||||
**追问**:怎么证明改进有效?→ 固定标注集,对比改动前后的召回率@K、MRR 以及最终回答的正确率。
|
||||
|
||||
### 【场景题】数据库中的数据怎么可靠地同步到 ES?
|
||||
|
||||
**参考答案**:常用方案:业务事务内写 outbox 表 → 投递到消息队列 → 幂等消费者写 ES(数据库主键作为 `_id`、带版本号防止旧数据覆盖新数据);或者用 CDC(读取数据库日志,如 Debezium / MongoDB 变更流)。失败重试 + 死信 + 定期对账。
|
||||
|
||||
**追问**:消息乱序导致旧版本覆盖新版本怎么办?→ 使用外部版本号(`version_type=external`)或写入前比较更新时间,只接受更新的版本。
|
||||
@@ -0,0 +1,85 @@
|
||||
---
|
||||
id: backend.elasticsearch.scenario.kb-search-sync
|
||||
title: 知识库混合检索:数据库到 ES 的同步、权限过滤、分词词典和检索效果评估
|
||||
type: scenario
|
||||
domain: backend
|
||||
stack: [elasticsearch, postgresql, mq, rag]
|
||||
tags: [混合检索, 数据同步, CDC, outbox, 权限过滤, IK 词典, 召回率]
|
||||
level: intermediate
|
||||
prerequisites: [backend.elasticsearch.search-hybrid, ai.rag.hybrid-rerank]
|
||||
est_hours: 2.5
|
||||
related: [backend.elasticsearch.interview, ai.rag.scenario.permission-aware-kb, backend.mq.reliability]
|
||||
week: [6, 14]
|
||||
---
|
||||
|
||||
# 知识库混合检索:数据库到 ES 的同步、权限过滤、分词词典和检索效果评估
|
||||
|
||||
## 业务背景与问题
|
||||
|
||||
企业知识库 RAG 一开始只用了 pgvector 向量检索,问题:
|
||||
|
||||
1. 用户搜产品型号、错误码、合同编号,向量检索经常找不到;
|
||||
2. 文档在后台修改后,问答仍引用旧内容;
|
||||
3. 偶尔检索到用户无权查看的部门文档;
|
||||
4. 每次调整分词或检索参数,不知道效果是变好还是变差。
|
||||
|
||||
## 约束
|
||||
|
||||
- 文档的主数据在 PostgreSQL(含权限)。
|
||||
- 修改后 1 分钟内可检索到。
|
||||
- 不能引入复杂的大数据组件。
|
||||
|
||||
## 方案设计
|
||||
|
||||
1. **检索层**:ES 索引同时保存分块的文本(IK 分词 + 业务词典:产品型号、内部术语)和向量;查询时 BM25 和 kNN 两路检索,应用层 RRF 融合,再用重排模型取前 5。
|
||||
2. **权限**:每个分块冗余 `tenant_id`、`dept_ids`、`visibility` 等 `keyword` 字段;查询时把当前用户的权限转换成 `filter`,两路检索都带上;返回前再按数据库做一次最终校验(防止同步延迟导致的权限变更未生效)。
|
||||
3. **同步**:
|
||||
- 文档修改时在同一个数据库事务中写入 outbox 表;
|
||||
- 后台任务读取 outbox 发到消息队列;
|
||||
- 消费者重新分块、计算向量、按“文档 id + 分块序号”写入 ES(幂等),删除多余的旧分块;
|
||||
- 失败重试,超过次数进入死信并告警;
|
||||
- 每天对账:数据库与 ES 的文档版本号比对,修复差异。
|
||||
4. **变更映射**:通过别名 + 新索引重建,不停机。
|
||||
5. **评估**:维护一份标注集(问题 → 应该命中的文档),每次调整分词词典、权重、`num_candidates` 都计算召回率@K 和 MRR,比基线差就不上线。
|
||||
|
||||
## 关键代码
|
||||
|
||||
权限条件同时作用于两路检索:
|
||||
|
||||
```python
|
||||
def acl_filter(user) -> list[dict]:
|
||||
return [
|
||||
{"term": {"tenant_id": user.tenant_id}},
|
||||
{"bool": {"should": [
|
||||
{"term": {"visibility": "public"}},
|
||||
{"terms": {"dept_ids": user.dept_ids}},
|
||||
], "minimum_should_match": 1}},
|
||||
]
|
||||
|
||||
kw = es.search(index="kb", size=20, query={"bool": {"must": {"match": {"text": q}}, "filter": acl_filter(user)}})
|
||||
vec = es.search(index="kb", size=20, knn={"field": "vec", "query_vector": embed(q), "k": 20,
|
||||
"num_candidates": 200, "filter": acl_filter(user)})
|
||||
candidates = rrf(ids(kw), ids(vec))[:20]
|
||||
top5 = rerank(q, candidates)[:5]
|
||||
```
|
||||
|
||||
完整可运行的基础示例:[examples/hybrid-search](../examples/hybrid-search/);权限设计详见[权限感知知识库](../../../ai/rag/scenarios/permission-aware-kb.md)。
|
||||
|
||||
## 取舍
|
||||
|
||||
| 选择 | 优点 | 缺点 |
|
||||
| --- | --- | --- |
|
||||
| **ES 做混合检索(本方案)** | 关键词能力强、过滤和聚合成熟、向量也支持 | 多一套集群和同步链路 |
|
||||
| 只用 pgvector + PG 全文检索 | 组件少、强一致 | 中文分词和相关性调优能力弱一些 |
|
||||
| 专用向量库 + ES | 各自最强 | 两套检索系统,复杂度最高 |
|
||||
|
||||
## 易错点
|
||||
|
||||
- 只同步新增和修改,忘记处理删除和权限变更。
|
||||
- 消费者不是幂等的,重试后出现重复分块。
|
||||
- 业务词典更新后没有重建索引(已写入的数据仍按旧分词)。
|
||||
- 只凭几个例子判断效果,没有标注集和指标。
|
||||
|
||||
## 面试怎么讲
|
||||
|
||||
> “纯向量检索对型号、错误码这种精确词召回很差,我们引入 ES 做混合检索:IK 分词加业务词典,BM25 和 kNN 两路召回,应用层 RRF 融合后再重排。权限字段冗余到每个分块,作为 filter 同时作用于两路检索,返回前再校验一次。同步用 outbox + 消息队列,消费者按文档 id+分块号幂等写入,每天对账。每次调参都用标注集跑召回率@K 和 MRR,比基线差不上线。”
|
||||
Reference in new issue
Block a user