阶段3(下):RAG、向量数据库专题;接入 BOSS直聘调研(research/、岗位对照和延伸技术栈);新增 cs 领域和 12 个技术栈骨架;面试题全部补齐追问并加入校验
This commit is contained in:
1 parent
7f52513ffc
commit
6650f7eb6d
52 files changed
+2777
-38
No files matched your search
@@ -0,0 +1,100 @@
|
||||
---
|
||||
id: ai.vector-db.ann-metrics
|
||||
title: 向量检索原理:距离度量、暴力检索、HNSW / IVF 近似索引
|
||||
type: lesson
|
||||
domain: ai
|
||||
stack: [vector-db]
|
||||
tags: [向量检索, 余弦相似度, 内积, L2, HNSW, IVF, PQ, 召回率]
|
||||
level: basic
|
||||
prerequisites: [ai.rag.pipeline-chunking]
|
||||
est_hours: 2.5
|
||||
related: [ai.vector-db.selection-pgvector, ai.rag.hybrid-rerank, ai.vector-db.interview]
|
||||
week: [5]
|
||||
order: 1
|
||||
---
|
||||
|
||||
# 向量检索原理:距离度量、暴力检索、HNSW / IVF 近似索引
|
||||
|
||||
## 解释说明
|
||||
|
||||
**嵌入(embedding)** 把一段文本变成一个固定长度的浮点数组(例如 768、1024、1536 维),语义相近的文本向量也相近。向量数据库要解决的问题就是:给定一个查询向量,从几百万个向量中**快速**找出最相近的 k 个(k 近邻,kNN)。
|
||||
|
||||
### 距离度量
|
||||
|
||||
| 度量 | 含义 | 什么时候用 |
|
||||
| --- | --- | --- |
|
||||
| 余弦相似度(cosine) | 两个向量夹角的余弦,只看方向不看长度 | 文本嵌入最常用 |
|
||||
| 内积(inner product, IP / dot) | 对应元素相乘求和 | 向量已归一化时**和余弦等价且更快** |
|
||||
| 欧氏距离(L2) | 两点之间的直线距离 | 部分模型推荐;归一化向量的 L2 排序和余弦排序一致 |
|
||||
|
||||
规则:**用嵌入模型文档推荐的度量**;如果向量已归一化(长度为 1),三种度量的排序结果一致。注意“距离”和“相似度”方向相反:余弦距离 = 1 − 余弦相似度,越小越相近。
|
||||
|
||||
### 暴力检索和近似检索
|
||||
|
||||
- **暴力检索(精确)**:查询向量和所有向量逐一计算,复杂度 O(N·d)。几万条以内完全够用(numpy 一次矩阵乘法),而且结果是精确的。
|
||||
- **近似最近邻(ANN)**:用索引结构牺牲一点准确度,换取数量级的速度提升。衡量指标是**召回率**:近似结果和精确结果的重合比例。
|
||||
|
||||
### 常见索引
|
||||
|
||||
| 索引 | 原理 | 关键参数 | 特点 |
|
||||
| --- | --- | --- | --- |
|
||||
| **HNSW** | 多层“小世界”图,从稀疏的上层快速定位,逐层向下精细搜索 | `M`(每个点的连接数)、`ef_construction`(建索引时的候选数)、`ef_search`(查询时的候选数) | 查询快、召回高,**最常用**;内存占用大,建索引慢 |
|
||||
| **IVF**(倒排文件) | 先用聚类把向量分成 `nlist` 个桶,查询时只搜最近的 `nprobe` 个桶 | `nlist` / `lists`、`nprobe` / `probes` | 建索引快、省内存;要先有数据才能训练聚类中心,数据分布变化后要重建 |
|
||||
| **PQ**(乘积量化) | 把向量切段并压缩成编码 | 段数、码本大小 | 大幅省内存,精度下降,常和 IVF 组合(IVF_PQ) |
|
||||
| DiskANN 等磁盘索引 | 索引放在 SSD 上 | —— | 数据量超出内存时使用 |
|
||||
|
||||
参数的规律:`ef_search` / `nprobe` 调大 → 召回率上升、延迟上升。**用自己的数据和评测集测出合适的值**,不要照抄。
|
||||
|
||||
### 过滤和近似索引的冲突
|
||||
|
||||
带条件的查询(只搜某租户 / 某部门)在近似索引上有一个经典问题:索引先返回 top-N 个近邻,再按条件过滤,如果满足条件的数据很少,过滤后可能不足 k 个甚至为空。解决办法:数据库内置的过滤遍历(例如 pgvector 0.8 的迭代索引扫描、Milvus 的过滤搜索)、增大候选数、按租户分区 / 分集合、过滤条件非常严格时直接走精确检索。
|
||||
|
||||
## 案例
|
||||
|
||||
制度问答知识库有 3 万个块:直接用 numpy 暴力检索,单次查询几毫秒,没有召回损失。业务扩展到 50 个租户、800 万个块后,暴力检索需要几百毫秒,改用 HNSW 索引;上线前用 200 个评测问题对比 HNSW 和暴力检索的结果,调整 `ef_search` 使召回率达到 0.95 以上,同时 P99 延迟满足要求。
|
||||
|
||||
## 代码示例
|
||||
|
||||
用 numpy 实现暴力检索,验证“归一化后余弦 = 内积,L2 排序一致”:
|
||||
|
||||
```python
|
||||
import numpy as np
|
||||
|
||||
rng = np.random.default_rng(0)
|
||||
docs = rng.normal(size=(1000, 64)).astype(np.float32)
|
||||
q = rng.normal(size=64).astype(np.float32)
|
||||
|
||||
docs_n = docs / np.linalg.norm(docs, axis=1, keepdims=True)
|
||||
q_n = q / np.linalg.norm(q)
|
||||
|
||||
cos = docs_n @ q_n # 余弦相似度(越大越近)
|
||||
ip = docs_n @ q_n # 归一化后内积就是余弦
|
||||
l2 = np.linalg.norm(docs_n - q_n, axis=1) # 欧氏距离(越小越近)
|
||||
|
||||
top_cos = np.argsort(-cos)[:5]
|
||||
top_l2 = np.argsort(l2)[:5]
|
||||
assert list(top_cos) == list(top_l2) # 归一化后排序一致
|
||||
print(top_cos, np.round(cos[top_cos], 3))
|
||||
|
||||
# 未归一化时内积会偏向长度大的向量,排序可能不同
|
||||
top_ip_raw = np.argsort(-(docs @ q))[:5]
|
||||
print("未归一化内积 top5:", top_ip_raw)
|
||||
```
|
||||
|
||||
近似索引和精确检索的召回率对比(Chroma HNSW、pgvector HNSW)见 [examples/vector-stores](examples/vector-stores/)。
|
||||
|
||||
## 易错点
|
||||
|
||||
- 嵌入模型和度量不匹配:模型输出未归一化却用内积,结果偏向长向量。
|
||||
- 入库和查询使用了**不同的嵌入模型**(或同一模型的不同版本):向量空间不一致,检索结果完全不对。换模型必须全量重新嵌入。
|
||||
- 把“距离”当“相似度”用:阈值方向写反。
|
||||
- 只看近似检索的结果,不和暴力检索对比,不知道召回率是多少。
|
||||
- 数据量很小也上复杂的向量数据库:几万条以内 numpy / pgvector 精确检索就够了。
|
||||
- IVF 索引在空表上建立:聚类中心没有意义,召回率很低。应在导入有代表性的数据之后再建。
|
||||
|
||||
## 面试常问
|
||||
|
||||
- 余弦相似度、内积、L2 的区别?什么时候结果一样?
|
||||
- HNSW 的原理和关键参数?`ef_search` 调大会怎样?
|
||||
- HNSW 和 IVF 怎么选?
|
||||
- 带过滤条件的向量检索为什么可能召回不足?怎么解决?
|
||||
@@ -0,0 +1,87 @@
|
||||
---
|
||||
id: ai.vector-db.selection-pgvector
|
||||
title: 向量库选型和 pgvector 实战:Chroma / pgvector / Milvus / Elasticsearch
|
||||
type: lesson
|
||||
domain: ai
|
||||
stack: [vector-db, postgresql]
|
||||
tags: [向量库选型, pgvector, Chroma, Milvus, Elasticsearch, 元数据过滤]
|
||||
level: intermediate
|
||||
prerequisites: [ai.vector-db.ann-metrics]
|
||||
est_hours: 3
|
||||
related: [ai.vector-db.scenario.multi-tenant-index, backend.postgresql.index, backend.elasticsearch.index]
|
||||
week: [5, 6]
|
||||
order: 2
|
||||
---
|
||||
|
||||
# 向量库选型和 pgvector 实战:Chroma / pgvector / Milvus / Elasticsearch
|
||||
|
||||
## 解释说明
|
||||
|
||||
### 选型对比
|
||||
|
||||
| 方案 | 适合 | 优点 | 注意 |
|
||||
| --- | --- | --- | --- |
|
||||
| **Chroma** | 原型、学习、小规模 | 安装即用,Python 内嵌模式 | 大规模、高可用要评估;版本间 API 有变化 |
|
||||
| **pgvector**(PostgreSQL 扩展) | 已有 PostgreSQL、百万级以内、需要和业务数据联查 | 一套数据库;SQL 过滤、事务、备份都复用 | 超大规模和高 QPS 时不如专用向量库;向量索引的内存占用要规划 |
|
||||
| **Milvus** | 千万到亿级、需要分布式 | 多种索引、分区、标量过滤、水平扩展 | 组件多,运维成本高(也有托管版) |
|
||||
| **Elasticsearch / OpenSearch** | 已经用 ES 做全文检索,想要关键词 + 向量混合检索 | 一个引擎做 BM25 + kNN | 向量功能的版本差异较大,以官方文档为准 |
|
||||
| FAISS | 嵌入到程序里的向量检索库 | 快,索引类型全 | 是库不是数据库:没有持久化服务、过滤、权限,需要自己做 |
|
||||
|
||||
**本计划的选择**:学习阶段用 Chroma 或 numpy 快速理解;项目使用 **pgvector**,因为第 3~4 周已经学了 PostgreSQL,业务数据、权限和向量可以放在同一个库里联查;面试时能讲清楚“为什么不用 Milvus”和“什么规模需要换”。
|
||||
|
||||
### pgvector 要点(以官方文档为准:https://github.com/pgvector/pgvector)
|
||||
|
||||
- 类型:`vector(n)`;还有 `halfvec`(半精度,省一半空间)、`sparsevec`。
|
||||
- 运算符:`<->` L2 距离,`<#>` **负**内积,`<=>` 余弦距离(都是越小越近)。
|
||||
- 索引:`USING hnsw (embedding vector_cosine_ops)`,运算符类必须和查询用的运算符一致(`vector_l2_ops` / `vector_ip_ops` / `vector_cosine_ops`),否则不走索引。
|
||||
- 查询参数:`SET hnsw.ef_search = 100;`(默认 40);IVFFlat 用 `ivfflat.probes`。
|
||||
- 过滤:`WHERE tenant_id = $1 ORDER BY embedding <=> $2 LIMIT 10`。过滤条件很严格时,0.8 版本可以开启 `hnsw.iterative_scan` 让索引继续扫描直到凑够结果;或者按租户建部分索引 / 分区。
|
||||
|
||||
## 案例
|
||||
|
||||
一个 SaaS 客服系统,50 个租户共 200 万个知识块,平均每个租户 4 万,最大租户 60 万。业务表已经在 PostgreSQL 中。选择 pgvector:块表带 `tenant_id`,HNSW 索引 + `tenant_id` 普通索引;大租户检索结果不足时开启迭代扫描。评估结论写进文档:当总量超过数千万或 QPS 超过单机能力时,再评估 Milvus。
|
||||
|
||||
## 代码示例
|
||||
|
||||
pgvector 的表结构和查询(完整可运行版本 [examples/vector-stores/pgvector_demo.py](examples/vector-stores/pgvector_demo.py),已在 PostgreSQL 17 + pgvector 0.8.0 上运行):
|
||||
|
||||
```sql
|
||||
CREATE EXTENSION IF NOT EXISTS vector;
|
||||
|
||||
CREATE TABLE chunks (
|
||||
id BIGSERIAL PRIMARY KEY,
|
||||
tenant_id TEXT NOT NULL,
|
||||
doc_id TEXT NOT NULL,
|
||||
version INT NOT NULL,
|
||||
content TEXT NOT NULL,
|
||||
embedding vector(1024) NOT NULL
|
||||
);
|
||||
CREATE INDEX ON chunks USING hnsw (embedding vector_cosine_ops);
|
||||
CREATE INDEX ON chunks (tenant_id);
|
||||
CREATE INDEX ON chunks (doc_id);
|
||||
|
||||
-- 查询:$1 租户,$2 查询向量
|
||||
SET hnsw.ef_search = 100;
|
||||
SELECT id, doc_id, content, 1 - (embedding <=> $2) AS similarity
|
||||
FROM chunks
|
||||
WHERE tenant_id = $1
|
||||
ORDER BY embedding <=> $2
|
||||
LIMIT 10;
|
||||
```
|
||||
|
||||
Chroma 的写入、元数据过滤、更新删除见 [examples/vector-stores/chroma_demo.py](examples/vector-stores/chroma_demo.py)。
|
||||
|
||||
## 易错点
|
||||
|
||||
- 建索引用了 `vector_l2_ops`,查询用 `<=>`:不走索引,变成全表扫描。
|
||||
- `<#>` 返回的是负内积,排序时直接 `ORDER BY embedding <#> q` 就是内积从大到小;自己再加负号就反了。
|
||||
- 小表的执行计划显示顺序扫描:数据少时规划器认为顺序扫描更便宜,这是正常的,不是索引失效。
|
||||
- HNSW 索引默认不支持太高的维度(`vector` 类型的索引上限 2000 维,`halfvec` 4000 维,以官方文档为准),高维模型要选 `halfvec` 或降维。
|
||||
- 大批量导入时边写边维护 HNSW 索引很慢:先导入再建索引,并适当调大 `maintenance_work_mem`。
|
||||
- Chroma 不同版本的客户端 / 持久化格式有变化,升级前看迁移说明。
|
||||
|
||||
## 面试常问
|
||||
|
||||
- 为什么选 pgvector 而不是 Milvus?什么时候要换?
|
||||
- pgvector 的三种距离运算符分别是什么?索引怎么建才能生效?
|
||||
- 向量和业务数据放一个库有什么好处和风险?
|
||||
@@ -0,0 +1,40 @@
|
||||
# requires: chromadb, numpy
|
||||
"""Chroma(内存模式):写入自带向量、按元数据过滤、和暴力检索对比召回率。
|
||||
|
||||
运行:python chroma_demo.py(不需要任何外部服务,也不会下载嵌入模型,因为我们自己提供向量)
|
||||
Chroma 的 API 在版本间有变化,以官方文档为准:https://docs.trychroma.com/
|
||||
"""
|
||||
import chromadb
|
||||
import numpy as np
|
||||
|
||||
from common import brute_force, make_corpus, query_vec
|
||||
|
||||
ids, vecs, metas, centers = make_corpus()
|
||||
client = chromadb.EphemeralClient()
|
||||
col = client.create_collection("docs_demo", metadata={"hnsw:space": "cosine"}) # 距离度量要和嵌入模型匹配
|
||||
col.add(ids=ids, embeddings=vecs.tolist(), metadatas=metas)
|
||||
|
||||
q = query_vec(centers, "it")
|
||||
k = 10
|
||||
|
||||
# 1. 无过滤:近似检索结果 vs 精确结果
|
||||
res = col.query(query_embeddings=[q.tolist()], n_results=k)
|
||||
approx = res["ids"][0]
|
||||
exact = [ids[i] for i in brute_force(vecs, q, k)]
|
||||
recall = len(set(approx) & set(exact)) / k
|
||||
print(f"HNSW 召回率(相对暴力检索)@{k} = {recall:.2f}")
|
||||
print("距离(cosine distance = 1 - 相似度)前 3:", [round(d, 3) for d in res["distances"][0][:3]])
|
||||
assert all(i.startswith("it-") for i in approx[:5])
|
||||
|
||||
# 2. 元数据过滤:多租户 / 权限
|
||||
res = col.query(query_embeddings=[q.tolist()], n_results=k,
|
||||
where={"$and": [{"tenant": "tenant-1"}, {"topic": {"$in": ["it", "hr"]}}]})
|
||||
got = res["ids"][0]
|
||||
print("tenant-1 过滤后:", got[:5])
|
||||
assert got and all(metas[ids.index(i)]["tenant"] == "tenant-1" for i in got)
|
||||
|
||||
# 3. 更新和删除:按 id 覆盖、删除
|
||||
col.upsert(ids=["it-0"], embeddings=[vecs[0].tolist()], metadatas=[{"topic": "hr", "tenant": "tenant-0"}])
|
||||
col.delete(where={"topic": "finance"})
|
||||
print("删除 finance 后剩余:", col.count())
|
||||
assert col.count() == 400
|
||||
@@ -0,0 +1,33 @@
|
||||
"""示例共用:确定性的“假嵌入”(随机向量 + 主题偏移),让示例不依赖嵌入模型 API。"""
|
||||
import numpy as np
|
||||
|
||||
DIM = 64
|
||||
TOPICS = ["hr", "it", "finance"]
|
||||
|
||||
|
||||
def make_corpus(n_per_topic: int = 200, seed: int = 7):
|
||||
"""每个主题一个中心向量,文档向量 = 中心 + 噪声。返回 (ids, vectors, metadatas)。"""
|
||||
rng = np.random.default_rng(seed)
|
||||
centers = {t: rng.normal(size=DIM) for t in TOPICS}
|
||||
ids, vecs, metas = [], [], []
|
||||
for t in TOPICS:
|
||||
for i in range(n_per_topic):
|
||||
v = centers[t] + rng.normal(scale=0.8, size=DIM)
|
||||
ids.append(f"{t}-{i}")
|
||||
vecs.append(v / np.linalg.norm(v))
|
||||
metas.append({"topic": t, "tenant": f"tenant-{i % 3}"})
|
||||
return ids, np.array(vecs, dtype=np.float32), metas, centers
|
||||
|
||||
|
||||
def query_vec(centers, topic: str, seed: int = 1) -> np.ndarray:
|
||||
rng = np.random.default_rng(seed)
|
||||
v = centers[topic] + rng.normal(scale=0.8, size=DIM)
|
||||
return (v / np.linalg.norm(v)).astype(np.float32)
|
||||
|
||||
|
||||
def brute_force(vecs: np.ndarray, q: np.ndarray, k: int, mask=None) -> list[int]:
|
||||
"""精确的最近邻(余弦 = 归一化后的点积),作为近似检索的对照。"""
|
||||
scores = vecs @ q
|
||||
if mask is not None:
|
||||
scores = np.where(mask, scores, -np.inf)
|
||||
return list(np.argsort(-scores)[:k])
|
||||
@@ -0,0 +1,77 @@
|
||||
# requires: psycopg, numpy
|
||||
"""pgvector:建表、HNSW 索引、带过滤的相似度检索、和暴力检索对比。
|
||||
|
||||
运行:TEST_DATABASE_URL=postgresql://user:pass@localhost:5432/db python pgvector_demo.py
|
||||
需要数据库已安装 pgvector 扩展(CREATE EXTENSION vector)。没有设置环境变量时跳过。
|
||||
会在一个临时 schema 里建表,结束后删除。
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
import uuid
|
||||
|
||||
import numpy as np
|
||||
import psycopg
|
||||
|
||||
from common import DIM, brute_force, make_corpus, query_vec
|
||||
|
||||
|
||||
def to_pg(v: np.ndarray) -> str:
|
||||
return "[" + ",".join(f"{x:.6f}" for x in v) + "]"
|
||||
|
||||
|
||||
def main() -> int:
|
||||
url = os.environ.get("TEST_DATABASE_URL")
|
||||
if not url:
|
||||
print("未设置 TEST_DATABASE_URL,跳过")
|
||||
return 0
|
||||
schema = f"vec_demo_{uuid.uuid4().hex[:8]}"
|
||||
ids, vecs, metas, centers = make_corpus()
|
||||
with psycopg.connect(url, autocommit=True) as conn:
|
||||
try:
|
||||
conn.execute("CREATE EXTENSION IF NOT EXISTS vector")
|
||||
conn.execute(f"CREATE SCHEMA {schema}")
|
||||
conn.execute(f"SET search_path TO {schema}, public")
|
||||
conn.execute(f"""CREATE TABLE chunks (
|
||||
id TEXT PRIMARY KEY,
|
||||
tenant TEXT NOT NULL,
|
||||
topic TEXT NOT NULL,
|
||||
embedding vector({DIM}) NOT NULL)""")
|
||||
with conn.cursor().copy("COPY chunks (id, tenant, topic, embedding) FROM STDIN") as cp:
|
||||
for i, v, m in zip(ids, vecs, metas):
|
||||
cp.write_row((i, m["tenant"], m["topic"], to_pg(v)))
|
||||
# HNSW 索引;vector_cosine_ops 对应 <=> 余弦距离运算符
|
||||
conn.execute("CREATE INDEX ON chunks USING hnsw (embedding vector_cosine_ops)")
|
||||
conn.execute("CREATE INDEX ON chunks (tenant)")
|
||||
conn.execute("ANALYZE chunks")
|
||||
|
||||
q = query_vec(centers, "finance")
|
||||
k = 10
|
||||
rows = conn.execute("SELECT id, 1 - (embedding <=> %s::vector) AS sim FROM chunks "
|
||||
"ORDER BY embedding <=> %s::vector LIMIT %s", (to_pg(q), to_pg(q), k)).fetchall()
|
||||
exact = [ids[i] for i in brute_force(vecs, q, k)]
|
||||
recall = len({r[0] for r in rows} & set(exact)) / k
|
||||
print(f"pgvector HNSW 召回率@{k} = {recall:.2f},最相似:{rows[0][0]} {rows[0][1]:.3f}")
|
||||
assert all(r[0].startswith("finance-") for r in rows[:5])
|
||||
|
||||
# 只有 600 行时规划器可能选择顺序扫描(更便宜),演示时临时关闭顺序扫描看索引计划
|
||||
conn.execute("SET enable_seqscan = off")
|
||||
plan = "\n".join(r[0] for r in conn.execute(
|
||||
"EXPLAIN SELECT id FROM chunks ORDER BY embedding <=> %s::vector LIMIT 10", (to_pg(q),)).fetchall())
|
||||
conn.execute("RESET enable_seqscan")
|
||||
print("执行计划使用 HNSW 索引:", "chunks_embedding_idx" in plan)
|
||||
assert "chunks_embedding_idx" in plan
|
||||
|
||||
# 带过滤:SQL 的 WHERE 和向量排序写在一起,这是 pgvector 的便利之处
|
||||
rows = conn.execute("SELECT id, tenant FROM chunks WHERE tenant = %s "
|
||||
"ORDER BY embedding <=> %s::vector LIMIT %s", ("tenant-2", to_pg(q), k)).fetchall()
|
||||
assert rows and all(t == "tenant-2" for _, t in rows)
|
||||
mask = np.array([m["tenant"] == "tenant-2" for m in metas])
|
||||
exact_f = {ids[i] for i in brute_force(vecs, q, k, mask)}
|
||||
print(f"过滤后召回率@{k} = {len({r[0] for r in rows} & exact_f) / k:.2f}(过滤 + 近似索引可能降低召回,见课程)")
|
||||
finally:
|
||||
conn.execute(f"DROP SCHEMA IF EXISTS {schema} CASCADE")
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
@@ -4,12 +4,42 @@ title: 向量数据库
|
||||
type: index
|
||||
domain: ai
|
||||
stack: [vector-db]
|
||||
tags: []
|
||||
tags: [向量数据库, HNSW, pgvector, Chroma, Milvus]
|
||||
week: [5, 6]
|
||||
---
|
||||
|
||||
# 向量数据库
|
||||
|
||||
近似最近邻索引、距离度量、Chroma / Milvus / pgvector 选型。
|
||||
RAG 的检索基础设施。重点是讲清楚**距离度量、近似索引的召回和延迟取舍、带过滤的检索、选型理由**,而不是背某个产品的 API。项目里使用 pgvector(复用第 3~4 周学的 PostgreSQL)。
|
||||
|
||||
> 本专题建设中:课程、企业场景、面试题和示例代码会陆续补充。
|
||||
## 学习路线
|
||||
|
||||
| 顺序 | 课程 | 级别 | 预计 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1 | [向量检索原理:距离度量、暴力检索、HNSW / IVF 近似索引](01-ann-metrics.md) | 基础 | 2.5 小时 |
|
||||
| 2 | [向量库选型和 pgvector 实战:Chroma / pgvector / Milvus / Elasticsearch](02-selection-pgvector.md) | 进阶 | 3 小时 |
|
||||
|
||||
## 企业场景
|
||||
|
||||
- [多租户知识库的向量索引:隔离、过滤召回和增量更新](scenarios/multi-tenant-index.md)
|
||||
|
||||
## 面试题
|
||||
|
||||
- [向量数据库面试题](interview.md)
|
||||
|
||||
## 示例代码
|
||||
|
||||
- [examples/vector-stores](examples/vector-stores/):`chroma_demo.py`(内存模式,自带向量,元数据过滤、更新删除,和暴力检索对比召回率);`pgvector_demo.py`(HNSW 索引、过滤查询、执行计划,需要 `TEST_DATABASE_URL` 和 pgvector 扩展,否则跳过)
|
||||
|
||||
## 在 16 周计划中
|
||||
|
||||
- [第 5 周:RAG(一)](../../../plan/week05-rag-1.md)、[第 6 周:RAG(二)](../../../plan/week06-rag-2.md)
|
||||
|
||||
## 官方资料
|
||||
|
||||
产品更新很快,接口和参数以官方文档为准:
|
||||
|
||||
- pgvector:https://github.com/pgvector/pgvector
|
||||
- Chroma:https://docs.trychroma.com/
|
||||
- Milvus:https://milvus.io/docs
|
||||
- Elasticsearch 向量检索:https://www.elastic.co/docs/solutions/search/vector
|
||||
@@ -0,0 +1,67 @@
|
||||
---
|
||||
id: ai.vector-db.interview
|
||||
title: 向量数据库面试题
|
||||
type: interview
|
||||
domain: ai
|
||||
stack: [vector-db]
|
||||
tags: [向量数据库, HNSW, pgvector, 面试]
|
||||
level: intermediate
|
||||
related: [ai.vector-db.ann-metrics, ai.vector-db.selection-pgvector, ai.rag.interview]
|
||||
week: [5, 6, 16]
|
||||
---
|
||||
|
||||
# 向量数据库面试题
|
||||
|
||||
## 基础
|
||||
|
||||
### 【基础】向量数据库解决什么问题?和传统数据库有什么区别?
|
||||
|
||||
**参考答案**:解决“找出和查询向量最相似的 k 个向量”的问题。传统数据库按精确值或范围查询(B+ 树等),向量检索按相似度排序,需要专门的近似最近邻索引(HNSW、IVF)在速度和召回率之间取舍。现在很多传统数据库也通过扩展支持向量(pgvector、ES 的 kNN)。
|
||||
|
||||
**追问**:数据量只有几万条,需要向量数据库吗?——不需要专门的向量数据库,内存暴力检索或 pgvector 精确检索就够快,而且结果精确。
|
||||
|
||||
### 【基础】余弦相似度、内积、欧氏距离有什么区别?
|
||||
|
||||
**参考答案**:余弦只看方向;内积同时受长度影响;欧氏距离是空间中两点的距离。向量归一化后三者的排序结果一致,此时内积计算最快。应该使用嵌入模型推荐的度量。
|
||||
|
||||
**追问**:pgvector 中 `<#>` 返回什么?——负内积,所以 `ORDER BY embedding <#> q` 是内积从大到小。
|
||||
|
||||
### 【基础】什么是 ANN?召回率怎么算?
|
||||
|
||||
**参考答案**:近似最近邻,用索引结构换取速度,结果不保证精确。召回率 = 近似检索的 top-k 和精确检索的 top-k 的重合数 / k。上线前要用自己的数据测试。
|
||||
|
||||
**追问**:召回率 0.95 够不够?→ 取决于业务:RAG 后面还有重排和生成,0.95 通常足够;关键是要在自己的数据上测出召回率和延迟的关系,再按延迟预算选参数。
|
||||
|
||||
## 进阶
|
||||
|
||||
### 【进阶】HNSW 的原理和关键参数?
|
||||
|
||||
**参考答案**:多层图结构,上层稀疏、下层稠密。查询从最上层的入口点开始,贪心地走向更近的邻居,逐层下降,在最底层用大小为 `ef_search` 的候选队列搜索。参数:`M` 每个节点的连接数(大 → 召回高、内存大),`ef_construction` 建索引时的候选数(大 → 索引质量高、建索引慢),`ef_search` 查询时的候选数(大 → 召回高、延迟高)。
|
||||
|
||||
**追问**:HNSW 和 IVF 怎么选?——HNSW 查询性能和召回通常更好、支持增量插入,但内存大;IVF 建索引快、省内存(配合 PQ 更省),需要先有数据训练,数据分布变化后要重建。
|
||||
|
||||
### 【进阶】带过滤条件的向量检索有什么问题?
|
||||
|
||||
**参考答案**:近似索引先找全局近邻再过滤,满足条件的数据占比很小时,结果可能不足 k 个。解决:数据库的过滤遍历能力(pgvector 0.8 的迭代扫描、Milvus 的标量过滤)、增大候选数、按租户分区、小数据量直接精确检索。
|
||||
|
||||
**追问**:pgvector 0.8 的迭代扫描是什么?→ 开启 `hnsw.iterative_scan` 后,如果过滤后结果不足,索引会继续往下扫描更多候选,直到凑够结果或达到扫描上限(`hnsw.max_scan_tuples`),参数以官方文档为准。
|
||||
|
||||
### 【进阶】更换嵌入模型要怎么做?
|
||||
|
||||
**参考答案**:新旧模型的向量空间不兼容,必须全量重新嵌入。做法:新增列 / 新集合存新向量,后台回填,用评测集对比效果,切换读路径,保留回滚能力,最后清理旧数据。记录每个块使用的模型版本。
|
||||
|
||||
**追问**:切换期间新文档写入怎么办?→ 双写:切换期间新文档同时生成新旧两种向量,回填只处理存量;切换读路径后再停止写旧向量。
|
||||
|
||||
## 场景题
|
||||
|
||||
### 【场景题】SaaS 产品多租户共用向量表,怎么防止数据串租户?
|
||||
|
||||
**参考答案**:数据访问层统一封装检索函数,`tenant_id` 必填;数据库层启用行级安全(RLS)兜底,应用使用非表所有者的角色连接,每个事务设置租户变量(连接池下必须用事务级);测试用例覆盖跨租户访问;日志审计。详见[多租户向量索引场景](scenarios/multi-tenant-index.md)。
|
||||
|
||||
**追问**:大租户和小租户检索性能差别很大怎么办?——分层:大租户单独分区 / 索引,小租户精确检索或开启迭代扫描。
|
||||
|
||||
### 【场景题】线上向量检索延迟从 50ms 涨到 500ms,怎么排查?
|
||||
|
||||
**参考答案**:先看是检索本身慢还是嵌入接口慢(分段计时);检索慢:执行计划是否走了向量索引(运算符类是否匹配)、索引是否能放进内存(`shared_buffers` / 内存不足导致大量磁盘读)、`ef_search` 是否被调大、过滤条件是否导致大量扫描、数据量是否增长、是否有大批量写入在重建索引。对照监控的时间点找变化。
|
||||
|
||||
**追问**:怎么提前发现这种问题?→ 监控检索 P95/P99 延迟、每次查询扫描的行数、索引大小和内存命中率;给慢查询设置日志阈值;数据量增长到一定程度前做容量评估。
|
||||
@@ -0,0 +1,89 @@
|
||||
---
|
||||
id: ai.vector-db.scenario.multi-tenant-index
|
||||
title: 多租户知识库的向量索引:隔离、过滤召回和增量更新
|
||||
type: scenario
|
||||
domain: ai
|
||||
stack: [vector-db, postgresql]
|
||||
tags: [多租户, 元数据过滤, 增量更新, 召回率, SaaS]
|
||||
level: advanced
|
||||
prerequisites: [ai.vector-db.selection-pgvector]
|
||||
est_hours: 2.5
|
||||
related: [ai.rag.scenario.permission-aware-kb, ai.vector-db.interview]
|
||||
week: [6]
|
||||
---
|
||||
|
||||
# 多租户知识库的向量索引:隔离、过滤召回和增量更新
|
||||
|
||||
## 业务背景与问题
|
||||
|
||||
一个面向中小企业的 SaaS 客服产品,每个企业(租户)上传自己的知识库。上线三个月后出现:
|
||||
|
||||
1. 一个小租户(2000 个块)提问,经常返回“没有找到相关资料”,但资料明明存在;
|
||||
2. 一次代码改动漏了租户条件,A 公司的客服看到了 B 公司的产品价格;
|
||||
3. 大租户每天更新上千篇文档,删除的文档还会被检索到;
|
||||
4. 产品想换一个效果更好的嵌入模型,不知道怎么切换。
|
||||
|
||||
## 约束
|
||||
|
||||
- 租户数千个,大小差异很大(几千到几百万块)。
|
||||
- 数据存储在 PostgreSQL + pgvector,不想引入新的组件。
|
||||
- 租户之间的数据绝对不能串。
|
||||
|
||||
## 方案设计
|
||||
|
||||
1. **隔离方式按租户大小分层**:
|
||||
- 普通租户共用一张表,每行带 `tenant_id`;
|
||||
- 超大租户单独分区(PostgreSQL 声明式分区或单独的表),有自己的 HNSW 索引。
|
||||
2. **问题 1(小租户召回不足)的原因**:全表 HNSW 索引先找全局近邻,再过滤 `tenant_id`,小租户的数据很少出现在全局候选中。解决:开启 pgvector 0.8 的迭代索引扫描 `SET hnsw.iterative_scan = relaxed_order`;或者对小租户直接走精确检索(`tenant_id` 索引过滤后计算距离,几千条很快)。
|
||||
3. **问题 2(越权)**:租户条件不能依赖每个查询“记得加”。数据访问层封装统一的检索函数,`tenant_id` 是必填参数;数据库层用 **行级安全(RLS)** 兜底,连接时 `SET app.tenant_id`。
|
||||
4. **问题 3(增量更新)**:每个块带 `doc_id`、`version`、`content_hash`;文档更新在一个事务里删除旧块、插入新块;文档删除同步删除块;内容哈希不变的块跳过重新嵌入,节省成本。
|
||||
5. **问题 4(换嵌入模型)**:新增一列(或新表)存新模型的向量,后台批量回填,回填完成后对比评测集,再切换读路径,最后删除旧列。块表记录 `embed_model` 字段。
|
||||
|
||||
## 关键代码
|
||||
|
||||
```sql
|
||||
-- 行级安全:即使查询漏了 WHERE tenant_id,也只能看到当前租户的数据
|
||||
ALTER TABLE chunks ENABLE ROW LEVEL SECURITY;
|
||||
CREATE POLICY tenant_isolation ON chunks
|
||||
USING (tenant_id = current_setting('app.tenant_id'));
|
||||
-- 注意:表的所有者和超级用户默认绕过 RLS,应用要用单独的普通角色连接,
|
||||
-- 或者对表执行 ALTER TABLE chunks FORCE ROW LEVEL SECURITY。
|
||||
|
||||
-- 每个请求(事务)开始时设置租户
|
||||
BEGIN;
|
||||
SELECT set_config('app.tenant_id', 'tenant-42', true); -- true 表示只在当前事务有效
|
||||
SET LOCAL hnsw.iterative_scan = relaxed_order; -- pgvector 0.8+,过滤后结果不足时继续扫描
|
||||
SELECT id, content FROM chunks
|
||||
ORDER BY embedding <=> $1
|
||||
LIMIT 10;
|
||||
COMMIT;
|
||||
|
||||
-- 文档更新:在一个事务里替换
|
||||
BEGIN;
|
||||
DELETE FROM chunks WHERE tenant_id = $1 AND doc_id = $2;
|
||||
INSERT INTO chunks (tenant_id, doc_id, version, content, embedding) VALUES (...);
|
||||
COMMIT;
|
||||
```
|
||||
|
||||
过滤查询和召回率对比的可运行示例:[examples/vector-stores/pgvector_demo.py](../examples/vector-stores/pgvector_demo.py)。
|
||||
|
||||
## 取舍
|
||||
|
||||
| 方案 | 优点 | 缺点 |
|
||||
| --- | --- | --- |
|
||||
| 共享表 + `tenant_id` 过滤 | 简单,租户多时管理成本低 | 过滤召回问题;越权风险靠 RLS 兜底 |
|
||||
| 每租户一张表 / 一个集合 | 隔离彻底,索引小 | 租户上千时表和索引数量爆炸 |
|
||||
| **分层(本方案)** | 兼顾 | 有两套路径,代码复杂一点 |
|
||||
| 独立数据库(大客户私有化) | 合规要求最高时 | 成本最高 |
|
||||
|
||||
## 易错点
|
||||
|
||||
- 用表所有者账号连接,RLS 不生效却以为生效了。
|
||||
- `set_config(..., false)` 设置的是会话级变量,连接池复用连接时会串到下一个请求;应该用事务级(`true`)或每次请求都重新设置。
|
||||
- 删除文档只删了数据库里的记录,没删向量库 / ES 里的块(多存储时)。
|
||||
- 换嵌入模型时新旧向量混在一起检索。
|
||||
- 只用大租户做测试,没发现小租户的召回问题。评测集要按租户规模分组。
|
||||
|
||||
## 面试怎么讲
|
||||
|
||||
> “多租户向量检索我遇到过两个问题:一是小租户召回不足,原因是全局 HNSW 先找近邻再过滤,小租户的数据很少进入候选,我用 pgvector 0.8 的迭代扫描和小租户走精确检索解决;二是租户隔离,我在数据访问层强制要求 tenant_id,数据库层用行级安全兜底,并且注意连接池下要用事务级变量。增量更新按 doc_id 在事务里替换,内容哈希没变的块不重新嵌入。”
|
||||
Reference in new issue
Block a user