---
id: ai.rag.pipeline-chunking
title: RAG 流水线和文档切分：加载、清洗、切分策略、元数据
type: lesson
domain: ai
stack: [rag]
tags: [RAG, 文档加载, 切分, chunk, 元数据, 嵌入]
level: basic
prerequisites: [python.python.syntax-for-js]
est_hours: 3
related: [ai.rag.hybrid-rerank, ai.vector-db.ann-metrics, ai.rag.interview]
week: [5]
order: 1
---

# RAG 流水线和文档切分：加载、清洗、切分策略、元数据

## 解释说明

**为什么需要 RAG**：大模型不知道公司内部资料，也不知道训练截止之后的信息；直接问会“编”（幻觉）。RAG 把相关资料放进提示词，让模型“开卷答题”，并且能给出引用来源。和微调相比：知识更新只需要更新索引，成本低、可追溯。

**两条流水线**

```mermaid
flowchart LR
  subgraph 离线：建索引
    A[加载文档 PDF/Word/网页] --> B[清洗] --> C[切分 chunk] --> D[嵌入向量] --> E[(向量库 + 元数据)]
  end
  subgraph 在线：问答
    Q[用户问题] --> R[检索 top-k] --> F[权限过滤 / 重排] --> P[拼提示词] --> L[大模型生成] --> O[答案 + 引用]
  end
  E --> R
```

**加载和清洗**：PDF 的页眉页脚、目录、页码、表格是最常见的噪音；扫描件需要 OCR。清洗质量直接决定检索质量。

**切分（chunking）**——RAG 效果最关键的环节之一：

| 策略 | 做法 | 适合 |
| --- | --- | --- |
| 固定长度 + 重叠 | 每 N 个字符 / token 一块，相邻块重叠一部分 | 没有结构的长文本 |
| 按结构切分 | 按标题、段落、列表切，节太长再细分 | 制度、手册、Markdown、网页（**首选**） |
| 按句子 / 语义切分 | 句子为单位，按语义相似度合并 | 长篇叙述 |
| 父子块 | 用小块检索（精准），返回所在的大块给模型（上下文完整） | 问答需要上下文的场景 |

块的大小：太小（一句话）上下文不完整，“满十年 10 天”不知道说的是年假还是病假；太大则包含多个主题，检索不精准、浪费 token。中文制度类文档常见几百字一块，需要用评测来调。

**元数据**：每个块带上文档 ID、标题、小节路径、页码、更新时间、权限标签。用途：引用来源、按权限过滤、按时间过滤、增量更新时删除旧块。**把标题路径拼进块的正文**（“员工手册 / 年假：……”）能明显改善孤立块的检索。

**嵌入（embedding）**：把文本变成向量，语义相近的文本向量距离近。选择嵌入模型要看：中文效果、向量维度、最大输入长度、价格 / 是否能私有部署。**建索引和查询必须用同一个模型**，换模型要全量重建索引。具体模型和参数以各服务商官方文档为准。

## 案例

公司制度问答第一版：把 PDF 直接按 500 字切分，结果“病假”一节被切成两半，问“病假工资怎么发”检索到的块只有前半段；页眉“内部资料 第 3 页”混进每个块。改进：先转 Markdown 去掉页眉页脚，按标题切分，每块带“文档 / 小节”前缀，节太长再按句子切并保留重叠。

## 代码示例

按标题切分 + 句子级细分 + 重叠 + 标题前缀（摘自 [examples/mini-rag/mini_rag.py](examples/mini-rag/mini_rag.py)）：

```python
import re
from dataclasses import dataclass


@dataclass
class Chunk:
    id: str
    doc_id: str
    text: str
    acl: set[str]


def split(doc_id: str, title: str, text: str, acl: set[str], max_len: int = 80, overlap: int = 15) -> list[Chunk]:
    out: list[Chunk] = []
    for sec in re.split(r"\n(?=# )", text.strip()):          # 按一级标题分节
        heading, _, body = sec.partition("\n")
        heading = heading.lstrip("# ").strip()
        sentences = [s for s in re.split(r"(?<=[。！？])", body.strip()) if s]
        buf, pieces = "", []
        for s in sentences:                                   # 节内按句子累积，超长就切
            if buf and len(buf) + len(s) > max_len:
                pieces.append(buf)
                buf = buf[-overlap:]                          # 保留重叠，避免句子间信息断开
            buf += s
        if buf:
            pieces.append(buf)
        for p in pieces:
            out.append(Chunk(f"{doc_id}#{len(out)}", doc_id, f"【{title} / {heading}】{p}", acl))
    return out


doc = """# 年假
入职满一年的正式员工享有带薪年假 5 天，满十年 10 天，满二十年 15 天。年假需提前 3 个工作日在 OA 中申请。
# 病假
病假需提供医院证明，每年累计 10 天以内按全额工资发放。"""
for c in split("hr-leave", "员工手册", doc, {"all"}, max_len=40, overlap=8):
    print(c.id, c.text)
```

输出中每一块都带有“【员工手册 / 年假】”这样的前缀，即使块本身只有“满十年 10 天”，也能被“年假”相关的问题检索到。

## 易错点

- **不看切分结果就建索引**：一定要抽样打印切分后的块，检查是否切断了表格、步骤、条款。
- **按字符数重叠会截断词语**：上面的输出里第二块以“十年 15 天”开头（原文是“满二十年 15 天”）。实际项目更常用“重叠最后一两句”而不是固定字符数。
- **只用固定长度切分**：结构化文档的标题信息丢失。
- **块没有元数据**：无法引用来源、无法做权限过滤、更新文档时删不掉旧块。
- **建索引和查询用了不同的嵌入模型**（或同一模型不同版本）：向量空间不一致，检索结果混乱。
- **文档更新后只追加不删除**：新旧版本同时被检索到，答案自相矛盾。用文档 ID 先删后加。
- **把整篇文档塞进提示词**：成本高、模型容易忽略中间内容，而且受上下文长度限制。

## 面试常问

见 [RAG 面试题](interview.md)：RAG 和微调的区别、切分策略怎么选、chunk 大小怎么定、元数据有什么用。