从零构建生产级 RAG 系统：Chunking 策略、向量检索、重排序与 RAGAS 评估的全链路实战核心痛点：RAG 教程遍地都是，但从零搭建真正可用的生产级 RAG 缺少完整实操指南。适配人群：有 Python 基础的 AI 应用开发者、RAG 系统后端工程师、ML 工程师。收获能力：独立搭建可运行的生产级 RAG 系统，掌握五种 Chunking 策略，理解混合检索工程细节，会用 RAGAS 量化评估。技术背景与演进逻辑RAG 为什么成为 LLM 应用的标配架构：LLM 的固有局限：知识截止日期 + 幻觉 + 无法访问私有数据。RAG 通过外部知识检索补齐这三块短板。微调 vs RAG：微调更新知识需重新训练（成本高、周期长）；RAG 更新知识只需更新数据库（实时、低成本）。RAG 核心公式：Answer = LLM(Query + Retrieved_Context)。检索质量直接决定回答质量。RAG 技术栈分层：层级功能主流方案本文选择文档处理解析/分块Unstructured / LlamaIndex / LangChainLangChain + 自研 splitterEmbedding文本向量化BGE / E5 / Jina / OpenAIBGE-M3 (多语言, 1024d)向量存储向量索引与检索Milvus / Qdrant / Chroma / FAISSChroma检索策略召回方式向量检索 / BM25 / 混合混合检索 (向量 + BM25)重排序精排优化BGE-Reranker / Cohere / JinaBGE-Reranker-v2-m3LLM生成回答GPT-4o / Claude / Qwen / DeepSeekDeepSeek-V3 (API)评估质量量化RAGAS / TruLens / DeepEvalRAGAS演进时间线：2020 Lewis et al. 提出 RAG 概念 - 2023 LangChain/LlamaIndex 生态爆发 - 2024 混合检索 + 重排序成为标配 - 2025 Agentic RAG + 多模态 RAG 前沿探索。核心原理深度解析Chunking 策略：RAG 管线的第一道关卡五种主流 Chunking 策略：固定大小分块（Fixed-size）：按 token 数切分，最简单，但在句子中间切断导致语义不完整。典型参数：chunk_size=512, chunk_overlap=50。递归字符分块（Recursive Character）：按分隔符优先级依次尝试 ["", "", " ", “”]，优先在段落边界切。LangChain 默认策略，生产推荐起点。语义分块（Semantic）：计算相邻句子的 embedding 相似度，相似度骤降处切分。块内语义高度一致，但计算开销大。句子窗口分块（Sentence Window）：每个块以目标句子为中心 + 前后 N 句为上下文。检索时用中心句，生成时展开完整窗口。LlamaIndex 特色方案。层级分块（Hierarchical）：父子块结构，父块存完整语义，子块用于精确检索。先检索子块，生成时取父块完整上下文。LangChain ParentDocumentRetriever 方案。五种策略对比：策略检索精度上下文完整性实现复杂度推荐场景固定大小2/52/5极低快速原型递归字符3/53/5低通用文档（生产默认）语义分块4/53/5中高质量文档句子窗口5/55/5中QA/客服系统层级分块5/55/5高复杂文档/长文本本文选择：递归字符作为基础策略（覆盖 80% 场景）+ 层级分块作为高级方案。向量检索 + BM25 混合检索：互补才能完整向量检索（Dense Retrieval）：语义相似，“北京的天气"能匹配到"首都今日气温”，强在语义理解。本质是 query 和 doc 分别过 embedding 模型，计算余弦相似度，取 Top-K 最近邻。BM25 检索（Sparse Retrieval）：关键词匹配，“Error code E1004” 精确匹配文档中的 E1004，强在精确召回。本质是 TF-IDF 的改进，基于倒排索引。混合检索：取两者并集，用 RRF（Reciprocal Rank Fusion）融合排序。公式：score_rrf(d) = sum of 1/(k + rank_i(d))，k=60 是经验最优值。重排序（Re-ranking）：让最相关的排在前面Cross-Encoder vs Bi-Encoder：Bi-Encoder 独立编码 query 和 doc，快但精度一般；Cross-Encoder 联合编码，慢但精度极高。BGE-Reranker 工作流程：[Top-100 候选文档] - [query+doc 拼接输入 Cross-Encoder] - [输出相关性分数] - [按分数重排] - [取 Top-5 送入 LLM]。为什么需要重排序：向量检索的 Top-20 中通常只有 5-8 个真正相关，重排序将其精准过滤，RAG 回答质量提升 20-40%。核心模块与流程机制详解完整 RAG 管线流程文档加载 - Chunking分块 - Embedding向量化 - ChromaDB存储 - 混合检索(向量+BM25) - Reranker重排序 - LLM生成回答 - RAGAS评估 - 结果输出项目结构rag-from-scratch/ - data/ - knowledge_base/ # 存放原始文档 - src/ - loader.py # 文档加载与解析 - chunker.py # Chunking 策略实现 - embedder.py # BGE-M3 embedding - vector_store.py # ChromaDB 操作 - retriever.py # 混合检索（向量+BM25） - reranker.py # BGE-Reranker 重排序 - generator.py # LLM 生成 - pipeline.py # 完整管线编排 - evaluator.py # RAGAS 评估 - config.yaml - requirements.txt - main.py核心代码1：Chunking 模块fromlangchain.text_splitterimportRecursiveCharacterTextSplitterfromtypingimportListclassDocumentChunker:def__init__(self,chunk_size=512,chunk_overlap=50):self.splitter=RecursiveCharacterTextSplitter(chunk_size=chunk_size,chunk_overlap=chunk_overlap,separators=["", "", ".", "", ""])defchunk(self,documents:List[str])-List[str]:chunks=[]fordocindocuments:chunks.extend(self.splitter.split_text(doc))print(f"Chunked{len(documents)}docs -{len(chunks)}chunks")returnchunksdefchunk_hierarchical(self,documents,parent_size=2048,child_size=512):parent_splitter=RecursiveCharacterTextSplitter
