:企业知识库预处理全流程实战)
1. 本章目标企业知识库资料存放在各类文件产品说明书、员工手册、售后规则、技术文档、FAQ。使用大模型加载私有资料两大核心步骤读取文件 → 切分文档学习完成后掌握理解 LangChain Document 对象加载 TXT、Markdown 文件加载文本型 PDF 文件理解长文档切分的必要性使用 RecursiveCharacterTextSplitter合理配置 chunk_size、chunk_overlap保留来源、页码等元数据 metadata实现企业知识库文档预处理完整案例2. 文档处理标准流程plaintextTXT / MD / PDF 文件 ↓ Document Loader文档加载器 ↓ Document 列表 ↓ Text Splitter文本切分器 ↓ 小型 Document 文档块 chunk ↓ Embedding 向量化 → 向量数据库本章范围文件 → Document → 文档块 下一章文档块向量化、存入向量数据库3. 安装依赖bash运行pip install langchain-community langchain-text-splitters pypdf # 清华镜像加速 pip install langchain-community langchain-text-splitters pypdf -i https://pypi.tuna.tsinghua.edu.cn/simple表格依赖作用langchain-community提供各类文档加载器langchain-text-splitters文本切分工具pypdf解析文本型 PDF本章无需调用大模型不会消耗 API 额度4. Document 文档对象LangChain 使用Document统一封装文本数据。两个核心属性page_content文档正文内容metadata元数据字典格式描述数据的数据示例代码01_document_basic.pypython运行from langchain_core.documents import Document document Document( page_content公司所有正式员工每年享有 5 天带薪年假。, metadata{ source: 员工手册.md, category: 考勤制度, } ) print(document.page_content) print(document.metadata)常用元数据字段文件路径、文件名、PDF 页码、文档分类、chunk_id、文本起始位置。作用问答时展示资料来源支持向量库进行条件过滤筛选。5. 文件加载实战5.1 TextLoader 加载 TXT目录结构plaintextchapter06/ ├── data/ │ └── employee_handbook.txt └── 02_load_text.pypython运行from langchain_community.document_loaders import TextLoader loader TextLoader( file_pathdata/employee_handbook.txt, encodingutf-8, ) documents loader.load() print(f文档数量{len(documents)}) print(f文档内容\n{documents[0].page_content}) print(f元数据{documents[0].metadata})重点load()返回Document 列表单个文件同样返回列表encodingutf-8解决 Windows 环境中文乱码5.2 TextLoader 加载 Markdownmd 文件可直接使用 TextLoader03_load_markdown.pypython运行from langchain_community.document_loaders import TextLoader loader TextLoader( file_pathdata/refund_policy.md, encodingutf-8 ) documents loader.load() print(文档数量 str(len(documents))) print(documents[0].page_content) print(documents[0].metadata)5.3 PyPDFLoader 加载 PDF⚠️ 仅支持可复制文字的文本 PDF扫描图片版 PDF 需要 OCR 识别04_load_pdf.pypython运行from langchain_community.document_loaders import PyPDFLoader loader PyPDFLoader( file_pathdata/XX销售有限公司员工守则.pdf ) documents loader.load() print(文档数量 str(len(documents))) PDF 每一页自动生成一个独立 Document for document in documents: print(document.page_content[-20:]) print(document.metadata) print(当前页码, document.metadata[page])注意metadata 中page页码从 0 开始计数6. 为什么需要切分长文档超长文档直接存入向量库存在诸多问题文本长度超出大模型上下文窗口限制全文参与向量化与检索Token 成本高用户仅询问局部信息大量无关文本造成干扰向量相似度检索难以精准定位片段解决方案将大文档切分成多个语义相对独立的小块chunk7. RecursiveCharacterTextSplitter 递归文本切分器中文知识库首选切分器。分隔符优先级[\n\n, \n, 。, , , , , , ]切分逻辑优先按段落切割段落过长则逐级降级依次使用换行、句号、逗号最后强制切割最大限度保证语句完整。核心参数chunk_size单个文档块最大长度默认按字符统计chunk_overlap相邻文档块重叠字符数量重叠作用避免完整语句被一刀切断保留上下文关联重叠不宜过大会产生大量重复文本增加存储压力与重复检索结果。推荐初始参数chunk_size300chunk_overlap50两个核心方法split_text(text)接收普通字符串返回字符串列表丢失元数据仅用于测试split_documents(documents)接收 Document 列表返回 Document 列表保留元数据正式项目使用案例 1切分普通文本 05_split_text.pypython运行from langchain_text_splitters import RecursiveCharacterTextSplitter text 员工考勤制度 工作时间为周一至周五每天 9:00 至 18:00。 员工每月可以申请两次补卡。超过两次后需要部门负责人审批。 员工请假制度 请假一天以内由直属负责人审批。 请假超过一天需要部门负责人审批。 病假需要提供医院开具的有效证明。 员工年假制度 正式员工每年享有 5 天带薪年假。 工作满三年后每年享有 10 天带薪年假。 splitter RecursiveCharacterTextSplitter( chunk_size300, chunk_overlap50, separators[\n\n, \n, 。, , , , , , ] ) chunks splitter.split_text(text) print(len(chunks)) for index, chunk in enumerate(chunks, start1): print(* * 40) print(f第{index}个文件块的内容:) print(chunk)补充enumerate(对象, start1)同时获取序号与内容start 自定义起始编号案例 2切分 Document保留元数据 06_split_documents.pypython运行from langchain_community.document_loaders import PyPDFLoader from langchain_core.documents import Document from langchain_text_splitters import RecursiveCharacterTextSplitter loader PyPDFLoader( file_pathdata/XX销售有限公司员工守则.pdf ) documents loader.load() print(原始文档数量:, len(documents)) splitter RecursiveCharacterTextSplitter( chunk_size200, chunk_overlap30, add_start_indexTrue, separators[\n\n, \n, 。, , , , , , ] ) chunks splitter.split_documents(documents) print(切分后文档数量, len(chunks)) for index, chunk in enumerate(chunks, start1): print(isinstance(chunk, Document)) print(f第{index}文档预览:) print(chunk.page_content[:20]) print(chunk.metadata)add_start_indexTrue自动在元数据中增加文本在原始文档内的起始位置8. 企业综合案例批量知识库预处理需求递归扫描知识库文件夹读取所有文件根据文件后缀自动选择对应加载器txt/md/pdf统一追加自定义元数据批量切分文档产出可直接存入向量库的 chunk前置知识点列表 / 集合 / 字典推导式python运行# 列表推导式 even [i for i in range(1,11) if i%20] # 集合推导式自动去重 set_data {x for x in [1,2,2,3]} # 字典推导式 square_dict {i:i*i for i in range(1,6)}pathlib 文件路径操作rglob(*)递归遍历当前目录 所有子文件夹glob(*)仅遍历当前文件夹不进入子目录.suffix文件后缀.name完整文件名.stem不带后缀文件名append vs extendappend()将对象整体作为 1 个元素加入列表extend()遍历可迭代对象逐个追加内部元素document_processor.py 完整代码python运行from pathlib import Path from langchain_community.document_loaders import TextLoader, PyPDFLoader from langchain_core.documents import Document from langchain_text_splitters import RecursiveCharacterTextSplitter def split_documents(documents: list[Document]) - list[Document]: splitter RecursiveCharacterTextSplitter( chunk_size200, chunk_overlap30, add_start_indexTrue, separators[\n\n, \n, 。, , , , , , ] ) chunks splitter.split_documents(documents) for index, chunk in enumerate(chunks, start1): chunk.metadata[chunk_id] index return chunks def load_knowledge_base(root_dir: Path) - list[Document]: all_documents [] for f in root_dir.rglob(*): if f.is_dir(): continue file_suffix f.suffix.lower() file_path str(f) docs [] if file_suffix in [.txt, .md]: loader TextLoader( file_pathfile_path, encodingutf-8 ) docs loader.load() elif file_suffix .pdf: loader PyPDFLoader(file_pathfile_path) docs loader.load() # 统一追加自定义元数据 for document in docs: document.metadata[file_name] f.name document.metadata[file_type] file_suffix all_documents.extend(docs) return all_documents def main(): kb_path Path(knowledge_base) documents load_knowledge_base(kb_path) print(原始文档数量, len(documents)) chunks split_documents(documents) print(切分后文档块数量, len(chunks)) for chunk in chunks: print(~ * 30) metadata chunk.metadata print(fchunk_id:{metadata[chunk_id]}) print(f来源文件:{metadata[file_name]}) print(f内容预览:{chunk.page_content[:30]}) if name main: main()运行命令bash运行python document_processor.py9. 切分参数选型参考表格文档类型配置思路FAQ 问答文档chunk_size 偏小保证单条问答完整不拆分员工制度、规范文档chunk_size 200 ~ 350产品操作手册块尺寸适当放大避免操作步骤被切断技术文档尽量保留标题和对应正文chunk 偏大调优判断标准语义完整、标题不与正文分离、操作步骤不截断、无大量重复 chunk最终依靠检索效果验证参数。10. 常见问题chunk_size 统计字符还是 token默认按照字符长度len()计算需要精确按 token 切割使用TokenTextSplitter进阶chunk_overlap 设置越大越好不是推荐取值为 chunk_size 的 10% ~ 20%PDF 提取空白、乱码文件为扫描图片 PDF、加密 PDF、特殊字体 PDF本章加载器仅支持原生文本 PDF为什么不能直接把完整文档交给模型超长文本超出上下文限制、token 成本高、检索精准度差RAG 标准流程必须分块load() 和 lazy_load()load()一次性全部加载到内存适合小型知识库lazy_load()迭代器懒加载节省内存适合海量文件场景11. 本章核心总结Document page_content正文 metadata元数据TextLoader 加载 txt/mdPyPDFLoader 加载文本 PDF
