1、概述将大文件存入知识库主流的分片策略大致可以分为五类它们分别适用于不同的文档类型和业务需求。核心思路是在块的大小、语义的完整性和计算成本之间找到平衡点。2、分片策略下表整理了这几类策略的核心原理、优缺点和典型应用场景可以快速了解分片策略核心原理优点缺点适用场景固定大小分块按固定的字符数或Token数机械切分通常会设置一些重叠区。实现极其简单处理速度快是初期验证的常用基准方案。语义破坏严重极易在句子或段落中间切断导致信息不完整。内容相对松散、结构简单的文档如新闻、博客或作为快速搭建的起点。递归分块按优先级使用分隔符如\n\n\n。递归切分优先保证自然边界。更好的语义连贯性能保留段落、句子等自然单元比固定切分更智能。对于极长且无明确分隔符的段落可能仍需强制切分。有一定段落结构的通用文档是目前应用非常广泛的策略。语义分块计算句子间向量相似度根据语义的显著变化点来确定切分边界。语义完整性最佳生成的每个块都围绕一个核心主题检索质量高。计算成本高需要调用嵌入模型阈值需调试。对检索精度要求极高的场景如法律、医疗、科研论文。基于结构分块利用文档的内在结构如HTML的h1、Markdown标题、PDF目录作为切分边界。逻辑性强完全遵循文档大纲定位信息非常直观。严重依赖文档格式对非结构化文本效果差实现复杂度较高。格式规范的结构化文档如技术手册、财报、维基百科页面。LLM智能分块直接利用大语言模型LLM理解文档生成语义独立且上下文完整的块。语义准确性最高能理解复杂的上下文和隐含逻辑。成本与延迟极高需要调用LLM不适合处理大规模文档。对准确性要求极高的小规模、高价值文档的精细化处理。3、核心参数与进阶策略在实际应用中你还需要关注几个关键概念块大小Chunk Size与重叠Overlap块太小会丢失上下文太大会混入噪声。通常建议从512个Token约2,000字符的块大小和10%-25%的重叠如chunk_overlap chunk_size * 0.1开始测试。重叠是为了保证边界处的信息不丢失。父子分块Hierarchical Chunking这是一种兼顾检索精度和上下文丰富的策略。检索时匹配子块内容更精准但最终送给大模型生成答案时会用父块包含更多上下文替代从而获得更全面的信息。延迟分块Late Chunking / 动态分块这是一种高级策略将文档以大片段甚至全文存储。在收到用户查询时才动态地、有针对性地在相关区域内进行切分避免了一开始就丢失全局上下文但计算成本较高。4、如何选择没有完美的策略关键在于“因地制宜”。快速起步从递归分块开始它在实现难度和效果上有不错的平衡能处理大部分通用文档。文档有明确格式优先考虑基于结构的分块效果通常最好。追求检索精准度如果对问答准确率要求高可以尝试语义分块或父子分块但要接受更高的计算成本和调试工作。处理表格数据一些平台支持按行切分让每个切片保留表头确保检索到的数据完整可读。对于PDF中的表格需用专门的解析器提取为结构化文本如Markdown或HTML后再切分。
