当文档、日志或代码文件较长时直接一次性发送给 AI API 容易超过上下文限制也会增加处理时间。本文介绍一种适合个人项目的长文本处理流程。为什么长文本不能直接全部发送一段较长的内容直接放进请求里可能遇到超过模型上下文长度请求体过大响应变慢处理结果不完整内容中无关部分太多更实用的流程是读取文件 → 清理内容 → 分段 → 分别处理 → 汇总结果这样可以让每次请求只处理一部分内容也更方便定位失败位置。一、先读取文本文件Python 可以使用pathlib读取文件frompathlibimportPath file_pathPath(example.txt)textfile_path.read_text(encodingutf-8)print(text[:500])如果文件可能不是 UTF-8 编码需要根据实际情况处理编码异常。不要默认所有文件都可以直接读取。二、先清理无用内容在分段前可以先做简单清理defclean_text(text:str)-str:lines[line.strip()forlineintext.splitlines()]lines[lineforlineinlinesifline]return\n.join(lines)清理的目的不是删除所有空行而是减少重复空白、无效分隔符和明显无关内容。如果是日志文件还可以根据时间、级别或关键字筛选内容。三、按照固定长度分段最简单的分段方式是按照字符数量切分defsplit_text(text:str,chunk_size:int4000)-list[str]:return[text[i:ichunk_size]foriinrange(0,len(text),chunk_size)]这种方式实现简单但可能把一句话或一个代码块从中间截断。适合用于初步测试结构简单的纯文本对边界要求不高的任务四、优先按照段落分段如果希望保留文章结构可以优先按段落切分defsplit_by_paragraph(text:str,max_chars:int4000)-list[str]:paragraphstext.split(\n\n)chunks[]current[]current_length0forparagraphinparagraphs:ifcurrentandcurrent_lengthlen(paragraph)max_chars:chunks.append(\n\n.join(current))current[]current_length0current.append(paragraph)current_lengthlen(paragraph)ifcurrent:chunks.append(\n\n.join(current))returnchunks这种方式比直接按字符切分更适合文章、说明文档和 Markdown 文件。五、给每个分段增加编号分段处理时建议保留编号chunkssplit_by_paragraph(text)forindex,chunkinenumerate(chunks,start1):print(f正在处理第{index}/{len(chunks)}段)编号可以帮助你定位失败片段记录处理进度重新处理单个分段汇总结果时保持顺序六、调用 AI API 分别处理每一段下面是一个基础示例fromopenaiimportOpenAI clientOpenAI(api_keyyour-api-key,base_urlhttps://your-api-domain.com/v1,)defsummarize_chunk(chunk:str)-str:responseclient.chat.completions.create(modelyour-model-name,messages[{role:system,content:你负责提取文本中的关键事实保持简洁不要添加原文没有的信息。,},{role:user,content:f请总结下面这段内容\n\n{chunk},},],)returnresponse.choices[0].message.content实际处理时可以逐段调用并保存结果。七、最后汇总分段结果summaries[]forindex,chunkinenumerate(chunks,start1):summarysummarize_chunk(chunk)summaries.append(f第{index}段{summary})final_text\n\n.join(summaries)print(final_text)如果分段数量很多最终汇总也可能变成长文本。可以再次进行二次总结或者只保留关键字段。八、长文本处理中的几个注意点1. 分段不要过大要给系统提示词和模型输出留出空间。2. 分段不要过小过小会导致上下文不足增加请求次数。3. 需要保留文档结构标题、章节和代码块最好不要随意截断。4. 失败后支持单段重试不要因为一个片段失败就丢弃全部结果。5. 注意敏感信息上传前应检查密钥、手机号、邮箱和其他隐私内容。九、适合长文本分段的场景Markdown 文档总结项目日志分析代码文件说明会议记录整理知识库内容处理批量文本分类如果任务需要理解全文关系可以先分段提取信息再进行统一汇总。十、结语长文本处理的核心不是简单截断而是建立一个可恢复的流程先读取和清理根据内容分段逐段处理并记录编号失败时只重试单段最后汇总结果对于 Python AI 项目来说这种方式比一次性发送整篇文档更容易控制请求规模也方便后续扩展缓存、限流和日志功能。免责声明本文内容仅用于技术交流与经验分享具体实现请结合项目实际情况调整。
