1. 案例目标本案例的主要目标是探索如何通过微调大型语言模型(LLM)驱动的路由器来提高查询路由的准确性。具体来说案例尝试了两种不同的微调方法使用查询和真实选择作为训练信号微调嵌入模型微调交叉编码器案例使用不同城市的维基百科文章作为数据集并为每种方法生成合成数据集进行微调最后进行基本评估以验证微调效果。2. 技术栈与核心依赖本案例使用了以下主要技术栈和依赖LlamaIndex: 用于构建和评估检索增强生成(RAG)系统的核心框架llama-index-finetuning: LlamaIndex的微调模块提供模型微调功能llama-index-llms-openai: LlamaIndex的OpenAI语言模型集成SentenceTransformers: 用于微调嵌入模型的库BAAI/bge-small-en: 作为基础嵌入模型OpenAI GPT-3.5-turbo: 用于生成问题和评估的语言模型Wikipedia API: 用于获取城市维基百科文章数据pandas, numpy: 用于数据处理和评估结果分析3. 环境配置本案例的环境配置包括以下步骤安装必要的Python包%pip install llama-index-finetuning %pip install llama-index-llms-openai !pip install llama-index !pip install spacy导入必要的库并设置异步环境import nest_asyncio nest_asyncio.apply()配置OpenAI API密钥未在代码中显示但需要设置初始化语言模型from llama_index.llms.openai import OpenAI llm OpenAI(modelgpt-3.5-turbo, temperature0.3)4. 案例实现案例实现主要分为以下几个步骤4.1 数据准备定义城市列表wiki_titles [ Toronto, Seattle, Chicago, Boston, Houston, Tokyo, Berlin, Lisbon ]从维基百科API获取每个城市的文章内容并保存到本地文件使用SimpleDirectoryReader加载所有城市文档city_docs {} for wiki_title in wiki_titles: city_docs[wiki_title] SimpleDirectoryReader( input_files[fdata/{wiki_title}.txt] ).load_data()4.2 定义路由选择器选项为每个城市创建两种工具描述向量搜索工具和摘要工具for idx, wiki_title in enumerate(wiki_titles): vector_desc ( Useful for questions related to specific aspects of f {wiki_title} (e.g. the history, arts and culture, sports, demographics, or more). ) summary_desc ( Useful for any requests that require a holistic summary f of EVERYTHING about {wiki_title}. For questions about more specific sections, please use the vector_tool. ) # ... 存储描述和选择映射4.3 生成训练数据集使用DatasetGenerator为每个城市生成两种类型的问题向量搜索问题基于文档节点生成具体问题摘要问题使用LLM生成城市摘要的变体问题4.4 数据集分割将数据集按查询分割为训练集和评估集train_dataset, eval_dataset split_train_val_by_query(dataset, split0.7)4.5 微调嵌入模型使用SentenceTransformersFinetuneEngine微调嵌入模型finetune_engine SentenceTransformersFinetuneEngine( train_dataset, model_idBAAI/bge-small-en, model_output_pathtest_model3, val_dataseteval_dataset, epochs30, ) finetune_engine.finetune() ft_embed_model finetune_engine.get_finetuned_model()4.6 评估微调效果比较基础嵌入模型、GPT-3.5和微调嵌入模型的路由准确性ft_matches run_evals(eval_dataset, ft_selector, choices, choice_to_id_dict) base_matches run_evals(eval_dataset, base_selector, choices, choice_to_id_dict) llm_matches run_evals(eval_dataset, llm_selector, choices, choice_to_id_dict)5. 案例效果案例的评估结果显示了不同模型在路由选择任务上的性能差异模型匹配率基础嵌入模型0.128492 (12.85%)GPT-3.50.659218 (65.92%)微调嵌入模型0.994413 (99.44%)从结果可以看出微调后的嵌入模型在路由选择任务上表现最佳准确率接近99%远高于基础嵌入模型(12.85%)和GPT-3.5(65.92%)。这表明针对特定任务进行微调可以显著提高模型性能。案例还展示了如何将微调后的选择器集成到RouterQueryEngine中router_query_engine RouterQueryEngine.from_defaults( selectorft_selector.from_defaults(), query_engine_toolstools )并演示了查询示例Tell me more about the sports teams in Toronto系统正确选择了Toronto_vector工具并返回了相关结果。6. 案例实现思路本案例的核心实现思路可以总结为以下几点6.1 问题定义将路由选择问题定义为给定用户查询从多个预定义的工具/选项中选择最合适的一个。这是一个典型的分类或匹配问题。6.2 数据生成策略使用合成数据生成方法创建训练数据对于向量搜索工具基于文档内容生成具体问题对于摘要工具使用LLM生成摘要问题的变体6.3 微调方法选择微调嵌入模型而非直接微调LLM的原因嵌入模型更适合语义相似度计算微调成本更低效率更高可以更好地捕捉特定领域的语义关系6.4 评估方法使用准确率作为评估指标比较不同模型在路由选择任务上的表现。同时将微调后的模型集成到实际的路由查询引擎中验证其实际应用效果。7. 扩展建议基于本案例的实现和结果以下是一些可能的扩展方向7.1 扩展数据集增加更多城市和更丰富的主题类别引入真实用户查询而非仅使用合成数据添加更多样化的工具类型如比较、分析等7.2 改进微调策略尝试不同的微调参数如学习率、批大小、训练轮数等探索其他基础嵌入模型作为微调起点尝试多任务学习同时微调多个相关任务7.3 高级路由策略实现多级路由先进行粗分类再细分类探索混合路由方法结合嵌入模型和LLM的优势添加上下文感知的路由决策考虑对话历史7.4 评估与优化引入更多评估指标如延迟、资源消耗等进行A/B测试比较不同路由策略在实际应用中的表现开发自动化的路由性能监控和反馈机制8. 总结本案例展示了如何通过微调嵌入模型来显著提高路由选择的准确性。主要贡献和发现包括方法有效性微调嵌入模型在路由选择任务上表现出色准确率接近99%远高于基础模型和通用LLM。数据生成策略使用合成数据生成方法可以有效创建训练数据避免了手动标注的需要。集成应用微调后的选择器可以无缝集成到LlamaIndex的RouterQueryEngine中提高整体系统性能。成本效益相比微调大型语言模型微调嵌入模型成本更低效率更高。这个案例为构建更智能、更准确的路由系统提供了实用的方法和技术路线。通过针对特定任务进行微调可以显著提高系统性能同时保持较低的计算成本。这种方法可以扩展到其他需要智能路由决策的应用场景如多模态内容处理、复杂查询分解等。总的来说本案例证明了微调嵌入模型是提高路由选择准确性的有效方法为构建更智能的RAG系统提供了有价值的参考。
