1. 核心痛点与改写目标本方案旨在通过引入专用小语言模型解决知识库问答场景中的三大核心障碍。1.1 语义鸿沟口语与专业的错配现象用户习惯用口语化、多变的日常表达如“那个白药片”而知识库采用严谨、标准化的专业术语如“对乙酰氨基酚片”。根因两者在表达方式和颗粒度上存在根本性偏差导致基于关键词的检索直接失效。目标利用SLM将“用户的白话”实时翻译为“系统能懂的专业查询”弥合表达差异。1.2 意图模糊与稀疏现象用户的初始提问往往简短、笼统如“机器坏了”甚至包含歧义缺乏足够的检索特征。根因提问者可能不熟悉专业术语或本身对问题边界描述不清。目标SLM需结合上下文将模糊意图显式化、规范化扩充为指向明确的检索查询如“XYZ型号机器无法正常启动的故障排查步骤”。1.3 上下文依赖与信息缺失现象多轮对话中大量使用“它”、“那个”、“上次的”等指代词或省略关键背景。根因人类对话天然具有信息压缩和语境依赖的特性但检索系统需要完全独立的完整查询。目标SLM必须融合对话历史完成指代消解和信息补全生成自包含、无需回看就能理解的独立查询。2. 技术方案为解决上述问题我们设计了一个以SLM为核心与检索链路并行协同的改写架构。2.1 核心组件专用改写SLM定位一个参数量小、延迟极低的文本到文本生成模型。它不是通用大模型而是专精于“查询改写”任务的垂直模型。输入融合了当前问题、K轮历史对话的结构化文本。输出一个或多个改写后的规范化查询字符串。训练遵循上轮讨论的流程使用由强模型蒸馏的“口语-专业”改写对数据进行LoRA高效微调。2.2 系统架构并行-串行混合流水线为将延迟影响降至最低整个流程设计为两阶段流水线第一阶段并行低延迟线路A快速检索用户原始口语直接送入检索引擎快速返回一批结果。线路BSLM改写同步运行SLM将原始问题改写为规范查询。价值线路A确保了基础响应速度线路B的延迟被此并行设计所“遮蔽”。第二阶段串行高精度将线路B生成的规范查询送入同一个检索引擎获取高精度结果。结果融合排序将两路结果合并利用改写后查询的更高信度对最终结果进行加权或重排。2.3 关键策略问题难度路由为平衡成本与效果不将所有问题都送入SLM而是引入轻量级难度分类器简单问题表述清晰、术语规范、无上下文依赖。直接走原始检索通路SLM旁路。复杂问题包含口语词、指代不明、核心语义模糊。激活SLM改写通路。价值只对复杂问题进行资源重构精准控制计算开销避免响应延迟平均化上升。3. 潜在风险与缓解措施3.1 延迟增加风险风险描述引入SLM改写环节天然会增加系统整体延迟。缓解措施并行架构如上所述快速通路保证基础体验。模型极致优化采用参数量极小、推理引擎充分优化的SLM目标延迟控制在50毫秒以内。分级处理难度路由策略确保大部分简单查询无需等待SLM。3.2 语义漂移风险风险描述改写过程可能丢失原始问题中的关键实体或意图产生比原问题更差的查询导致召回错误。缓解措施改写-原始混合召回在结果融合阶段不仅依赖改写后查询原始查询的结果也会作为重要锚点防止严重偏离。引入保真度校验可训练一个极简的语义相似度模型判断改写前后的核心意图是否一致若不一致则弃用改写结果退回原始查询。数据与训练侧重训练SLM时将“语义保真”作为除流畅度外最重要的奖励信号或损失项。3.3 成本开销风险风险描述引入新模型带来硬件、运维和标注成本。缓解措施模型压缩选择或蒸馏出极小的模型架构几十MB级别部署成本极低。收益量化建立在线A/B实验以核心业务指标如问题解决率、人工转接率下降幅度来衡量SLM的投入产出比。确保收益可见、可量化远超成本。
