Proactive Reasoning-with-Retrieval Framework for Medical Multimodal Large Language Models

文章核心总结与创新点一、主要内容本文针对医疗多模态大语言模型（MLLMs）在诊断中依赖内部知识导致的幻觉推理、事实不准确等问题，提出了首个多模态医疗检索增强推理框架MED-RWR。该框架模拟临床医生诊断逻辑，通过主动检索外部知识辅助推理，具体包括：环境构建：设计Cluster-Reconstruct-Stratify数据生成流程，构建包含6500个多难度等级的多模态问答数据集，同时基于训练数据中的分析内容构建医疗知识库；双阶段强化学习：第一阶段用文本数据训练基础检索推理能力，第二阶段引入多模态数据，结合四种定制化奖励（格式奖励、准确率奖励、查询语义奖励、置信度提升奖励）优化模型；置信度驱动的图像重检索（CDIR）：测试时若模型预测置信度低于阈值（λ=0.8），通过图像特征相似度检索相似多模态病例，补充外部知识；实验验证：在MedXpertQA-MM、MMMU-HM等公共基准数据集上实现5.1%-12.3%的性能提升，在数据稀缺的超声心动图专用基准ECBench上实现8.8%的性能增益，证明了框架的有效性和泛化能力。二、创新点首个多模态医疗检索推理框架：突破现有单模态检索增强生成（RAG）模型的局限，融合视觉诊断特征与文本临床信息进行主动检索，解决医疗诊断中视觉信息被忽视的问题；