note训练一个视频表征模型用于query文本检索召回视频。文本、视频画面、ASR 文本处于同一个向量空间中的跨模态表征。因为GME模型没有经过图像/视频训练所以这里的对比中GME是对帧图emb进行mean pooling处理multi-agentRouting Agent判断该聊天还是搜索。Search Agent调用检索模型召回 Top-10再调用 LLM 重排。Chat Agent基于检索结果生成摘要并支持用户选择多个视频继续提问。文章目录note一、研究动机二、V-Agent1、检索模型2、Retrieval Vector 权重相加3、建立视频索引4、系统架构三智能体协作三、实验结果数据集与指标关键性能对比四、结果分析一、研究动机V-Agent: An Interactive Video Search System Using Vision-Language ModelsCIKM 2025链接https://huggingface.co/NCSOFT/multimodal-embedding传统的视频搜索系统主要依赖元数据如标题、标签、描述或简单的文本匹配这在多模态场景下存在显著局限。随着视频内容的爆炸式增长用户需要能够直接理解视频画面Visual和语音Audio内容的智能搜索系统。传统系统的瓶颈现有系统如YouTube无法深入分析视频内部的视觉场景和对话内容导致搜索结果往往遗漏关键信息。VLM的应用缺口虽然视觉语言模型VLM在视频理解方面表现出色但大多数研究集中在训练方法和基准测试性能上缺乏将其有效集成到真实世界系统性应用中的探索。多模态理解的挑战视频不仅包含画面还包含音频、字幕和元数据。如何在一个统一的框架下融合这些异构信息并提供交互式的对话体验是本研究试图解决的核心痛点。二、V-AgentV-Agent 的核心在于结合了改进的视觉语言检索模型与多智能体Multi-Agent架构实现了从“检索”到“交互”的闭环。1、检索模型把 Qwen2-VL 训练成视频检索模型基础模型是 Qwen2-VL-7B-Instruct。作者用 1.7 万条视频偏好数据训练输入视频 prompt正样本正确回答难负样本rejected answer然后用 InfoNCE让“视频与正确语义”更接近、“错误回答”更远最终取 EOS hidden state 作为统一向量。所以它确实训练出了一个可用于检索的多模态 Embedding 模型而不是让 VLM 直接生成搜索答案。2、Retrieval Vector 权重相加因为视频训练数据较少作者从图文检索模型 GME 中提取“检索能力”τ GME 参数 − 原始 Qwen2-VL 参数最终模型 视频微调模型 τ理解先让 Qwen2-VL 学会视频语义匹配再把 GME 已经学好的图文检索能力以参数差分的形式迁移进去。为了在小规模数据上实现高效的视频-文本对齐作者提出了一种独特的权重调整方法微调策略利用 17k 规模的视频偏好数据集对 Qwen2-VL-7B 进行微调使其具备基础的视频-文本检索能力M F M_FMF。向量加法计算专业图像-文本检索模型GME与原始指令微调模型Qwen2-VL的权重差值定义为“检索向量τ \tauτ”。将该向量加到微调后的模型中θ M R θ M F τ \theta_{M_R} \theta_{M_F} \tauθMRθMFτ显著增强了模型在视觉-文本对齐方面的泛化能力弥补了视频训练数据不足的缺陷。3、建立视频索引每个视频均匀抽取 48 帧同时用 Whisper 提取音频转写如果有视频描述也与 ASR 文本拼接。分别生成视频帧 Embedding、音频转写/描述 Embedding并存入 pgvector 的 HNSW 索引。查询时用同一个模型编码文本 query然后分别召回视觉和文本结果按下面方式融合总分 0.5 × 视觉相似度 0.5 × ASR/描述相似度4、系统架构三智能体协作系统通过三个智能体的分工协作来处理复杂的用户请求路由智能体 (Routing Agent)充当“调度员”判断用户意图。如果涉及视频查找转交搜索智能体如果是闲聊或通用知识问答直接转交聊天智能体。搜索智能体 (Search Agent)索引构建利用 Whisper 提取音频转录文本结合均匀采样的视频帧默认48帧通过上述检索模型生成多模态嵌入。检索与融合接收查询后分别计算视觉帧和音频转录与查询的相似度使用加权公式默认各占50%融合得分。重排 (Re-ranking)引入基于 LLM 的重排模块对初筛出的 Top-K 候选视频进行二次精排大幅提升最终结果的相关性。聊天智能体 (Chat Agent)基于搜索智能体返回的精排结果结合视频内容生成摘要或直接回答用户关于视频内容的追问实现深度的交互式问答。三、实验结果论文在两个主流基准数据集上验证了 V-Agent 的有效性重点展示了其在零样本Zero-shot场景下的强大性能。数据集与指标MSR-VTT侧重于基础的视频-文本匹配。MultiVENT 2.0侧重于复杂的多语言、事件中心的视频检索包含6种语言涉及视觉、音频、嵌入式文本等多维度。关键性能对比表1MultiVENT 2.0 基准测试结果 (零样本)模型/系统nDCG10R10备注V-Agent (Ours)0.6800.676当前 SOTAMMMORRF0.5860.611此前最佳基线模型SigLIP0.3750.409-CLIP0.3040.333-InternVideo2-6B0.0050.004在此复杂任务中表现不佳表2MSR-VTT 基准测试结果模型R1R5R10Ours (w. Retrieval Vector)0.4760.7200.798GME-7B (Mean Pooling)0.4110.6550.764InternVideo2-6B0.5590.7830.851完整结果注因为GME模型没有经过图像/视频训练所以这里的对比中GME是对帧图emb进行mean pooling处理四、结果分析通过对实验结果和消融实验的解读可以得出以下核心洞察检索向量的关键作用在 MSR-VTT 数据集上加入检索向量后R10 从 0.750 提升至 0.798。这表明通过借用强图像-文本对齐模型的“知识”权重差可以有效补偿视频领域训练数据的稀缺性提升跨模态对齐精度。重排机制的显著提升消融实验显示去除重排Re-ranking模块会导致 nDCG10 下降约 6 个百分点从 0.680 降至 0.614。这说明初筛模型负责召回而 LLM 驱动的重排器对于最终排序的精准度至关重要。多模态融合的必要性在 MultiVENT 2.0 上的巨大领先优势相比次优模型提升近 10 个点证明单纯依赖视觉模型如 InternVideo2或简单融合方法是不够的。V-Agent 通过结合 ASR 音频转录与视觉帧的联合嵌入更能应对复杂的多语言、多事件检索需求。效率与效果的平衡虽然增加采样帧数如从16帧增至48帧能提升效果但收益边际递减且增加延迟。因此系统选择了 48 帧作为平衡效果与效率的最优配置。
