【VR】结合音频特征的VR: Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning

noteAuSiL视频A → X个2秒音频 embedding视频B → Y个2秒音频 embedding → 得到 X×Y 相似度矩阵→ CNN识别矩阵中的连续斜线、偏移、伸缩等时序模式→ Chamfer聚合成最终分数这个相似度矩阵 CNN才是论文真正的核心CNN 看相似度矩阵识别斜线、连续块和时间对齐轨迹。重复片段在矩阵里通常形成连续高亮轨迹原速复制接近斜对角线截取或时间偏移斜线出现在矩阵局部加速/减速斜线斜率发生变化部分重复只出现一小段连续高亮区域。它使用 AudioSet 预训练 CNN 的中间层特征并加 PCA whitening 和简单注意力训练重点是后面的相似度学习 CNN通过 Triplet Loss 让正视频对比分更高文章目录note一、研究动机二、论文核心AuSiL 方法三、实验结果与数据集四、分析与结论一、研究动机比较早的论文了 2020年《Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning》AuSiL聚焦于基于音频内容的近重复视频检索DAVR问题提出了一种结合迁移学习与相似度学习的深度学习方案。https://github.com/mever-team/ausil问题空白现有近重复视频检索NDVR多依赖视觉内容针对音频重复的检索DAVR缺乏基于深度学习的方法传统CBCD内容拷贝检测多采用手工指纹难以应对复杂变换。数据与鲁棒性瓶颈缺乏面向用户生成内容、基于音频重复的公开标注数据集传统方法对音频速度变换加速/减速、压缩等鲁棒性不足。技术启发视觉相似度学习如ViSiL在视频检索中成效显著但音频领域尚未充分探索迁移学习与时序相似度建模的结合。二、论文核心AuSiL 方法AuSiL 分为特征提取与相似度计算两大模块并通过三元组损失训练音频特征提取预处理音频重采样至44.1kHz生成128维Mel谱图切分为2秒重叠时段。深度特征将时段输入在AudioSet上预训练的CNN对中间卷积层激活应用MACMaximum Activation of Convolutions聚合得到2528维向量。优化依次进行PCA白化去相关、自注意力加权抑制静音段等低信息量段的影响全程伴随ℓ²归一化。紧随 III-B 之后的Table II给出了这个看相似度的 CNN 具体架构输入X × Y × 1 X \times Y \times 1X×Y×1的相似度矩阵堆叠结构Conv(3×3, ReLU) → Max-Pool → Conv(3×3, ReLU) → Max-Pool → Conv(3×3, ReLU) → Conv(1×1)输出X ′ / 4 × Y ′ / 4 × 1 X/4 \times Y/4 \times 1X′/4×Y′/4×1的特征图AuSiL 更像一个 Matching Network匹配网络而不是 Embedding Network表征模型相似度矩阵与时序学习对两视频的音频特征矩阵Q、P做点积生成X×Y的成对相似度矩阵Sᵠᵖ。将Sᵠᵖ输入一个四层CNN类似ViSiL思路捕捉段间时序相似模式如对角线结构的对齐关系输出降噪后的相似度矩阵。最终用Chamfer SimilarityCS聚合为单一相似度分数并引入Hard Tanh截断。训练策略从VCDB视觉标注中筛选音频距离0.175的正样本选难负例构建三元组anchor, positive, negative。优化目标为三元组损失相似度正则化损失强制相关视频相似度高于无关视频。三、实验结果与数据集自建音频标注集在FIVR-200K和SVD基础上人工标注音频重复关系得到FIVR-200Kₐ76查询3392个DA标签和SVDₐ167查询1492对填补评测空白。消融实验时间步长短视频集SVDₐ用小步长125ms效果更好mAP 0.940长视频FIVR-5Kₐ对步长不敏感约0.79。组件贡献PCA白化提升最大0.084 mAP相似度CNN次之0.052注意力机制边际正向。迁移权重冻结冻结预训练CNN权重效果最优0.794/0.940微调反而因域偏移导致性能下降。间隔γγ1时达到最佳平衡。与SOTA对比在原数据集上SVDₐ中AuSiL0.940 mAP显著优于Dejavu0.874、Spectro Slides0.716FIVR-200Kₐ中AuSiL0.701略低于Dejavu0.726但高于其他手工方法。速度变换鲁棒性人工生成0.25×–2×速度变换副本后AuSiL仍达0.865/0.923 mAP而Dejavu降至0.443/0.741光谱手工方法近乎失效验证深度时序学习的优势。视觉任务泛化在纯视觉检索任务DSVR/CSVR/ISVR、EVVE上AuSiL作为音频方法自然弱于视觉SOTA如ViSiL但在音频相关场景ISVR、EVVE仍优于其他音频基线。四、分析与结论优势首次将深度迁移相似度学习用于DAVR对速度变换鲁棒自建标注集推动领域评测PCA与相似度CNN是性能关键。局限与未来训练依赖视觉标注间接筛选音频正样本非纯音频标注对高噪混音、极短片段1s仍失效计划引入纯音频标注、更轻量架构及拓展至翻唱检测等任务。