用参考图引导的扩散模型提升重选封面帧画质

用参考图引导的扩散模型提升重选封面帧画质

发布时间：2026/6/28 1:58:12

用参考图引导的扩散模型提升重选封面帧画质
背景在手机摄影中Live Photo 早已成为一种常见而成熟的拍摄形式它不再只是定格一个画面而是记录“此时此刻”的状态与情绪捕捉那些转瞬即逝的精彩瞬间。它由一张高清封面图和一段短视频共同组成既保留了照片的清晰质感也记录了拍摄瞬间前后的动态信息。在日常使用中用户往往希望从这段视频中重新选择某一帧作为封面以捕捉更理想的表情、动作或时机。然而在实际使用中问题也随之显现由于视频本身分辨率低、压缩严重重选的封面帧往往画质不足难以满足“封面级”的观感要求。这一看似简单的需求实际上仍缺乏有效的技术解决方案。现有单帧或参考修复方法难以处理来自同一场景却存在时间偏移的参考图像而视频级方法又往往围绕整段视频序列设计难以高效地服务于单帧封面修复。图 1: 真实 Live Photo 场景下机内重选封面帧与 LiveMoments 的效果对比vivo 蓝图实验室与南开大学联合发布了一项新的研究工作《LiveMoments: Reselected Key Photo Restoration in Live Photos via Reference-guided Diffusion》首次系统性地定义了“基于原始封面帧参考的Live Photo重选封面帧修复”这一任务并为该任务提供了创新性的解决方案。该工作已正式被国际机器学习顶级会议 ICLR 2026 接收。通过利用 Live Photo 中自带的高清原始封面帧作为参考LiveMoments 能够在保持内容一致性的同时显著提升重选封面帧的画质使其真正达到可作为封面的视觉质量。二、全新任务为Live Photo带来更清晰的重选封面帧体验不同于传统针对单帧图像或整段视频的参考修复任务研究团队从 Live Photo 的真实使用场景出发提出了重选封面帧修复Reselected Key Photo Restoration这一新问题。即利用原始封面帧作为高质量参考引导低质量重选帧的修复过程从而提升其视觉质量。图 2: 参考超分与 Live Photo 重选封面帧修复的任务对比这一任务可以看作参考图像超分RefSR的一个子问题但与传统参考图像超分RefISR依赖来自外部数据库的高质量参考图不同该任务使用来自同一 Live Photo 序列的原始封面帧保证了内容一致性。同时相比参考视频超分RefVSR需要处理整段视频、甚至依赖多摄像头数据的复杂设定该任务只关注单张重选封面帧的修复更贴近实际需求也更加高效。然而这一设定也带来了新的挑战Live Photo 中普遍存在的运动错位以及原始封面与重选帧之间显著的质量差异使得现有参考超分与单帧超分方法难以直接适用。而研究团队所提出的 LiveMoments 通过 Live Photo 中天然存在的高清原始封面帧作为参考引导重选封面帧的修复能够在显著提升画质的同时有效避免结构失真与细节不一致等问题。同时该模型结合了扩散模型所具备的强生成先验并针对 Live Photo 场景中广泛存在的运动错位设计了对齐模块在复杂动态场景下依然表现出良好的稳定性与鲁棒性。三、技术逻辑参考引导下的重选封面帧修复针对 Live Photo 中的重选封面帧修复任务LiveMoments 的整体设计围绕两个关键问题展开如何稳定实现细节迁移与修复以及如何应对 Live Photo 中广泛存在的运动场景。图 3: LiveMoments架构图1.针对细节迁移与修复设计的 baselineLiveMoments 以扩散模型为基础构建了一个包含参考引导的修复框架。借助扩散模型强大的生成先验模型能够实现高效与细粒度的特征提取。同时基于注意力的特征融合机制有效地引入了来自原始封面帧的细节与纹理信息在提升清晰度的同时保持整体结构的一致性。这一设计使模型能够稳定可靠地恢复重选封面帧的画质。2.针对 Live Photo 场景的运动对齐设计考虑到原始封面帧与重选封面帧往往存在明显的时间偏移与运动错位LiveMoments 进一步引入了运动对齐模块以提升跨帧对齐与参考融合的准确性。该模块同时作用于两个部分在潜空间中通过运动引导的注意力机制增强特征融合的一致性在像素域中通过图像块匹配检索策略定位并利用正确的参考区域。这一设计有效缓解了运动错位带来的干扰使参考信息能够被更精准、可靠地使用。四、实验结果超越现有的参考超分与单帧超分方法研究团队构建了 2 个真实场景下的 Live Photo 数据集与 1 个仿真数据集并通过调整无参考评价指标使其更适用于重选封面帧修复这一任务。真实 Live Photo 数据集由 vivo X200 Pro 与 iPhone 15 Pro 拍摄获得模型在 2 个真实场景数据集上均取得了最优的评价指标展现出稳定而全面的性能优势。表 1: 2 个真实 Live Photo 数据集上 LiveMoments 与其他模型的数值指标对比图 4: 真实 Live Photo 场景下 LiveMoments 与其他模型的修复效果对比五、总结与展望通过利用 Live Photo 中天然存在的原始封面帧作为参考LiveMoments 采用双分支结构的设计并结合统一的运动对齐模块能够有效将原始高质量封面帧中的结构与纹理信息迁移至重选封面帧中在复杂场景下依然表现出稳定的性能。该工作从实际应用场景出发首次系统性地研究了 Live Photo 重选封面帧修复问题能够广泛服务于多种影像场景

相关新闻

Java毕业设计-基于 Spring Boot 的社区生鲜团购平台的设计与实现 基于 Web 的社区生鲜团购管理系统的设计与实现(源码+LW+部署文档+全bao+远程调试+代码讲解等)

Java毕业设计-基于 Spring Boot 的社区生鲜团购平台的设计与实现 基于 Web 的社区生鲜团购管理系统的设计与实现(源码+LW+部署文档+全bao+远程调试+代码讲解等)

博主介绍：✌️码农一枚 ，专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围：&am…

2026/6/28 1:53:12阅读更多 →
【计算机毕业设计案例】基于前后端分离的社区生鲜团购平台的设计与实现 基于 Springboot的社区生鲜团购管理系统的设计与实现(程序+文档+讲解+定制)

【计算机毕业设计案例】基于前后端分离的社区生鲜团购平台的设计与实现 基于 Springboot的社区生鲜团购管理系统的设计与实现(程序+文档+讲解+定制)

博主介绍：✌️码农一枚 ，专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围：&am…

2026/6/28 1:53:12阅读更多 →
PSI5 L9663 资料分享

PSI5 L9663 资料分享

实现PSI5传感器的数据读取与显示。下图为参考图片，可按需定制。

2026/6/28 1:53:12阅读更多 →
Helix Toolkit三维模型处理实战：5个高效技巧解决复杂场景导入导出难题

Helix Toolkit三维模型处理实战：5个高效技巧解决复杂场景导入导出难题

Helix Toolkit三维模型处理实战：5个高效技巧解决复杂场景导入导出难题 【免费下载链接】helix-toolkit Helix Toolkit is a collection of 3D components for .NET. 项目地址: https://gitcode.com/gh_mirrors/he/helix-toolkit 在工业设计、游戏开发和科学可…

2026/6/28 6:53:28阅读更多 →
材料科学3D分析利器：DREAM.3D完整使用指南与实战技巧

材料科学3D分析利器：DREAM.3D完整使用指南与实战技巧

材料科学3D分析利器：DREAM.3D完整使用指南与实战技巧 【免费下载链接】DREAM3D Data Analysis program and framework for materials science data analytics, based on the managing framework SIMPL framework. 项目地址: https://gitcode.com/gh_mirrors/dr/DR…

2026/6/28 6:53:28阅读更多 →
GHelper：华硕笔记本轻量级控制工具如何实现80%资源节省与专业级硬件调校

GHelper：华硕笔记本轻量级控制工具如何实现80%资源节省与专业级硬件调校

GHelper：华硕笔记本轻量级控制工具如何实现80%资源节省与专业级硬件调校 【免费下载链接】g-helper Lightweight Armoury Crate alternative for Asus laptops with nearly the same functionality. Works with ROG Zephyrus, Flow, TUF, Strix, Scar, ProArt, Vivo…

2026/6/28 6:53:28阅读更多 →
Akagi麻雀AI助手：5分钟快速上手的终极麻将辅助工具指南

Akagi麻雀AI助手：5分钟快速上手的终极麻将辅助工具指南

Akagi麻雀AI助手：5分钟快速上手的终极麻将辅助工具指南 【免费下载链接】Akagi 支持雀魂、天鳳、麻雀一番街、天月麻將，能夠使用自定義的AI模型實時分析對局並給出建議，內建Mortal AI作為示例。 Supports Majsoul, Tenhou, Riichi City, Amat…

2026/6/28 6:53:28阅读更多 →
笔墨有风骨：故居里的一堂乡土文化课

笔墨有风骨：故居里的一堂乡土文化课

柿子山庄的一间屋子里，曾有过一沓摊开的宣纸，是孩子们写给家里的家书。最开始很多人对着白纸发呆，觉得没什么好写的，直到从襄汾卫俊秀故居回来，宣纸上的字慢慢多了起来，末尾还端端正正盖着自己刻的非遗印章…

2026/6/28 6:53:28阅读更多 →
GEO优化代理有没有落地教程

GEO优化代理有没有落地教程

“有没有一套完整的教程，让我知道每一步该怎么做？”这是新手代理最朴素的诉求。一个好的GEO代理项目，不应只是给一套系统和一个代理授权，还应提供能让代理商按图索骥、逐步推进业务的落地教程体系。落地教程通常包含哪些内容教程一…

2026/6/28 6:48:28阅读更多 →
AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告

AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告

6个月前的2025年12月，Boris Cherny 公开宣布自己卸载了 IDE。一时间，Vibe Coding 成了全行业最热的话题。6个月后，当我们回过头来拉一份真实账本，发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…

2026/6/28 0:08:01阅读更多 →
审计来了，数据权限全开——审计走了，怎么确保权限全部关掉？

审计来了，数据权限全开——审计走了，怎么确保权限全部关掉？

引言：审计结束三个月了，审计员的权限还没关某城商行每年按照监管要求开展至少一次数据安全审计。审计期间，内审部门需要抽样检查各类业务数据——交易流水、客户信息、员工操作日志、权限配置记录。这些数据分布在不同系统中，审计…

2026/6/28 0:08:01阅读更多 →
AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告

AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告

6个月前的2025年12月，Boris Cherny 公开宣布自己卸载了 IDE。一时间，Vibe Coding 成了全行业最热的话题。6个月后，当我们回过头来拉一份真实账本，发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…

2026/6/28 0:08:01阅读更多 →
审计来了，数据权限全开——审计走了，怎么确保权限全部关掉？

审计来了，数据权限全开——审计走了，怎么确保权限全部关掉？

引言：审计结束三个月了，审计员的权限还没关某城商行每年按照监管要求开展至少一次数据安全审计。审计期间，内审部门需要抽样检查各类业务数据——交易流水、客户信息、员工操作日志、权限配置记录。这些数据分布在不同系统中，审计…

2026/6/28 0:08:01阅读更多 →