这篇论文最有意思的地方不是把Transformer换成CNN这么简单而是它用一种近乎作弊的方式——训练时多分支、推理时单一路——把视频超分推到了边缘设备能跑的实时速度还几乎没损失画质。论文标题NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices发表日期2026年7月已接收至 ECCV 2026发表单位波兰三城学术超算网络中心Centre of Informatics Tricity Academic Supercomputer Network第一作者Filip Pawlicki原文链接arXiv:2607.10495开源代码https://github.com/filippawlicki/nanovsr痛点视频超分为啥总是跑不快先说一个很多人可能没意识到的事实目前 SOTA 级的视频超分VSR模型比如 EDVR、BasicVSR、RVRT在高端 GPU 上画质确实能打但你把它们搬到 Jetson Orin NX 这种边缘设备上帧率直接掉到个位数连实时都谈不上。为什么因为现有方法普遍依赖两样贵货显式光流估计每帧都要算稠密光流再做形变卷积DCN对齐——光这一步就可能占掉大半推理时间。自注意力机制Transformer 类的 VSR 模型靠注意力做时间聚合复杂度随帧数平方增长在边缘设备上几乎跑不动。换句话说现在的 VSR 模型就像一台大排量发动机性能确实猛但烧油烧得让你开不起。对于无人机巡检、视频会议、老视频修复这类需要边采边算的场景画质再好看也没用——实时性才是硬需求。NanoVSR 就是冲着这个缺口来的。它的核心问题可以浓缩成一句话能不能不要光流、不要注意力让模型直接在边缘设备上跑画质还不掉太多核心创新训练时分家推理时合流NanoVSR 的方法论可以概括成三个字换套路。它同时砍掉了光流和注意力改用三个相互配合的设计来弥补。1. 双向循环 逐元素相加干掉通道拼接传统循环式 VSR比如 BasicVSR在传播隐藏状态时会把前帧隐藏态和当前帧特征做通道拼接concatenation。这听起来合理但实际上拼接会让通道数翻倍后续卷积的计算量和内存带宽全部翻倍——在边缘设备上这是致命的。NanoVSR 换了个思路直接逐元素相加element-wise addition。h i → H forward ( f i h i − 1 → ) h_i^\rightarrow \mathcal{H}_{\text{forward}}(f_i h_{i-1}^\rightarrow)hi→Hforward(fihi−1→)h i ← H backward ( f i h i 1 ← ) h_i^\leftarrow \mathcal{H}_{\text{backward}}(f_i h_{i1}^\leftarrow)hi←Hbackward(fihi1←)前向和后向各跑一遍最后再做一次拼接和融合。这个设计的妙处在于隐式学习运动。模型不需要光流模块来显式对齐而是在渐进训练中被逼着学会在残差表示中捕获运动信息。2. 结构重参数化训练多分支推理单一路这是这篇论文最聪明的设计。训练时每个基础块都是三路并行的3×3 卷积、1×1 卷积、恒等映射每路后面接 BN。这样训练时梯度流稳定、表达能力强。推理时呢把 BN 的统计量吸收到卷积权重里把三条分支线性融合成一个 3×3 卷积。训练拓扑和推理拓扑在数学上完全等价但推理时内存碎片消失了TensorRT 可以直接做深度融合优化。用大白话讲训练时是三个专家分工干推理时是一个专家全包了——结果一样速度翻倍。3. 两阶段渐进训练先学空间再学时间直接拿长序列训练隐式对齐模型梯度不稳定根本收敛不了。作者设计了一个课程学习策略阶段一前 5 万次迭代用 Vimeo-90K 的 7 帧短序列预训练聚焦空间特征提取和短期时间融合。阶段二后 10 万次迭代切换到 REDS 数据集的 30 帧长序列微调让双向隐藏态学会跨复杂运动轨迹传播信息。这个设计的关键在于它不是靠模块设计来对齐而是靠训练策略来逼模型学会对齐。实验观测又快又好还能线性缩放这里先说结论NanoVSR 不是只在看起来更清爽这件事上占优而是实打实地把效率-质量的帕累托前沿推到了一个新的位置。定量结果在 REDS4 上4× 超分模型参数量推理时间(H100)REDS4 PSNR/SSIMNanoVSR-226k226K1.91ms28.23/0.8057NanoVSR-644k644K2.98ms28.64/0.8215NanoVSR-1.7M1.7M4.27ms29.15/0.8364EDVR-M3.3M27.34ms30.53/0.8699BasicVSR6.2M15.16ms31.42/0.8909RVRT10.8M47.87ms32.75/0.9113NanoVSR-644k 的 PSNR 比 EDVR-M 低了约 1.9 dB但推理速度是它的9 倍。这个 trade-off 在边缘部署场景下是非常划算的——毕竟你不可能在 Jetson 上跑 RVRT。边缘设备实测在 NVIDIA Jetson Orin NX 16GB25W TDP上用 TensorRT FP16、时间窗口 T15NanoVSR-226k180×320 输入43.86 FPS270×480 输入19.55 FPSNanoVSR-644k180×320 输入27.20 FPS270×480 输入12.82 FPSBasicVSR对比270×480 输入仅3.46 FPSNanoVSR-644k 在 Jetson 上跑出 27 FPS而同样体量的 BasicVSR 连 4 FPS 都不到。这差距不是一点半点。模型缩放作者把参数量从 22K 一路推到 9.6M 做了缩放分析。有趣的结果是到 5.4M 之后收益明显趋缓从 29.73 dB 到 29.90 dB仅 0.17 dB。这说明 644K 到 1.7M 这个区间是性价比最高的甜蜜点。消融实验三个关键消融结构重参数化不融合的版本-NOFUSEPSNR 完全一致但推理时间从 1.91ms 翻倍到 3.47ms。说明重参数化不损失质量只换速度。课程预训练跳过 Vimeo-90K 预训练直接上 REDS-NOPRET在 Vid4 上 PSNR 从 25.26 dB 降到 25.17 dB——泛化能力确实下降了。加光流加上 SPyNet 做显式对齐-SPYNETREDS4 PSNR 从 28.23 dB 暴涨到 29.44 dB1.21 dB但参数量膨胀到 1.7M推理时间翻倍到 3.95ms。作者主动放弃了这条路因为边缘设备上快比准一点更重要。总结与展望为边缘视频增强铺路NanoVSR 最值得记住的点只有一个它证明了在视频超分领域不要光流不是妥协而是一种可以自洽的工程哲学。通过结构重参数化和渐进训练模型在几乎零定制算子的情况下做到了边缘设备上的实时超分。未来可以往前走的方向隐式对齐的极限在哪里能否通过更聪明的训练策略逼近显式光流的性能单向传播模式去掉后向循环能否把缓冲延迟降下来真正实现逐帧实时能否把这个范式迁移到去噪、去模糊等其他视频恢复任务上读者问答这篇论文到底解决了什么问题让视频超分在边缘设备如 Jetson Orin NX上实现实时推理。现有方法要么太重跑不动要么太慢用不了。NanoVSR 用纯卷积 重参数化 渐进训练在 644K 参数量下跑出 27 FPS画质还和 6M 级模型相当。VSR、PSNR、SSIM 这些缩写是什么意思VSRVideo Super-Resolution视频超分辨率从低分辨率视频恢复高分辨率细节。PSNRPeak Signal-to-Noise Ratio峰值信噪比衡量重建图像和原图在像素级的接近程度单位是 dB越高越好一般 28-40 dB 范围。SSIMStructural Similarity Index结构相似性衡量图像结构的保持程度值越接近 1 越好。这方法为什么比直接融合更靠谱因为直接融合指结构重参数化前的多分支结构在推理时存在内存碎片化和 CUDA 内核启动开销硬件加速器如 TensorRT无法做深度融合优化。重参数化后变成连续的卷积流TensorRT 可以把相邻卷积层融合成一个算子内存访问连续性大幅提升——这是边缘设备上速度的关键。综合评价论文创新性分数★★★★☆结构重参数化渐进训练的组合在视频超分领域是新的切入点尤其是隐式学习运动替代显式光流的设计思路有启发性。但结构重参数化本身源自 RepVGG单图 SR 领域属于迁移应用。实验合理度★★★★★实验设计非常扎实三个标准数据集REDS4/Vid4/Vimeo90K-T、两种 Jetson 配置、从 22K 到 9.6M 的完整缩放分析、关键设计的逐一对比消融。基准模型还在同一硬件上重新评估了推理时间保证了公平性。学术研究价值★★★★☆为边缘视频超分提供了一个可复现、可扩展的基线架构对后续的轻量化 VSR 研究有直接参考价值。稳定性★★★★☆两阶段训练策略有效解决了隐式对齐训练的梯度不稳定问题消融实验验证了各组件的必要性。适应性以及泛化能力★★★☆☆在 Vid4 上的零样本泛化表现不错但论文没有测试真实世界视频非合成退化泛化到不同退化类型的能力待验证。硬件需求及成本★★★★★极低的硬件门槛是这篇论文最大的卖点。Jetson Orin NX 8GB/15W 上 NanoVSR-644k 仍能跑出 16 FPS这对实际部署意义重大。复现难度★★★☆☆代码已开源训练需要 Vimeo-90K 和 REDS 数据集较大15 万次迭代需要一定计算资源。但架构本身不依赖自定义 CUDA复现门槛低。产品化成熟度★★★★★ONNX 原生兼容 TensorRT 优化 无自定义算子 接近即插即用。对于需要边缘视频增强的工业产品无人机、监控系统、视频会议这是目前最实用的方案之一。可能的问题缺乏显式光流导致极端非刚性运动场景下高频纹理恢复不足作者在 Limitations 中坦诚指出。双向传播需要 15 帧的超前窗口存在缓冲延迟不适合严格逐帧实时的场景。训练依赖合成退化数据与真实摄像机退化仍有差距。
