计算机科学>计算机视觉与模式识别
标题: 基于神经网络的时空视频超分辨率
摘要: 本文研究了时空视频超分辨率(ST-VSR)的任务。 现有的方法普遍存在运动估计不准确和大运动补偿(MEMC)问题。 受物理信息神经网络最新进展的启发,我们将ST-VSR中MEMC的挑战建模为两个连续函数空间之间的映射。 具体来说,我们的方法将粗粒度连续函数空间中独立的低分辨率表示转换为细粒度连续函数空间内具有丰富时空细节的精细表示。 为了实现高效准确的MEMC,我们设计了Galerkin型注意函数来执行帧对齐和时间插值。 由于Galerkin型注意机制的线性复杂性,我们的模型避免了斑块分割,并提供了全局感受野,从而能够精确估计大运动。 实验结果表明,该方法在固定大小和连续时空视频超分辨率任务中都优于现有技术。