深度图像优先

几个图像恢复问题的示例结果。我们使用深度神经网络,但从不使用数据集对其进行训练/预训练。我们将其用作结构化图像.
摘要

深卷积网络已经成为一种流行的网络用于图像生成和恢复的工具。一般来说,他们优秀的表现归功于他们学习现实的能力图像优先于大量示例图像。在本文中,我们表明,相反发电机网络足以捕获大量在任何学习之前都要进行低水平的图像统计。整齐为此,我们展示了随机初始化神经网络可用作手工制作,效果极佳在标准反问题中,如去噪、超分辨率、,和修补。此外,相同的先验可用于反转深层神经表征以进行诊断它们,并恢复基于flash的图像无flash输入对。

除了其多种应用之外,我们的方法还突出了标准发生器捕获的电感偏置网络架构。它还弥合了两种非常流行的图像恢复方法:基于深度卷积网络的学习方法和基于手工图像先验的无学习方法例如自相似性。

主要想法

在图像恢复问题中,目标是恢复具有损坏图像$x_0$的原始图像$x$。此类问题通常被描述为优化任务:\开始{等式}\标记{eq1}\最小x E(x;x_0)+R(x)\,,\结束{方程式}其中$E(x;x_0)$是一个数据项而$R(x)$是一个图像优先数据项$E(x;x_0)$通常易于设计用于一系列问题,例如超分辨率、去噪、修复,而图像先验$R(x)$是一个具有挑战性的问题。今天的趋势是通过使用大量示例对ConvNet进行培训,用它来捕获之前的$R(x)$。

我们首先注意到,对于surpjective$g:\theta\mapsto x$,以下过程在理论上等价于\eqref{eq1}:$$\min_\theta E(g(\theta));x_0)+R(g(θ))$$实际上,$g$极大地改变了优化方法搜索图像空间的方式。此外,通过选择一个“好的”(可能是内射的)映射$g$,我们可以去掉前面的项。我们将$g(θ)$定义为$f_theta(z)$,其中$f$是带参数$\theta$的深度ConvNet,$z$是固定输入,从而得出公式$$θE(fθ(z);x_0)\,.$$这里,网络$f_theta$被随机初始化,输入$z$被噪声填充并修复。

换句话说,我们现在不是在图像空间中搜索答案,而是在神经网络参数空间中搜索答案我们强调,我们从不使用预处理网络或图像数据库。恢复过程中仅使用损坏的图像$x_0$。

请参见纸张补充材料了解详细信息。

恢复过程可视化

单击下面的图像并使用左右箭头或滑动。




与其他方法的比较

比较中的方法
致谢
Dmitry Ulyanov和Victor Lempitsky由俄罗斯联邦教育和科学部资助(拨款14.756.31.0001),Andrea Vedaldi由ERC 677195-IDIU资助。交互式可视化基于赖翥翔的可视化LapSRN(拉普SRN)。的图像Glassner等人。超分辨率方法来自黄佳斌自我ExSR存储库。