尝试联机演示：http://willow-fd.rocq.inria.fr/unshake/

概述

一般来说，相机抖动造成的模糊主要是由于3D相机的旋转，导致模糊不均匀穿过图像。然而，大多数以前的去模糊方法将观察到的图像建模为锐利图像的卷积用一个制服模糊内核。我们提出了一种新的模糊过程模型，并将其应用于模糊控制中对两种不同的摄像机抖动消除算法进行了研究，结果表明，我们的方法能够对摄像机抖动进行建模和处理消除相机抖动比以前的方法更有效。

模糊模型

在本文中，我们发现相机抖动产生的模糊主要是由于快门打开时相机的三维旋转引起的。对于透视相机，我们知道相机的旋转会导致图像的二维投影变换，如下图（a）所示，它显示了场景点在相机两个简单旋转下的明显运动。请注意，在这两种情况下，图像中的运动明显不同。

传统上，模糊被建模为锐利图像与模糊核心然而，这个模型显然不足以描述下面所看到的效果。卷积将模糊图像建模为清晰图像的平移版本的加权和，而我们知道，实际上，当快门打开时，相机实际上看到的是一系列经过投影变换的清晰图像版本。下图（b）和（c）显示了这两种模型之间的差异。

  • 摄像机旋转时场景点的视运动

    （a） 视景点运动
    摄像机下旋转

  • 卷积模糊

    （b） 卷积模糊

  • 相机旋转模糊

    （c） 相机旋转模糊


同样，卷积核可以被视为一组用于求和夏普图像的翻译版本的权重集，我们为我们的模型定义了一个模糊核，它是用来总结锐化图像的投影变换版本的权重集。相机旋转的参数空间是3D，这给了我们3D模糊核，如下所示。这个内核实际上描述了图像中每个像素的不同模糊，如下所示，其中多个位置的点扩散函数（psf）绘制在模糊图像本身的顶部。

  • 标有轴的摄像机

    摄像机轴

  • 我们模型的模糊核

    在摄影机方向上定义的权重或“模糊内核”

  • 一个模糊的图像，在多个位置叠加了等效的psf

    一个模糊的图像，在多个位置叠加了等效的psf

应用

为了证明该模型的有效性，我们将其替换为两种现有的去除摄像机抖动的算法，以代替它们的卷积模糊模型，并显示了优越的结果和处理高度非均匀模糊的能力。

盲解模糊

我们采用了Fergus的摄像机抖动消除算法等等。[1] 基于Miskin&MacKay[2]的变分去模糊方法，利用旋转模糊模型。

  • 模糊图像

    模糊图像

  • 用均匀模糊模型去模糊

    用均匀模糊模型去模糊

  • 用我们的模型去模糊

    用我们的模型去模糊

我们还采用Cho&Lee[4]的快速盲去模糊算法来使用我们的旋转模糊模型。

  • 模糊图像

    模糊图像

  • 用均匀模糊模型去模糊

    用均匀模糊模型去模糊

  • 用我们的模型去模糊

    用我们的模型去模糊

噪声/模糊图像对

追随元的脚步等等。[3] 我们还将我们的模型应用于同一场景的另一个清晰但有噪声的图像的情况下。这使得我们可以用一个标准的凸优化算法找到一个很好的核估计，并获得一个没有“振铃”伪影的去模糊结果。

  • 模糊图像

    模糊图像

  • 噪声图像

    噪声图像

  • 用均匀模糊模型去模糊

    用均匀模糊模型去模糊

  • 用我们的模型去模糊

    用我们的模型去模糊

出版物

O、 Whyte、J.Sivic、A.Zisserman和J.Ponce
抖动图像的非均匀去模糊
IEEE计算机视觉与模式识别会议论文集（2010）
PDF格式| 摘要|BibTeX公司| PPT幻灯片（20MB）|海报（8MB）|盲解模糊参数更新方程的推导

摘要

相机抖动造成的模糊主要是由于相机的3D旋转，会导致一个模糊的内核不均匀穿过图像。然而，目前大多数的去模糊方法将观察到的图像建模为锐利图像的卷积用一个制服模糊内核。我们提出了一种新的参数化方法旋转模糊过程的几何模型曝光期间相机的速度。我们采用这种模式两种不同的摄像机抖动消除算法：第一种方法使用单个模糊图像（盲解模糊），而第二种方法则使用单个模糊图像一种方法既使用模糊图像，也使用锐利但有噪声的图像场景。我们证明，我们的方法使建模和与以前的方法相比，删除更广泛的模糊类别，包括将均匀模糊作为一个特例，并用真实图像的实验。

BibTeX公司

@正在进行中{whyte10，作者{Whyte，O.和Sivic，J.和Zisserman，A.和Ponce，J.}，title={抖动图像的非均匀去模糊}，书名{IEEE计算机视觉与模式识别会议论文集}，年份={2010}}
O、 Whyte、J.Sivic、A.Zisserman和J.Ponce
抖动图像的非均匀去模糊
国际计算机视觉杂志，98（2）：168–1862012
PDF格式| 摘要|BibTeX公司| 日记页

摘要

在弱光条件下拍摄的照片常常模糊，这是由于相机抖动，即快门打开时相机的运动。大多数现有的去模糊方法将观测到的模糊图像建模为卷积具有均匀模糊核的清晰图像。但是，我们展示了相机抖动通常主要是由于相机的三维旋转，导致模糊不均匀穿过图像。提出了一种新的模糊过程的参数化几何模型在曝光过程中相机的旋转运动。这个型号是使用单个全局描述子，可以替换为现有的去模糊只需稍加修改的算法。为了证明其有效性，我们将该模型应用于两个去模糊问题；第一种情况是模糊图像是可用的，我们检查这两个近似值边缘化方法和最大后验方法，以及在这种情况下，除了模糊的图像。我们证明，我们的方法使建模和与以前的方法相比，移除更广泛的模糊类，包括均匀模糊作为一个特例，通过实验证明了其有效性合成和真实图像。

BibTeX公司

@文章{whyte11a，作者{Whyte，O.和Sivic，J.和Zisserman，A.和Ponce，J.}，title={抖动图像的非均匀去模糊}，国际计算机视觉杂志，体积={98}，数字={2}，页数={168--186}，年份={2012}}

图像

来自CVPR 2010论文的图片：下载（36MB）

代码

从单一模糊图像中去除非均匀相机抖动模糊的Matlab代码包。代码基于弗格斯等等。[1] ，和米斯金和麦凯[2] 一。

版本0.2.1（2010年9月30日）：下载（2MB）|自述文件
版本0.1（2010年8月30日）：下载（2MB）|自述文件

代码

这个软件包包含了使用我们描述的MAP算法对由于相机抖动而退化的图像进行快速盲解模糊的代码IJCV 2012年论文以及空间变化模糊的快速逼近CPCV 2011年论文.

版本1.0（2014年9月21日）：下载（18MB）|自述文件

在线演示

试着去模糊你自己的图像与我们的在线演示地图-ℓ1 IJCV文章中描述的算法。
演示可从以下网址获得：http://willow-fd.rocq.inria.fr/unshake/.

致谢

这项工作得到了ONR MURI N00014-07-1-0182、ERC grant VisRec编号228180、MSR-INRIA实验室、ANR grant HFIBMR（ANR-07-BLAN-0331-01）、EIT-ICT实验室（活动10863）和ERC grant VideoWorld的支持。

工具书类

[1] R.费格斯、B.辛格、A.赫茨曼、S.T.罗维斯和W.T.弗里曼。从一张照片中移除相机抖动.信号图2006年。

[2] 米斯金和麦凯。盲图像分离与反褶积的集成学习。在独立成分分析进展斯普林格·韦拉格，2000年。

[3] 李媛，孙俊杰，全立群，海英。嘘。利用模糊/噪声图像对进行图像去模糊。信号图2007年。

[4] S.Cho和S.Lee。快速运动去模糊.亚洲国际图形学年会2009年。