尝试在线演示：http://willow-fd.rocq.inia.fr/unshake/

概述

通常，相机抖动产生的模糊主要是由于3D相机的旋转，造成明显的模糊不均匀的穿过图像。然而，大多数以前的去模糊方法将观测图像建模为清晰图像的卷积用一个制服模糊内核。我们提出了一种新的模糊过程模型，并将该模型应用于两种不同的摄像机抖动消除算法的背景，表明我们的方法可以建模和与以前的方法相比，消除相机抖动更有效。

模糊模型

在本文中，我们表明由相机抖动引起的模糊主要是由快门打开时相机的三维旋转引起的。对于透视相机，我们知道相机的旋转会导致图像的2D投影变换，如下图（a）所示，它显示了相机两次简单旋转下场景点的视运动。请注意，在这两种情况下，运动在图像中明显不同。

传统上，模糊被建模为锐利图像与模糊核心然而，该模型显然不足以描述以下所示的影响。卷积将模糊图像建模为清晰图像的平移版本的加权和，而我们知道，实际上，当快门打开时，相机实际上看到一系列投影变换版本的清晰图像。下图（b）和（c）显示了这两种模型之间的差异。

  • 摄像机旋转下场景点的视运动

    （a） 场景点的视在运动
    在摄影机旋转下

  • 卷积模糊

    （b） 卷积模糊

  • 通过相机旋转模糊

    （c） 通过相机旋转模糊


正如卷积核可以被视为一组用于汇总锐化图像的转换版本的权重一样，我们为我们的模型定义了一个模糊核，它是用于汇总锐度图像的投影转换版本的一组权重。摄影机旋转的参数空间是3D，为我们提供了3D模糊内核，如下所示。该内核实际上为图像的每个像素描述了不同的模糊，如下所示，其中多个位置的点扩散函数（PSF）绘制在模糊图像本身的顶部。

  • 标有轴的摄像头

    摄影机轴

  • 我们模型的模糊核

    在摄影机方向上定义的权重或“模糊内核”

  • 一张模糊的图像，在几个位置叠加了等效PSF

    一张模糊的图像，在几个位置叠加了等效PSF

应用

为了证明我们的模型的有效性，我们将其替换为两种现有的去除相机抖动的算法，以取代它们的卷积模糊模型，并显示出优异的结果和处理高度不均匀模糊的能力。

盲去模糊

我们采用了Fergus的摄像机抖动消除算法等。[1] 基于Miskin&MacKay[2]的变分去模糊方法，使用我们的旋转模糊模型。

  • 模糊图像

    模糊图像

  • 使用均匀模糊模型消除模糊

    使用均匀模糊模型消除模糊

  • 使用我们的模型消除模糊

    使用我们的模型消除模糊

我们还采用了Cho&Lee[4]的快速盲去模糊算法来使用我们的旋转模糊模型。

  • 模糊图像

    模糊图像

  • 使用均匀模糊模型消除模糊

    使用均匀模糊模型消除模糊

  • 使用我们的模型消除模糊

    使用我们的模型去模糊

噪声/模糊图像对

遵循元的方法等。[3] 我们还将我们的模型应用于同一场景的附加清晰但有噪声的图像可用的情况。这使我们能够使用标准的凸优化算法找到对核的良好估计，并获得无“振铃”伪影的去模糊结果。

  • 模糊图像

    模糊图像

  • 噪声图像

    噪声图像

  • 使用均匀模糊模型消除模糊

    使用均匀模糊模型消除模糊

  • 使用我们的模型消除模糊

    使用我们的模型消除模糊

出版物

O.Whyte、J.Sivic、A.Zisserman和J.Ponce
抖动图像的非均匀去模糊
IEEE计算机视觉和模式识别会议记录（2010年）
PDF格式| 摘要|BibTeX公司| PPT幻灯片（20MB）|海报（8MB）|盲去模糊参数更新方程的推导

摘要

相机抖动产生的模糊主要是由于相机的3D旋转，导致模糊内核不均匀的穿过图像。然而，目前大多数去模糊方法将观测图像建模为清晰图像的卷积用一个制服模糊内核。我们提出了一种新的参数化基于旋转的模糊过程的几何模型曝光期间相机的速度。我们应用此模型两种不同的摄像机抖动消除算法：第一个使用单个模糊图像（盲去模糊），而第二个一种同时使用模糊图像和清晰但有噪声的图像场景。我们表明，我们的方法使建模和与以前的方法相比，消除更大范围的模糊，包括作为特殊情况的均匀模糊，并用在真实图像上的实验。

BibTeX公司

@正在进行{whyte10，作者={Whyte，O.和Sivic，J.和Zisserman，A.和Ponce，J.}，title={振动图像的非均匀去模糊}，booktitle={IEEE计算机视觉和模式识别会议论文集}，年份={2010}}
O.Whyte、J.Sivic、A.Zisserman和J.Ponce
抖动图像的非均匀去模糊
国际计算机视觉杂志，98（2）：168–1862012
PDF格式| 摘要|BibTeX公司| 日志页面

摘要

由于以下原因，在低光条件下拍摄的照片通常模糊相机抖动，即快门打开时相机的运动。大多数现有的去模糊方法将观测到的模糊图像建模为卷积具有均匀模糊核的清晰图像。然而，我们显示了来自相机抖动通常主要是由于相机的3D旋转，导致明显的模糊不均匀的穿过图像。我们提出了一种新的模糊过程参数化几何模型根据曝光期间相机的旋转运动。这个模型是能够使用单个全局描述符，可以替换为现有的去模糊只需少量修改的算法。为了证明其有效性，我们将该模型应用于两个去模糊问题；首先，单个模糊的图像是可用的，为此我们检查了两个近似值边缘化方法和最大后验方法，第二除此之外，还有清晰但有噪音的场景图像模糊的图像。我们表明，我们的方法使建模和与以前的方法相比，去除了更广泛的模糊，包括均匀模糊作为一个特例，并通过在合成图像和真实图像。

BibTeX公司

@文章{whyte11a，作者={Whyte，O.和Sivic，J.和Zisserman，A.和Ponce，J.}，title={振动图像的非均匀去模糊}，journal={国际计算机视觉杂志}，体积={98}，数字={2}，页数={168--186}，年份={2012}}

图像

CVPR 2010论文中的图片：下载（36MB）

代码

一个Matlab代码包，用于从单个模糊图像中去除非均匀相机抖动模糊。代码基于弗格斯等。[1] 、和米斯金和麦凯[2].

版本0.2.1（2010年9月30日）：下载（2MB）|自述文件
版本0.1（2010年8月30日）：下载（2MB）|自述文件

代码

此软件包包含使用我们的IJCV 2012论文，以及我们的CPCV 2011论文.

版本1.0（2014年9月21日）：下载（18MB）|自述文件

在线演示

尝试使用我们的MAP在线演示来消除您自己的图像模糊-ℓ1 IJCV文章中描述的算法。
演示可从以下网址获得：http://willow-fd.rocq.inia.fr/unshake/.

致谢

这项工作得到了ONR MURI N00014-07-1-0182、ERC拨款VisRec no.228180、MSR-INRIA实验室、ANR拨款HFIBMR（ANR-07-BLAN-0331-01）、EIT-ICT实验室（活动10863）和ERC拨款视频世界的支持。

工具书类

[1] R.Fergus、B.Singh、A.Hertzmann、S.T.Roweis和W.T.Freeman。从一张照片中消除相机抖动.SIGGRAPH公司, 2006.

[2] J.W.Miskin和D.J.C.MacKay。盲图像分离和反褶积的集成学习。在独立成分分析进展Springer-Verlag，2000年。

[3] L.Yuan、J.Sun、L.Quan和H.Y.Shum。使用模糊/噪声图像对进行图像去模糊。SIGGRAPH公司, 2007.

[4] S.Cho和S.Lee。快速运动消模糊.亚洲国际图形学年会, 2009.