邵文泽;葛、齐;邓海松;魏志辉;李海波 单/多观测模糊核估计的统一优化视角，应用于相机抖动去模糊和非参数盲超分辨率。 （英语） Zbl 1371.94334号 数学杂志。成像视觉。 54，第2期，216-239（2016）. 摘要：自年以来，使用单图像或多观测值的非参数模糊核估计已被广泛研究R.弗格斯等的有影响力的工作[ACM Trans.Graph.25，No.3，787–794（2006；Zbl 1371.94125号)]. 然而，在目前的文献中，这两个高度相关的问题之间总是存在差距；也就是说，单点和多点盲反褶积是独立建模和求解的，缺乏统一的优化视角。本文通过耦合最大后验概率（MAP）和变分贝叶斯（VB）原理，尝试弥合这两个问题之间的差距，提出了一种严格统一的单/多热点模糊核估计的最小化函数。新函数是使用有向图形模型描述的，其中与每个镜头相关的清晰图像和逆噪声方差被视为随机变量，而与现有VB方法不同的是，每个模糊核仅被建模为确定性参数。利用潜在锐化图像上的通用三级分层先验和每个逆噪声方差上的Gamma超前验，将单/多热点模糊核估计统一表示为一个（ell{0.5}）-正规化负对数边缘似然最小化问题。通过借鉴期望最大化、优化最小化和平均场近似的思想，以及迭代加权最小二乘法，自动估计所有感兴趣的未知量，包括锐化图像、模糊核、逆噪声方差以及其他相关参数。与大多数单/多热点模糊核估计方法相比，该方法不依赖于卷积的交换性质，不仅在不同成像场景下处理多个观测值时更加灵活，而且在稀疏图像建模中具有更强的自适应性，同时具有更少的启发式实现。最后，将提出的模糊核估计方法自然地应用于两个低层视觉问题，即相机抖动去模糊和非参数盲超分辨率。对基准真实世界运动模糊图像、模拟多模糊图像以及合成和真实低分辨率模糊图像进行了实验，证明了该方法相对于最先进的单/多镜头相机抖动去模糊和非参数盲超分辨率方法的优越性。 MSC公司： 94A08型 信息与通信理论中的图像处理（压缩、重建等） 关键词：模糊核估计;变分贝叶斯;摄像机抖动消除;盲反褶积;盲超分辨率 引文：兹比尔1371.94125 软件：BM3D公司 PDF格式BibTeX公司 XML格式引用 \textit{W.-Z.Shao}等人，《数学杂志》。成像视觉。54，第2号，216--239（2016；Zbl 1371.94334） 全文： 内政部 参考文献： [1] Fergus，R.、Singh，B.、Hertzmann，A.、Roweis，S.T.、Freeman，W.T.：从一张照片中消除相机抖动。ACM事务处理。图表。25(3), 787-794 (2006) ·Zbl 1371.94125号 ·doi:10.145/1141911.1141956 [2] Sroubek，F.，Milanfar，P.：通过快速交替最小化实现稳健的多通道盲反褶积。IEEE传输。图像处理。21(4), 1687-1700 (2012) ·Zbl 1373.94014号 ·doi:10.1109/TIP.2011.2175740 [3] Zhu，X.，Milanfar，P.：弱模糊和强噪声图像的恢复。摘自：IEEE计算机视觉应用研讨会，第103-109页（2011年） [4] Takeda，H.，Milanfar，P.：通过时空处理消除运动模糊。IEEE传输。图像处理。20(10), 2990-3000 (2011) ·Zbl 1372.94244号 ·doi:10.1109/TIP.2011.2131666 [5] Zhu，X.、Cohen，S.、Schiller，S.和Milanfar，P.：从单个图像估计空间变化的离焦模糊。IEEE传输。图像处理。22(12), 4879-4891 (2013) ·Zbl 1373.94507号 ·doi:10.1109/TIP.2013.2279316 [6] Tai，Y.-W.，Tan，P.，Brown，M.S.：Richardson-Lucy对投影运动路径下的场景进行消模糊。IEEE传输。模式分析。机器。智力。33(8), 1603-1618 (2011) ·doi:10.1109/TPAMI.2010.222 [7] Tai，Y.-W.：运动软件噪声过滤，用于去除噪声和模糊图像的模糊。IEEE CVPR，第17-24页（2012年）·Zbl 1373.94096号 [8] Levin，A.、Weiss，Y.、Durand，F.、Freeman，W.T.：理解盲反褶积算法。IEEE传输。模式分析。机器。智力。33(12), 2354-2367 (2011) ·doi:10.1109/TPAMI.2011.148 [9] Molina，R.、Mateos，J.、Katsaggelos，A.K.：使用变分方法进行参数、图像和模糊估计的盲反卷积。IEEE传输。图像处理。15(12), 3715-3727 (2006) ·doi:10.10109/TIP.2006.881972 [10] Babacan，S.D.，Molina，R.，Katsaggelos，A.K.：使用总变异先验的变异贝叶斯盲反褶积。IEEE传输。图像处理。18(1), 12-26 (2009) ·Zbl 1371.94479号 ·doi:10.1109/TIP.2008.2007354 [11] Amizic，B.，Molina，R.，Katsaggelos，A.K.：带参数估计的稀疏贝叶斯盲图像反褶积。EURASIP J.图像视频处理。2012-20，1-15（2012） [12] Tzikas，D.G.，Likas，A.C.，Galatsanos，N.P.：贝叶斯推理的变分近似：EM算法之后的寿命。IEEE信号处理。Mag.131、131-146（2008）·doi:10.1109/MSP.2008.929620 [13] Mohammad-Djafari，A.：具有先验模型的贝叶斯方法，在信号和图像处理中加强稀疏性。EURASIP J.高级信号处理。（稀疏信号处理专刊）2012-52，1-19（2012） [14] Mohammad-Djafari，A。；Knuth，KH；Comon，P.（编辑）；Jutten，C.（编辑）；等。，贝叶斯方法，467-513（2010），纽约·doi:10.1016/B978-0-12-374726-6.0017-5 [15] 擦拭，DP；张浩，《贝叶斯盲反褶积分析》，第8081、40-53期（2013），海德堡 [16] Babacan，SD；莫利纳，R。；Do，明尼苏达州；Katsaggelos，AK，具有一般稀疏图像先验的贝叶斯盲反褶积，第7577号，341-355（2012），海德堡 [17] Levin，A.、Weiss，Y.、Durand，F.、Freeman，W.T.：盲反褶积中的有效边际似然优化。收录于：CVPR，第2657-2664页（2011年）·Zbl 1371.94300号 [18] Krishnan，D.，Tay，T.，Fergus，R.：使用归一化稀疏性度量的盲反褶积。收录于：CVPR第233-240页（2011年）·Zbl 1371.94429号 [19] 阿尔梅达，M.，阿尔梅达（Almeida），L.：自然图像的盲和半盲去模糊。IEEE传输。图像处理。19(1), 36-52 (2010) ·Zbl 1371.94022号 ·doi:10.10109/TIP.2009.2031231 [20] Xu，L.，Zheng，S.，Jia，J.：自然图像去模糊的Unnatural\[L_0\]L0稀疏表示。In:CVPR，pp.1107-1114（2013） [21] Cho，S.，Lee，S.：快速运动去模糊。ACM Trans。图表。28（5）：第145条（2009年）·Zbl 1374.94299号 [22] Shan，Q.，Jia，J.，Agarwala，A.：从单个图像中去除高质量运动模糊。收录于：SIGGRAPH，ACM，美国纽约州纽约市，第1-10页（2008年） [23] 徐，L。；Jia，J.，鲁棒运动去模糊的两阶段核估计，No.6311，157-170（2010），海德堡 [24] Rav Acha，A.，Peleg，S.：两张运动模糊图像比一张好。模式记录。莱特。26, 311-317 (2005) ·doi:10.1016/j.patrec.2004.10.017 [25] Cai，J.-F，Ji，H.，Liu，C.，Shen，Z.：使用多个图像进行盲运动去模糊。J.计算。物理学。228, 5057-5071 (2009) ·Zbl 1167.94307号 ·doi:10.1016/j.jcp.2009.04.022 [26] 朱，X。；Sroubek，F。；Milanfar，P.，《使用多幅图像对PSF进行去卷积以获得更好的运动去模糊》，636-647（2012），海德堡 [27] Chen，J.，Yuan，L.，Tang，C.-K.，Quan，L.:鲁棒双运动去模糊。收录：IEEE CVPR，第1-8页（2008） [28] Harikumar，G.，Bresler，Y.：多重滤波器模糊图像的完美盲复原：理论和高效算法。IEEE传输。图像处理。8(2), 202-219 (1999) ·doi:10.1109/83.743855 [29] Zhang，H.、Wipf，D.、Zhang、Y.：具有自适应备用先验的多观测盲反褶积。IEEE传输。模式分析。机器。智力。36(8), 1628-1643 (2014) ·doi:10.1109/TPAMI.2013.241 [30] Yuan，L.，Sun，J.，Quan，L..，Shum，H.-Y.：使用模糊/噪声图像对进行图像去模糊。ACM事务处理。图表。26(3), 1-10 (2007) ·Zbl 1174.01302号 ·数字对象标识代码：10.1145/1276377.1276379 [31] Babacan，S.D.，Wang，J.，Molina，R.，Katsaggelos，A.K.：不同曝光图像对的贝叶斯盲反褶积。IEEE传输。图像处理。19(11), 2874-2888 (2009) ·Zbl 1371.94039号 ·doi:10.1109/TIP.2010.2052263 [32] Figueiredo，M.，Nowak，R.：一种基于小波的图像去卷积的边界优化方法。收录于：ICIP第2卷，第782-785页（2005年）·Zbl 1371.94363号 [33] 弗里曼，W.T.，帕斯托，E.C.：学习从图像中估计场景。摘自：Kearns，M.S.，Solla，S.A.，Cohn，D.A.（编辑）《高级神经信息处理系统》，第11卷，剑桥大学出版社，剑桥。另请参见http://www.merl.com/reports/TR99-05/ (1999) [34] Baker，S.、Kanade，T.：幻觉脸。摘自：IEEE自动人脸和手势识别国际会议，第83-88页（2000年） [35] Nasrollahi，K.，Moeslund，T.B.：超分辨率：综合调查。机器。视觉。申请。25(6), 1423-1468 (2014) ·doi:10.1007/s00138-0114-0623-4 [36] Mudenagudi，U.、Singla，R.、Kalra，P.、Banerjee：使用图形剪切的超分辨率。收录于：ACCV，第385-394页（2006年） [37] Mansouri，M.，Mohammad-Djafari，A.：使用Bayesian方法和Gauss-Markov-Potts先验从一组低分辨率图像中联合超分辨率和分割。国际信号与成像杂志。系统。工程3（4），211-221（2010） [38] Farsiu，S.、Robinson，D.、Elad，M.、Milanfar，P.：超分辨率的进展和挑战。Int.J.成像系统。Technol公司。14(2), 47-57 (2004) ·doi:10.1002/ima.20007 [39] Takeda，H.、Milanfar，P.、Protter，M.、Elad，M.：无显式亚像素运动估计的超分辨率。IEEE传输。图像处理。18(9), 1958-1975 (2009) ·Zbl 1371.94363号 ·doi:10.1109/TIP.2009.2023703 [40] Protter，M.、Elad，M.，Takeda，H.、Milanfar，P.：将非局部手段推广到超分辨率重建。IEEE传输。图像处理。18(1), 36-51 (2009) ·Zbl 1371.94300号 ·doi:10.1109/TIP.2008.2008067 [41] Shen，H.，Zhang，L.，Huang，B.，Li，P.：用于联合运动估计、分割和超分辨率的MAP方法。IEEE传输。图像处理。16(2), 479-490 (2007) ·doi:10.1109/TIP.2006.888334 [42] Yang，J.，Wright，J.、Huang，T.、Ma，Y.：通过稀疏表示实现图像超分辨率。IEEE TIP 19（11），2861-2873（2010）·Zbl 1371.94429号 [43] Glasner，D.，Bagon，S.，Irani，M.：单个图像的超分辨率。收录于：ICCV，第349-356页（2009年）·Zbl 1373.94014号 [44] Chang，H.，Yeung，D.-Y，Xiong，Y.：通过邻居嵌入的超分辨率。收录于：CVPR，第275-282页（2004年） [45] Zeyde，R。；Elad，M。；Protter，M.，《关于使用稀疏表示进行单图像放大》，第6920、711-730号（2012），海德堡·Zbl 1314.94018号 ·doi:10.1007/978-3-642-27413-847 [46] Timofte，R.，Smet，V.D.，Gool，L.V.：基于快速示例的超分辨率锚定邻域回归。在：ICCV，第1920-1927页（2013）·Zbl 1371.94022号 [47] Timofte，R.，Smet，V.D.，Gool，L.V.：A+：快速超分辨率的调整锚定邻域回归。收录：ECCV，第1-5页（2014年） [48] Dong，C.，Loy，C.C.，He，K.，Tang，X.：学习用于图像超分辨率的深度卷积网络。In:ECCV（2014） [49] Peleg，T.，Elad，M.：基于单图像超分辨率稀疏表示的统计预测模型。IEEE传输。图像处理。23(6), 2569-2582 (2014) ·Zbl 1374.94299号 ·doi:10.1109/TIP.2014.2305844 [50] Yang，J.，Lin，Z.，Cohen，S.：基于就地示例回归的快速图像超分辨率。收录于：CVPR，第1059-1066页（2013） [51] Fattal，R.：通过强制边缘统计进行图像上采样。ACM事务处理。图表。（SIGGRAPH）26（3），95-102（2007）·数字对象标识代码：10.1145/1276377.1276496 [52] Efrat，N.、Glassner，D.、Apartsin，A.、Nadler，B.、Levin，A.：单图像超分辨率中精确模糊模型与图像先验。In:ICCV（2013）·Zbl 0997.68109号 [53] Begin，I.，Ferrie，F.R.：盲超分辨率示例中的PSF恢复。收录于：ICIP第5卷，第421-424页（2007年）·Zbl 1371.94480号 [54] Wang，Q.，Tang，X.，Shum，H.：基于补丁的盲图像超分辨率。收录于：ICCV，第709-716页（2005年） [55] Joshi，N.、Szeliski，R.、Kriegman，D.J.：使用锐边预测进行PSF估计。收录于：CVPR，第1-8页（2008年） [56] Michaeli，T.，Irani，M.：非参数盲超分辨率。收录于：ICCV，第945-952页（2013年） [57] Shao，W.-Z.，Ge，Q.，Deng，H.-S.，Wei，Z.-H.，Li，H.-B.：使用非平稳图像建模的运动去模糊。数学杂志。成像视觉。(2014). doi:10.1007/s10851-014-0537-9·Zbl 1331.68274号 [58] Babacan，S.D.，Molina，R.，Katsaggelos，A.K.：使用拉普拉斯先验的贝叶斯压缩传感。IEEE传输。图像处理。19(1), 53-63 (2010) ·Zbl 1371.94480号 ·doi:10.1109/TIP.2009.2032894 [59] Griffin，J.E.，Brown，P.J.：贝叶斯自适应拉索与非凸惩罚。澳大利亚。新西兰《统计》第53卷，第423-442页（2012年）·Zbl 1335.62047号 ·doi:10.1111/j.1467-842X.2011.00641.x [60] Tipping，M.E.：稀疏贝叶斯学习和相关向量机。J.马赫。学习。第211-244号决议（2001年）·Zbl 0997.68109号 [61] Krishnan，D.，Fergus，R.：使用超拉普拉斯先验的快速图像反褶积。收录于：NIPS第22卷，第1033-1041页（2009年） [62] Kheradmand，A.，Milanfar，P.：正则化、基于相似性的图像恢复的一般框架。IEEE传输。图像处理。23(12), 5136-5151 (2014) ·Zbl 1374.94174号 ·doi:10.1109/TIP.2014.2362059 [63] Takeda，H.，Farsiu，S.，Milanfar，P.：使用正则化局部自适应核回归进行去模糊。IEEE传输。图像处理。17(4), 550-563 (2008) ·doi:10.1109/TIP.2007.918028 [64] Schmidt，U.，Rother，C.，Nowozin，S.，Jancsary，J.：歧视性非盲去模糊。摘自：IEEE计算机视觉和模式识别会议，第23-28页（2013）·Zbl 1373.94507号 [65] Schuler，C.J.、Burger，H.C.、Harmeling，S.、Schölkopf，B.：非盲图像反褶积的机器学习方法。摘自：IEEE会议计算机视觉和模式识别，第1067-1074页（2013）·Zbl 1371.94429号 [66] Danielyan，A.，Katkovnik，V.，Egiazarian，K.：BM3D帧和变分图像去模糊。IEEE Trans。图像处理。21(4), 1715-1728 (2012) ·Zbl 1373.94096号 ·doi:10.1109/TIP.2011.2176954 [67] Kotera，J。；Sroubek，F。；Milanfar，P.，《使用交替最大后验估计与重尾先验值的盲反褶积》，第8048、59-66号（2013），海德堡 [68] Levin，A.，Fergus，R.，Durand，F.，Freeman，W.T.：带编码光圈的传统相机的图像和深度。ACM事务处理。图表。（SIGGRAPH）26（3），701-709（2007）·数字对象标识代码：10.1145/1276377.1276464 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。