超分辨率的马尔可夫随机场

威廉·T·弗里曼 刘策
麻省理工学院   Microsoft Research新英格兰

[下载包裹]

这是基于示例的超分辨率算法的实现[1]的。虽然MSF的应用现在已经超越了基于示例的super分辨率和纹理合成,这仍然是很有价值的重温这个问题,尤其是共享源代码和示例图像与研究界合作。我们希望这个软件包可以帮助了解低层视觉的马尔可夫随机场,并创建超分辨率算法的基准。

当你在论文中引用此代码时,请引用以下书籍章节:

W.T Freeman和C.Liu。用于超分辨率和纹理合成的马尔可夫随机场在A.Blake、P.Kohli和C.Rother编辑的。,视觉和图像处理中马尔可夫随机场的研究进展,第10章。麻省理工学院出版社,2011年。出现。

算法

该算法的核心基于[1]。我们收集成对的从一组图像中提取低分辨率和高分辨率图像补丁作为训练。将输入的低分辨率图像分解为网格上的重叠块,并且推理问题是从训练中找到高分辨率的补丁每个低分辨率补丁的数据库。我们使用kd-tree算法,它具有用于实时纹理合成[2],检索一组每个低分辨率补丁的高分辨率、k近邻。最后,我们运行一个最小化目标的最大生产信念传播(BP)算法平衡局部兼容性和空间平滑的函数。

示例

应用基于示例的超分辨率的几个示例包中的代码如下所示。这些示例图像也是包含在包中。运行代码后,它应该为您提供同样的结果。

我们首先应用双三次采样放大输入图像(a)系数为4(b),其中缺少图像细节。如果我们使用对于每个独立的低分辨率贴片,我们得到了最近邻高分辨率但有噪声的结果是(c)。为了解决这个问题,我们将空间平滑性纳入马尔可夫随机场公式通过强制合成相邻的补丁来商定重叠区域。最大乘积置信传播用于获得(d)中的高分辨率图像。推断出的高频图像如所示(e) ,原始高分辨率如(f)所示。

(a) 输入 (b) 双三次上采样x 4 (c) 独立NN (d) 信仰传播 (e) 推断高频 (f) 原始高分辨率
一些测试图像(从伯克利图像分割数据库[4] )在我们基于示例的超分辨率软件包中使用。

早期出版物中的示例

这是低分辨率的原始图像,经过处理的输出,以及真实的高分辨率图像,用于参考文献[1]中的“Maddie”图像。模糊和二次采样以创建低分辨率原始图像图像是按照[1]中的描述完成的。
下载[140x140 lo-res原装] 下载[280x280基于示例的超分辨率放大(来自[1])] 下载[280x280真高分辨率源图像。]

算法

该算法的核心基于[1,2]。我们收集成对的从一组图像中提取低分辨率和高分辨率图像补丁作为训练。将输入的低分辨率图像分解为网格上的重叠面片推理问题是从训练中找到高分辨率的补丁每个低分辨率补丁的数据库。我们使用kd-tree算法,它具有用于实时纹理合成[3],以检索一组每个低分辨率补丁的高分辨率、k近邻。最后,我们运行一个最小化目标的最大生产信念传播(BP)算法平衡本地兼容性和空间平滑的函数。

用法

该软件包是用MATLAB编写的。我们从下载了一个kd-tree软件包http://www.mathworks.com/matlabcentral/fileexchange/2151对于我们的软件,此kd-tree包包含在我们的包中也。我们已经在Windows 7 x64、Mac OS X 10.6.5和Debian GNU/Linux。下载包后,启动MATLAB,更改当前目录到#root/SRmatlab/Matlab/(#root是解压缩包的位置),然后运行

    生成训练

你会看到代码尝试编译kd-tree包的cpp文件,然后从训练图像中提取补丁。在完成训练之后,运行

    超分辨率

使用超分辨率解析测试图像训练补丁。构建kd-tree可能需要一些时间,因此请耐心等待。如果您设置设置。IsKdtree=假在里面setEnvironment(设置环境)。,则在搜索的邻居时不会调用kd树测试图像中的补丁。你可能想这样做,尤其是当MATLAB无法成功编译附带的kd-tree包。

训练图像可以在 #root/SRmatlab/Database/Berkeley/培训,以及位于的测试图像 #root/SRmatlab/Database/Berkeley/测试。您可以在不同的子文件夹下轻松创建自己的培训和测试数据库伯克利在类似结构下。请更改以下行

设置。路径。数据库=完整文件(setting.Path.Home,'Database','Berkeley’);

在里面setEnvironment(设置环境)。将数据库路径设置为您创建的数据库路径。重新运行两个MATLAB函数生成训练。超分辨率。测试系统在不同数据集上的性能。

请联系刘策如果你有任何问题或发现任何错误。

享受吧!

工具书类

[1] W.T.Freeman、E.C.Pasztor和O.T.Carmichael。学习低水平愿景。国际计算机视觉杂志,40(1),第25-47页,2000年。pdf格式
[2] W.T.Freeman和Egon C.Pasztor。学习低水平愿景。出现在IEEE国际计算机视觉会议希腊科孚,1999年。pdf格式
[3] L.Liang、C.Liu、Y.Xu、B.Guo和H.Shum。基于补丁采样的实时纹理合成。ACM公司图形事务处理, 2001.
[4] D.Martin、C.Fowlkes、D.Tal和J.Malik。人体分割自然图像数据库及其应用应用于评估分割算法和衡量生态统计。程序。国际计算机视觉会议第416-423页,2001年

上次更新时间:2011年1月9日