×
哈维尔·博伊克斯；Josep M.Gonfaus。；范德韦杰尔，乔斯特；安德鲁·巴格达诺夫。；琼·塞拉特

融合全局和局部尺度的和谐势用于语义图像分割。 （英语） Zbl 1235.68246号

国际期刊计算。视觉。 96，编号1，83-102（2012）.
摘要：分层条件随机场（HCRF）模型已成功应用于许多图像标记问题，包括图像分割。然而，现有的HCRF图像分割模型不允许将多个类分配给单个区域，这限制了它们跨多个尺度合并上下文信息的能力。在图像的更高尺度上，这种表示产生了一个过于简化的模型，因为可以合理地预期在大区域内会出现多个类。这种简化模型特别限制了信息在更高尺度上的影响。由于在这些尺度上的类标签信息通常比在较低、噪声较大的尺度上更可靠，因此忽略这些信息是不可取的。为了解决这些问题，我们提出了一种新的图像标记一致性势，我们称之为和谐势。它可以对任何可能的标签组合进行编码，只惩罚不太可能的类组合。我们还针对这个扩展的标签集提出了一个有效的采样策略，使得底层的优化问题变得容易处理。我们的方法在两个具有挑战性的标准语义图像分割基准数据集上获得了最新的结果：PASCAL VOC 2010和MSRC-21。

引用于4文件

MSC公司：

68T45型 机器视觉和场景理解
68单位10 图像处理的计算方法

关键词：

语义对象分割；分层条件随机场

软件：

MAXFLOW（最大流量）；SIFT公司；PASCAL挥发性有机化合物；BSDS公司
PDF格式BibTeX公司 XML格式引用
\textit{X.Boix}等人，《国际计算杂志》。视觉。96，第1号，第83-102条（2012；Zbl 1235.68246）
全文： 内政部

参考文献：

[1] Adelson，E.H.（2001）。关于视觉：人类和机器对材料的感知。《SPIE会刊：人类视觉和电子成像VI》。
[2] Y.博伊科夫；Kolmogorov，V.（2004）。视觉能量最小化的最小/最大流算法的实验比较。IEEE模式分析和机器智能汇刊，26（9），1124–1137·Zbl 1005.68964号 ·doi:10.1109/TPAMI.2004.60
[3] Boykov，Y.、Veksler，O.和；Zabih，R.（2001）。通过图形切割实现快速近似能量最小化。IEEE模式分析和机器智能汇刊，23（11），1222-1239·数字对象标识代码：10.1109/34.969114
[4] Carreira，J.和；Sminchisescu，C.（2010年）。用于自动对象分割的约束参数最小切割。程序中。计算机视觉和模式识别。
[5] 科马尼丘·D·；Meer，P.（2002）。均值偏移：一种稳健的特征空间分析方法。IEEE模式分析和机器智能汇刊，24（5），603–619·doi:10.1109/34.1000236
[6] 考夫兰，J.M；Ferreira，S.J.（2002）。使用循环信念传播查找可变形形状。程序中。欧洲计算机视觉会议·Zbl 1039.68611号
[7] Csurka，G.和；Perronnin，F.（2010年）。一种有效的语义分割方法。国际计算机视觉杂志doi:10.1007/s11263-010-0344-8。
[8] A.德隆、A.奥索金、H.N.伊萨克；Boykov，Y.（2010年）。快速近似能量最小化和标签成本。程序中。计算机视觉和模式识别·Zbl 1235.68257号
[9] Everingham，M.、Van Gool，L.、Williams，C.K.I.、Winn，J.和；Zisserman，A.（2010年）。PASCAL可视对象类（VOC）挑战。国际计算机视觉杂志，88（2），303–338·Zbl 06023097号 ·doi:10.1007/s11263-009-0275-4
[10] Felzenszwalb，P.F.和；Huttenlocher，D.P.（2004）。高效的基于图形的图像分割。国际计算机视觉杂志，59（2），167-181·doi:10.1023/B:VISI.0000022288.19776.77
[11] Felzenszwalb，P.F.、Girshick，R.B.、McAllester，D.和；Ramanan，D.（2010年）。使用经过区分训练的基于零件的模型进行目标检测。IEEE模式分析和机器智能汇刊，32（9），1627-1645·doi:10.1109/TPAMI.2009.167
[12] Freeman，W.T.、Pasztor，E.C.和；O.T.卡迈克尔（2000）。学习低级视觉。国际计算机视觉杂志，40（1），25-47·Zbl 1012.68700号 ·doi:10.1023/A：1026501619075
[13] Frey，B.和；麦凯·D（1998）。一场革命：带圈图中的信念传播。神经信息处理系统进展。
[14] B.Fulkerson、A.Vedaldi和；Soatto，S.（2009）。使用超像素邻域进行类分割和对象定位。程序中。IEEE计算机视觉国际会议。
[15] 加勒奎洛斯，C；Belongie，S.（2010年）。基于上下文的对象分类：一项关键调查。计算机视觉和图像理解，114712-722·Zbl 06019093号 ·doi:10.1016/j.cviu.2010.02.004
[16] Gonfaus，J.、Boix，X.、van de Weijer，J.，Bagdanov，A.、Serrat，J.和；González，J.（2010年）。联合分类和分割的和谐潜力。程序中。计算机视觉和模式识别·Zbl 1235.68246号
[17] Gould，S.、Gao，T.和；Koller，D.（2009年）。基于区域的分割和对象检测。神经信息处理系统进展。
[18] 哈默斯利，J.M；Clifford，P.（1971）。有限图和格上的马尔可夫场。未发布。
[19] Hoiem，D.，Efros，A.A；Hebert，M.（2007）。从图像恢复曲面布局。国际计算机视觉杂志，75（1），151-172·Zbl 1235.68268号 ·doi:10.1007/s11263-006-0031-y
[20] Hoiem，D.，Efros，A.A；Hebert，M.（2008）。将对象置于透视图中。国际计算机视觉杂志80（1），3–15·兹比尔1477.68369 ·doi:10.1007/s11263-008-0137-5
[21] 艾勒，A.，&；McAllester，D.（2009）。粒子信念传播。程序中。人工智能和统计国际会议。
[22] Ishikawa，H.（2009年）。二元图切割中的高阶团约简。程序中。计算机视觉和模式识别。
[23] Jain，A.、Gupta，A.和；Davis，L.（2010）。学习场景标记的上下文模型的内容和方式。程序中。欧洲计算机视觉会议。
[24] Jiang，J.和；涂中（2009）。高效的尺度空间自动控制用于图像分割和标记。程序中。计算机视觉和模式识别。
[25] Kohli，P.和；Kumar，M.P.（2010年）。线性包络磁流变液的能量最小化。程序中。计算机视觉和模式识别。
[26] Kohli，P.、Kumar，M.P.和；Torr，P.H.（2009年a）。P3及以上：求解高阶函数的移动生成算法。IEEE模式分析和机器智能汇刊，31（9），1645-1656·doi:10.1109/TPAMI.2008.217
[27] 科尔里·P·拉迪克·L·；Torr，P.H.（2009年b）。增强标签一致性的强大高阶潜力。国际计算机视觉杂志，82（3），302-324·Zbl 05671877号 ·doi:10.1007/s11263-008-0202-0
[28] Koller，D.、Lerner，U.和；Angelov，D.（1999）。近似推理的通用算法及其在混合贝叶斯网中的应用。程序中。人工智能不确定性年会。
[29] Kumar，M.P.、Torr，P.和；Zisserman，A.（2005）。对象切割。程序中。计算机视觉和模式识别。
[30] Kumar，S.和；Hebert，M.（2005）。用于统一基于上下文的分类的层次字段框架。程序中。IEEE计算机视觉国际会议。
[31] Ladicky，L.、Russell，C.、Kohli，P.和；Torr，P.（2009）。用于对象类图像分割的关联层次crf。程序中。IEEE计算机视觉国际会议。
[32] Ladicky，L.、Russell，C.、Kohli，P.和；Torr，P.H.S.（2010年a）。基于图割的推理与共现统计。程序中。欧洲计算机视觉会议。
[33] Ladicky，L.、Sturgess，P.、Alahari，K.、Russell，C.和；Torr，P.H.S.（2010年b）。什么，在哪里&；有多少？结合目标检测器和crf。程序中。欧洲计算机视觉会议。
[34] Lauritzen，S.L.（1996年）。图形模型。牛津统计科学系列。伦敦：牛津大学出版社。
[35] Lazebnik，S.、Schmid，C.和；Ponce，J.（2006）。除了一袋袋的特征：用于识别自然场景类别的空间金字塔匹配。程序中。计算机视觉和模式识别。
[36] Lee，Y.和；Grauman，K.（2010年）。用于上下文软件类别发现的对象粒度。程序中。计算机视觉和模式识别。
[37] Leibe，B.、Leonardis，A.和；Schiele，B.（2008）。具有交错分类和分割的鲁棒对象检测。国际计算机视觉杂志，77（1-3），259-289·Zbl 05322224号 ·文件编号：10.1007/s11263-007-0095-3
[38] Lempitsky，V.、Kohli，P.、Rother，C.和；Sharp，T.（2009）。图像分割之前使用边界框。程序中。IEEE计算机视觉国际会议。
[39] A.莱文；Weiss，Y.（2009）。学习将自下而上和自上而下的细分相结合。国际计算机视觉杂志，81（1），1645-1656·Zbl 05671846号 ·doi:10.1007/s11263-008-0166-0
[40] Li，F.、Carreira，J.和；Sminchisescu，C.（2010年）。物体识别作为排名整体图形背景假设。程序中。计算机视觉和模式识别。
[41] Li，Y.和；Huttenlocher，D.P.（2008）。稀疏长程随机场及其在图像去噪中的应用。程序中。欧洲计算机视觉会议。
[42] Lim，J.J.、Arbelaez，P.、Gu，C.和；Malik，J.（2009）。按地区血统划分的上下文。程序中。IEEE计算机视觉国际会议。
[43] Lowe，D.G.（2004）。具有与比例不变关键点不同的图像特征。国际计算机视觉杂志，60（2），91–110·Zbl 02244065号 ·doi:10.1023/B:VISI.0000029664.99615.94
[44] 马吉（Maji，S.）、伯格（Berg，A.C.）和；Malik，J.（2008）。使用交叉核支持向量机进行分类是有效的。程序中。计算机视觉和模式识别。
[45] Marr，D.（1982）。视觉：对人类视觉信息的表征和处理进行的计算研究。旧金山：弗里曼。
[46] Martin，D.、Fowlkes，C.、Tal，D.和；Malik，J.（2001）。人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。程序中。IEEE计算机视觉国际会议。
[47] Martin，D.R.、Fowlkes，C.C.和；Malik，J.（2004）。学习使用局部亮度、颜色和纹理线索检测自然图像边界。IEEE模式分析和机器智能汇刊，26（5），530-549·Zbl 05111303号 ·doi:10.1109/TPAMI.2004.1273918
[48] Mori，G.、Ren，X.、Efros，A.A.和；Malik，J.（2004）。恢复人体形态：结合分割和识别。程序中。计算机视觉和模式识别。
[49] Munoz，D.、Bagnell，J.A.、Vandapel，N.和；Hebert，M.（2009）。基于函数最大边缘马尔可夫网络的上下文分类。程序中。计算机视觉和模式识别。
[50] Munoz，D.、Bagnell，J.A.和；Hebert，M.（2010年）。堆叠分层标签。程序中。欧洲计算机视觉会议。
[51] Nowak，E.、Jurie，F.和；Triggs，B.（2006年）。用于特征图像分类的采样策略。程序中。欧洲计算机视觉会议。
[52] Ojala，T.、Pietikäinen，M.和；Mäenpää，T.（2002年）。具有局部二值模式的多分辨率灰度和旋转不变纹理分类。IEEE模式分析和机器智能汇刊，24（7），971–987·doi:10.1109/TPAMI.2002.1017623
[53] 奥利瓦·A·；Torralba，A.（2007年）。上下文在对象识别中的作用。认知科学趋势，11（12），520-527·doi:10.1016/j.tics.2007.09.009
[54] Pantofaru，C.、Schmid，C.和；Hebert，M.（2008）。通过集成多个图像分割进行目标识别。程序中。欧洲计算机视觉会议。
[55] Plath，N.、Toussant，M.和；Nakajima，S.（2009年）。使用条件随机场和全局分类的多类图像分割。程序中。机器学习国际会议。
[56] Platt，J.C.（1999）。支持向量机的概率输出以及与正则化似然方法的比较。大幅度分类器的进展。
[57] Rabinovich，A.、Vedaldi，A.、Galleguillos，C.、Wiewiora，E.和；Belongie，S.（2007）。上下文中的对象。程序中。IEEE计算机视觉国际会议。
[58] Ramalingam，S.、Kohli，P.、Alahari，K.和；Torr，P.H.S.（2008）。具有高阶团的多标签crf中的精确推理。程序中。计算机视觉和模式识别。
[59] Roth，S.和；布莱克，M.J.（2009年）。专家领域。国际计算机视觉杂志，82（2），205-229·Zbl 1477.68419号 ·doi:10.1007/s11263-008-0197-6
[60] Rother，C.、Kohli，P.、Feng，W.和；Jia，J.（2009）。最小化离散变量的稀疏高阶能量函数。程序中。计算机视觉和模式识别。
[61] Russell，C.、Ladicky，L.、Kohli，P.和；Torr，P.H.（2010）。使用图形剪切在关联层次随机场中进行精确和近似推理。程序中。人工智能不确定性年会。
[62] van de Sande，K.E.A.、Gevers，T.和；斯诺克，C.G.M.（2010）。评估对象和场景识别的颜色描述符。IEEE模式分析和机器智能汇刊，32（10），1582-1596·doi:10.1109/TPAMI.2009.154
[63] 施密德·C·；Mohr，R.（1997）。用于图像检索的局部灰度值不变量。IEEE模式分析和机器智能汇刊，19（5），530-535·兹伯利05111475 ·doi:10.1109/34.589215
[64] Shahbaz Khan，F.、van de Weijer，J.和；Vanrell，M.（2009年）。对象识别的自上而下的颜色注意。程序中。IEEE计算机视觉国际会议。
[65] Shechtman，E.和；Irani，M.（2007）。匹配图像和视频之间的局部自相似性。程序中。计算机视觉和模式识别。
[66] 肖顿（Shotton，J.）、约翰逊（Johnson，M.）和；Cipolla，R.（2008）。用于图像分类和分割的语义文本森林。程序中。计算机视觉和模式识别。
[67] Shotton，J.、Winn，J.和Rother，C；克里米尼西，A.（2009）。用于图像理解的Textonboost：通过联合建模纹理、布局和上下文来识别和分割多类对象。国际计算机视觉杂志，81（1），2–23·兹伯利05671841 ·doi:10.1007/s11263-007-0109-1
[68] Sivic，J.和；Zisserman，A.（2003）。视频谷歌：一种用于视频中对象匹配的文本检索方法。程序中。IEEE计算机视觉国际会议。
[69] Sudderth，E.B.、Ihler，A.T.、Ihle，E.T.、Freeman，W.T.和；Willsky，A.S.（2002）。非参数信念传播。程序中。计算机视觉和模式识别。
[70] 图、Z、&；朱S.C.（2002）。基于数据驱动的马尔可夫链蒙特卡罗图像分割。IEEE模式分析和机器智能汇刊，24（5），657-673·doi:10.1109/34.1000239
[71] Tu，Z.，Chen，X.，Yuille，AL和；朱S.C.（2005）。图像解析：统一分割、检测和识别。国际计算机视觉杂志，63（2），18-25·Zbl 02244104号 ·doi:10.1007/s11263-005-6642-x
[72] Vazquez，E.、Baldrich，R.、van de Weijer，J.和；Vanrell，M.（2011年）。描述对阴影、高光和纹理鲁棒的颜色分割反射。IEEE模式分析和机器智能汇刊，33（5），917-930·doi:10.1109/TPAMI.2010.146
[73] Vedaldi，A.和；Soatto，S.（2008）。模式搜索的快速移位和内核方法。程序中。欧洲计算机视觉会议。
[74] Verbeek，J.和；Triggs，B.（2008）。使用从部分标记图像中学习的crfs进行场景分割。神经信息处理系统进展。
[75] Wainwright，M.J.和；Jordan，M.I.（2008）。图形模型、指数族和变分推理。汉诺威：Now Publishers Inc·Zbl 1193.62107号
[76] van de Weijer，J.、Schmid，C.、Verbeek，J.和；Larlus，D.（2009年）。学习真实应用程序的颜色名称。IEEE图像处理汇刊，18（7），1512-1523·Zbl 1371.68246号 ·doi:10.10109/TIP.2009.2019809
[77] Winn，J.和；Jojic，N.（2005）。位置：使用无监督分割学习对象类。程序中。IEEE计算机视觉国际会议。
[78] Woodford，O.、Torr，P.H.、Reid，I.和；Fitzgibbon，A.（2009年）。二阶平滑先验下的全局立体重建。IEEE模式分析和机器智能汇刊，31（12），2115–2128·doi:10.1109/TPAMI.2009.131
[79] Yang，J.、Yuz，K.、Gongz，Y.和；Huang，T.（2009）。使用稀疏编码的线性空间金字塔匹配用于图像分类。程序中。计算机视觉和模式识别。
[80] Yang，L.，Meer，P.和；Foran，D.J.（2007）。在均值漂移补丁上使用统一框架进行多类分割。程序中。计算机视觉和模式识别。
[81] Yang，Y.、Hallman，S.、Ramanan，D.和；Fowlkes，C.（2010）。用于多类分割的分层对象检测。程序中。计算机视觉和模式识别。
[82] Zhang，J.、Marszałek，M.、Lazebnik，S.和；Schmid，C.（2007）。纹理和对象类别分类的局部特征和核心：综合研究。国际计算机视觉杂志，73（2），213-238·Zbl 05146333号 ·doi:10.1007/s11263-006-9794-4
[83] Zhu，L.，Chen，Y.，Lin，Y；Yuille，A.L.（2008）。用于2D解析的递归分段和识别模板。神经信息处理系统进展。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。