×
王翔；刘思飞；马惠民；杨明宣

基于迭代亲和学习的弱监督语义分割。 （英语） Zbl 1471.68298号

国际期刊计算。视觉。 128，第6期，1736-1749（2020）.
摘要：弱监督语义分割是一项具有挑战性的任务，因为没有提供像素级的标签信息用于训练。最近的方法利用分类网络通过选择响应强烈的区域来定位对象。然而，尽管这样的响应图提供稀疏信息，但在自然图像中的像素之间存在强的成对关系，这可以用来将稀疏图传播到密度更大的图。本文提出了一种学习这种成对关系的迭代算法，该算法由两个分支组成，一个一元分割网络学习每个像素的标记概率，另一个成对亲和网络学习亲和矩阵并细化一元网络生成的概率图。然后将两两网络的细化结果用作训练一元网络的监督，并迭代执行这些步骤以逐步获得更好的分割。为了在没有精确注释的情况下学习可靠的像素亲和力，我们还建议挖掘置信区域。我们证明，迭代训练该框架相当于优化收敛到局部极小值的能量函数。在PASCAL VOC 2012和COCO数据集上的实验结果表明，与最先进的方法相比，所提出的算法表现良好。

MSC公司：

68单位10 图像处理的计算方法
68T05型 人工智能中的学习和自适应系统
68T45型 机器视觉和场景理解

关键词：

弱监督学习；语义分割；密切关系

软件：

BoxSup公司；ADE20k公司；PASCAL挥发性有机化合物；MS-COCO公司；卡费；深度实验室
PDF格式BibTeX公司 XML格式引用
\textit{X.Wang}等人，《国际计算杂志》。视觉。128，第6号，1736-1749（2020；Zbl 1471.68298）
全文： 内政部 arXiv公司

参考文献：

[1] Ahn，J.和Kwak，S.（2018年）。针对弱监督语义分割，利用图像级监督学习像素级语义亲和力。《IEEE计算机视觉和模式识别会议论文集》（第4981-4990页）。
[2] Bearman，A.、Russakovsky，O.、Ferrari，V.和Fei-Fei，L.（2016）。重点是：语义分割和点监督。《欧洲计算机视觉会议论文集》（第549-565页）。
[3] Bertasius，G.、Torresani，L.、Stella，X.Y.和Shi，J.（2017）。用于语义图像分割的卷积随机行走网络。《IEEE计算机视觉和模式识别会议论文集》（第858-866页）。
[4] 陈，LC；帕潘德里欧，G。；科基诺斯，I。；墨菲，K。；Yuille，AL，Deeplab:使用深度卷积网络、反褶积和全连接crf进行语义图像分割，IEEE模式分析和机器智能（PAMI）汇刊，40，4，834-848（2018）·doi:10.1109/TPAMI.2017.2699184
[5] Chen，L.C.、Papandreou，G.、Schroff，F.和Adam，H.（2017）。重新思考用于语义图像分割的阿特鲁斯卷积。arXiv预打印arXiv:1706.05587
[6] Dai，J.，He，K.，&Sun，J.（2015）Boxsup:利用边界盒监督卷积网络进行语义分割。IEEE计算机视觉国际会议论文集（第1635-1643页）。
[7] Everingham，M。；Van Gool，L。；威廉姆斯，CK；Winn，J。；Zisserman，A.，《pascal可视对象类（VOC）挑战》，《国际计算机视觉杂志》（IJCV），88，2，303-338（2010）·doi:10.1007/s11263-009-0275-4
[8] Fan，R.、Cheng，M.M.、Hou，Q.、Mu，T.J.、Wang，J.和Hu，S.M.（2019年）。S4net：单阶段显著实例分割。《IEEE计算机视觉和模式识别会议论文集》（第6103-6112页）。
[9] Fan，R.、Hou，Q.、Cheng，M.M.、Yu，G.、Martin，R.R.和Hu，S.M.（2018年）。为弱监督语义分割关联图像间显著实例。《欧洲计算机视觉会议论文集》（第367-383页）。
[10] Felzenszwalb，PF；Huttenlocher，DP，高效的基于图形的图像分割，国际计算机视觉杂志（IJCV），59，2，167-181（2004）·Zbl 1477.68505号 ·doi:10.1023/B:VISI.0000022288.19776.77
[11] 哈根，L。；Kahng，AB，比率分割和聚类的新谱方法，IEEE集成电路和系统计算机辅助设计汇刊，11074-1085（1992）·doi:10.1109/43.159993年
[12] Hariharan，B.、Arbeláez，P.、Boudev，L.、Maji，S.和Malik，J.（2011年）。反向检测器的语义轮廓。在IEEE计算机视觉国际会议论文集（ICCV）中（第991-998页）。
[13] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016）。用于图像识别的深度残差学习。《IEEE计算机视觉和模式识别会议论文集》（第770-778页）。
[14] Huang，Z.、Wang，X.、Waang，J.、Liu，W.和Wang，J.（2018）。弱监督语义分割网络，深层种子区域不断增长。《IEEE计算机视觉和模式识别会议论文集》（第7014-7023页）。
[15] Jia，Y.、Shelhamer，E.、Donahue，J.、Karayev，S.、Long，J.、Girshick，R.、Guadarrama，S.和Darrell，T.（2014）。Caffe：快速特征嵌入的卷积架构。《ACM多媒体国际会议记录》（ACM MM）（第675-678页）。
[16] Kersten，D.，《自然图像的可预测性和冗余性》，JOSA A，4，12，2395-2400（1987）·doi:10.1364/JOSAA.4.002395
[17] Khoreva，A.、Benenson，R.、Hosang，J.、Hein，M.和Schiele，B.（2017年）。简单做到了：弱监督的实例和语义分割。《IEEE计算机视觉和模式识别会议论文集》（第876-885页）。
[18] Kolesnikov，A.和Lampert，C.H.（2016）。种子、扩展和约束：弱监督图像分割的三个原则。《欧洲计算机视觉会议论文集》（第695-711页）。
[19] 莱文，A。；Lischinski，D。；Weiss，Y.，《自然图像铺垫的封闭式解决方案》，IEEE模式分析和机器智能学报（PAMI），30，228-242（2008）·doi:10.1109/TPAMI.2007.1177
[20] Lin，D.，Dai，J.，Jia，J.、He，K.和Sun，J.（2016）。Scribblesup：用于语义分割的Scribble-supervised卷积网络。IEEE计算机视觉和模式识别会议论文集（第3159-3167页）。
[21] Lin，T.Y.、Maire，M.、Belongie，S.、Hays，J.、Perona，P.、Ramanan，D.、Dollár，P.和Zitnick，C.L.（2014）。Microsoft COCO:上下文中的通用对象。《欧洲计算机视觉会议论文集》（第740-755页）。
[22] Liu，S.、De Mello，S.，Gu，J.、Zhong，G.、Yang，M.H.和Kautz，J.（2017）。通过空间传播网络学习亲和力。神经信息处理系统年度会议记录（NeurIPS）（第1520-1530页）。
[23] Long，J.、Shelhamer，E.和Darrell，T.（2015）。语义分割的完全卷积网络。《IEEE计算机视觉和模式识别会议论文集》（第3431-3440页）。
[24] Maire，M.、Narihira，T.和Yu，S.X.（2016）。亲和力CNN：学习图形/地面嵌入的像素中心成对关系。IEEE计算机视觉和模式识别会议记录（CVPR）（第174-182页）。
[25] Papandreou，G.、Chen，L.C.、Murphy，K.P.和Yuille，A.L.（2015）。用于语义图像分割的深度卷积网络的弱和半监督学习。在《IEEE计算机视觉国际会议论文集》（第1742-1750页）中。
[26] Pathak，D.、Krahenbuhl，P.和Darrell，T.（2015）。弱监督分割的约束卷积神经网络。IEEE计算机视觉国际会议（ICCV）论文集（第1796-1804页）。
[27] Pathak，D.、Shelhamer，E.、Long，J.和Darrell，T.（2014）。全卷积多类多实例学习。arXiv预打印arXiv:1412.7144。
[28] Pinheiro，P.O.和Collobert，R.（2015）。从图像级到像素级的卷积网络标记。IEEE计算机视觉和模式识别会议论文集（第1713-1721页）。
[29] Qi，X.、Liu，Z.、Shi，J.、Zhao，H.和Jia，J.（2016）。图像级监督下语义分割的增强反馈。《欧洲计算机视觉会议论文集》（第90-105页）。
[30] Roy，A.和Todorovic，S.（2017年）。结合自下而上、自上而下和平滑度线索进行弱监督图像分割。IEEE计算机视觉和模式识别会议记录（CVPR）（第3529-3538页）。
[31] Saleh，F.、Aliakbarian，M.S.、Salzmann，M.、Peterson，L.、Gould，S.和Alvarez，J.M.（2016）。针对弱监督语义分割的内置前景/背景优先。《欧洲计算机视觉会议论文集》（第413-432页）。
[32] 史J。；Malik，J.，标准化切割和图像分割，IEEE模式分析和机器智能（PAMI）汇刊，22，8，888-905（2000）·doi:10.1009/34.868688
[33] Shimoda，W.和Yanai，K.（2016年）。针对弱监督语义分割的不同类特定显著性映射。《欧洲计算机视觉会议论文集》（第218-234页）。
[34] Simonyan，K.和Zisserman，A.（2014）。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556。
[35] 王，X。；马，H。；陈，X。；You，S.，用于显著目标检测的边缘保持和多尺度上下文神经网络，IEEE图像处理学报（TIP），27，1，121-134（2018）·Zbl 1409.94631号 ·doi:10.1109/TIP.2017.2756825
[36] Wang，X.、You，S.、Li，X.和Ma，H.（2018b）。通过迭代挖掘公共对象特征实现弱监督语义分割。IEEE计算机视觉和模式识别会议论文集（第1354-1362页）。
[37] Wei，Y.C.，Cheng，C.K.，et al.（1989）通过比率分割实现高效的层次设计。IEEE计算机辅助设计国际会议（第298-301页）。
[38] Wei，Y.、Feng，J.、Liang，X.、Cheng，M.M.、Zhao，Y.和Yan，S.（2017a）。带有对手擦除的对象区域挖掘：一种简单的语义分割分类方法。IEEE计算机视觉和模式识别会议论文集（第1568-1576页）。
[39] 魏毅。；X·梁。；陈，Y。；沈，X。；郑，MM；冯，J。；Zhao，Y。；Yan，S.，STC：弱监督语义分割的简单到复杂框架，IEEE模式分析和机器智能学报（PAMI），39，11，2314-2320（2017）·doi:10.1109/TPAMI.2016.2636150
[40] Wei，Y.、Xiao，H.、Shi，H.，Jie，Z.、Feng，J.和Huang，T.S.（2018）。重新审视扩张卷积：一种用于弱和半监督语义分割的简单方法。《IEEE计算机视觉和模式识别会议论文集》（第7268-7277页）。
[41] Zhao，H.、Shi，J.、Qi，X.、Wang，X.和Jia，J.（2017）。金字塔场景解析网络。摘自IEEE计算机视觉和模式识别会议论文集（第2881-2890页）。
[42] Zhou，B.、Khosla，A.、Lapedriza，A.、Oliva，A.和Torralba，A.（2016）。学习深层特征以进行区分性定位。在IEEE计算机视觉和模式识别会议论文集（CVPR）（第2921-2929页）。
[43] 周，B。；赵，H。；普格，X。；肖，T。；菲德勒，S。；Barriuso，A.，通过ade20k数据集对场景的语义理解，国际计算机视觉杂志（IJCV），127，3，302-321（2019）·doi:10.1007/s11263-018-1140-0
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。