×

基于迭代亲和学习的弱监督语义分割。 (英语) Zbl 1471.68298号

摘要:弱监督语义分割是一个具有挑战性的任务,因为没有像素级的标签信息可供训练。最近的方法利用分类网络,通过选择响应强的区域来定位目标。虽然这样的响应图提供了稀疏的信息,但是在自然图像中,像素之间存在着很强的成对关系,可以用来将稀疏映射传播到更密集的图像中。本文提出了一种迭代算法来学习这种成对关系,它由两个分支组成:一元分割网络学习每个像素的标记概率;一对相似网络学习亲和矩阵并提炼由一元网络生成的概率图。然后将成对网络的细化结果作为监督,对一元网络进行训练,迭代进行,逐步获得更好的分割结果。为了在不需要精确标注的情况下学习可靠的像素亲和力,我们还提出了挖掘置信区域的方法。我们证明了迭代训练这个框架相当于优化一个收敛到局部极小的能量函数。在PASCAL voc2012和COCO数据集上的实验结果表明,该算法与现有的方法相比具有良好的性能。

理学硕士:

68U10 图像处理的计算方法
68T05型 人工智能中的学习与自适应系统
68T45型 机器视觉与场景理解
PDF格式 BibTeX公司 XML 引用

参考文献:

[1] Ahn,J.和Kwak,S.(2018年)。利用图像级监督学习像素级语义亲和力进行弱监督语义分割。IEEE计算机视觉与模式识别会议论文集(第4981-4990页)。
[2] Bearman,A.,Russakovsky,O.,Ferrari,V.和Fei Fei,L.(2016年)。重点是:使用点监督的语义分割。欧洲计算机视觉会议论文集(第549-565页)。
[3] Bertasius,G.,Torresani,L.,Stella,X.Y.和Shi,J.(2017年)。用于语义图像分割的卷积随机游动网络。IEEE计算机视觉与模式识别会议论文集(第858-866页)。
[4] 陈,LC;帕潘德里欧,G。;科基诺斯一世。;墨菲,K。;Yuille,AL,Deeplab:使用深卷积网、Atrus卷积和完全连接的CRF进行语义图像分割,IEEE模式分析和机器智能交易(PAMI),40,4834-848(2018)
[5] Chen,L.C.,Papandreou,G.,Schroff,F.和Adam,H.(2017年)。对电子卷积用于语义图像分割的再思考。arXiv预印本arXiv:1706.05587
[6] Dai,J.,He,K.和Sun,J.(2015)Boxsup:利用边界盒来监督卷积网络进行语义分割。在IEEE国际计算机视觉会议记录(ICCV)(第1635-1643页)。
[7] Everingham,M。;范古尔,L。;威廉姆斯,康涅狄格州;维恩,J。;Zisserman,A.,pascal可视化对象类(VOC)挑战,国际计算机视觉杂志(IJCV),88,22303-338(2010)
[8] Fan,R.,Cheng,M.M.,Hou,Q.,Mu,T.J.,Wang,J.和Hu,S.M.(2019年)。S4net:单阶段显著实例分割。IEEE计算机视觉与模式识别会议论文集(第6103-6112页)。
[9] Fan,R.,Hou,Q.,Cheng,M.M.,Yu,G.,Martin,R.R.,和Hu,S.M.(2018年)。结合图像间显著实例进行弱监督语义分割。欧洲计算机视觉会议论文集(第367-383页)。
[10] 费尔泽斯瓦布,PF;Huttenlocher,DP,基于有效图的图像分割,国际计算机视觉杂志(IJCV),59,2167-181(2004)
[11] 哈根,L。;Kahng,AB,比率割划分和聚类的新谱方法,IEEE集成电路与系统计算机辅助设计汇刊,111074-1085(1992)
[12] Hariharan,B.,Arbeláez,P.,Bourdev,L.,Maji,S.和Malik,J.(2011年)。反向检测器的语义轮廓。在IEEE国际计算机视觉会议记录(ICCV)(第991-998页)。
[13] He,K.,Zhang,X.,Ren,S.,和Sun,J.(2016年)。图像识别的深度残差学习。IEEE计算机视觉与模式识别会议论文集(第770-778页)。
[14] Huang,Z.,Wang,X.,Wang,J.,Liu,W.和Wang,J.(2018年)。具有深种子区域生长的弱监督语义分割网络。IEEE计算机视觉与模式识别会议论文集(第7014-7023页)。
[15] Jia,Y.,Shelhamer,E.,Donahue,J.,Karayev,S.,Long,J.,Girshick,R.,Guadarrama,S.和Darrell,T.(2014年)。Caffe:快速特征嵌入的卷积体系结构。国际多媒体会议论文集(第675-678页)。
[16] Kersten,D.,《自然图像的可预测性和冗余性》,JOSA A,4,12,2395-2400(1987)
[17] Khoreva,A.,Benenson,R.,Hosang,J.,Hein,M.和Schiele,B.(2017年)。很简单:弱监督实例和语义分割。IEEE计算机视觉与模式识别会议论文集(第876-885页)。
[18] Kolesnikov,A.和Lampert,C.H.(2016年)。种子、扩展和约束:弱监督图像分割的三个原则。欧洲计算机视觉会议论文集(第695-711页)。
[19] 莱文,A。;利钦斯基,D。;Weiss,Y.,自然图像处理的封闭式解决方案,IEEE模式分析与机器智能汇刊(PAMI),30228-242(2008)
[20] Lin,D.,Dai,J.,Jia,J.,He,K.,和Sun,J.(2016年)。Scribblesup:用于语义分割的Scribble监督卷积网络。IEEE计算机视觉与模式识别会议论文集(第3159-3167页)。
[21] Lin,T.Y.,Maire,M.,Belongie,S.,Hays,J.,Perona,P.,Ramanan,D.,Dollár,P.和Zitnick,C.L.(2014年)。microsoftcoco:上下文中的公共对象。欧洲计算机视觉会议论文集(第740-755页)。
[22] Liu,S.,De Mello,S.,Gu,J.,Zhong,G.,Yang,M.H.和Kautz,J.(2017年)。通过空间传播网络学习亲和力。神经信息处理系统年会论文集(第1520-1530页)。
[23] Long,J.,Shelhamer,E.和Darrell,T.(2015年)。用于语义分割的完全卷积网络。IEEE计算机视觉与模式识别会议论文集(第3431-3440页)。
[24] Maire,M.,Narihira,T.和Yu,S.X.(2016年)。亲和力CNN:学习图形/背景嵌入的像素中心成对关系。IEEE计算机视觉与模式识别会议论文集(第174-182页)。
[25] Papandreou,G.,Chen,L.C.,Murphy,K.P.,和Yuille,A.L.(2015年)。一种用于语义图像分割的深卷积网络弱半监督学习。在IEEE国际计算机视觉会议记录(ICCV)(第1742-1750页)。
[26] Pathak,D.,Krahenbuhl,P.和Darrell,T.(2015年)。用于弱监督分割的约束卷积神经网络。在IEEE国际计算机视觉会议记录(ICCV)(1796-1804页)。
[27] Pathak,D.,Shelhamer,E.,Long,J.和Darrell,T.(2014年)。完全卷积多类多实例学习。arXiv预印本arXiv:1412.7144。
[28] Pinheiro,P.O.和Collobert,R.(2015年)。从图像级到像素级的卷积网络标记。IEEE计算机视觉与模式识别会议论文集(第1713-1721页)。
[29] 齐,X.,刘,Z.,施,J.,赵,H.和贾,J.(2016年)。图像级监督下的增强反馈语义分割。欧洲计算机视觉会议论文集(第90-105页)。
[30] Roy,A.和Todorovic,S.(2017年)。结合自下而上,自上而下,和平滑线索弱监督图像分割。IEEE计算机视觉与模式识别会议论文集(第3529-3538页)。
[31] Saleh,F.,Aliakbarian,M.S.,Salzmann,M.,Petersson,L.,Gould,S.和Alvarez,J.M.(2016年)。内置前景/背景先验的弱监督语义分割。欧洲计算机视觉会议论文集(第413-432页)。
[32] 施,J。;Malik,J.,标准化切割和图像分割,IEEE模式分析与机器智能汇刊(PAMI),22,888-905(2000)
[33] Shimoda,W.和Yanai,K.(2016年)。用于弱监督语义分割的不同类别的显著性映射。欧洲计算机视觉会议论文集(第218-234页)。
[34] Simonyan,K.和Zisserman,A.(2014年)。用于大规模图像识别的非常深的卷积网络。arXiv预印本arXiv:1409.1556。
[35] 王,X。;硕士,H。;陈,X。;You,S.,用于显著目标检测的边缘保持和多尺度上下文神经网络,IEEE图像处理学报(TIP),27,121-134(2018)·Zbl 1409.94631号
[36] Wang,X.,You,S.,Li,X.和Ma,H.(2018b)。基于迭代挖掘对象共同特征的弱监督语义分割。IEEE计算机视觉与模式识别会议论文集(第1354-1362页)。
[37] 魏永成,郑中凯等(1989)利用比率切割分割进行有效的层级设计。在IEEE计算机辅助设计国际会议(第298-301页)。
[38] Wei,Y.,Feng,J.,Liang,X.,Cheng,M.M.,Zhao,Y.,和Yan,S.(2017a)。对抗性删除的目标区域挖掘:一种简单的分类到语义分割的方法。IEEE计算机视觉与模式识别会议论文集(第1568-1576页)。
[39] 魏,Y。;梁某。;陈,Y。;沈,X。;程,MM;冯,J。;赵勇。;Yan,S.,STC:弱监督语义分割的简单到复杂框架,IEEE模式分析与机器智能交易(PAMI),39,11,2314-2320(2017)
[40] Wei,Y.,Xiao,H.,Shi,H.,Jie,Z.,Feng,J.和Huang,T.S.(2018年)。再论扩张卷积:弱半监督语义分割的一种简单方法。IEEE计算机视觉与模式识别会议论文集(第7268-7277页)。
[41] Zhao,H.,Shi,J.,Qi,X.,Wang,X.和Jia,J.(2017年)。金字塔场景解析网络。IEEE计算机视觉与模式识别会议论文集(第2881-2890页)。
[42] Zhou,B.,Khosla,A.,Lapedriza,A.,Oliva,A.和Torralba,A.(2016年)。学习区分性本地化的深层特征。IEEE计算机视觉与模式识别会议论文集(第2921-2929页)。
[43] 周,B。;赵,H。;普伊格,X。;肖,T。;费德勒,S。;Barriuso,A.,通过ade20k数据集对场景的语义理解,国际计算机视觉杂志(IJCV),127,3,302-321(2019)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。