×

通过分离表征学习在野外进行无监督领域适应。 (英语) Zbl 1483.68437号

摘要:最近提出的无监督域自适应算法试图通过对抗训练混淆域分类器来学习域不变特征。在本文中,我们认为这在现实环境中可能不是最佳的解决方案(也称为野生环境),因为域之间标签信息的差异在很大程度上被忽略了。由于在无监督的领域自适应任务中,标记实例在目标领域中不可用,因此很难明确捕捉领域之间的标签差异。为了解决这个问题,我们建议学习一种基于隐式自动编码器的解纠缠潜在表示。特别是,潜在的表示被分解为全局代码和局部代码。全局代码通过带有先验信息的编码器捕获类别信息,本地代码可以跨域传输,通过隐式解码器捕获“样式”相关信息。数字识别、对象识别和语义分割的实验结果证明了该方法的有效性。

MSC公司:

68T45型 机器视觉和场景理解
68T05型 人工智能中的学习和自适应系统
68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Ben-David,S。;布利泽,J。;克拉默,K。;Kulesza,A。;佩雷拉,F。;沃恩,JW,《不同领域的学习理论》,机器学习,79,1-2,151-175(2010)·Zbl 1470.68081号 ·文件编号:10.1007/s10994-009-5152-4
[2] Benford,F.,《反常数定律》,《美国哲学学会学报》,78,4,551-572(1938)
[3] Bousmalis,K.、Silberman,N.、Dohan,D.、Erhan,D.&Krishnan,D.(2017年)。生成性对抗网络的无监督像素级域自适应。在CVPR中。
[4] 曹,Z.,You,K.,Long,M.,Wang,J.,&Yang,Q.(2019)。学习转移部分领域适应的示例。在CVPR中。
[5] Chen,X.、Duan,Y.、Houthooft,R.、Schulman,J.、Sutskever,I.和Abbeel,P.(2016)。Infogan:通过信息最大化生成性对抗网络进行可解释表示学习。在NeurIPS中。
[6] Chen,Y.、Li,W.和Van Gool,L.(2018)。道路:面向现实的城市场景语义分割适应。在CVPR中。
[7] Cordts,M.、Omran,M.,Ramos,S.、Rehfeld,T.、Enzweiler,M.和Benenson,R.等人(2016)。用于语义城市场景理解的城市景观数据集。在CVPR中。
[8] Deng,J.,Dong,W.,Socher,R.,Li,L.-J.,Li.,K.,&Fei-Fei,L.(2009)。Imagenet:大规模分层图像数据库。在CVPR中。
[9] French,G.、Mackiewicz,M.和Fisher,M.(2017年)。视觉领域自适应的自集成。arXiv预打印arXiv:1706.05208。
[10] 加宁,Y。;乌斯季诺娃,E。;阿贾坎,H。;Germain,P。;拉罗谢尔,H。;Laviolette,F.,神经网络的领域-变量训练,机器学习研究杂志,17,2096-2030(2016)·Zbl 1360.68671号
[11] Ghifary,M.、Kleijn,W.B.、Zhang,M.,Balduzzi,D.和Li,W.(2016)。用于无监督领域适应的深度重建分类网络。在ECCV中。
[12] Goodfellow,I.、Pouget-Abadie,J.、Mirza,M.、Xu,B.、Warde-Farley,D.、Ozair,S.等人(2014)。生成性对抗网络。在NeurIPS中。
[13] Haeusser,P.、Frerix,T.、Mordvintsev,A.和Cremers,D.(2017年)。关联域自适应。在CVPR中。
[14] Hendrycks,Da.,&Dietterich,T.(2019年)。标杆神经网络对常见腐蚀和扰动的鲁棒性。在ICLR中。
[15] Hoffman,J.、Tzeng,E.、Park,T.、Zhu,J.-Y.、Isola,P.、Saenko,K.等人(2018年)。Cycada:循环一致的对抗域适应。在ICML中。
[16] Hoffman,J.、Wang,D.、Yu,F.和Darrell,T.(2016)。野生Fcns:像素级对抗性和基于约束的适应。arXiv预打印arXiv:1612.02649。
[17] Huang,J.、Gretton,A.、Borgwardt,K.M.、Schölkopf,B.和Smola,A.J.(2006)。通过未标记数据纠正样本选择偏差。在NeurIPS中。
[18] Huang,X.,Liu,M.-Y.,Belongie,S.,&Kautz,J.(2018)。多模式无监督图像到图像转换。arXiv预打印arXiv:1804.04732。
[19] 赫尔·J·J(1994)。用于手写文本识别研究的数据库。在PAMI。
[20] Isola,P.、Zhu,J.-Y.、Zhou,T.和Efros,A.A.(2017)。使用条件对抗网络进行图像到图像的转换。arXiv预打印。
[21] Kingma,D.P.和Ba,J.(2014)。亚当:一种随机优化方法。arXiv预打印arXiv:1412.6980。
[22] Kingma,D.P.和Welling,M.(2013年)。自动编码变分贝叶斯。arXiv预打印arXiv:1312.6114。
[23] Krizhevsky,A.和Hinton,G.(2009年)。从微小图像中学习多层特征。
[24] Krizhevsky,A.、Sutskever,I.和Hinton,G.E.(2012年)。使用深度卷积神经网络进行图像网络分类。在NeurIPS中。
[25] LeCun,Y。;博图,L。;Y.本吉奥。;Haffner,P.,《基于梯度的学习应用于文档识别》,IEEE会议记录,86,11,2278-2324(1998)·数字对象标识代码:10.1109/5.726791
[26] Levinkov,E.和Fritz,M.(2013)。结构化场景下序贯贝叶斯模型更新先于语义道路场景标注。在CVPR中。
[27] Lin,G.、Milan,A.、Shen,C.和Reid,I.(2017年)。IEEE计算机视觉和模式识别会议记录。
[28] Liu,M.-Y.、Breuel,T.和Kautz,J.(2017)。无监督的图像到图像转换网络。在NeurIPS中。
[29] Liu,M.-Y.和Tuzel,O.(2016)。耦合生成对抗网络。在NeurIPS中。
[30] Liu,Y.-C.,Yeh,Y.-Y.,Fu,T.-C.,Wang,S.-D.,Chiu,W.-C.和Wang,Y.C.F.(2018)。分离和适应:学习跨域分离的深度表示。在CVPR中。
[31] Long,M.、Cao,Y.、Wang,J.和Jordan,M.(2015)。通过深度适应网络学习可转移特征。在ICML中。
[32] Long,J.、Shelhamer,E.和Darrell,T.(2015)。语义分割的完全卷积网络。在CVPR中。
[33] Long,M.、Zhu,H.、Wang,J.和Jordan,M.I.(2016)。剩余传输网络的无监督域自适应。在NeurIPS中。
[34] Makhzani,A.(2018)。隐式自动编码器。arXiv预打印arXiv:1805.09804。
[35] Makhzani,A.和Frey,B.J.(2017年)。Pixelgan自动编码器。在NeurIPS中。
[36] Makhzani,A.、Shlens,J.、Jaitly,N.、Goodfellow,I.和Frey,B.(2015)。对手自动编码器。arXiv预打印arXiv:1511.05644。
[37] Ming Harry Hsu,T.、Yu Chen,W.、Hou,C.-A.、Hubert Tsai,Y.-H.、Yeh,Y.-R.和Frank Wang,Y.C.(2015)。跨域数据不平衡的无监督域自适应。在ICCV中。
[38] Netzer,Y.、Wang,T.、Coates,A.、Bissacco,A.、Wu,B.和Ng,A.Y.(2011年)。使用无监督特征学习读取自然图像中的数字。NeurIPS研讨会,2011卷。
[39] Ngiam,J.、Khosla,A.、Kim,M.、Nam,J.、Lee,H.和Ng,A.Y.(2011)。多模式深度学习。在ICML中。
[40] Pan,S.J.、Tsang,I.W.、Kwok,J.T.和Yang,Q.(2011年)。通过传输组件分析进行域自适应。在TNN中。
[41] Pan,S.J.和Yang,Q.(2010年)。关于迁移学习的调查。在TKDE中。
[42] Pan,Y.、Yao,T.、Li,Y..、Wang,Y.,Ngo,C.-W.和Mei,T.(2019年)。用于无监督域自适应的可传输原型网络。在CVPR中。
[43] Richter,S.R.、Vineet,V.、Roth,S.和Koltun,V.(2016)。数据游戏:从电脑游戏中挖掘真相。在ECCV中。
[44] Ros,G.、Sellart,L.、Materzynska,J.、Vazquez,D.和Lopez,A.M.(2016)。synthia数据集:用于城市场景语义分割的大量合成图像集合。IEEE计算机视觉和模式识别会议记录(第3234-3243页)。
[45] Russo,P.、Carlucci,F.M.、Tommasi,T.和Caputo,B.(2018年)。从源到目标再到源:对称双向自适应gan。在CVPR中。
[46] Saito,K.、Watanabe,K.,Ushiku,Y.和Harada,T.(2018年)。无监督域自适应的最大分类器差异。在CVPR中。
[47] Sankaranarayanan,S.、Balaji,Y.、Jain,A.、Lim,S.N.和Chellappa,R.(2017年)。使用gans进行语义分割的无监督域自适应。arXiv预打印arXiv:1711.06969。
[48] Schölkopf,B.、Janzing,D.、Peters,J.、Sguritsa,E.、Zhang,K.和Mooij,J.(2012)。关于因果学习和反阅读学习。在ICML中·Zbl 1330.68253号
[49] Shrivastava,A.、Pfister,T.、Tuzel,O.、Susskind,J.、Wang,W.和Webb,R.(2017)。通过对抗性训练从模拟和无监督图像中学习。CVPR,第2卷,第5页。
[50] Simonyan,K.和Zisserman,A.(2014)。用于大规模图像识别的深度卷积网络。arXiv预打印arXiv:1409.1556。
[51] Taigman,Y.、Polyak,A.和Wolf,L.(2016)。无监督跨域图像生成。arXiv预打印arXiv:1611.02200。
[52] Tsai,Y.-H、Hung,W.-C、Schulter,S.、Sohn,K.、Yang,M.-H和Chandraker,M.(2018)。学习调整结构化输出空间以进行语义分割。arXiv预印本arXiv:1802.10349。
[53] Tzeng,E.、Hoffman,J.、Darrell,T.和Saenko,K.(2015)。跨域和任务的同步深度传输。在ICCV中。
[54] Tzeng,E.、Hoffman,J.、Saenko,K.和Darrell,T.(2017)。对抗性区分域适应。在CVPR中。
[55] Vu,T.-H.,Jain,H.,Bucher,M.,Cord,M.和Pérez,P.(2019年)。对立面:语义分割中用于领域适应的对立面熵最小化。在CVPR中。
[56] Wang,T.-C.,Liu,M.-Y.,Zhu,J.-Y.、Tao,A.、Kautz,J.和Catanzaro,B.(2017)。使用条件gans进行高分辨率图像合成和语义操作。arXiv预印arXiv:1711.11585。
[57] Zagoruyko,S.和Komodakis,N.(2016年)。广泛的残余网络。arXiv预打印arXiv:1605.07146。
[58] Zhang,Y.、David,P.和Gong,B.(2017)。城市场景语义分割的课程领域适应。在ICCV中。
[59] Zhang,Y.,Qiu,Z.,Yao,T.,Liu,D.,&Mei,T.(2018)。语义分割的完全卷积自适应网络。在CVPR中。
[60] Zhu,J.-Y.,Park,T.,Isola,P.,&Efros,A.A.(2017)。使用循环一致的对抗网络进行未配对的图像到图像转换。arXiv预打印arXiv:1703.10593。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。