×
韩超;雷，于;谢、余;周德云;龚茂国

使用广义softmax学习平滑表示，以实现无监督的域自适应。 （英语） Zbl 1475.62188号

信息科学。 544, 415-426 (2021).
摘要：领域自适应旨在利用不同但相关的源领域中的数据，在目标领域中训练准确的分类器，这在许多方面都取得了很大的进展。现有的方法大多通过将数据的矩映射到特征空间（第一矩或第二矩）来匹配数据的矩，从而匹配分布。尽管这些模型很有吸引力，但它们往往无法保证获得的特征能够很好地分类。在本文中，我们提出了广义softmax和平滑正则化来同时提取特征和自适应分类器。考虑到标签矩阵作为特殊特征，广义softmax对属于同一类的样本的多样性具有更大的容忍度。平滑正则化保证了目标特征和决策边界之间较强的鲁棒性。最后，我们在几个标准基准数据集上评估了我们的方法。实证结果表明，该方法与现有方法具有可比性或优越性，基于两种分类方案的相同结果表明，平滑正则化是有效的。

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）

关键词：

领域适应;广义softmax;平滑正则化

软件：

AlexNet公司;minFunc（最小功能）;Wasserstein甘;ImageNet公司
PDF格式BibTeX公司 XML格式引用
\textit{C.Han}等人，《信息科学》。544、415--426（2021年；Zbl 1475.62188）
全文： 内政部

参考文献：

[1] 潘，S.J。；Yang，Q.，迁移学习调查，IEEE Trans。知识。数据工程，22，10，1345-1359（2009）
[2] Ben-David，S。；布利泽，J。；克拉默，K。；Pereira，F.，领域适应表征分析，高级神经信息处理。系统。，137-144 (2007)
[3] 布利泽，J。；克拉默，K。；Kulesza，A。；佩雷拉，F。；沃特曼，J.，领域适应的学习界限，高级神经信息处理。系统。，129-136 (2008)
[4] Ben-David，S。；布利泽，J。；克拉默，K。；Kulesza，A。；佩雷拉，F。；沃恩，J.W.，《从不同领域学习的理论》，马赫。学习。，第79页，第1页至第2页，第151-175页（2010年）·Zbl 1470.68081号
[5] 潘，S.J。；Tsang，I.W。；郭敬通（Kwok，J.T.）。；Yang，Q.，通过传输组件分析进行域自适应，IEEE Trans。神经网络。学习。系统。，22, 2, 199-210 (2010)
[6] M.Long，J.Wang，G.Ding，J..Sun，P.S.Yu，《联合分布自适应的转移特征学习》，载于：IEEE计算机视觉国际会议，2013年，第2200-2207页。
[7] B.Sun，J.Feng，K.Saenko，《令人沮丧的简单域适应的回归》，载于：2016年美国人工智能协会人工智能会议，第2058-2065页。
[8] W.Zellinger，T.Grubinger，E.Lughofer，T.Natschlager，S.Samingerplatz，域内变量表征学习的中心力矩差异（cmd），收录于：2011年学习表征国际会议，第1017-1025页。
[9] 泽林格，W。；莫瑟，B。；Grubinger，T。；Lughofer，E。；Natschlager，T。；Samingerplatz，S.，《通过力矩对齐实现神经网络的鲁棒无监督域自适应》，《信息科学》。，483, 174-191 (2019) ·Zbl 1448.68383号
[10] A.Rozantsev，M.Salzmann，P.Fua，深域自适应剩余参数转移，收录于：IEEE计算机视觉和模式识别会议，2018年，第4339-4348页。
[11] 王，M。；Deng，W.，《深度视觉领域适应：一项调查》，神经计算，312135-153（2018）
[12] 加宁，Y。；Ustinova，E。；Ajakan，H。；Germain，P。；拉罗谢尔，H。；Laviolette，F。；Marchand，M。；Lempitsky，V.，神经网络的域-变量训练，J.Mach。学习。第17号、第1号、第189-209号决议（2016年）·Zbl 1360.68671号
[13] E.Tzeng，J.Hoffman，K.Saenko，T.Darrell，对抗性区分域适应，收录于：IEEE计算机视觉和模式识别会议，2017年，第7167-7176页。
[14] K.Saito，K.Watanabe，Y.Ushiku，T.Harada，无监督域自适应的最大分类器差异，收录于：IEEE计算机视觉和模式识别会议，2018年，第3723-3732页。
[15] H.Yan，Y.Ding，P.Li，Q.Wang，Y.Xu，W.Zuo，Mind the class weight bias:weighted maximum mean difference for unsupervised domain adaptation，收录于：IEEE Conference on Computer Vision and Pattern Recognition，2017年，第2272-2281页。
[16] I.Goodfellow，J.Pouget-Abadie，M.Mirza，B.Xu，D.Warde-Farley，S.Ozair，A.Courville，Y.Bengio，《生成性对抗网络》，收录于：《神经信息处理系统的进展》，2014年，第2672-2680页。
[17] M.Arjovsky、S.Chintala、L.Bottou、Wasserstein生成性对抗网络，摘自：IEEE机器学习国际会议，2017年，第214-223页。
[18] D.-H.Lee，《伪拉贝尔：深度神经网络的简单高效半监督学习方法》，载《表征学习挑战研讨会》，2013年，第2页。
[19] 古德费罗，I.J。；Erhan，D。；承运人，P.L。；科尔维尔，A。；米尔扎，M。；B.哈姆纳。；Cukierski，W。；Tang，Y。；泰勒，D。；Lee，D.-H.，《表征学习的挑战：三次机器学习竞赛的报告》，神经网络。，64, 59-63 (2015)
[20] 最小值，S。；Lee，B。；Yoon，S.，《生物信息学的深度学习》，简介。生物信息。，1851-869年5月18日（2017年）
[21] A.Coates，A.Y.Ng，《使用k-means学习特征表示法》，收录于：《神经网络：交易技巧》，2012年，第561-580页。
[22] C.Gui，J.Hu，通过正则化softmax激活实现的无监督域自适应，收录于：国际模式识别会议，2018年，第397-402页。
[23] Nikzadlangerodi，R。；Zellinger，W。；Lughofer，E。；Samingerplatz，S.，域内变偏最小二乘回归，分析。化学。，90, 11, 6693-6701 (2018)
[24] B.Gong，Y.Shi，F.Sha，K.Grauman，用于无监督领域自适应的大地测量流内核，载于：IEEE计算机视觉和模式识别会议，2012年，第2066-2073页。
[25] 何凯、张旭、任松生、孙建军，图像识别的深度残差学习，收录于：IEEE计算机视觉与模式识别，2016年，第770-778页。
[26] Han，C。；雷，Y。；谢毅。；周，D。；龚，M.，基于改进a-distance和稀疏滤波的视觉域自适应，模式识别。，104，第107254条pp.（2020）
[27] M.Schmidt，minfunc：matlab中的无约束可微多元优化，可用软件网址：http://www.cs.ubc.ca/chmidtm/Software/minFunc.htm。
[28] J.Wang等，《关于迁移学习和领域适应的一切》。http://transferlearning.xyz。
[29] 吉法利，M。；Balduzzi博士。；Kleijn，W.B。；Zhang，M.，《分散组件分析：领域适应和领域泛化的统一框架》，IEEE Trans。模式分析。机器。智力。，39, 7, 1414-1430 (2017)
[30] H.Lu，L.Zhang，Z.Cao，W.Wei，K.Xian，C.Shen，A.van den Hengel，《当无监督域自适应满足张量表示时》，载于：IEEE计算机视觉国际会议，2017年，第599-608页。
[31] 丁，Z。；Fu，Y.，图像分类的鲁棒传输度量学习，IEEE Trans。图像处理。，26, 2, 660-670 (2017) ·Zbl 1409.94119号
[32] A.Krizhevsky，I.Sutskever，G.E.Hinton，深度卷积神经网络的Imagenet分类，《神经信息处理系统进展》，2012年，第1097-1105页。
[33] M.Long，Y.Cao，J.Wang，M.I.Jordan，《利用深度适应网络学习可转换特征》，收录于：IEEE机器学习国际会议，2015年，第97-105页。
[34] E.Tzeng，J.Hoffman，N.J.Zhang，K.Saenko，T.Darrell，《深层域混淆：最大化域不变性》，载于：arXiv:计算机视觉和模式识别，2014年。
[35] 乌扎尔，M。；Mian，A.S.，具有增强极端学习机器功能的盲域自适应，IEEE Trans。系统。人类网络。，47, 3, 651-660 (2017)
[36] M.Long，H.Zhu，J.Wang，M.I.Jordan，剩余传输网络的无监督域自适应，摘自：《神经信息处理系统的进展》，2016年，第136-144页。
[37] M.Long、H.Zhu、J.Wang、M.I.Jordan，《利用联合适应网络进行深度迁移学习》，载于：IEEE机器学习国际会议，2017年，第2208-2217页。
[38] Z.Pei，Z.Cao，M.Long，J.Wang，多变量域自适应，载于：2018年AAAI人工智能会议，第3934-3941页。
[39] W.Zhang，W.Ouyang，W.Li，D.Xu，无监督域自适应的协作和对抗网络，收录于：IEEE计算机视觉和模式识别，2018年，第3801-3809页。
[40] C.Chen，Z.Chen，B.Jiang，X.Jin，用于无监督深层域自适应的联合域对齐和鉴别特征学习，载于：2019年AAAI人工智能会议，第3296-3303页。
[41] Shi，W。；凌，Q。；袁，K。；Wu，G。；Yin，W.，关于分散一致性优化中admm的线性收敛性，IEEE Trans。信号处理。，62, 7, 1750-1761 (2014) ·Zbl 1394.94532号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。