×

基于矩对齐的神经网络鲁棒无监督区域自适应。 (英语) Zbl 1448.68383号

摘要:提出了一种新的神经网络无监督区域自适应方法。它依赖于学习过程的基于度量的正则化。基于度量的正则化旨在通过最大化域特定激活分布之间的相似性来实现域不可变的潜在特征表示。提出的度量是通过修改积分概率度量,使其在多项式函数空间上的平移敏感性降低而得到的。该度量在对偶空间中直观地解释为相应激活分布的高阶中心矩之差的总和。在输入分布的适当假设下,证明了连续情况下的误差最小化。通过对情感分析、对象识别和数字识别的标准基准实验的分析表明,所述方法在参数变化方面具有鲁棒性,并且比同类方法实现了更高的分类精度。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Arjovsky,M。;Bottou,L.,《面向生成性对抗网络训练的原则方法》,国际学习代表大会(2017年)
[2] Baktashmotlah,M。;哈兰迪,M.T。;公元前Lovell。;Salzmann,M.,通过域不变投影进行无监督域自适应,IEEE计算机视觉国际会议,769-776(2013)
[3] Ben-David,S。;布利泽,J。;克拉默,K。;Kulesza,A。;佩雷拉,F。;沃恩,J.W.,《从不同领域学习的理论》,马赫。学习。,79, 1-2, 151-175 (2010) ·Zbl 1470.68081号
[4] 布利泽,J。;麦当劳,R。;Pereira,F.,《结构对应学习的领域适应》,自然语言处理经验方法会议,120-128(2006),计算语言学协会
[5] Bousmalis,K。;Trigeorgis,G。;西尔伯曼,N。;Krishnan,D。;Erhan,D.,域分离网络,神经信息处理系统进展,343-351(2016)
[6] 陈,M。;Xu,Z。;温伯格,K。;Sha,F.,用于域自适应的边缘化去噪自动编码器,机器学习国际会议,767-774(2012)
[7] F.Cholet,Keras:theano和张量流的深度学习库,2015年。;F.Cholet,Keras:theano和张量流的深度学习库,2015年。
[8] 科尔特斯,C。;Mohri,M.,回归的领域自适应和样本偏差校正理论和算法,Theor。计算。科学。,519, 103-126 (2014) ·Zbl 1358.68232号
[9] 杜奇,J。;哈赞,E。;Singer,Y.,在线学习和随机优化的自适应次梯度方法,J.Mach。学习。2011年7月12日第2121-2159号决议·兹比尔1280.68164
[10] Dudley,R.M.,《真实分析与概率》,74(2002),剑桥大学出版社·Zbl 1023.60001号
[11] 埃戈佐克,M。;加西亚,L.F。;Wong,W.-K。;Zitikis,R.,一类随机变量第pth个绝对中心矩的最小上界,数学。科学。,37, 2 (2012) ·Zbl 1267.26019号
[12] Fukumizu,K。;格雷顿,A。;兰克里特,G.R。;Schölkopf,B。;Sriperumbudur,B.K.,概率分布RKHS嵌入的核选择和分类,神经信息处理系统进展,1750-1758(2009)
[13] Ganin,Y。;Ustinova,E。;Ajakan,H。;Germain,P。;拉罗谢尔,H。;Laviolette,F。;Marchand,M。;Lempitsky,V.,神经网络的域-变量训练,J.Mach。学习。2962-2971号决议(2016年)
[14] 格洛洛特,X。;Bordes,A。;Bengio,Y.,《大规模情绪分类的领域适应:深度学习方法》,机器学习国际会议,513-520(2011)
[15] 格雷顿,A。;博格沃德,K.M。;拉什,M。;Schölkopf,B。;Smola,A.J.,双样本问题的核方法,神经信息处理系统进展,513-520(2006)
[16] 格雷顿,A。;Sejdinovic,D。;斯特拉赫曼,H。;Balakrishnan,S。;庞蒂尔,M。;Fukumizu,K。;Sriperumbudur,B.K.,大规模双样本测试的最佳内核选择,神经信息处理系统进展,1205-1213(2012)
[17] Haeusser,P。;弗雷里克斯,T。;Mordvintsev,A。;Cremers,D.,关联域适配,国际计算机视觉会议(ICCV),2784-2792(2017)
[18] 雅各布森,J.-H。;Smeulders,A。;Oyallon,E.,i-revnet:深层可逆网络,学习代表国际会议(2018)
[19] Kingma,D.P。;Ba,J.,Adam:随机优化方法,国际学习表征会议(2015)
[20] Krizhevsky,A。;Sutskever,I。;Hinton,G.E.,深度卷积神经网络的Imagenet分类,神经信息处理系统进展,1097-1105(2012)
[21] Y.LeCun,《mnist手写数字数据库》,1998年。http://yann.lecun.com/exdb/mnist/; Y.LeCun,mnist手写数字数据库,1998年。http://yann.lecun.com/exdb/mnist/
[22] LeCun,Y。;本吉奥,Y。;Hinton,G.,《深度学习》,《自然》,521,7553,436-444(2015)
[23] 李,C.-L。;Chang,W.C。;Cheng,Y。;Yang,Y。;Póczos,B.,MMD gan:深入理解矩匹配网络,神经信息处理系统进展,2203-2213(2017)
[24] 李,S。;Song,S。;Huang,G.,领域适应的预测权重调整,IEEE Trans。神经网络。学习。系统。,28, 7, 1682-1695 (2017)
[25] 李毅。;Wang,N。;史J。;刘,J。;Hou,X.,《重新审视实用领域适应的批量规范化》,国际学习表征研讨会(2017年)
[26] Long,M。;曹毅。;Wang,J。;Jordan,M.,《利用深度适应网络学习可转移特征》,《机器学习国际会议论文集》,97-105(2015)
[27] Long,M。;Wang,J。;Jordan,M.I.,《利用联合适应网络进行深度转移学习》,机器学习国际会议,2208-2217(2017)
[28] Long,M。;朱,H。;Wang,J。;Jordan,M.I.,使用剩余传输网络的无监督域自适应,神经信息处理系统进展,136-144(2016)
[29] 路易斯,C。;瑞典斯威斯基。;李毅。;韦林,M。;Zemel,R.,《变分公平自动编码器》,国际学习代表大会(2016年)
[30] Madansky,A.,《多元随机变量凸函数期望的界》,《年鉴数学》。Stat.,30,3,743-746(1959年)·Zbl 0090.11203号
[31] Mansour,Y。;莫赫里,M。;Rostamizadeh,A.,《领域适应:学习边界和算法》,学习理论会议(2009年)
[32] Mroueh,Y。;Sercu,T。;Goel,V.,McGAN:均值和协方差特征匹配gan,机器学习国际会议,2527-2535(2017)
[33] Müller,A.,《积分概率度量及其函数生成类》,Adv.Appl。概率。,29, 2, 429-443 (1997) ·Zbl 0890.60011号
[34] Netzer,Y。;Wang,T。;科茨,A。;比萨科,A。;吴,B。;Ng,A.Y.,《使用无监督特征学习读取自然图像中的数字》,神经信息处理系统深度学习和无监督特征教学研讨会进展(2011年)
[35] Nikzad-Langeroi,R。;Zellinger,W。;Lughofer,E。;Saminger-Platz,S.,域内变偏最小二乘回归,分析。化学。,906693-6701(2018)
[36] 奥德纳,A。;奥利弗。;拉斐尔,C。;库布克,E.D。;Goodfellow,I.,《半监督学习算法的现实评估》,国际学习表现研讨会(2018年)
[37] 潘,S.J。;Tsang,I.W。;郭敬通(Kwok,J.T.)。;Yang,Q.,通过传输组件分析进行域自适应,IEEE Trans。神经网络。,22, 2, 199-210 (2011)
[38] 潘,S.J。;Yang,Q.,《迁移学习调查》,IEEE Trans Knowl Data Eng,22,10,1345-1359(2010)
[39] Rachev,S.T。;Klebanov,L。;斯托亚诺夫,S.V。;Fabozzi,F.,《概率统计理论中的距离方法》(2013),施普林格科学与商业媒体·Zbl 1280.60005号
[40] Rui,Y。;Huang,T.S。;Chang,S.-F.,《图像检索:当前技术、有希望的方向和开放问题》,J.Vis。Commun公司。图像表示。,10, 1, 39-62 (1999)
[41] Saenko,K。;库利斯,B。;弗里茨,M。;Darrell,T.,《将视觉类别模型应用于新领域》,欧洲计算机视觉会议,213-226(2010),施普林格
[42] 杉山,M。;南岛中岛。;鹿岛,H。;Buenau,P.V。;Kawanabe,M.,带模型选择的直接重要性估计及其在协变量移位适应中的应用,神经信息处理系统进展,1433-1440(2008)
[43] Sun,B。;冯,J。;Saenko,K.,《令人沮丧的简单域适应的回归》,AAAI人工智能会议(2016)
[44] Sun,B。;Saenko,K.,《深珊瑚:深域适应的相关性校准》,《计算机视觉-ECCV 2016研讨会》,443-450(2016),施普林格出版社
[45] Tzeng,E。;霍夫曼,J。;Saenko,K。;Darrell,T.,对手辨别域适应,计算机视觉和模式识别(CVPR),1,4(2017)
[46] Tzeng,E。;霍夫曼,J。;张,N。;Saenko,K。;Darrell,T.,《深层域混淆:最大化域不变性》(2014)
[47] Zellinger,W。;Grubinger,T。;Lughofer,E。;Natschläger,T。;Saminger-Platz,S.,《域内变量表征学习的中心矩差异(cmd)》,学习表征国际会议(2017年)
[48] Zellinger,W。;Moser,B。;Chouikhi,A。;塞特纳,F。;内兹维达,M。;Gelautz,M.,《立体视频深度范围自适应线性优化方法》,立体显示器和应用二十七(2016),IS&T电子成像
[49] 钟,E。;风扇,W。;杨琼。;Verscheure,O。;Ren,J.,《在模型和数据集中选择转移学习的交叉验证框架》,《数据库中的机器学习和知识发现欧洲联合会议》,547-562(2010),Springer
[50] Zolotarev,V.M.,《概率度量》,Teoriya Veroyatnostei i ee Primeniya,28,2,264-287(1983)·Zbl 0514.60026号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。