×

耦合损失和自用特权信息引导的多视角迁移学习。 (英语) Zbl 1483.68323号

总结:转移学习通过利用来自另一个相关源域的信息为目标域构建模型,其中两个域的分布通常非常不同。真实世界数据通常具有多个表示形式,即多视图特征。在多视角迁移学习领域,现有的方法旨在解决以下两个问题。首先,由于两个域之间的分布差异,在源域上训练的分类器可能在目标域上表现不佳。此外,缺乏目标域的数据通常发生在训练阶段。其次,当这种多视图表示出现在源域和目标域中时,如何充分利用多个特征之间的关系是一个挑战。本文提出了一种新的耦合损失和自用特权信息引导的多视图传输学习方法(MVTL-CP)。第一个问题是通过利用来自源域的加权标记数据来学习目标域的精确分类器来解决的。遵循共识和互补原则,我们通过最佳利用多种观点来解决第二个问题。此外,我们分析了视图之间的一致性和MVTL-CP的泛化能力。综合实验验证了我们提出的模型的有效性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bartlett,P。;Mendelson,S.,Rademacher和高斯复杂性:风险边界和结构结果,J.Mach。学习。第3463-482号决议(2003年)·Zbl 1084.68549号
[2] A.Blum,T.Mitchell,《将标记和未标记数据与联合训练相结合》,载于《计算学习理论年度会议论文集》,第92-100页。
[3] Y.Cao,M.Long,J.Wang,使用分布匹配机器的无监督域自适应,摘自:《第三十二届AAAI人工智能会议论文集》,第2795-2802页。
[4] 赵,G。;Sun,S.,《基于共识和互补性的多视角分类最大熵判别》,《信息科学》。,367-368, 296-310 (2016) ·Zbl 1428.68232号
[5] J.Choi,S.J.Hwang,L.Sigal,L.S.Davis,语义关系互动学习的知识转移,载于:第三十届AAAI人工智能会议论文集,第1505-1511页。
[6] J.Davis,P.Domingos,《通过二阶马尔可夫逻辑的深度转移》,载于《机器学习国际会议论文集》,ACM,第217-224页。
[7] Demšar,J.,多数据集上分类器的统计比较,J.Mach。学习。研究,7,1-30(2006)·Zbl 1222.68184号
[8] 邓,N。;田,Y。;Zhang,C.,《支持向量机:基于优化的理论、算法和扩展》(2012),CRC出版社
[9] J.Donahue,Y.Jia,O.Vinyals,J.Hoffman,N.Zhang,E.Tzeng,T.Darrell,Decaf:通用视觉识别的深度卷积激活特征,收录于《国际机器学习会议论文集》,第647-655页。
[10] J.Farquhar、D.Hardoon、H.Meng、J.Shawe-taylor、S.Szedmak,《双视角学习:Svm-2k,理论与实践》,摘自《神经信息处理系统年度会议论文集》,第355-362页。
[11] Y.Ganin,V.Lempitsky,通过反向传播实现的无监督域自适应,摘自:《机器学习国际会议论文集》,第1180-1189页。
[12] 高杰。;黄,R。;Li,H.,亚域适应学习方法,信息科学。,298, 237-256 (2015) ·Zbl 1360.68673号
[13] B.Gong,Y.Shi,F.Sha,K.Grauman,无监督域自适应的测地流核,摘自:《计算机视觉和模式识别国际会议论文集》,第2066-2073页。
[14] Hardoon,D.R。;Shawe-Taylor,J.,《核典型相关分析的收敛性分析:理论与实践》,马赫。学习。,74, 23-38 (2009) ·Zbl 1473.62194号
[15] 他,Y。;田,Y。;Liu,D.,《特权学习框架下的多视角转移学习》,神经计算,335131-142(2019)
[16] Houthuys,L。;朗格尼,R。;Suykens,J.A.,多视图最小二乘支持向量机分类,神经计算,28278-88(2018)
[17] J.Huang,A.Gretton,K.M.Borgwardt,B.Schölkopf,A.J.Smola,用未标记数据纠正样本选择偏差,摘自:《神经信息处理系统进展国际会议论文集》,第601-608页。
[18] 库特,R.S。;维亚斯,V。;Anuse,A.,法医学应用转移学习下基于成分的人脸识别,Inf.Sci。,476, 176-191 (2019)
[19] M.Long,Y.Cao,J.Wang,M.I.Jordan,《利用深度适应网络学习可转移特征》,载于《机器学习国际会议论文集》,第97-105页。
[20] Long,M。;Wang,J。;丁·G。;潘,S.J。;Yu,P.S.,《适应正则化:迁移学习的一般框架》,IEEE Trans。知识。数据工程,26,1076-1089(2014)
[21] M.Long,H.Zhu,J.Wang,M.I.Jordan,《具有联合适应网络的深度迁移学习》,载于《国际机器学习大会论文集》,第2208-2217页。
[22] 吕,M。;李毅。;Chen,L。;Chen,T.,利用地形特征和多视角传输半监督回归进行空气质量评估,信息科学。,483, 82-95 (2019)
[23] 牛立群,李文华,徐德华,视觉识别的多视点域泛化,载《IEEE计算机视觉国际会议论文集》,第4193-4201页。
[24] 牛,L。;李伟(Li,W.)。;Xu博士。;Cai,J.,《基于示例的视觉识别多视点域泛化框架》,IEEE Trans。神经网络。学习。系统。,28, 1985-1999 (2017)
[25] 潘,S.J。;Tsang,I.W。;Kwok,J.T.(郭,J.T.)。;Yang,Q.,通过传输组件分析进行域自适应,IEEE Trans。神经网络。,22, 199-210 (2011)
[26] 潘,S.J。;Tsang,I.W。;郭敬通(Kwok,J.T.)。;Yang,Q.,通过传输组件分析进行域自适应,IEEE Trans。神经网络。,22, 199-210 (2011)
[27] 潘,S.J。;Yang,Q.,迁移学习调查,IEEE Trans。知识。数据工程,221345-1359(2010)
[28] G.Qiu,B.Liu,J.Bu,C.Chen,通过双重传播扩展领域情感词汇,载《人工智能国际Jont会议论文集》,第1199-1204页。
[29] 阿科托马蒙杰,A。;巴赫,F.R。;卡努,S。;Grandvalet,Y.,Simplemkl,J.Mach。学习。第9号决议,2491-2521(2008年)·Zbl 1225.68208号
[30] B.Tan,E.Zhong,E.W.Xiang,Q.Yang,《多重迁移:具有多种观点和多种来源的迁移学习》,载于:2013年SIAM国际数据挖掘会议论文集,SIAM,第243-251页·Zbl 07260399号
[31] Tang,J。;Tian,Y.,带非并行支持向量机的多核框架,神经计算,266226-238(2017)
[32] Tang,J。;田,Y。;刘,D。;Kou,G.,用于多视图学习的耦合特权内核方法,Inf.Sci。,481, 110-127 (2019) ·兹比尔1443.68157
[33] Tang,J。;田,Y。;张,P。;Liu,X.,多视图特权支持向量机,IEEE Trans。神经网络。学习。系统。,29, 3463-3477 (2018)
[34] 托马西,T。;奥拉博纳,F。;Caputo,B.,《利用多模型知识转移从少数示例中学习类别》,IEEE Trans。模式分析。机器。智力。,36, 928-941 (2013)
[35] G.Tur,Co-adaption:半监督学习的自适应联合训练,摘自:IEEE声学、语音和信号处理国际会议,第3721-3724页。
[36] Vapnik,V。;Vashist,A.,《一种新的学习范式:使用特权信息进行学习》,《神经网络》,22,544-557(2009)·兹比尔1335.68212
[37] J.Wang,Y.Chen,H.Yu,M.Huang,Q.Yang,利用域内结构进行轻松迁移学习,收录于:IEEE多媒体与博览会国际会议论文集,第1210-1215页。
[38] J.Wang、W.Feng、Y.Chen、H.Yu、M.Huang、P.S.Yu,《基于流形嵌入分布对齐的视觉域自适应》,载《ACM多媒体国际会议论文集》,第402-410页。
[39] W.Wang,R.Arora,K.Livescu,J.Bilmes,《深度多视角表征学习》,载《机器学习国际会议论文集》,第1083-1092页。
[40] 王伟,周振中,《联合训练新分析》,载《机器学习国际会议论文集》,第1135-1142页。
[41] 王,X。;黄,W。;Cheng,Y。;于清。;Wei,Z.,基于自适应多核对齐学习的多源域属性自适应,IEEE Trans。系统。人类网络。系统。,50, 1897-1908 (2020)
[42] Wang,Y。;张伟。;吴,L。;林,X。;Zhao,X.,基于图随机游走的跨视图扩散对多视图数据的无监督度量融合,IEEE Trans。神经网络。学习。系统。,28, 57-70 (2017)
[43] R.Xia,X.Hu,J.Lu,J..Yang,C.Zong,通过pu learning进行跨域情感分类的实例选择和实例权重,载《国际人工智能联合会议论文集》,第2176-2182页。
[44] C.Xu、D.Tao、C.Xu,《多视角学习调查》,arXiv预印本arXiv:1304.5634(2013)。
[45] 徐总,孙松生,《多视角adaboost的多源迁移学习》,载《神经信息处理国际会议论文集》,第332-339页。
[46] P.Yang,W.Gao,多视角判别迁移学习,摘自:《国际人工智能联合会议论文集》,第1848-1854页。
[47] Y.Yao,G.Doretto,《促进多源迁移学习》,载于《IEEE计算机视觉和模式识别会议论文集》,IEEE,第1855-1862页。
[48] D.Zhang,J.He,Y.Liu,L.Si,R.Lawrence,《大幅度多视角转移学习》,载《第17届ACM SIGKDD国际知识发现和数据挖掘会议论文集》,ACM,第1208-1216页。
[49] 张,N。;丁·S。;廖,H。;Jia,W.,多视图分类的多模态相关深信度网络,应用。智力。,49, 1925-1936 (2019)
[50] 张,N。;丁·S。;Sun,T。;廖,H。;Wang,L。;Shi,Z.,具有后验一致性和领域适应性的多视角rbm,信息科学。,516, 142-157 (2020)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。