×
张宁山；梅赫里亚·莫赫里；朱迪·霍夫曼

多源自适应理论和算法。 （英语） Zbl 1490.68194号

安。数学。Artif公司。智力。 89，编号3-4，237-270（2021）; 增编同上，第90号，第6，569-572（2022）。
摘要：我们对应用中的关键学习问题多源自适应问题进行了一般理论和算法分析。我们导出了新的归一化解，该解对交叉熵损失和其他类似损失具有很强的理论保证。我们还提供了新的保证，适用于源域的条件概率不同的情况。我们进一步对用于分布加权组合的密度估计的收敛性进行了新的分析，并研究了它们对学习保证的影响。此外，我们给出了确定交叉熵损失和其他损失的分布加权组合解的新算法。我们使用真实数据集报告了一系列实验的结果。我们发现，我们的算法通过生成一个在任何目标混合分布上都表现良好的鲁棒预测器，优于竞争方法。总之，我们的理论、算法和实证结果为多源自适应问题提供了完整的解决方案，具有非常实际的效益。

引用于1审查
引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62B10型 信息理论主题的统计方面

关键词：

领域适应；多源自适应；雷尼散度；迁移学习；DC编程

软件：

OpenGrm公司；脱咖啡因咖啡；AlexNet公司；ImageNet公司
PDF格式BibTeX公司 XML格式引用
\textit{N.Zhang}等人，Ann.Math。Artif公司。智力。89，编号3--4，237--270（2021；Zbl 1490.68194）
全文： DOI程序

参考文献：

[1] Arndt，C.，《信息测量：科学与工程中的信息及其描述》，信号与通信技术（2004），纽约：施普林格，纽约·Zbl 0973.94001号
[2] Ben-David，S.、Blitzer，J.、Crammer，K.、Pereira，F.：领域适应表征分析。在：NIPS，第137-144页（2006年）
[3] Blanchard，G.、Lee，G.和Scott，C.：将几个相关的分类任务概括为一个新的未标记样本。In:NIPS，第2178-2186页（2011年）
[4] Blitzer，J.、Dredze，M.、Pereira，F.：传记、宝莱坞、音箱和混音器：情感分类的领域改编。包含：ACL，第440-447页（2007年）
[5] Brouwer，LEJ，U ber eineindeutige，stetige Transformationen von Flächen in sich，Math，《数学》。年鉴，69，2，176-180（1910）·JFM 41.0544.01号 ·doi:10.1007/BF01456868
[6] 陈，X。；Deng，X.，查找brouwer不动点的匹配算法界限，J.ACM，55，3，13:1-13:26（2008）·Zbl 1311.54038号 ·数字对象标识代码：10.1145/1379759.1379761
[7] 科尔特斯，C。；Mohri，M.，回归的域自适应和样本偏差校正理论与算法，Theor。计算。科学。，519，103-126（2014）·Zbl 1358.68232号 ·doi:10.1016/j.tcs.2013.09.027
[8] Cortes，C.，Mohri，M.，Muñoz Medina，A.：基于广义差异的自适应算法和理论。收录：KDD，第169-178页（2015年）
[9] 科尔特斯，C。；格林伯格，S。；Mohri，M.，《相对偏差学习界和无界损失函数泛化》，《数学年鉴》。Artif公司。智力。，85, 1, 45-70 (2019) ·Zbl 1442.68194号 ·doi:10.1007/s10472-018-9613-y
[10] 盖子，TM；Thomas，JM，《信息理论要素》（2006），纽约：Wiley-Interscience，纽约·Zbl 1140.94001号
[11] 克拉默，K。；MJ卡恩斯；沃特曼，J.，《从多个来源学习》，J.马赫。学习。第9号决议，1757-1774（2008年）·Zbl 1225.68168号
[12] Daumé，H III.：令人沮丧的简单领域适应。In:计算语言学协会年会（2007年）
[13] 邓，J。；张，Z。；Eyben，F。；Schuller，B.，基于自动编码器的语音情感识别无监督域自适应，IEEE信号处理。莱特。，21, 9, 1068-1072 (2014) ·doi:10.1109/LSP.2014.2324759
[14] Donahue，J.、Jia，Y.、Vinyals，O.、Hoffman，J.，Zhang，N.、Tzeng，E.、Darrell，T.：Decaf：通用视觉识别的深度卷积激活特征。收录于：ICML，第32卷，第647-655页（2014年）
[15] Dredze，M.，Crammer，K.，Pereira，F.：置信加权线性分类。载于：ICML，第307卷，第264-271页（2008年）·Zbl 1432.68382号
[16] Duan，L.，Tsang，I.W.，Xu，D.，Chua，T.：通过辅助分类器从多个来源进行域自适应。载于：ICML，第382卷，第289-296页（2009年）
[17] 段，L。；徐，D。；Tsang，IW，《来自多个来源的域适应：一种依赖域的正则化方法》，IEEE Trans。神经网络。学习。系统。，23, 3, 504-518 (2012) ·doi:10.1010/TNNLS.2011.2178556
[18] Eaves，BC，用于计算不动点的同标，数学。程序。，3, 1, 1-22 (1972) ·Zbl 0276.55004号 ·doi:10.1007/BF01584975
[19] Ganin，Y.，Lempitsky，V.S.：通过反向传播进行无监督域适应。收录于：ICML，第37卷，第1180-1189页（2015年）
[20] 阿拉巴马州吉布斯；Su，FE，《关于选择和限定概率指标》，《国际统计评论/国际统计评论》，70，3，419-435（2002）·Zbl 1217.62014年 ·doi:10.1111/j.1751-5823.002.tb00178.x
[21] Girshick，R.B.、Donahue，J.、Darrell，T.、Malik，J.：丰富的特征层次结构可用于准确的对象检测和语义分割。收录：CVPR，第580-587页（2014年）
[22] Glrot，X.，Bordes，A.，Bengio，Y.：大规模情绪分类的领域适应：深度学习方法。收录于：ICML，第513-520页（2011年）
[23] Gong，B.，Shi，Y.，Sha，F.，Grauman，K.：无监督域自适应的测地流核。收录：CVPR，第2066-2073页（2012年）
[24] Gong，B.，Grauman，K.，Sha，F.：将点与地标连接起来：区分性学习领域变异特征以进行无监督的领域适应。收录于：ICML，第8卷，第222-230页（2013a）
[25] Gong，B.，Grauman，K.，Sha，F.：重塑视觉数据集以适应领域。In:NIPS，第1286-1294页（2013b）
[26] Gopalan，R.，Li，R..，Chellappa，R.：对象识别的域自适应：一种无监督方法。包含：ICCV，第999-1006页。IEEE（2011）
[27] Hirsch，医学博士；Papadimitriou，CH；Vavasis，SA，寻找布劳沃不动点的指数下界，J.Complex。，5, 4, 379-416 (1989) ·Zbl 0696.65045号 ·doi:10.1016/0885-064X（89）90017-4
[28] Hoffman，J.、Kulis，B.、Darrell，T.、Saenko，K.：发现多源域适应的潜在域。收录：ECCV，第7573卷，第702-715页（2012年）
[29] Hoffman，J.、Rodner，E.、Donahue，J.，Saenko，K.、Darrell，T.：有效学习域非变异图像表示。In:ICLR（2013）
[30] Hoffman，J.、Mohri，M.、Zhang，N.：多源自适应算法和理论。主题：神经信息处理系统进展，第8246-8256页（2018年）
[31] 霍斯特，R。；内华达州Thoai，DC编程：概述，J.Optim。理论应用。，103，1，1-43（1999年）·Zbl 1073.90537号 ·doi:10.1023/A:1021765131316
[32] Huang，J.，Smola，A.J.，Gretton，A.，Borgwardt，K.M.，Schölkopf，B.：通过未标记数据纠正样本选择偏差。In:NIPS，第601-608页（2006）
[33] Jiang，J.，Zhai，C.：nlp中领域自适应的实例加权。摘自：计算语言学协会年会，第264-271页（2007）
[34] Khosla，A.、Zhou，T.、Malisiewicz，T.，Efros，A.A.、Torralba，A.：消除数据集偏差的损害。在：ECCV，第7572卷，第158-171页（2012年）
[35] Krizhevsky，A.，Sutskever，I.，Hinton，G.E.：用深度卷积神经网络进行图像分类。In:NIPS，第1106-1114页（2012年）
[36] Kuhn，H.，不动点的单纯形逼近，Proc。美国国家科学院。科学。，61, 4, 1238-1242 (1968) ·Zbl 0191.54904号 ·doi:10.1073/pnas.61.4.1238
[37] Liao，H.：上下文相关深层神经网络的说话人自适应。In:ICASSP，第7947-7951页（2013年）
[38] Liu，B.，情绪分析和意见挖掘，Synth。莱克特。语言技术。，5, 1, 1-167 (2012) ·doi:10.2200/S00416ED1V01Y201204HLT016
[39] Long，M.，Cao，Y.，Wang，J.，Jordan，M.I.：通过深度适应网络学习可转移特征。收录于：ICML，第37卷，第97-105页（2015年）
[40] Mansour，Y.，Mohri，M.，Rostamizadeh，A.：多源域自适应。In:NIPS，第1041-1048页（2008）
[41] Mansour，Y.，Mohri，M.，Rostamizadeh，A.：多源适应和雷尼分歧。收录：UAI，第367-374页（2009年a）
[42] Mansour，Y.，Mohri，M.，Rostamizadeh，A.：领域适应：学习边界和算法。包含：COLT（2009b）
[43] Martínez，AM，从每个类的单个样本中识别不精确定位、部分遮挡和表情变化的脸，IEEE Trans。模式分析。机器。智力。，24, 6, 748-763 (2002) ·doi:10.1109/TPAMI.2002.1008382
[44] Merrill，O.H.：计算某些上半连续点到集映射的不动点的算法的应用和扩展。密歇根大学工业工程系博士论文（1972年）
[45] Muandet，K.，Balduzzi，D.，Schölkopf，B.：通过不变特征表示进行领域泛化。收录于：ICML，第28卷，第10-18页（2013年）
[46] Pan，S.J.，Ni，X.，Sun，J.T.，Yang，Q.，Chen，Z.：通过光谱特征对齐进行跨域情感分类。摘自：第19届万维网国际会议记录，第751-760页（2010年）
[47] Pei，Z.、Cao，Z.，Long，M.、Wang，J.：多不利领域适应。收件人：AAAI，第3934-3941页（2018年）
[48] Rényi，A.：关于熵和信息的度量。摘自：第四届伯克利数理统计与概率研讨会论文集，第547-561页（1961年）·兹比尔0106.33001
[49] Roark，B.，Sproat，R.，Allauzen，C.，Riley，M.，Sorensen，J.，Tai，T.：开源有限状态语法软件库。In:ACL（系统演示），第61-66页（2012）
[50] Saenko，K.，Kulis，B.，Fritz，M.，Darrell，T.：使视觉类别模型适应新的领域。收录：ECCV，第6314卷，第213-226页（2010年）
[51] Scarf，H.，连续映射不动点的近似，SIAM J.Appl。数学。，1328-1343年5月15日（1967年）·Zbl 0153.49401号 ·数字对象标识代码：10.1137/0115116
[52] Seide，F.，Li，G.，Chen，X.，Yu，D.：用于会话语音转录的上下文相关深度神经网络中的特征工程。在：2011年IEEE自动语音识别与理解研讨会，第24-29页。IEEE（2011）
[53] Sriperumbudur，BK；Lanckriet，GRG，使用Zangwill理论证明凹-凸过程的收敛性，神经计算。，24, 6, 1391-1407 (2012) ·Zbl 1254.90180号 ·doi:10.1162/NECO_a_00283
[54] 塔博达，M。；布鲁克，J。；托菲洛斯基，M。；Voll，K。；Stede，M.，基于词汇的情感分析方法，计算。语言学家。，37, 2, 267-307 (2011) ·doi:10.1162/COLI_a_00049
[55] Taigman，Y.、Polyak，A.、Wolf，L.：无监督跨域图像生成。致：ICLR（2017）
[56] 陶，PD；DC编程的凸分析方法：理论、算法和应用，数学学报。越南。，22, 1, 289-355 (1997) ·Zbl 0895.90152号
[57] 陶，PD；An，LTH，A DC优化算法，用于解决信任区域子问题，SIAM J.Optim。，8, 2, 476-505 (1998) ·Zbl 0913.65054号 ·doi:10.1137/S1052623494274313
[58] Torralba，A.，Efros，A.A.：无偏见地看待数据集偏差。收录：CVPR，第1521-1528页（2011年）
[59] Tzeng，E.，Hoffman，J.，Darrell，T.，Saenko，K.：跨领域和任务的同步深度转移。In:ICCV，第4068-4076页（2015年）
[60] Tzeng，E.，Hoffman，J.，Saenko，K.，Darrell，T.：对抗歧视性领域适应。在：计算机视觉和模式识别会议，第7167-7176页（2017）
[61] Valiant，L.G.：可学习理论。摘自：ACM计算理论年度研讨会，第436-445页（1984年）·Zbl 0587.68077号
[62] Van Erven，T。；Harremos，P.，Rényi散度和kullback-leibler散度，IEEE Trans。Inf.理论，60，7，3797-3820（2014）·Zbl 1360.94180号 ·doi:10.1109/TIT.2014.2320050
[63] Vapnik，V.，《统计学习理论》（1998），纽约：威利出版社，纽约·Zbl 0935.62007号
[64] von Neumann，J.，《数学》。Ann.，100，1295-320（1928年）·JFM 54.0543.02型 ·doi:10.1007/BF01448847
[65] Xu，Z.，Li，W.，Niu，L.，Xu，D.：利用潜在域的低阶结构进行域泛化。在：ECCV，第8691卷，第628-643页（2014）
[66] Yang，J.，Yan，R.，Hauptmann，A.G.：使用自适应svm的跨域视频概念检测。收录：ACM Multimedia，第188-197页（2007）
[67] 亚利桑那州尤耶；Rangarajan，A.，凹-凸过程，神经计算。，15, 4, 915-936 (2003) ·Zbl 1022.68112号 ·doi:10.1162/08997660360581958
[68] Zhang，K.，Gong，M.，Schölkopf，B.：多源域适应：因果观点。收入：AAAI，第3150-3157页（2015年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。