×

兹马思-数学第一资源

多步协同训练。(英语) Zbl 07255088
摘要:协同训练是一种著名的半监督学习方法,它在两个或多个不同的视图上训练分类器,并以迭代的方式交换未标记实例的伪标签。在协同训练过程中,未标记实例的伪标记极有可能是错误的,尤其是在初始训练阶段,而标准的协同训练算法则采用“抽取而不替换”策略,不会将这些错误标记的实例从训练阶段中移除。另外,传统的协同训练方法大多是针对两个视点的场景进行的,其在多视点场景下的扩展并不直观。这些问题不仅降低了它们的性能和适用范围,而且阻碍了它们的基本理论。此外,没有一个优化模型来解释协同训练过程所能达到的优化目标。为了解决这些问题,本研究设计了一个统一的自定进度多视图协同训练(SPamCo)框架,该框架利用替换抽取未标记的实例。在训练过程中,两个特定的协正则化项被用来开发选择伪标记实例的不同策略。两种形式共享相同的优化策略,与协同训练中的迭代过程一致,可以自然地扩展到多视图场景。为了进一步提高算法的效率,还引入了一种分布式优化策略来并行训练每个视图的分类器。此外,SPamCo算法被证明是PAC可学习的,支持其理论上的合理性。在合成、文本分类、人物再识别、图像识别和目标检测数据集上的实验证明了该方法的优越性。
理学硕士:
68T05型 人工智能中的学习与自适应系统
PDF格式 BibTeX公司 XML 引用
全文: 链接
参考文献:
[1] 史蒂文·艾布尼。引导。计算语言学协会第40届年会论文集,第360-367页。计算语言学协会,2002年。
[2] 马西阿米尼,尼古拉斯乌苏尼耶和西里尔古特。从多个部分观察的视图学习-一个在多语言文本分类中的应用。神经信息处理系统指南22,28-36页。Curran Associates,Inc.,2009年。
[3] 玛丽亚·弗洛里娜·巴尔坎和阿芙丽姆·布鲁姆。半监督学习的判别模型。ACM,57:19:1-19:46,2010年·Zbl 1327.68185
[4] Maria Florina Balcan,Avrim Blum和Ke Yang。共同培训与拓展:建立理论与实践的桥梁。神经信息处理系统导论,89-962004页。
[5] Yoshua Bengio、J'erˆome Louradour、Ronan Collobert和Jason Weston。课程学习。第26届国际机器学习年会论文集,第41-48页。ACM,2009年。
[6] 哈坎·比伦和安德烈·韦达尔迪。弱监督深度检测网络。《IEEE计算机视觉与模式识别大会论文集》,第2846-2854页,2016年。
[7] 艾弗里姆·布鲁姆和汤姆·米切尔。结合有标记和无标记的数据与联合训练。第十一届计算学习理论年会论文集,第92-100页。ACM,1998年。
[8] 乌尔夫·布雷菲尔德和托比亚斯·谢弗。Co-em支持向量学习。第二十一届机器学习国际会议论文集,第16页。ACM,2004年。
[9] 李崇宣,徐陶菲克,朱骏,张博。三重生成对抗网。神经信息处理系统的进展,第4088-40982017页。
[10] Ronan Collobert,Fabian Sinz,Jason Weston和L'eon Bottou。大规模传导支持向量机,机器学习研究杂志,7(8月):1687-17122006·Zbl 1222.68173号
[11] 戴继峰,李奕,何开明,孙建新。R-fcn:基于区域的全卷积网络的目标检测。神经信息处理系统导论,第379-387页,2016年。
[12] 戴子航,杨智霖,杨帆,W科恩,萨拉赫图季诺夫。好的半监督学习需要坏的gan。神经信息处理系统指南,第6510-6520页,2017年。
[13] 阿里·迪巴、维韦克·夏尔马、阿里·帕赞德、哈米德·皮尔西瓦什和卢克·范·古尔。弱监督级联卷积网络。《IEEE计算机视觉与模式识别大会论文集》,914-922页,2017年。
[14] 弗朗西娜·多伊恩斯和玛丽·蒂恩戈德。面对语义角色标注最困难的案例:单词嵌入和协同训练的协作。科林,2016年。
[15] 董宣义、孟德玉、马帆、杨怡。一种弱监督目标检测的双网络渐进方法。2017年ACM多媒体会议进展,2017年7月,279-287页,美国纽约,2017年。ACM公司。ISBN 978-14503-4906-2。
[16] 董宣义、梁政、马帆、杨怡、孟德玉。《模式分析与机器智能IEEE汇刊》,41(7):1641-16542018。
[17] 马克·埃弗林厄姆、卢克·范·古尔、克里斯托弗·基·威廉姆斯、约翰·温和安德鲁·齐瑟曼。帕斯卡视觉对象类(voc)挑战。国际计算机视觉杂志,88(2):303-3382010。
[18] 罗斯·吉尔希克。快速r-cnn。《IEEE计算机视觉国际会议论文集》,1440-14482015页。
[19] 萨莉·戈德曼和兖州。利用未标记数据加强监督学习。ICML,第327-3342000页。
[20] 何开明,张向玉,任少卿,孙建新。图像识别的深度剩余学习。2016年IEEE计算机视觉和模式识别会议(CVPR),第770-778页,2016年。
[21] M、 最优化理论:有限维情形。威利,1975年·Zbl 0327.90015
[22] 高煌,刘庄,和基莲Q。温伯格。密接卷积网络。2017年IEEE计算机视觉和模式识别会议(CVPR),2261-2269页,2017年。
[23] 陆江,孟德玉,三村泰子,亚历山大G豪普特曼。简单的例子第一:自我节奏重新排列为零例子多媒体搜索。第22届ACM多媒体国际会议纪要,第547-556页。ACM,2014a。
[24] 吕江、孟德玉、俞秀仪、蓝振忠、山石光、霍普特曼。自主学习,多样性。神经信息处理系统指南,2078-20862014b页。
[25] 陆江,孟德玉,赵倩,山石光,霍普特曼。自学课程。INAAI,第2卷,第2694-2700页,2015年。
[26] Vadim Kantorov、Maxime Oquiab、Minsu Cho和Ivan Laptev。Contextlocnet:弱监督定位的上下文感知深度网络模型。欧洲计算机视觉会议,350-365页。斯普林格,2016年。
[27] Abhishek Kumar和Hal Daume Iii.多视图光谱聚类的联合训练方法。国际机器学习国际会议,第393-4002011页。
[28] M Pawan Kumar,Benjamin Packer和Daphne Koller。潜在变量模型的自学习。神经信息处理系统导论,1189-11972010页。
[29] 萨穆利·莱恩和蒂莫·艾拉。半监督学习的时间感知。arXiv预印本arXiv:1610.02242,2016。
[30] 李东丽,黄佳斌,李亚丽,王胜进,杨明萱。基于渐进域自适应的弱监督目标定位。《IEEE计算机视觉与模式识别大会论文集》,第3512-3520页,2016年。
[31] 李广霞,张奎玉,霍志文。多视图半监督学习与共识.知识与数据工程学报,24(11):2040-20512012。
[32] 罗玉岑、朱骏、李梦熙、任勇、张博。半监督学习中教师图的光滑邻域。《IEEE计算机视觉与模式识别大会论文集》,第8896-8905页,2018年。
[33] 范马,孟德玉,齐茜,李紫娜,董宣义。自定进度的共同训练。InICML,2017年。
[34] 孟德玉,赵倩,徐宗本。利用l1范数最大化提高稀疏pca的鲁棒性。模式识别,45(1):487-4972012·Zbl 1225.68202
[35] 孟德玉、赵倩、陆江。对自主学习的理论理解。信息科学,414:319-3282017年·Zbl 1435.68278号
[36] Kamal Nigam和Rayid Ghani。分析协同训练的有效性和适用性。第九届信息和知识管理国际会议记录,第86-93页。ACM,2000年。
[37] F、 佩德雷戈萨、G.瓦罗魁、A.格拉姆波特、V.米歇尔、B.蒂里安、O.格里塞尔、M.布朗德尔、P.普雷滕霍费尔、R.韦斯、V.杜博格、J.范德普拉斯、A.帕索斯、D.库纳佩乌、M.布鲁彻、M.佩罗和E.杜切斯内。scikitlearn:Python中的机器学习。机器学习研究杂志,12:2825-2830,2011·Zbl 1280.68189
[38] 特皮、李曦、张忠飞、孟德玉、吴飞、肖军、庄月婷。自动加速分类学习。2016年。
[39] 安蒂·拉斯穆斯、马蒂亚斯·贝格朗、米科·洪卡拉、哈里·瓦尔波拉和塔帕尼·雷科。梯形网络半监督学习。神经信息处理系统指南,第3546-35542015页。
[40] Tim Salimans,Ian Goodfello,Wojciech Zaremba,Vicki Cheung,Alec Radford和Xi Chen。改进了训练甘的技术。神经信息处理系统指南,第2234-22422016页。
[41] 舒钧、谢琦、易丽萱、赵倩、周三平、徐宗本、孟德玉。元权重网:学习样本权重的显式映射。神经信息处理系统导论,1917-19282019页。
[42] 凯伦·西蒙尼安和安德鲁·齐瑟曼。用于大规模图像识别的非常深的卷积网络。arXiv预印本arXiv:1409.15562014。
[43] 维卡斯·辛德瓦尼和大卫·S·罗森博格。一个用于多视图学习和流形共规则化的rkhs。第25届机器学习国际会议论文集,第976-983页。ACM,2008年。
[44] 维卡斯·辛德瓦尼、帕塔·尼约吉和米哈伊尔·贝尔金。超越点云:从转换学习到半监督学习。国际机器学习会议,第824-8312005a页·Zbl 1222.68144
[45] 维卡斯·辛德瓦尼、帕塔·尼约吉和米哈伊尔·贝尔金。多视图半监督学习的协正则化方法。ICML多视角学习研讨会,74-79页。Citeseer,2005年b·Zbl 1222.68144
[46] James S Supancic和Deva Ramanan。用于长期跟踪的自学。IEEE计算机视觉和模式识别会议论文集,第2379-2386页,2013年。
[47] 安蒂·塔瓦宁和哈里·瓦尔波拉。平均教师是更好的榜样:加权平均一致性目标提高了半监督深度学习的效果。神经信息处理系统指南,1195-1204页,2017年。
[48] Jasper RR Uijlings、Koen EA Van De Sande、Theo Gevers和Arnold WM SMemulders。目标识别的选择性搜索。国际计算机视觉杂志,104(2):154-1712013。
[49] 五十、 勇敢的。可学习的理论。《ACM通讯》,27(11):1134-11421984年·Zbl 0587.68077
[50] 维卡斯·维尔马、亚历克斯·兰姆、朱霍·坎纳拉、约书亚·本吉奥和大卫·洛佩兹·帕兹。半监督学习的插值一致性训练。《第28届人工智能国际联席会议论文集》,IJCAI'19,第3635-3641页。AAAI出版社,2019.ISBN 978-0-9992411-4-1.URLhttp://dl.acm.org/citation.cfm?id=3367471.3367546。
[51] 万晓军。跨语言情感分类的协同训练。INAL/IJCNLP,2009年。
[52] 王冲,任伟强,黄凯琪,谭铁牛。基于潜在范畴学习的弱监督目标定位。欧洲计算机视觉会议,431-445页。斯普林格,2014年。
[53] 王伟和周志华。分析协同训练风格的算法。欧洲机器学习会议,第454-465页。斯普林格,2007年。
[54] 王伟和周志华。合作训练的新分析。《第27届国际机器学习会议(ICML-10)》第1135-11422010页。
[55] 王伟和周志华。没有足够的观点进行联合训练。INAML,第467-482页,2013年。
[56] 王伟和周志华。协同训练和基于分歧的算法的理论基础.CoRR,abs/1708.04403,2017。统一资源定位地址http://arxiv.org/abs/1708.04403。
[57] 于武、林玉田、董宣义、颜燕、魏边、杨怡。用一个例子进行人的再识别的渐进学习。IEEE图像处理学报,28(6):2872-28812019·Zbl 07122874
[58] 谢琦,赵倩,孟德玉,徐宗本。基于Kronecker基表示的张量稀疏性及其在张量恢复中的应用.模式分析与机器智能IEEE汇刊,40(8):1888-19022017。
[59] 徐欣星,李雯,徐冬冬,曾爱佛。多视图弱标记学习的联合标记。模式分析与机器智能IEEE汇刊,38(6):1113-11252016。
[60] 山田吉弘、岩村正孝、秋叶拓哉和岸信一。Shakedrop Regulation for deep Regressional for deep Remaintal learning.arXiv预印本arXiv:1802.02375,2018。
[61] 韩佳业、德川湛、袁淼、袁江、周志华。基于秩一致性的多视图学习:一种隐私保护方法。第24届ACM国际信息与知识管理会议论文集,第991-1000页。ACM,2015年。
[62] 勇红卫,孟德玉,左王蒙,张磊。在线模式分解(IEEE动态模式分解,1720-1726)和《机器智能分析》1746。
[63] 余世鹏,巴拉吉·克里希纳普拉姆,罗萨莱斯和R.Bharat Rao。贝叶斯协同训练。机器学习研究杂志,12(3):2649-26802011·Zbl 1280.68219
[64] Sergey Zagoruyko和Nikos Komodakis.Wide Remaintain networks.arXiv预印本arXiv:1605.071462016。
〔65〕 张定文,孟德玉,韩俊伟.自学习框架下的协显著性检测.模式分析与机器智能学报,2015a。
[66] 张定文,孟德玉,李超,陆江,赵倩,韩俊伟。一种用于共显著性检测的自同步多实例学习框架。在IEEE国际计算机视觉会议(ICCV),2015年12月b。
[67] 张定文,孟德玉,赵龙,韩俊伟。基于自学课程学习的显著性检测与弱监督目标检测的桥梁。arXiv预印本arXiv:1703.012902017。
[68] 张敏玲和周志华。同行:与数据编辑的自信合作训练。IEEE系统、人与控制论汇刊,B部分(控制论),41(6):1612-162622011。
〔69〕 赵倩、孟德玉、吕江、谢琦、徐宗本、霍普特曼。矩阵分解的自学习。INAAI,第3196-32022015页。
[70] 五十、 Zheng,Y.Yang和A.G.Hauptmann。人物再鉴定:过去、现在和未来。ArXiv电子版,2016年10月。
[71] 梁政、沈丽月、陆天、王胜进、王敬东、田琦。可伸缩的人重新识别:一个基准。《IEEE计算机视觉国际会议论文集》,第1116-11242015页。
[72] 朱忠、梁政、康国良、李少子、杨怡。随机删除数据扩充。AAAI人工智能会议(AAAI)的进展,2020年。
[73] 周志华。诱因学习:走向机器学习与逻辑推理的桥梁。科学中国信息科学,62(7):761012019。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。