李，杭;恩里克·德尔·卡斯蒂略;乔治·伦格 关于流形数据的主动学习方法。 （英语） Zbl 1439.62264号 测试 29，编号1，1-33（2020）. 摘要：主动学习是机器学习领域中的一个主要兴趣领域，特别是当标记实例非常困难、耗时或昂贵时。本文回顾了流形数据的各种主动学习方法，其中数据的固有流形结构也被纳入了主动学习查询策略中。此外，我们提出了一种新的基于流形的高斯过程分类主动学习算法。这种新方法使用了一个数据相关内核，该内核源自一个半监督模型，该模型同时考虑了标记数据和未标记数据。该方法对拟合函数关于环境空间和数据所在流形的光滑性进行正则化。正则化参数被视为一个附加的核（协方差）参数，并根据数据进行估计，从而允许核适应给定的数据集流形几何。在我们的实验中，流形数据与其他AL方法的比较显示了更快的学习性能。提供了再现所有示例的MATLAB代码作为补充材料。 引用于三评论引用于1文件 MSC公司： 62兰特 歧管统计 62H30型 分类和区分；聚类分析（统计方面） 62K05美元 最佳统计设计 60G15年 高斯过程 68T05型 人工智能中的学习和自适应系统 关键词：主动学习;高斯过程;分类;优化设计 软件：Matlab公司;PRMLT公司 PDF格式BibTeX公司 XML格式引用 \textit{H.Li}等人，测试29，No.1，1-33（2020；Zbl 1439.62264） 全文： DOI程序 参考文献： [1] Alaeddini，A。；Craft，E。；梅卡，R。；Martinez，S.，《昂贵试验响应面建模试验的序贯拉普拉斯正则化V最优设计：在风洞试验中的应用》，IISE Trans（2019）·doi:10.1080/24725854.2018.1508928 [2] Aronszajn，N.，《再生核理论》，跨美国数学学会，68337-404（1950）·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7 [3] 阿特拉斯，勒；科恩（Da Cohn）；Ladner，Re；Touretzky，Ds，《使用查询和选择性采样训练连接主义网络》，《神经信息处理系统进展》，566-573（1990），伯灵顿：Morgan-Kaufmann，伯灵敦 [4] Balcan，Mf；Beygelzimer，A。；Langford，J.，《不可知主动学习》，《计算系统科学杂志》，第75、1、78-89页（2009年）·Zbl 1162.68516号 ·doi:10.1016/j.jss.2008.07.003 [5] Belkin M（2003）流形学习问题。芝加哥大学博士论文 [6] 贝尔金，M。；Niyogi，P.，用于降维和数据表示的拉普拉斯特征映射，神经计算，15，6，1373-1396（2003）·Zbl 1085.68119号 ·doi:10.1162/089976603321780317 [7] Belkin M，Niyogi P（2005）：拉普拉斯流形方法的理论基础。摘自：学习理论会议记录·兹比尔1137.68521 [8] 贝尔金，M。；Niyogi，P。；Sindhwani，V.，《流形正则化：从标记和未标记示例学习的几何框架》，J Mach Learn Res，72399-2434（2006）·Zbl 1222.68144号 [9] Bishop，C.，模式识别和机器学习（2006），纽约：Springer，纽约·Zbl 1107.68072号 [10] 蔡，D。；He，X.，文本分类的流形自适应实验设计，IEEE Trans Knowl Data Eng，24，4，707-719（2012）·doi:10.1109/TKDE.2011.104 [11] 乔杜里，K。；卡卡德，Sm；Netrapalli，P。；Sanghavi，S.，最大似然估计主动学习的收敛速度，Adv Neural Inf Process Syst，281090-1098（2015） [12] Chen C，Chen Z，Bu J，Wang C，Zhang L，Zhang-C（2010）拉普拉斯正则化G-最优设计。摘自：第二十四届AAAI人工智能会议记录，第1卷，第413-418页 [13] Chu W，Ghahramani Z（2005）高斯过程的偏好学习。摘自：第22届机器学习国际会议论文集，ICML'05。美国纽约州纽约市ACM，第137-144页。10.1145/1102351.1102369 [14] Chu W，Sindhwani V，Ghahramani Z，Keerthi SS（2007），高斯过程的关系学习。摘自：第19届神经信息处理系统国际会议记录，第289-296页 [15] Cohn，D.，使用优化实验设计进行神经网络探索，Adv Neural Inf Process Syst，6679-686（1994） [16] 科恩，D。；阿特拉斯，L。；Ladner，R.，《通过主动学习提高泛化能力》，《马赫学习》，第15、2、201-221页（1994年）·doi:10.1007/BF00993277 [17] 科伊夫曼，R。；拉丰，S。；A.李。；Maggioni，M。；纳德勒，B。；华纳，F。；Zuker，S.，《几何扩散作为调和分析和数据结构定义的工具：扩散图》，《国家科学院学报》，102，21，7426-7431（2005）·Zbl 1405.42043号 ·doi:10.1073/pnas.0500334102 [18] 达斯古普塔，S。；徐，D。；Monteleoni，C.，《一种通用的不可知主动学习算法》，Adv Neural Inf Process Syst，20，353-360（2007） [19] 达斯古普塔，S。；卡莱，At；Monteleoni，C.，《基于感知机的主动学习分析》，J Mach Learn Res，10，281-299（2009）·Zbl 1235.68143号 [20] 多诺霍，D。；Grimes，C.，Hessian特征映射：高维数据的局部线性嵌入技术，Proc Natl Acad Sci，100，10，5591-5596（2003）·Zbl 1130.62337号 ·doi:10.1073/pnas.1031596100 [21] Evans LPG，Adams NM，Anagostopoulos C（2015）通过模型再培训改进估计最佳主动学习 [22] 费多罗夫，Vv，《最佳实验理论》（1972），剑桥：学术出版社，剑桥 [23] 弗伦德，Y。；承，Hs；沙米尔，E。；Tishby，N.，《使用委员会查询算法的选择性采样》，《马赫学习》，第28、2、133-168页（1997年）·Zbl 0881.68093号 ·doi:10.1023/A：1007330508534 [24] Gal Y、Islam R、Ghahramani Z（2017）《利用图像数据进行深度贝叶斯主动学习》。http://arxiv.org/abs/1703.02910 [25] Hanneke S（2007）《不可知论主动学习的复杂性》。摘自：2007年ICML第24届机器学习国际会议论文集。美国纽约州纽约市ACM，第353-360页。10.1145/1273496.1273541 ·Zbl 1203.68151号 [26] He，X.，Laplacian主动学习正则化D-最优设计及其在图像检索中的应用，IEEE Trans-Imgae Process，19，1，254-263（2010）·Zbl 1371.94156号 ·doi:10.1109/TIP.2009.2032342 [27] Hein M，Audibert JY，von Luxburg U（2005）从图到流形——图Laplacians的弱和强点态一致性。摘自：第18届学习理论会议记录（2005年）·Zbl 1095.68097号 [28] Houlsby N，Huszár F，Ghahramani Z，Lengyel M（2011）贝叶斯主动学习分类和偏好学习 [29] Joshi AJ、Porikli F、Papanikolopoulos N（2009）《图像分类的多类主动学习》。In:IEEE计算机视觉和模式识别会议（CVPR），第2372-2379页 [30] Kapoor A、Grauman K、Urtasun R、Darrell T（2007）《使用高斯过程进行主动学习以进行对象分类》。参加：IEEE第11届计算机视觉国际会议，第2卷·Zbl 1477.68384号 [31] Lafon S（2004）扩散图和几何谐波。耶鲁大学博士论文 [32] Li X，Guo Y（2013）图像分类的自适应主动学习。In:IEEE计算机视觉和模式识别会议（CVPR），第859-866页 [33] 李，C。；刘，H。；Cai，D.，流形上的主动学习，神经计算，123398-405（2014）·doi:10.1016/j.neucom.2013.08.002 [34] McCallum A，Nigam K（1998）使用EM和基于池的主动学习进行文本分类。摘自：第十五届机器学习国际会议论文集，ICML'98。Morgan Kaufmann Publishers Inc.，美国加利福尼亚州旧金山，第350-358页。http://dl.acm.org/citation.cfm？id=645527.757765。2019年12月18日检索 [35] Minka TP（2001）近似贝叶斯推理的一系列算法。麻省理工学院博士论文 [36] Nickisch，H。；Rasmussen，Ce，二元高斯过程分类的近似，J Mach Learn Res，92035-2078（2008）·Zbl 1225.62087号 [37] 拉斯穆森，Ce；Williams，Cki，机器学习的高斯过程。自适应计算和机器学习（2006），剑桥：麻省理工学院出版社，剑桥·Zbl 1177.68165号 [38] Rosenblatt，F.，感知器：大脑中信息存储和组织的概率模型，Psychol Rev，65386（1958）·doi:10.1037/h0042519 [39] Roweis，St；Saul，Lk，通过局部线性嵌入降低非线性维数，《科学》，2902323-2326（2000）·doi:10.1126/science.290.5500.2323 [40] Roy N，Mccallum A（2001）通过蒙特卡罗误差减少估计实现最佳主动学习。摘自：机器学习国际会议论文集 [41] Seeger M（2003）贝叶斯-高斯过程模型：Pac-Bayesian泛化误差界和稀疏近似。爱丁堡大学博士论文·Zbl 1088.68745号 [42] Seeger M（2005）指数族的期望传播 [43] 解决B（2010）主动学习文献调查。威斯康星大学麦迪逊分校计算机科学技术报告1648 [44] Settles，B.，《主动学习》（2012），纽约：摩根克莱普尔出版社，纽约·Zbl 1270.68006号 [45] Seung HS、Opper M、Sompolinsky H（1992），委员会质询。摘自：第五届计算学习理论年度研讨会论文集，COLT’92。美国纽约州纽约市ACM，第287-294页。10.1145/130385.130417 [46] Shannon，C.，《通信数学理论》，贝尔系统技术杂志，27379-423（1948）·Zbl 1154.94303号 ·doi:10.1002/j.1538-7305.1948.tb01338.x [47] Sindhwani V、Niyogi P、Belkin M（2005）《超越点云：从转化学习到半监督学习》。摘自：第二十二届机器学习国际会议论文集 [48] Sindhwani V，Chu W，Keerthi SS（2007）《半监督高斯过程分类器》。In:国际人工智能联合会议，pp 1059-1064 [49] Sun，S。；侯赛因，Z。；Shawe-Taylor，J.，稀疏半监督学习的流形-保留图简化，神经计算，124，13-21（2014）·doi:10.1016/j.neucom.2012.08.070 [50] Tenenbaum，Jb；德席尔瓦，V。；Langford，Jc，《非线性降维的全球几何框架》，《科学》，2902319-2323（2000）·doi:10.1126/science.290.5500.2319 [51] Tong S，Chang E（2001）支持向量机主动学习的图像检索。在：第九届ACM多媒体国际会议论文集，多媒体'01。美国纽约州纽约市ACM，第107-118页。10.1145/500141.500159 [52] Wahba，G.，观测数据的样条模型（1990），费城：工业和应用数学学会，费城·Zbl 0813.62001号 [53] Xu H，Yu L，Davenport MA，Zha H（2017）通过统一的流形地标框架进行主动流形学习。http://arxiv.org/abs/1710.09334 ·Zbl 1415.94285号 [54] 姚，G。；卢克。；He，X.，拉普拉斯正则化的G-最优特征选择，神经计算，119175-181（2013）·doi:10.1016/j.neucom.2013.03.043 [55] Yu K，Bi J，Tresp V（2006）通过导入性实验设计进行主动学习。附：第23届机器学习国际会议论文集 [56] Yu K，Zhu S，Xu W，Gong Y（2008）利用凸传递实验设计进行文本分类的非自由主动学习。摘自：第31届ACM SIGIR国际信息检索研究与开发年会论文集，第635-642页（2008） [57] Zeng J，Lesnikowski A，Alvarez JM（2018）贝叶斯层定位与深度贝叶斯主动学习中模型不确定性的相关性。http://arxiv.org/abs/1811.12535 [58] 周，J。；Sun，S.，利用流形-保留图约简对高斯过程进行主动学习，神经计算应用，251615-1625（2014）·doi:10.1007/s00521-014-1643-8 [59] Zhu X，Ghahramani Z，Lafferty J（2003a）使用高斯场和调和函数的半监督学习。附：第二十届机器学习国际会议论文集 [60] Zhu X，Lafferty J，Ghahramani Z（2003b）使用高斯场和调和函数结合主动学习和半监督学习。摘自：ICML-2003关于从标记数据到未标记数据的连续性研讨会论文集 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。