Le，Linh（林·勒）;谢颖;拉加万，维杰五世。 KNN损失和深度KNN。 （英语） Zbl 1522.68471号 芬丹。通知。 182，编号2，95-110（2021）. 摘要：k最近邻（KNN）算法因其简单有效而被广泛应用于各种监督学习任务中。然而，建模空间中邻域的质量直接影响KNN决策的质量。已经努力将数据映射到更好的特征空间，要么隐式地使用核函数，要么显式地通过学习线性或非线性变换。然而，所有这些方法都使用预先确定的距离或相似函数，这可能会限制它们的学习能力。本文提出了两种损失函数，即KNN损失和模糊KNN丢失，以量化KNN相对于监督学习形成的邻域的质量，从而最小化训练数据上的损失函数，从而最大限度地提高KNN对训练数据的决策准确性。我们进一步提出了一种深度学习策略，该策略能够通过最小化KNN丢失来学习数据的成对相似性，从而将数据隐式映射到一个优化KNN邻域质量的特征空间。实验结果表明，该深度学习策略（表示为deep KNN）在多个基准数据集上的性能优于最新的监督学习方法。 MSC公司： 68T05型 人工智能中的学习和自适应系统 2017年10月68日 人工神经网络与深度学习 关键词：KNN损失;模糊深度学习;深KNN;监督学习 软件：西雅娜;Scikit公司;AlexNet公司;LMNN公司;ImageNet公司;随机森林 PDF格式BibTeX公司 XML格式引用 \textit{L.Le}等人，Fundam。通知。182，编号2，95--110（2021；Zbl 1522.68471） 全文： 内政部 参考文献： [1] 彼得森（Peterson LE）。K—最近邻。学者媒体，2009年。4(2):1883. doi:10.4249/schorarpedia.1883·doi:10.4249/学术媒体.1883 [2] Vaidehi V.使用人脸识别进行身份验证。In：程序。2008年世界工程与计算机科学大会。 [3] 徐思，吴勇。基于人工免疫B细胞网络的遥感图像分类算法。摄影测量、遥感和空间信息科学国际档案，2008。37:107-112. [4] 夏M，陆伟，杨杰，马毅，姚伟，郑梓。一种基于极端学习机和k近邻的地面可见云图像云分类混合方法。神经计算，2015年。160:238 -249. 数字对象标识：https://doi.org/10.1016/j.neucom.2015.02.022。 ·doi:10.1016/j.neucom.2015.02.022 [5] Lin WC，Ke SW，Tsai CF.CANN：一种基于组合簇中心和最近邻居的入侵检测系统。基于知识的系统，2015年。78:13 -21. 数字对象标识：https://doi.org/10.1016/j.knosys。 2015.01.009. ·doi:10.1016/j.knosys.2015.01.009 [6] Wohlhart P，Lepetit V.对象识别和3D姿势估计的学习描述符。收录：IEEE计算机视觉和模式识别会议（CVPR）。2015 [7] Toker G，Kirmemis O。使用k最近邻分类进行文本分类。调查文件，中东技术大学，2013年。 [8] Liao Y，Vemuri VR。使用文本分类技术进行入侵检测。收录于：USENIX安全研讨会，第12卷。2002年，第51-59页。 [9] Peng J，Choo KKR，Ashman H.社交媒体上基于比特级n-gram的法医作者分析：从语言档案中识别个人。《网络与计算机应用杂志》，2016年。70:171 -182. 数字对象标识：https://doi.org/10.1016/j.jnca.2016.04.001。 ·doi:10.1016/j.jnca.2016.04.001 [10] Irfan R、King CK、Grages D、Ewen S、Khan SU、Madani SA、Kolodziej J、Wang L、Chen D、Rayes A等人关于社交网络中文本挖掘的调查。《知识工程评论》，2015年。30(2):157170. doi:10.1017/S026988891400277·doi:10.1017/S026988891400277 [11] Bajramovic F，Mattern F，Butko N，Denzler J。通用目标识别的最近邻搜索算法比较。参加：智能视觉系统先进概念国际会议。施普林格，2006年，第1186-1197页。doi:10.1007/11864349 108·doi:10.1007/11864349108 [12] Adeniyi D，Wei Z，Yongquan Y。使用K-Nearest Neighbor（KNN）分类方法的自动web使用数据挖掘和推荐系统。应用计算与信息学，2016年。12(1):90-108. 统一资源定位地址https://doi.org/10.1016/j.aci.2014.10.001。 ·doi:10.1016/j.aci.2014.10.001 [13] Korn F、Sidiropoulos N、Faloutsos C、Siegel E、Protopapas Z。医学图像数据库中的快速最近邻搜索。技术报告，1998年。统一资源定位地址http://hdl.handle.net/1903/805。 [14] Deekhatulu B、Chandra P等。使用k近邻和遗传算法对心脏病进行分类。Procedia Technology，2013年。10:85-94. doi:10.1016/j.procy.2013.12.340·doi:10.1016/j.procy.2013.12.340 [15] Xie Y.KNN++：一种改进的K-最近邻方法，用于分类具有异构视图的数据。参加：混合智能系统国际会议。Springer，2016年，第13-23页。doi:10.1007/978-3-319-27221-4 2·doi:10.1007/978-3-319-27221-42 [16] Globerson A，Roweis ST。通过崩溃的课堂进行度量学习。主题：神经信息处理系统的进展。2006年，第451-458页。 [17] Goldberger J、Hinton GE、Roweis ST、Salakhutdinov RR。邻里成分分析。主题：神经信息处理系统的进展。2005年第513-520页。统一资源定位地址http://papers.nips。cc/paper/2566-neighbourhood-components-analysis.pdf。 [18] Weinberger KQ，Saul LK。大幅度最近邻分类的距离度量学习。机器学习研究Jour-nal，2009年。10（2月）：207-244。统一资源定位地址http://dl.acm.org/citation。立方英尺？编号1577069.1577078·Zbl 1235.68204号 [19] Xing EP、Jordan MI、Russell SJ、Ng AY。远程度量学习，应用于带有副信息的集群。主题：神经信息处理系统的进展。2003年，第521-528页。 [20] 左伟，张丹，王凯。关于核差加权K-最近邻分类。模式分析与应用，2008年。11(3-4):247-257. doi:10.1007/s10044-007-0100-z·Zbl 1422.68214号 ·doi:10.1007/s10044-007-0100-z [21] 乐乐，谢毅。《深度嵌入内核》。arXiv预印arXiv:1804.058062018。 [22] Min R，Stanley DA，Yuan Z，Bonner A，Zhang Z。用于大边缘knn分类的深度非线性特征映射。2009年第九届IEEE数据挖掘国际会议。ICDM’09。IEEE，2009年，第357-366页。doi:10.1109/ICDM.2009.27·doi:10.1109/ICDM.2009.27 [23] Ren W，Yu Y，Zhang J，Huang K。学习卷积非线性特征用于K近邻图像分类。摘自：模式识别（ICPR），2014年第22届IEEE国际会议，2014年，第4358-4363页。doi:10.1109/ICPR.2014.746·doi:10.1109/ICPR.2014.746 [24] Vincent P、Larochelle H、Lajoie I、Bengio Y、Manzagol PA。叠层去噪自动编码器：使用局部去噪标准学习深层网络中的有用表示。机器学习研究杂志，2010年。11日（12月）：3371-3408。统一资源定位地址http://www.jmlr.org/papers/volume11/vincent10a/vincent10a.pdf·Zbl 1242.68256号 [25] Hinton GE。深度信念网络。Scholarpedia，2009年。4(5):5947. doi:10.4249/schorarpedia.5947·doi:10.4249/学术媒体.5947 [26] Krizhevsky A，Sutskever I，Hinton GE。深度卷积神经网络的Imagenet分类。In：神经信息处理系统的进展。2012年，第1097-1105页。doi:10.1145/3065386·doi:10.1145/3065386 [27] Funahashi Ki，Nakamura Y.用连续时间递归神经网络逼近动力学系统。神经网络，1993年。6(6):801-806. 统一资源定位地址https://doi.org/10.1016/S0893-6080（05）80125-X。 [28] Hochreiter S，Schmidhuber J.长期短期记忆。神经计算，1997年。9(8):1735-1780. [29] Chung J，Gulcehre C，Cho K，Bengio Y。门控递归神经网络对序列建模的实证评估。arXiv预印arXiv:1412.35552014。 [30] 弗里德曼·JH。随机梯度增强。计算统计与数据分析，2002年。38(4):367-378. 统一资源定位地址https://doi.org/10.1016/S0167-9473(01)00065-2. ·兹比尔1072.65502 [31] Liaw A、Wiener M等，《随机森林分类与回归》。R新闻，2002年。2(3):18-22. [32] Bergstra J、Breuleux O、Bastien F、Lamblin P、Pascanu R、Desjardins G、Turian J、Warde-Farley D、Bengio Y.Theano:Python中的CPU和GPU数学编译器。In：程序。2010年科学大会第九届蟒蛇奖，第1-7页。 [33] Pedregosa F、Varoqueux G、Gramfort A、Michel V、Thirion B、Grisel O、Blondel M、Prettenhofer P、Weiss R、Dubourg V等。Scikit-learn：Python中的机器学习。机器学习研究杂志，2011年。12（10月）:2825-2830·Zbl 1280.68189号 [34] Smith JW、Everhart J、Dickson W、Knowler W、Johannes R.使用ADAP学习算法预测糖尿病发病。摘自：计算机在医疗保健中的应用年度研讨会论文集。美国医学信息学协会，1988年，第261页。 [35] Decencière E、Zhang X、Cazuguel G、Lay B、Cochener B、Trone C、Gain P、Ordonez R、Massin P、Erginay A等。公开发布图像数据库的反馈：Messidor数据库。图像分析与体视学，2014年。33(3):231-234. doi:10.5566/ias.1155·兹比尔1393.92026 ·doi:10.5566/ias.1155 [36] Wolberg WH，Mangasarian OL公司。医学诊断模式分离的多表面方法适用于乳腺细胞学。《国家科学院学报》，1990年。87（23）：9193-9196。doi:10.1073/pnas.87.23.9193·Zbl 0709.92537号 ·doi:10.1073/pnas.87.23.9193 [37] Thabtah F.自闭症谱系障碍筛查：机器学习适应和DSM-5实现。摘自：2017年第一届国际医学与健康信息学会议记录。ACM，2017年，第1-6页。doi:10.1145/3107514.3107515·数字对象标识代码：10.1145/3107514.31075515 [38] Fernandes K，Cardoso JS，Fernande J.将部分可观察性的转移学习应用于宫颈癌筛查。在：伊比利亚模式识别和图像分析会议。施普林格，2017年，第243-250页。doi:10.1007/978-3-319-58838-4 27·doi:10.1007/978-3-319-58838-427 [39] 张J.选择实例学习中的典型实例。摘自：《1992年机器学习学报》，第470-479页。爱思唯尔，1992年。统一资源定位地址https://doi.org/10.1016/B978-1-55860-247-2.50066-8。 ·doi:10.1016/B978-1-55860-247-2.50066-8 [40] Ayres-de Campos D、Bernardes J、Garrido A、Marques-de Sa J、Pereira-Leite L.SisPorto 2.0：自动分析心脏图的程序。《妇产医学杂志》，2000年。9(5):311-318. doi:10.1002/1520-6661（200009/10）9:5【311:：AID-MFM12？3.0.CO；2-9. ·doi:10.1002/1520-6661（200009/10）9:5【311:：AID-MFM12？3.0.CO；2-9 [41] Mansouri K，Ringsted T，Ballabio D，Todeschini R，Consonni V.化学品生物降解性定量构效关系模型。化学信息与建模杂志，2013年。53(4):867-878. doi:10.1021/ci4000213·doi:10.1021/ci4000213 [42] 汉密尔顿JD。时间序列分析，第2卷。普林斯顿大学出版社，新泽西州普林斯顿，1994年。ISBN:0-691-04289-6·Zbl 0831.62061号 [43] Cortes C，Vapnik V.支持向量机。机器学习，1995年。20(3):273-297. 网址https://doi.org/10.1023/A：1022627411411·Zbl 0831.68098号 ·doi:10.1023/A:1022627411411 [44] Kruse R、Borgelt C、Klawonn F、Moewes C、Steinbrecher M、Held P.多层感知器。摘自：《推理智能》，第47-81页。施普林格，2013年。doi:10.1007/978-1-4471-5013-85·Zbl 1283.68280号 ·doi:10.1007/978-1-4471-5013-85 [45] Le L，Hao J，Xie Y，Priestley J.Deep Kernel：使用深度神经网络从数据中学习核函数。2016年IEEE/ACM第三届大数据计算应用与技术国际会议（BDCAT）。2016年第1-7页。 [46] Xie Y，Le L，Hao J.高维数据的非监督深核。参见：神经网络（IJCNN），2017年IEEE国际联合会议，2017年，第294-299页。doi:10.1109/IJCNN.2017.7965868·doi:10.1109/IJCNN.2017.7965868 [47] Bailey T，Jain A.关于距离加权k近邻规则的注释。IEEE系统、人与控制论汇刊，1978年。(4):311-313. doi:10.1109/TSMC.1978.4309958·Zbl 0383.68067号 ·doi:10.1109/TSMC.1978.4309958 [48] Thabtah F.ASD测试。2017年ASD筛查的移动应用程序。 [49] 自闭症谱系障碍行为研究中的机器学习：回顾和前进的途径。《健康和社会护理信息学》，2018年。44(175):1-20. 网址：10.1080/17538157.2017.1399132·网址：10.1080/17538157.2017.1399132 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。