阿迪蒂亚·塔亚尔；托马斯·科尔曼。；李玉英 限制RankRC和RankSVM之间的差异，并应用于多级稀有类核排名。 （英语） 兹比尔1409.68241 数据最小知识。迪斯科。 32，第2期，417-452（2018）. 摘要：数据积累的快速增长产生了大规模的数据挖掘问题，其中许多问题具有内在的不平衡或罕见的类分布。标准分类算法侧重于整体分类准确性，在这些情况下通常表现不佳。最近，第一作者等人[“RankRC:大规模非线性稀有类排名”，IEEE Trans.Nowl.Data Eng.27，No.123347-3359（2015；doi:10.1010/TKDE.2015.2453171)]提出了一种用于大规模不平衡学习的核方法RankRC。RankRC使用排名损失来克服基于标准分类的损失函数中固有的偏差，同时通过实施罕见的类假设表示来实现计算效率。本文通过建立使用训练点子集实例化假设和使用完整训练集实例化假定之间的等价性，建立了RankRC的理论界，但特征映射等于原始映射的正交投影。这个界限表明，在为假设表示选择数据点子集时，最好先从罕见类中选择点。此外，我们还证明了对于任意损失函数，Nyström核矩阵近似等价于使用数据点子集实例化假设。因此，基于特征映射中正交投影的扰动分析，可以建立Nyström核SVM的理论界。与基于核矩阵近似的扰动分析相比，这通常会导致更严格的界限。为了进一步说明RankRC的计算效率，我们将一种多级稀有类核排序方法应用于Heritage Health Provider Network的健康奖竞争问题，并将RankRC与其他现有方法的性能进行了比较。 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 关键词：稀有类；接收算子特性；AUC公司；排名损失；可扩展的计算；非线性核；排序SVM 软件：SMOTE公司；伦敦银行支持向量机 PDF格式BibTeX公司 XML格式引用 \textit｛A.Tayal｝等人，数据最小已知。发现。32，第2号，417--452（2018；Zbl 1409.68241） 全文： 内政部 参考文献： [1] Achlioptas D，McSherry F，Schölkopf B（2001）《内核方法的采样技术》。高级神经信息处理系统14:335-342 [2] Agarwal S，Niyogi P（2005）二部排序算法的稳定性和泛化。摘自：第18届学习理论年会论文集，COLT’05，第32-47页·Zbl 1137.68513号 [3] Airola A，Pahikkala T，Salakoski T（2011a）关于核矩阵分解nyström近似的学习和交叉验证。神经过程Lett 33（1）：17-30·doi:10.1007/s11063-010-9159-4 [4] Airola A、Pahikkala T、Salakoski T（2011b）使用红黑树在线性时间内训练线性排名SVM。图案识别信32（9）：1328-1336·doi:10.1016/j.patrec.2011.03.014 [5] Baker CTH（1977）积分方程的数值处理。牛津克拉伦登出版社·Zbl 0373.65060号 [6] Bartlett PL、Jordan MI、McAuliffe JD（2006）凸性、分类和风险边界。美国统计协会期刊101（473）：138-156·兹比尔1118.62330 ·doi:10.1198/01621450000000907 [7] Batista GEAPA、Prati RC、Monard MC（2004）《平衡机器学习训练数据的几种方法的行为研究》。SIGKDD探索新闻6（1）：20-29·doi:10.145/1007730.1007735 [8] Bordes A、Ertekin S、Weston J、Bottou L（2005）《在线主动学习的快速内核分类器》。J Mach学习研究6:1579-1619·兹比尔1222.68152 [9] Boser BE，Guyon IM，Vapnik VN（1992）最佳边缘分类器的训练算法。摘自：第五届计算学习理论年度研讨会论文集。ACM，第144-152页 [10] Bousquet O，Elisseeff A（2002）稳定性和泛化。马赫学习研究杂志2:499-526·Zbl 1007.68083号 [11] Bradley AP（1997）在机器学习算法评估中使用ROC曲线下的面积。模式识别器30:1145-1159·doi:10.1016/S0031-3203（96）00142-2 [12] Branch MA，Coleman TF，Li Y（1999）用于大规模有界约束最小化问题的子空间、内部和共轭梯度法。SIAM科学计算杂志21（1）：1-23·Zbl 0940.65065号 ·doi:10.1137/S1064827595289108 [13] Chang C-C，Lin C-J（2011）LIBSVM：支持向量机库。ACM跨智能系统技术2:27:1-27:27。网址：http://www.csie.ntu.edu.tw/cjlin/libsvm [14] Chapelle O（2007）在原始语言中训练支持向量机。神经计算19（5）：1155-1178·兹比尔1123.68101 ·doi:10.1162/neco.2007.19.5.1155 [15] Chapelle O，Keerthi SS（2010）使用SVM进行排名的高效算法。Inf Ret期刊13（3）：201-215·doi:10.1007/s10791-009-9109-9 [16] Chawla NV、Bowyer KW、Hall LO、Kegelmeyer WP（2002）SMOTE：合成少数过采样技术。J Artif Intell Res杂志16:321-357·兹比尔0994.68128 [17] Chawla NV、Japkowicz N、Kotcz A（2004）编辑：关于从不平衡数据集学习的特刊。SIGKDD探索新闻6（1）：1-6·数字对象标识代码：10.1145/1007730.1007733 [18] Coleman TF，Li Y（1994）关于有界非线性极小化的内反射牛顿法的收敛性。数学课程67（1-3）：189-224·Zbl 0842.90106号 ·doi:10.1007/BF01582221 [19] Collobert R、Sinz F、Weston J、Bottou L（2006）《可扩展性的交易凸性》。摘自：第23届机器学习国际会议记录，第201-208页 [20] Cortes C、Mohri M、Talwalkar A（2010）《关于核近似对学习准确性的影响》。摘自：第十三届人工智能与统计国际研讨会论文集 [21] Cotter A，Shalev-Shwartz S，Srebro N（2013）学习最优稀疏支持向量机。摘自：第30届机器学习国际会议记录，第266-274页 [22] DeLong ER、DeLong DM、Clarke-Pearson DL（1988）比较两个或多个相关接收器工作特性曲线下的面积：非参数方法。生物计量学44（3）：837-845·Zbl 0715.62207号 ·doi:10.2307/2531595 [23] El Emam K、Arbuckle L、Koru G、Eze B、Gaudette L、Neri E、Rose S、Howard J、Gluck J（2012）《开放健康数据的识别方法：遗产健康奖索赔数据集案例》。医学互联网研究杂志14（1）：e33 [24] Ezawa K、Singh M、Norton SW（1996）《电信风险管理的面向目标贝叶斯网络学习》。In:机器学习国际会议，第139-147页 [25] Farahat AK，Ghodsi A，Kamel MS（2011）Nyström近似的新型贪婪算法。摘自：人工智能和统计国际会议，第269-277页 [26] Fine S，Scheinberg K（2002）使用低阶核表示的高效svm训练。J Mach学习研究2:243-264·兹伯利1037.68112 [27] Fowlkes C，Belongie S，Chung F，Malik J（2004）使用Nyström方法进行光谱分组。IEEE跨模式分析马赫数集成电路26（2）：214-225·doi:10.10109/TPAMI.2004.1262185 [28] Hanley JA，Mcneil BJ（1982）受试者工作特性（ROC）曲线下面积的含义和用途。放射学143（1）：29-36·doi:10.1148/放射学.143.1.7063747 [29] He H，Garcia EA（2009）从不平衡数据中学习。IEEE Trans Knowl Data Eng 21（9）：1263-1284·doi:10.1109/TKDE.2008.239 [30] Herbrich R，Graepel T，Obermayer K（2000）序数回归的大边距秩界。麻省理工学院出版社，剑桥 [31] 遗产提供商网络健康奖。http://www.heritagehealthprize.com/c/hhp。2013年8月31日访问 [32] Japkowicz N，Stephen S（2002）《阶级失衡问题：一项系统研究》。智能数据分析6（5）：429-449·兹比尔1085.68628 [33] Joachims T（2002）使用点击数据优化搜索引擎。摘自：SIGKDD知识发现和数据挖掘国际会议，第133-142页 [34] Joachims T（2005）多元性能度量的支持向量方法。In:机器学习国际会议，第377-384页 [35] Joachims T，Yu C-N（2009）《通过裁剪训练实现稀疏内核支持》。马赫学习76（2-3）：179-193·Zbl 1470.68123号 ·doi:10.1007/s10994-009-5126-6 [36] Karakoulas G，Shawe-Taylor J（1999），针对不平衡训练集优化分类器。摘自：第11届神经信息处理系统国际会议记录，第253-259页 [37] Kimeldorf G，Wahba G（1970）随机过程的贝叶斯估计与样条平滑之间的对应。数学统计年鉴41:495-502·Zbl 0193.45201号 ·doi:10.1214/aoms/1177697089 [38] Kubat M，Matwin S（1997）《解决不平衡训练集的诅咒：单边选择》。摘自：机器学习国际会议，第179-186页 [39] Kumar S、Mohri M、Talwalkar A（2009）《NyströM方法的取样技术》。摘自：国际人工智能和统计会议，第304-311页 [40] Kumar S、Mohri M、Talwalkar A（2012）《NyströM方法的取样方法》。J Mach学习研究13:981-1006·Zbl 1283.68292号 [41] Kuo T-M，Lee C-P，Lin C-J（2014）大尺度核函数rankSVM。附：SIAM国际数据挖掘会议记录 [42] Lee Y-J，Huang S-Y（2007）简化支持向量机：统计理论。IEEE Trans神经网络18（1）：1-13·doi:10.1109/TNN.2006.883722 [43] Lin Y，Lee Y，Wahba G（2000）非标准情况下分类的支持向量机。马赫学习46（1）：192-202·Zbl 0998.68103号 [44] Maloof MA（2003）学习何时数据集不平衡，何时成本不相等且未知。参加：机器学习国际会议 [45] Metz CE（1978）ROC分析的基本原理。塞米恩核医学8（4）：283-298·doi:10.1016/S0001-2998（78）80014-2 [46] Nguyen X，Wainwright MJ，Jordan MI（2009）关于替代损失函数和f偏差。安统计37（2）：876-904·Zbl 1162.62060号 ·doi:10.1214/08-AOS595 [47] Platt JC（1999）使用序列最小优化快速训练支持向量机。主题：核方法的进展——支持向量学习，第185-208页 [48] Platt JC（2005）Fastmap、metricmap和里程碑mds都是Nyström算法。摘自：国际人工智能与统计会议，第261-268页 [49] Provost F、Fawcett T、Kohavi R（1997）《针对比较归纳算法的精度估计的案例》。In:机器学习国际会议，第445-453页 [50] Raskutti B，Kowalczyk A（2004），SVM的极端再平衡：案例研究。SIGKDD探索新闻6（1）：60-69·数字对象标识代码：10.1145/1007730.1007739 [51] Rifkin R，Yeo G，Poggio T（2003）正则化最小二乘分类。Nato Sci Ser Sub Ser III计算系统科学190:131-154 [52] Rosset S，Zhu J，Hastie T（2003）边际最大化损失函数。主题：神经信息处理系统的进展，第1237-1244页 [53] Schölkopf B，Herbrich R，Smola AJ（2001）广义表示定理。摘自：第14届计算学习理论年会论文集，第416-426页·兹比尔0992.68088 [54] Smola AJ，Schölkopf B（2000）机器学习的稀疏贪婪矩阵近似。In:机器学习国际会议，第911-918页 [55] Sun Y，Kamel MS，Wong AKC，Wang Y（2007）不平衡数据分类的成本敏感增强。图案识别40（12）：3358-3378·Zbl 1122.68505号 ·doi:10.1016/j.patcog.2007.04.009 [56] Talwalkar A（2010）大规模学习的矩阵近似。纽约大学数学科学学院博士论文 [57] Tayal A，Coleman TF，Li Y（2015）RankRC：大型非线性稀有类排名。IEEE Trans Knowl Data Eng 27（12）：3347-3359·doi:10.1109/TKDE.2015.2453171 [58] Tsang IW，Kwok JT，Cheung PM（2005）核心向量机：在超大数据集上的快速SVM训练。J Mach学习研究6:364-392·Zbl 1222.68320号 [59] Turny PD（2000）归纳概念学习中的成本类型。参加：机器学习国际会议 [60] Waegeman W，Baets BD，Boullart L（2006）序数回归不同roc度量的比较。参加：机器学习国际会议·Zbl 1452.62473号 [61] Weiss GM（2004）《稀有采矿：统一框架》，SIGKDD Explor Newsl 6（1）：7-19·数字对象标识代码：10.1145/1007730.1007734 [62] Williams C，Seeger M（2001）使用NyströM方法加速内核机器。摘自：第13届神经信息处理系统国际会议记录，第682-688页 [63] Woods K，Doss C，Bowyer K，Solka J，Preibe C，Keglmyer P（1993）乳腺造影中检测微钙化的模式识别技术的比较评估。国际J图案识别艺术智能7:1417-1436·doi:10.1142/S0218001493000698 [64] Wu G，Chang EY（2003）不平衡数据集学习的类边界对齐。在：机器学习国际会议，第49-56页 [65] Zhang J，Mani I，（2003）KNN方法处理非平衡数据分布：涉及信息提取的案例研究。参加：机器学习国际会议 [66] Zhang K，Tsang IW，Kwok JT（2008）改进Nyström低阶近似和误差分析。摘自：机器学习国际会议，第1232-1239页 [67] Zhang K，Lan L，Wang Z，Moerchen F（2012）在有限资源上扩展核支持向量机：低阶线性化方法。国际Conf Artif Intell Stat 22:1425-1434 [68] Zhu M，Su W，Chipman HA（2006）LAGO：统计检测的计算效率方法。技术计量学48:193-205 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。