×

具有凸损失的二分排序算法的泛化性能。 (英语) Zbl 1304.62044号

摘要:以往描述二部排序算法泛化性能的工作通常基于(0-1)损失或接收机工作特性(ROC)曲线下面积的假设。本文通过研究再生核Hilbert空间上具有凸损失的二部排序算法的泛化性能,远远超出了这一经典框架。基于McDiarmid不等式和Rademacher复杂性,我们建立了二部排序算法泛化误差的上界。理论分析不同于以往的误差分析结果,并表明了正则化二部排序算法具有吸引人的一致收敛性。

MSC公司:

62F07型 统计排名和选择程序
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿加瓦尔,S.,《学习在图表上排名》,马赫。学习。,81, 333-357 (2010) ·Zbl 1470.68068号
[2] 阿加瓦尔,S。;杜加,D。;Sengupta,S.,《药物发现的化学结构排序:一种新的机器学习方法》,J.Chem。Inf.模型。,50716-731(2010年)
[3] 阿加瓦尔,S。;Graepel,T。;Herbrich,R。;Har-Peled,S。;Roth,D.,ROC曲线下面积的概化界限,J.Mach。学习。决议,6393-425(2005)·Zbl 1222.68129号
[4] 阿加瓦尔,S。;Niyogi,P.,《通过算法稳定性对排序算法进行推广的界限》,J.Mach。学习。决议,10,441-474(2009)·兹比尔1235.68123
[5] Aronszajn,N.,《再生核理论》,译。阿默尔。数学。Soc.,68,337-404(1950)·Zbl 0037.20701号
[6] Bartlett,P.L。;Mendelson,S.,Rademacher和Gaussian复杂性:风险边界和结构结果,J.Mach。学习。决议,3463-482(2002)·Zbl 1084.68549号
[7] O.布斯克。;Elisseeff,A.,稳定性和泛化,J.Mach。学习。决议,2499-526(2002)·Zbl 1007.68083号
[8] Chen,H.,正则化排序算法的收敛速度,J.近似理论,1641513-1519(2012)·Zbl 1252.68225号
[9] 陈,H。;Tang,Y。;李立清。;袁,Y。;李,X。;唐永勇,随机梯度下降排序的误差分析,IEEE Trans。系统。人类网络。B部分Cybern。(2012)
[10] 克莱门孔,S。;Deecker,M。;Vayatis,N.,二部排名的自适应分区方案,马赫。学习。,83, 31-69 (2011) ·Zbl 1237.68141号
[11] 克莱门孔,S。;罗戈西,G。;Vayatis,N.,\(U\)-统计学的排序和经验最小化,Ann.Statist。,36, 844-874 (2008) ·Zbl 1181.68160号
[12] 科恩,W.W。;夏皮雷,R.E。;辛格,Y.,《学习排序》,《人工智能研究杂志》,第10期,第243-270页(1999年)·Zbl 0915.68031号
[13] Cossock,D。;Zhang,T.,贝叶斯最优子集排序的统计分析,IEEE Trans。通知。理论,54,5140-5154(2008)·Zbl 1319.62042号
[14] Cucker,F。;Smale,S.,《学习的数学基础》,布尔。阿默尔。数学。Soc.,39,1-49(2002)·Zbl 0983.68162号
[15] Cucker,F。;周德兴,《学习理论:一种近似理论观点》(2007),剑桥大学出版社:剑桥大学出版社·Zbl 1274.41001号
[16] Dong,X.M。;周,D.X.,通过梯度下降算法学习梯度,J.Math。分析。申请。,341, 1018-1027 (2008) ·Zbl 1142.68060号
[17] 弗伦德,Y。;Iyer,R。;夏皮雷,R.E。;Singer,Y.,一种用于组合偏好的高效提升算法,J.Mach。学习。第4933-969号决议(2003年)·Zbl 1098.68652号
[18] 黄,W。;Chen,D.R.,带\(l(p)\)范数约束的梯度迭代,J.Math。分析。申请。,381, 947-951 (2011) ·Zbl 1236.94029号
[19] McDiarmid,C.,《关于有界差分方法》(《组合数学调查》(1989),剑桥大学出版社:剑桥大学出版社)·Zbl 0712.05012号
[20] 穆克吉,S。;Wu,Q.,分类中梯度和坐标协变的估计,J.Mach。学习。第7号决议,2481-2514(2006)·兹比尔1222.62078
[21] Rudin,C.,《(P\)-范数推送:一种简单的凸排序算法,集中在列表的顶部》,J.Mach。学习。决议,102233-2271(2009)·Zbl 1235.68185号
[22] 鲁丁,C。;Schapire,R.E.,基于Margin的排名以及AdaBoost和RankBoost,J.Mach之间的等价性。学习。研究,102193-232(2009)·Zbl 1235.68186号
[23] Vapnik,V.N.,《统计学习理论》(1998),约翰·威利:约翰·威利纽约·Zbl 0935.62007号
[24] Vapnik,V.N。;Chervonenkis,A.,《关于事件相对频率与其概率的一致收敛性》,《概率论》。申请。,16264-280(1971年)·Zbl 0247.60005号
[25] Waegeman,W。;De,B.B.,《两两多类分类中二分排名的及物性分析》,Inform。科学。,180, 4099-4117 (2010) ·Zbl 1204.62103号
[26] Waegeman,W。;De,B.B.,关于两两排序函数的ERA排序代表性,人工智能,1751223-1250(2011)·Zbl 1225.68220号
[27] 邹,B。;李立清。;Xu,Z.B.,马尔可夫链样本最小二乘正则回归算法的泛化性能,J.Math。分析。申请。,388, 333-343 (2012) ·Zbl 1231.62167号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。