×

利用基于图形的损失函数对监督核进行有效学习。 (英语) Zbl 1428.68250号

摘要:本文研究了从大量副信息中学习监督核的相关问题。我们提出了一个新的损失函数,它是由边信息生成的特殊完备图的拉普拉斯矩阵导出的。我们分析了所提出的损失函数与核对齐之间的关系。我们的理论分析表明,所提出的损失函数与核对齐有着密切的关系,即除了使用类似的正则化策略外,它们都利用了在矩阵中融合的边信息。此外,所提出的损失函数具有线性形式,因此与必须非线性执行的核对齐相比,它在学习边信息方面更有效。提出的损失函数用于生成新的核,作为通过某些最新方法学习的核的“低成本”替代。实证结果表明,该方法在分类精度和计算成本方面优于现有方法。

MSC公司:

68T05年 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 贝尔金,M。;Niyogi,P.,用于降维和数据表示的拉普拉斯特征映射,神经计算。,15, 6, 1373-1396 (2003) ·Zbl 1085.68119号
[2] 贝尔金,M。;Niyogi,P.,使用流形结构进行部分标记分类,神经信息处理系统进展,15929-936(2003)
[3] 贝尔金,M。;Niyogi,P。;Sindhwani,V.,《流形正则化:从标记和未标记示例学习的几何框架》,J.Mach。学习。第7号决议,2399-2434(2006)·Zbl 1222.68144号
[4] 巴卡,S。;金·R。;Jain,A.,《视觉对象识别的多核学习:综述》,IEEE Trans。模式分析。机器。智力。,36, 7, 1354-1369 (2014)
[5] 考利,G。;Talbot,N.,第一级推理的内核学习,神经网络。,53, 69-80 (2014) ·Zbl 1308.68091号
[6] Chang,C。;Lin,C.,LIBSVM:支持向量机库,ACM Trans。智力。系统。技术。,2, 3, 389-396 (2007)
[7] Chen,W。;邵,Y。;Hong,N.,《用于半监督分类的拉普拉斯平滑双支持向量机》,国际J.Mach。学习。赛博。,5, 3, 459-468 (2014)
[8] 北卡罗来纳州克里斯蒂亚尼尼。;肖-泰勒,J。;Elisseeff,A。;Kandola,J.,《关于核-目标对齐》,《神经信息处理系统的进展》,第15期,第367-373页(2002年)
[9] Demšar,J.,多数据集上分类器的统计比较,J.Mach。学习。研究,7,1-30(2006)·Zbl 1222.68184号
[10] 哈姆·J。;Lee,D。;米卡,S。;Schölkopf,B.,流形降维的核心观点,第21届国际机器学习年会论文集,47-54(2004)
[11] 海,S。;金·R。;Lyu,M.,从成对约束中学习非参数核矩阵,机器学习国际会议,361-368(2007)
[12] 黄,S。;Jin,L。;薛,K。;Fang,Y.,具有多类视觉分类应用的数据相关多核组合模型的在线主对偶学习,Inf.Sci。,320, 75-100 (2015) ·Zbl 1390.68533号
[13] 伊万诺夫。;瓦辛,V。;Tanana,V.,《线性不适定问题理论及其应用》,《逆与不适定问题系列》(2002),Brill出版社:Brill出版社,荷兰莱顿·兹比尔1037.65056
[14] Jain,P。;库利斯,B。;戴维斯,J.V。;Dhillon,I.S.,《使用线性变换的度量和核学习》,J.Mach。学习。决议,第13号,第519-547页(2012年)·Zbl 1283.68290号
[15] Joachims,T.,《使大规模SVM学习实用化》,《高级内核方法支持向量学习》。,169-184 (1999)
[16] Jolliffe,I.,主成分分析(2002),Springer·Zbl 1011.62064号
[17] Karmarkar,N.,线性规划的新多项式时间算法,组合数学,4,4,373-395(1984)·Zbl 0557.90065号
[18] 库利斯,B。;Sustik,M。;Dhillon,I.,带Bregman矩阵发散的低秩核学习,J.Mach。学习。决议,10,341-376(2009)·Zbl 1235.68166号
[19] 柳叶刀,G。;北卡罗来纳州克里斯蒂亚尼尼。;Bartlett,P。;Ghaoui,L。;Jordan,M.,用半定规划学习核矩阵,J.Mach。学习。研究,5,27-72(2004)·Zbl 1222.68241号
[20] Li,F。;Fu,Y。;戴,Y。;Sminchisescu,C。;Wang,J.,无约束优化的核学习,国际人工智能与统计会议,328-335(2009)
[21] 李,J.-B。;Wang,Y.-H。;楚,S.-C。;Roddick,J.,基于核的特征提取和识别的核自优化学习,信息科学。,257, 70-80 (2014) ·Zbl 1320.68140号
[22] 卢,Z。;Jain,P。;Dhillon,I.S.,Geometry-aware metric learning,机器学习国际会议,673-680(2009)
[23] Nazarpour,A。;Adibi,P.,用于监督降维的两阶段多核学习,模式识别。,48, 1854-1862 (2015)
[24] Nemenyi,P.,《无分布多重比较》(1963年),普林斯顿大学博士论文
[25] 内斯特罗夫,Y。;Nemirovskii,A.,《凸规划中的内点多项式方法》(1994年),工业和应用数学学会:工业与应用数学学会,宾夕法尼亚州费城·Zbl 0824.90112号
[26] Ng,A.Y。;约旦医学院。;Weiss,Y.,关于光谱聚类:分析和算法,神经信息处理系统进展,14849-856(2002)
[27] 潘,B。;赖,J。;Shen,L.,从标签学习核的理想正则化,神经网络。,56, 22-34 (2014) ·Zbl 1325.68194号
[28] 潘,B。;夏俊杰。;袁,P。;Gateno,J。;叶海山。;何,Q。;李,P.K.M。;Chow,B。;Zhou,X.,用于预测软组织变形的增量核岭回归,第15届医学图像计算和计算机辅助干预国际会议,法国尼斯,99-106(2012)
[29] 彭,X。;陈,D。;Kong,L。;Xu,D.,区间投入产出数据的区间双支持向量回归算法,国际J.Mach。学习。赛博。,6, 5, 719-732 (2015)
[30] Schölkopf,B。;Smola,A。;Müller,K.,作为核特征值问题的非线性分量分析,神经计算。,10, 5, 1299-1319 (1998)
[31] Smola,A。;Kondor,R.I.,图的核与正则化,学习理论与核机器,144-158(2003),Springer·Zbl 1274.68351号
[32] 宋,L。;Smola,A。;Borgwardt,K。;Gretton,A.,有色最大方差展开,神经信息处理系统进展,211385-1392(2008)
[33] Sturm,J.,使用SeDuMi 1.02,一个用于对称锥优化的MATLAB工具箱,Optim。方法软件。,10-11, 625-653 (1999) ·Zbl 0973.90526号
[34] Tanveer,M.,隐式拉格朗日双支持向量机的牛顿方法,国际J·马赫。学习。赛博。,6, 6, 1029-1040 (2015)
[35] 田,M。;王伟,基于中心核极化准则的高效高斯核优化,信息科学。,322, 133-149 (2015) ·Zbl 1390.68557号
[36] 熊,H。;斯瓦米,M。;Ahmad,M.,在经验特征空间中优化内核,IEEE Trans。神经网络。,16, 2, 460-474 (2005)
[37] 杨,M。;张,L。;Shiu,S.-K。;张,D.,人脸识别中具有统计局部特征的稳健核表示,IEEE Trans。神经网络。学习。系统。,24, 6, 900-912 (2013)
[38] 张,X。;Mahoor,M.,用于面部动作单元检测的任务相关多任务多内核学习,模式识别。,51, 187-196 (2016)
[39] 钟,S。;Chen,T。;He,F。;Niu,Y.,基于特殊结构全局优化的分类任务的快速高斯核学习,神经网络。,57,51-62(2014)·Zbl 1325.68206号
[40] 朱,X。;坎多拉,J。;Ghahramani,Z。;Lafferty,J.,半监督学习中图核的非参数变换。,神经信息处理系统进展,171641-1648(2004)
[41] 庄,J。;Tsang,I.W。;Hoi,S.C.H.,一系列简单的非参数核学习算法,J.Mach。学习。第12号决议,1313-1347(2011年)·Zbl 1280.68223号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。