×
唐、晶晶；田英杰；刘晓辉；李德伟；吕佳；寇、刚

改进的多视图特权支持向量机。 （英语） Zbl 1434.68458号

神经网络。 106, 96-109 (2018).
摘要：多视图学习（MVL）专注于从由多个不同的特征集表示的数据中学习的问题。共识和互补原则在多视图建模中起着关键作用。通过利用不同视图之间的一致性原则或互补性原则，提出了各种成功的基于支持向量机（SVM）的多视图学习模型以提高性能。最近，一个使用特权信息的学习框架（LUPI）被提出，用于用补充信息建模数据。通过在LUPI范式和多视图学习之间架起桥梁，我们提出了一种基于特权SVM的双视图分类模型，命名为PSVM-2V，同时满足这两个原则。然而，它可以在这三个方面进一步改进：（1）充分释放不同观点之间互补信息的力量；（2） 扩展到多视图案例；（3） 构造一个更高效的优化求解器。因此，本文提出了一种改进的基于特权SVM的多视图学习模型，称为IPSVM-MV。它直接遵循标准LUPI模型，以充分利用多视图互补信息；它也是多视图场景的通用模型，并使用交替方向乘法器（ADMM）有效地解决了相应的优化问题。此外，我们从一致性原则和泛化误差界的角度对IPSVM-MV的性能进行了理论分析。在75个二进制数据集上的实验结果证明了该方法的有效性；在这里，我们主要集中于双视图案例，以与最先进的方法进行比较。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

多视角学习；支持向量机；特权信息；共识；互补性

软件：

SHOGUN公司；简单MKL
PDF格式BibTeX公司 XML格式引用
\textit{J.Tang}等人，神经网络。106、96-109（2018年；Zbl 1434.68458）
全文： 内政部

参考文献：

[1] 安吉塔，D。；吉奥，A。；Oneto，L。；Ridella，S.，Vapnik Chervonenkis熵和Rademacher复杂性之间的深层联系，IEEE神经网络和学习系统汇刊，25，12202-2211（2014）
[2] 巴赫，F.R。；兰克里特，G.R。；Jordan，M.I.，《多核学习、二次曲线对偶和SMO算法》（机器学习国际会议论文集（2004），ACM），6-13
[3] Balcan，M.、Blum，A.和Yang，K.（2004）。协同训练与拓展：走向理论与实践的桥梁。在神经信息处理系统年度会议记录; Balcan，M.、Blum，A.和Yang，K.（2004）。协同训练与拓展：走向理论与实践的桥梁。在神经信息处理系统年会论文集
[4] Bartlett，P。；Mendelson，S.，《Rademacher和Gaussian复杂性：风险边界和结构结果》，《机器学习研究杂志》（JMLR），3463-482（2003）·Zbl 1084.68549号
[5] Blum，A.和Mitchell，T.（1998年）。将标记和未标记数据与联合训练相结合。在计算学习理论年度会议记录; Blum，A.和Mitchell，T.（1998年）。将标记和未标记数据与联合训练相结合。在计算学习理论年度会议记录
[6] 赵，G。；Sun，S.，基于共识和互补性的多视角分类最大熵判别，信息科学，367-368296-310（2016）·Zbl 1428.68232号
[7] 陈，X。；尹，H。；江，F。；Wang，L.，基于Universum学习的多视图维度约简，神经计算，2752279-2286（2018）
[8] Demšar，J.，多数据集上分类器的统计比较，机器学习研究杂志（JMLR），7，1-30（2006）·Zbl 1222.68184号
[9] 邓，N。；田，Y。；Zhang，C.，支持向量机：基于优化的理论、算法和扩展（2012），CRC出版社
[10] Dhillon，P.、Foster，D.和Ungar，L.（2011）。通过CCA进行单词嵌入的多视角学习。在神经信息处理系统年度会议记录; Dhillon，P.、Foster，D.和Ungar，L.（2011）。通过CCA进行单词嵌入的多视角学习。在神经信息处理系统年度会议记录
[11] Eidenberger，H.，用于图像检索的基于内容的MPEG-7描述符的统计分析，多媒体系统，10，2，84-97（2004）
[12] Farquhar，J.、Hardoon，D.、Meng，H.、Shawe-taylor，J.和Szedmak，S.（2005）。双视图学习：SVM-2K，理论和实践。在神经信息处理系统年度会议记录; Farquhar，J.、Hardoon，D.、Meng，H.、Shawe-taylor，J.和Szedmak，S.（2005）。双视图学习：SVM-2K，理论和实践。在神经信息处理系统年度会议记录
[13] Fukumizu，K。；巴赫，F。；Gretton，A.，核典型相关分析的统计一致性，机器学习研究杂志（JMLR），8，2007，361-383（2007）·兹比尔1222.62063
[14] 谢伟伟，用神经网络进行非线性典型相关分析，神经网络，13，10，1095-1105（2000）
[15] 黄，C。；F.-l.钟。；Wang，S.，多视图L2-SVM及其多视图核心向量机，神经网络，75，110-125（2016）·Zbl 1414.68060号
[16] Kakade，S.M.、Sridharan，K.和Tewari，A.（2009年）。线性预测的复杂性：风险边界、边际边界和正则化。在神经信息处理系统年度会议记录; Kakade，S.M.、Sridharan，K.和Tewari，A.（2009年）。线性预测的复杂性：风险边界、边际边界和正则化。在神经信息处理系统年度会议记录
[17] Kumar，A.和Daumé，H.（2011年）。多视图光谱聚类的联合训练方法机器学习国际会议记录; Kumar，A.和Daumé，H.（2011年）。多视图光谱聚类的联合训练方法机器学习国际会议记录
[18] 拉宾，M。；海因，M。；Schiele，B.，《使用特权信息学习：SVM+和加权SVM》，神经网络，53，95-108（2014）·Zbl 1308.68098号
[19] 李，J。；奈杰尔，A。；陶，D。；Li，X.，用于图像检索的多训练支持向量机，IEEE图像处理汇刊，15，11，3597-3601（2006）
[20] Li，W.、Dai，D.、Tan，M.、Xu，D.和Van Gool，L.（2016）。线性和核SVM+的快速算法。在IEEE计算机视觉和模式识别会议记录; Li，W.、Dai，D.、Tan，M.、Xu，D.和Van Gool，L.（2016）。线性和核SVM+的快速算法。在IEEE计算机视觉和模式识别会议记录
[21] 刘，A。；徐，N。；聂文忠。；Su，Y.T。；Wong，Y。；Kankanhalli，M.，《为人类行为识别建立多模式、多视图和交互式数据集基准》，IEEE控制论汇刊，47，7，1781-1794（2017）
[22] Mao，L.，&Sun，S.（2016）。基于软边界一致性的可扩展多视图最大熵判别。在国际人工智能联合会议记录; Mao，L.，&Sun，S.（2016）。基于软边界一致性的可扩展多视图最大熵判别。在人工智能国际联合会议记录
[23] O·梅纳德。；Frezza-Buet，H.，多模态皮层处理模型：自组织模块中的相干学习，神经网络，18，5，646-655（2005）
[24] Nishihara，R.、Lessard，L.、Recht，B.、Packard，A.和Jordan，M.（2015）。ADMM收敛性的一般分析。在机器学习国际会议记录; Nishihara，R.、Lessard，L.、Recht，B.、Packard，A.和Jordan，M.（2015）。ADMM收敛性的一般分析。在机器学习国际会议论文集
[25] Pechyony，D.和Vapnik，V.（2010年）。关于利用特权信息学习的理论。在神经信息处理系统年度会议记录; Pechyony，D.和Vapnik，V.（2010年）。关于利用特权信息学习的理论。在神经信息处理系统年度会议记录
[26] 彭杰。；Aved，A.J。；Seetharaman，G。；Palaniappan，K.，《利用信息传播促进分类的多视图》，IEEE神经网络和学习系统汇刊，29，3，657-669（2018）
[27] 阿科托马蒙杰，A。；巴赫，F.R。；卡努，S。；Grandvalet，Y.，Simplemkl，机器学习研究杂志（JMLR），9，3，2491-2521（2008）·Zbl 1225.68208号
[28] Sonnenburg，S。；Rätsch，G。；Schäfer，C。；Schölkopf，B.，《大规模多内核学习》，《机器学习研究杂志》，第7期，第1531-1565页（2006年）·Zbl 1222.90072号
[29] Sun，J。；Keates，S.，《带审查和错误信息的数据典型相关分析》，IEEE神经网络和学习系统汇刊，24，12，1909-1919（2013）
[30] Sun，S.，《多视图机器学习、神经计算和应用的调查》，23，7-8，2031-2038（2013）
[31] Sun，S。；谢，X。；Yang，M.，多视角非相关判别分析，IEEE控制论汇刊，46，12，3272-3284（2016）
[32] Tang，J。；Tian，Y.，具有非并行支持向量机的多核框架，神经计算，266226-238（2017）
[33] Tang，J。；田，Y。；张，P。；Liu，X.，多视图特权支持向量机，IEEE神经网络和学习系统汇刊（2017）
[34] Vapnik，V。；Izmailov，R.，《使用特权信息的学习：相似性控制和知识转移》，《机器学习研究杂志》（JMLR），第16期，2023-2049页（2015年）·Zbl 1351.68240号
[35] Vapnik，V。；Vashist，A.，《一种新的学习范式：利用特权信息进行学习》，《神经网络》，2009年第22、5、544-557页·Zbl 1335.68212号
[36] 维娅，J。；圣塔玛利亚，I。；Pérez，J.，多个数据集自适应典型相关分析的学习算法，神经网络，20,1139-152（2007）·Zbl 1158.68459号
[37] Wang，W.，&Zhou，Z.（2010）。对联合培训的新分析。在机器学习国际会议记录; Wang，W.，&Zhou，Z.（2010）。对联合培训的新分析。在机器学习国际会议论文集
[38] Wang，Y。；张伟。；Wu，L。；林，X。；Zhao，X.，通过基于图形随机行走的交叉视图扩散对多视图数据进行无监督度量融合，IEEE神经网络和学习系统汇刊，28，1，57-70（2017）
[39] Xu，C.、Tao，D.和Xu，C（2013）。多视角学习调查。arXiv预印本。arXiv:1304.5634；Xu，C.、Tao，D.和Xu，C（2013）。多视角学习调查。arXiv预印本。arXiv:1304.5634
[40] 赵，J。；谢，X。；Xu，X。；Sun，S.，《多视角学习概述：最新进展和新挑战》，信息融合，38，43-54（2017）
[41] Zong，L。；张，X。；赵，L。；Yu，H。；赵琦，基于多流形正则化非负矩阵分解的多视图聚类，神经网络，88，74-89（2017）·Zbl 1434.68493号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。