×
Gotoh，Jun-ya先生;斯坦·乌里亚塞夫

基于凸风险函数和一般范数的支持向量机。 （英语） Zbl 1404.68104号

安·Oper。物件。 249，编号1-2，301-328（2017）.
摘要：本文基于凸分析，特别是最近在金融优化背景下发展起来的凸风险函数理论，研究了用于二元分类的支持向量机（SVM）的统一公式。利用凸经验风险和凸正则化子的概念，给出了支持向量机的一对原公式和对偶公式。利用广义公式，我们根据风险函数的性质讨论了经验风险和正则化子的合理选择，这些性质在金融环境中是众所周知的。特别是，我们使用风险函数的对偶表示的属性来推导多重解释。我们提供了稳健优化建模的两个观点，增强了已知事实：（1）原始公式可以被视为稳健的经验风险最小化；（2） 对偶公式与分布式稳健建模兼容。

引用于7文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分；聚类分析（统计方面）

关键词：

支持向量机;支持向量机;二进制分类;凸风险函数;二元性;规范;稳健优化

软件：

CVX公司;阿达·布斯特。MH公司;投资组合保障
PDF格式BibTeX公司 XML格式引用
\textit{J.-y.Gotoh}和\textit{S.Uryasev}，Ann.Oper。第249号决议，编号1--2，301-328（2017；Zbl 1404.68104）
全文： 内政部

参考文献：

[1] American Optimal Decisions，Inc.（2009年）。投资组合保障（PSG）。www.aorda.com/aod/psg.action·Zbl 1235.68209号
[2] Artzner，P.、Delbaen，F.、Eber，J.-M.和Heath，D.（1999）。一致的风险度量。数学金融，9（3），203-228·Zbl 0980.91042号 ·doi:10.111/1467-9965.00068
[3] Bartlett，P.L.、Jordan，M.I.和McAuliffe，J.D.（2006）。凸性、分类和风险边界。《美国统计协会杂志》，101（473），138-156·Zbl 1118.62330号 ·doi:10.1198/01621450000000907
[4] Beck，A.和Teboulle，M.（2009年）。线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志，2（1），183-202·Zbl 1175.94009号 ·doi:10.1137/080716542
[5] Bennett，K.P.和Bredensteiner，E.J.（2000年）。SVM分类器中的对偶性和几何性。机器学习国际会议论文集（第57-64页）。
[6] Bennett，K.P.和Mangasarian，O.L.（1992）。两个线性不可分集的鲁棒线性规划判别。优化方法和软件，1，23-34·doi:10.1080/10556789208805504
[7] Ben-Tal，A.和Teboulle，M.（2007年）。凸风险度量的新旧概念：优化确定性等价物。数学金融，17，449-476·Zbl 1186.91116号 ·doi:10.1111/j.1467-9965.2007.00311.x
[8] Boyd，S.和Vandenberghe，L.（2004）。凸优化。剑桥：剑桥大学出版社·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441
[9] Chen，P.-H.，Lin，C.-J.，&Schölkopf，B.（2005）。关于\[nu\]ν-support vector machines的教程。商业和工业中的应用随机模型，21111-136·Zbl 1097.93040号 ·doi:10.1002/asmb.537
[10] Christmann，A.和Steinwart，I.（2004）。模式识别凸风险最小化方法的鲁棒性。机器学习研究杂志，51007-1034·Zbl 1222.68348号
[11] Christopher，J.C.（1998）。模式识别支持向量机教程。数据挖掘和知识发现，2（2），121-167·doi:10.1023/A:1009715923555
[12] Cortes，C.和Vapnik，V.（1995年）。支持向量网络。机器学习，20（3），273-297·Zbl 0831.68098号
[13] 脆，DJ；博格斯，CJC；Solla，SA（编辑）；Leen，TK（编辑）；Müller，K-R（ed.），\[nu\]ν-SVM分类器的几何解释，244-250（2000），马萨诸塞州剑桥
[14] Csiszár，I.（1967年）。概率分布和间接观测值发散的信息型度量。匈牙利科学研究所，2299-318·Zbl 0157.25802号
[15] Föllmer，H.和Schied，A.（2002年）。凸度量风险和交易约束。金融与斯多葛学派，6（4），429-447·Zbl 1041.91039号 ·doi:10.1007/s007800200072
[16] Freund，Y.和Schapire，R.E.（1997）。在线学习的决策理论推广及其在助推中的应用。计算机与系统科学杂志，55，119-139·Zbl 0880.68103号 ·文件编号：10.1006/jcss.1997.1504
[17] Gotoh，J.和Takeda，A.（2005年）。基于条件几何分数的线性分类模型。太平洋优化杂志，1（2），277-296·Zbl 1085.68147号
[18] Gotoh，J.、Takeda，A.和Yamamoto，R.（2014）。金融风险度量和机器学习方法之间的相互作用。计算管理科学，11（4），365-402。doi:10.1007/s10287-013-0175-5·Zbl 1342.91017号 ·doi:10.1007/s10287-013-0175-5
[19] Gotoh，J.和Uryasev，S.（2013年）。基于凸风险泛函和一般范数的支持向量机。研究报告#2013-5，佛罗里达州盖恩斯维尔佛罗里达大学工业和系统工程系。可从www.ise.uf.edu/uryasev/publications/下载·Zbl 1404.68104号
[20] Gotoh，J.和Uryasev，S.（2016年）。两对多面体范数族与\[\ell_p\]ℓp-范数：邻近性及其在优化中的应用。数学编程，A辑，156（1），391-431。doi:10.1007/s10107-015-0899-9·Zbl 1352.47047号 ·doi:10.1007/s10107-015-0899-9
[21] Grant，M.和Boyd，S.（2012年）。CVX:MATLAB软件，用于严格的凸编程，2.0 beta版。http://cvxr.com/cvx。
[22] Kanamori，T.、Takeda，A.和Suzuki，T.（2013）。分类问题中损失函数和不确定性集之间的共轭关系。机器学习研究杂志，14，1461-1504·Zbl 1317.68166号
[23] Kloft，M.、Brefeld，U.、Sonnenburg，S.和Zien，A.（2011年）\[\ell_p\]ℓp-范数多核学习。《机器学习研究杂志》，12953-997·Zbl 1280.68173号
[24] Koh，K.、Kim，S.-J.和Boyd，S.（2007年）。大规模\[\ell_1\]的内点方法ℓ1-正则化逻辑回归。机器学习研究杂志，81519-1555·Zbl 1222.62092号
[25] Livni，R.、Crammer，K.和Globerson，A.（2012年）。使用随机对手对支持向量机进行简单的几何解释。第15届国际人工智能与统计会议论文集·Zbl 1028.90037号
[26] Mangasarian，O.L.（1999）。任意形状的分离面。《运营研究快报》，24，15-23·Zbl 1028.90037号 ·doi:10.1016/S0167-6377（98）00049-2
[27] Pavlikov，K.和Uryasev，S.（2014）。CVaR范数及其在优化中的应用。优化快报，8（7），1999-2020·Zbl 1332.90280号
[28] Pedroso，J.P.和Murata，N.（2001年）。具有不同规范的支持向量机：动机、公式和结果。模式识别字母，221263-1272·Zbl 0990.68117号 ·doi:10.1016/S0167-8655（01）00071-X
[29] 佩雷斯·克鲁兹，F。；韦斯顿，J。；Herrmann，D。；Schölkopf，B。；Suykens，JAK（编辑）；Horvath，G.（编辑）；Basu，S.（编辑）；Michelli，C.（编辑）；Vandewalle，J.（编辑），分类的\[nu\]ν-SVM范围的扩展，179-196（2003），阿姆斯特丹
[30] Rätsch，G。；Schölkopf，B。；斯莫拉，AJ；米卡，S。；Onoda，T。；穆勒，K-R；斯莫拉，AJ（编辑）；Bartlett，P.（编辑）；Schölkopf，B.（编辑）；Schuurmans，D.（编辑），稳健集成学习，207-219（2000），马萨诸塞州剑桥
[31] Reid，M.D.和Williamson，R.C.（2011年）。二进制实验的信息、分歧和风险。《机器学习研究杂志》，12331-817·Zbl 1280.68192号
[32] Rifkin，R.M.和Lippert，R.A.（2007年）。价值正则化与芬切尔对偶。机器学习研究杂志，8，441-479·兹比尔1222.49052
[33] Rockafellar，R.T.（1970年）。凸分析。新泽西州普林斯顿：普林斯顿大学出版社·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[34] Rockafellar，R.T.和Uryasev，S.（2000）。条件价值风险优化。《风险杂志》，2（3），21-41·doi:10.21314/JOR.2000.038
[35] Rockafellar，R.T.和Uryasev，S.（2002年）。一般损失分配的条件价值风险。《银行与金融杂志》，第26期，第1443-1471页·doi:10.1016/S0378-4266（02）00271-6
[36] Rockafellar，R.T.和Uryasev，S.（2013）。风险管理、优化和统计估计中的基本风险四边形。运筹学和管理科学调查，16（1-2），33-53·Zbl 1097.93040号
[37] Ruszczynski，A。；夏皮罗，A。；Calafiore，G.（编辑）；Dabbene，F.（编辑），风险度量的优化，117-158（2005），伦敦
[38] Ruszczynski，A.和Shapiro，A.（2006年）。凸风险函数的优化。运筹学数学，31（3），433-452·Zbl 1278.90283号 ·doi:10.1287/门1050.0186
[39] Schölkopf，B.、Smola，A.J.、Williamson，R.C.和Bartlett，P.L.（2000）。新的支持向量算法。神经计算，12（5），1207-1245·doi:10.1162/089976600300015565
[40] Suykens，J.A.K.和Vandewalle，J.P.L.（1999）。最小二乘支持向量机分类器。《神经处理快报》，9（3），293-300·doi:10.1023/A:1018628609742
[41] 武田，A.、三木，H.和卡纳莫里，T.（2013）。基于鲁棒优化的统一分类模型。神经计算，25（3），759-804·Zbl 1269.68085号 ·doi:10.1162/NECO_a_00412
[42] 武田A.和杉山M.（2008）\[\nu\]Γ-支持向量机作为风险最小化的条件值。第25届机器学习国际会议论文集（第1056-1063页）。
[43] Tsyurmasto，P.、Gotoh，J.和Uryasev，S.（2013年）。具有正齐次风险泛函的支持向量分类。研究报告2013-4，佛罗里达州盖恩斯维尔佛罗里达大学工业和系统工程系。可从www.ise.uf.edu/uryasev/publications/下载·Zbl 1352.47047号
[44] Wang，X.、Fan，N.和Pardalos，P.M.（2015）。具有二阶矩信息的鲁棒机会约束支持向量机。《运筹学年鉴》，。doi:10.1007/s10479-015-2039-6·Zbl 1478.62181号 ·doi:10.1007/s10479-015-2039-6
[45] 王毅（2012）。基于最坏情况条件值-风险最小化的稳健\[\nu\]ν-支持向量机。优化方法与软件，27（6），1025-1038·Zbl 1247.90209号 ·doi:10.1080/10556788.2011.614608
[46] Wolberg，W.H.，Street，W.N.，&Mangasarian，O.L.（2013）。威斯康星州乳腺癌诊断数据集。ftp://ftp.cs.wisc.edu/math-prog/cpo-datasets/machine-learn/cancer/WDBC/。2013年7月24日查阅。
[47] Xu，H.、Caramanis，C.和Mannor，S.（2009a）。支持向量机的鲁棒性和正则化。机器学习研究杂志，101485-1510·Zbl 1235.68209号
[48] Xu，H.、Caramanis，C.、Mannor，S.和Yun，S.（2009b）。风险敏感的鲁棒支持向量机。第48届IEEE决策与控制会议（CDC09），中国上海。
[49] 张涛（2004）。基于凸风险最小化的分类方法的统计行为和一致性。《统计年鉴》，32（1），56-134·Zbl 1105.62323号 ·doi:10.1214/aos/1079120130
[50] Zhou，W.，Zhang，L.，&Jiao，L.（2002）。线性规划支持向量机。模式识别，352927-2936·Zbl 1010.68108号 ·doi:10.1016/S0031-3203（01）00210-2
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。