×
曼利奥·高迪奥索;乔瓦尼·贾隆巴多;乔瓦娜·米利奥尼科

通过向量\（k\）范数和DC编程进行稀疏优化，并将其应用于支持向量机的特征选择。 （英语） Zbl 07752374号

计算。最佳方案。申请。 86，第2号，745-766（2023）.
摘要：稀疏优化是指找到以尽可能小的非零分量为特征的函数的极小值，这种范式在机器学习中具有很大的实际意义，特别是在基于支持向量机的分类方法中。通过利用向量的（k）范数的一些性质，即其最大绝对值分量之和，我们将一个稀疏优化问题描述为一个混合整数非线性规划，其连续松弛等价于凸函数的差分无约束极小化。将该方法应用于支持向量机框架中的特征选择，并在一组基准实例上进行了测试。通过与基于标准（ell1）的支持向量机和简单版本的斜率方法的数值比较，证明了我们的方法在不影响测试正确性的情况下实现解的高稀疏性的有效性。

MSC公司：

90立方厘米 混合整数编程
90C26型 非凸规划，全局优化
90 C90 数学规划的应用

关键词：

全局优化;稀疏优化;基数约束;\（k\）-规范;支持向量机

软件：

伦敦银行支持向量机;CPLEX公司;github
PDF格式BibTeX公司 XML格式引用
\textit{M.Gaudioso}等人，计算。最佳方案。申请。86，编号2，745--766（2023；Zbl 07752374）
全文： 内政部
OA许可证

参考文献：

[1] 阿马尔迪，E。；Kann，V.，关于线性系统中最小化非零变量或未满足关系的逼近性，Theoret。计算。科学。，209, 1-2, 237-260 (1998) ·Zbl 0915.68072号
[2] 安，LTH；Tao，PD，The DC（凸函数差分）编程和DCA，用真实世界非凸优化问题的DC模型重访，Ann.Oper。Res.，133，23-46（2005）·Zbl 1116.90122号
[3] 安，LTH；Nguyen，VV；Tao，PD，《支持向量机学习中特征选择的DC编程方法》，高级数据分析。分类。，2, 259-278 (2008) ·Zbl 1284.90057号
[4] 贝克，A。；Eldar，YC，《稀疏约束非线性优化：最优条件和算法》，SIAM J.Optim。，23, 3, 1480-1509 (2013) ·Zbl 1295.90051号
[5] PC公司Bellec；Lecué，G。；Tsybakov，AB，《Slope meet lasso:Improved oracle bounds and optimity》，《Ann.Stat.》，46，6，3603-3642（2018）·Zbl 1405.62056号
[6] Bertolazzi，P。；费利西，G。；费斯塔，P。；Fiscon，G。；Weitschek，E.，特征选择的整数规划模型：新的扩展和随机求解算法，Eur.J.Oper。决议，250，2389-399（2016）·Zbl 1346.90605号
[7] Bertsimas，D。；金，A。；Mazumder，R.，《通过现代优化透镜进行最佳子集选择》，《Ann.Stat.》，44，2，813-852（2016）·Zbl 1335.62115号
[8] Bertsimas，D。；金，A.，《逻辑回归：从艺术到科学》，《统计科学》。，32, 3, 367-384 (2017) ·Zbl 1442.62166号
[9] Bertsimas，D.，Copenhaver，M.S.，Mazumder，R.：修剪过的拉索：稀疏性和健壮性。arXiv预印本（2017b）https://arxiv.org/pdf/1708.04527.pdf
[10] Bienstock，D.，混合整数二次规划问题族的计算研究，数学。程序。序列号。B A部分，74，2，121-140（1996）·Zbl 0855.90090号
[11] 博格丹，M。；范登伯格，E。；萨巴蒂，C。；苏·W。；Candès，EJ，通过凸优化的斜率自适应变量选择，Ann.Appl。统计，9，3，1103-1140（2015）·Zbl 1454.62212号
[12] 波隆-卡内多，V。；Sánchez-Maroño，N。；Alonso-Betanzos，A。；贝尼特斯，JM；Herrera，F.，《微阵列数据集和应用特征选择方法综述》，《信息科学》。，282, 111-135 (2014)
[13] Bradley，P.S.，Mangasarian，O.L.：通过凹最小化和支持向量机进行特征选择。摘自：第十五届国际会议机器学习会议记录（ICML'98）。Shavlik J编辑，Morgan Kaufmann，加利福尼亚州旧金山，82-90（1998）
[14] 布莱德利，PS；Mangasarian，OL；威斯康星州街道，通过数学编程进行特征选择，INFORMS J.Compute。，10, 2, 209-217 (1998) ·Zbl 1034.90529号
[15] 伯达科夫，OP；坎佐，C。；Schwartz，A.，《具有基数约束的数学程序：利用互补型条件和正则化方法进行重构》，SIAM J.Optim。，26, 1, 397-425 (2016) ·Zbl 1332.90220号
[16] 坎德斯，EJ；JK隆伯格；Tao，T.，从不完整和不准确的测量中恢复稳定信号，Commun。纯应用程序。数学。，59, 1207-1223 (2006) ·邮编1098.94009
[17] 坎德斯，EJ；Tao，T.，线性规划解码，IEEE Trans。《信息论》，51，4203-4215（2005）·Zbl 1264.94121号
[18] Chang，C-C；Lin，C-J，LIBSVM：支持向量机库，ACM Trans。智力。系统。技术。，2, 27, 1-27 (2011)
[19] 北卡罗来纳州克里斯蒂亚尼尼。；Shawe-Taylor，J.，《支持向量机和其他基于核的学习方法简介》（2000），剑桥大学出版社·Zbl 0994.68074号
[20] Dedieu，A.，Hazimeh，H.，Mazumder，R.：学习稀疏分类器：连续和混合整数优化视角。（2020）arXiv预印本https://arxiv.org/pdf/2001.06471.pdf ·兹比尔07415078
[21] Donoho，DL，压缩传感，IEEE Trans。《信息论》，521289-1306（2006）·Zbl 1288.94016号
[22] Dy、JG；布罗德利，CE；Wrobel，S.，《无监督学习的特征选择》，J.Mach。学习。研究，5845-889（2004）·Zbl 1222.68187号
[23] 范，JQ；Li，RZ，通过非一致惩罚似然选择变量及其预言属性，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号
[24] 冯，M。；JE米切尔；庞，J-S；沈，X。；Wäcther，A.，（ell_0）范数优化问题的互补公式，Pac。J.Optim。，14, 2, 273-305 (2018) ·Zbl 1474.90476号
[25] Fuduli，A。；高迪奥索，M。；Giallonbardo，G.，通过切割平面和接近控制最小化非凸非光滑函数，SIAM J.Optim。，14, 3, 743-756 (2004) ·Zbl 1079.90105号
[26] Gaudioso，M.，Giallonbardo，G.，Miglionico，G.：DCA-SVM-RkSOP方法（2023年）https://github.com/GGaillombardo/DCA-SVM-RkSOP
[27] 高迪奥索，M。；Giallonbardo，G。；米利奥尼科，G。；Bagirov，AM，通过连续DC分段仿射近似最小化非光滑DC函数，J.Global Optim。，71，1，37-55（2018）·Zbl 1418.90201号
[28] 高迪奥索，M。；戈戈涅，E。；Hiriart-Urruti，JB，通过多面体范数进行SVM特征选择，Optim。莱特。，14, 19-36 (2020) ·Zbl 1433.90133号
[29] 高迪奥索，M。；Gorgone，E。；拉贝，M。；Rodríguez-Chía，AM，用于SVM特征选择的拉格朗日松弛，计算。操作。决议，87，137-145（2017）·Zbl 1391.90430号
[30] 高迪奥索，M。；Hiriart Urruty，J-B，通过多面体范数将\（\Vert\cdot\Vert_1\）变形为\（\Vert\cdot\Vert_{infty}\）：步行方法，SIAM Rev.，64，3713-727（2022）·Zbl 1495.52010年5月
[31] J.Gotoh。；武田。；Tono，K.，稀疏优化问题的DC公式和算法，数学。程序。序列号。B、 169、1、141-176（2018）·Zbl 06869181号
[32] 盖恩，I。；Elisseeff，A.，《变量和特征选择简介》，J.Mach。学习。第3号决议，1157-1182（2003年）·兹比尔1102.68556
[33] Hiriart-Urruti，J.-B.：处理凸函数差异问题的广义可微性/对偶性和优化。优化中的凸性和对偶性。经济学和数学系统课堂讲稿（1985）·Zbl 0591.90073号
[34] Hiriart-Urruti，J-B，《从凸优化到非凸优化：全局最优的充分必要条件》，非光滑优化及相关主题，219-240（1989），纽约/伦敦：Plenum，纽约/英国·Zbl 0735.90056号
[35] IBM ILOG CPLEX 12.8用户手册（2018）IBM Corp.于2023年5月13日查阅。https://www.ibm.com/docs/SSSA5P_12.8.0/ilog.odms.studio.help/pdf/usrcplex.pdf
[36] Joki，K。；巴吉洛夫，AM；北卡罗来纳州卡米萨。；Mäkelä，MM，利用非凸切割平面进行非光滑DC优化的近端束方法，J.Global Optim。，68, 3, 501-535 (2017) ·Zbl 1369.90137号
[37] Levato，T.：（\ell_0）的算法：范数优化问题。意大利费伦泽大学信息技术学院博士论文（2019年）
[38] 刘，YL；毕，SJ；Pan，SH，零范数和秩优化问题的等效Lipschitz代理，J.Glob。最佳。，72, 679-704 (2018) ·Zbl 1404.90117号
[39] 马尔多纳多，S。；佩雷斯，J。；韦伯，R。；Labbé，M.，《通过混合整数线性规划实现支持向量机的特征选择》，《信息科学》。，279163-175（2014）·Zbl 1354.68226号
[40] Miao，W。；潘，S。；Sun，D.，《固定基系数矩阵补全的秩校正方法》，数学。程序。，159, 289-338 (2016) ·Zbl 1356.90178号
[41] 奥弗顿，ML；Womersley，RS，最小化对称矩阵最大特征值和的最优性条件和对偶理论，数学。程序。，62, 1-3, 321-357 (1993) ·Zbl 0806.90114号
[42] 里纳尔迪，F。；肖恩，F。；Sciandrone，M.，用于最小化多面体集上的零形式的凹编程，计算。最佳方案。申请。，46, 467-486 (2010) ·Zbl 1229.90170号
[43] 佐藤，T。；Y.Takano。；Miyashiro，R。；Yoshise，A.，通过混合整数优化进行逻辑回归的特征子集选择，计算。最佳方案。申请。，64, 3, 865-880 (2016) ·Zbl 1352.90068号
[44] 斯特雷卡洛夫斯基，AS，非凸优化的全局最优性条件，J.Global Optim。，12, 415-434 (1998) ·Zbl 0908.90243号
[45] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.B，58，1，267-288（1996）·Zbl 0850.62538号
[46] Ustun，B。；Rudin，C.，优化医疗评分系统的超解析线性整数模型，马赫。学习。，102, 349-391 (2016) ·Zbl 1406.62144号
[47] Vapnik，V.，《统计学习理论的本质》（1995），斯普林格出版社·Zbl 0833.62008号
[48] Watson，GA，使用一类多面体范数的线性最佳逼近，Numer。算法，2321-336（1992）·Zbl 0755.65011号
[49] 韦斯顿，J。；Elisseeff，A。；Schölkopf，B。；Tipping，M.，零形式与线性模型和核方法的使用，J.Mach。学习。第3号决议，1439-1461（2003）·Zbl 1102.68605号
[50] 吴，B。；丁，C。；Sun，D。；Toh，K-C，关于向量（K-）范数相关函数的Moreau-Yosida正则化，SIAM J.Optim。，24, 2, 766-794 (2014) ·Zbl 1297.90122号
[51] 尹，P。；Lou，Y。；何，Q。；Xin，J.，压缩传感的最小化，SIAM J.Sci。计算。，37,2536-563（2015）·Zbl 1316.90037号
[52] Zhang，CH，最小最大凹惩罚下的几乎无偏变量选择，《美国统计年鉴》，38，894-942（2010）·Zbl 1183.62120号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。