凯西奥·F·丹塔斯。;埃曼纽尔·索比斯;塞德里克·费沃特 扩大间隙安全筛查的范围。 （英语） 兹伯利07626751 J.马赫。学习。物件。 22，第236号论文，57页（2021年）. 摘要：稀疏优化问题在统计学、信号/图像处理和机器学习等领域普遍存在。这导致了许多迭代算法的诞生。提高这些算法性能的一种强大策略称为安全筛选：它允许在解决方案中尽早识别零坐标，然后可以消除零坐标，以减小问题的规模并加快收敛。在这项工作中，我们通过放松对偶成本函数的全局强一致性假设，扩展了现有的Gap-Safe筛选框架。相反，我们利用局部正则性，即在精心选择的域子集上的强凹性。非负性约束也被集成到现有框架中。除了可以对更广泛的函数类进行安全筛选，其中包括\（\β\）-发散（例如，Kullback-Leibler发散），该方法还改进了现有的针对先前适用案例的间隙安全筛选规则（例如逻辑回归）。提出的一般框架通过一些显著的特殊情况进行了例证：逻辑函数，（β=1.5）和Kullback-Leibler发散。最后，我们用不同的求解器（坐标下降、乘法更新和近似梯度算法）和不同的数据集（二进制分类、高光谱和计数数据）展示了所提出的筛选规则的有效性。 引用于三文件 MSC公司： 68T05年 人工智能中的学习和自适应系统 关键词：凸优化;安全筛选规则;稀疏回归;\（β）-散度;非负性 软件：螺旋形的;BLITZ公司 PDF格式BibTeX公司 XML格式引用 \textit{C.F.Dantas}等人，J.Mach。学习。第22号决议，第236号论文，57页（2021；Zbl 07626751） 全文： arXiv公司 链接 参考文献： [1] Francis Bach、Rodolphe Jenatton、Julien Mairal和Guillaume Obozinski。具有稀疏诱导惩罚的优化。机器学习基础与趋势®，4（1）：1-1062012。ISSN 1935-8237。doi:10.1561/220000015。统一资源定位地址http://dx.doi.org/10。 1561/2200000015. ·兹伯利06064248 [2] Ayanendranath Basu、Ian R.Harris、Nils L.Hjort和M.C.Jones。通过最小化密度功率发散，实现稳健高效的估计。《生物特征》，85（3）：549-5591998年。ISSN 00063444。统一资源定位地址http://www.jstor.org/stable/2337385。 ·Zbl 0926.62021号 [3] Heinz H.Bauschke和Patrick L.Combettes。Hilbert空间中的凸分析和单调算子理论。施普林格，第1版，2011年。为1441994661英镑·Zbl 1218.47001号 [4] 阿米尔·贝克和马克·特布勒。线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志，2（1）：183-2022009年1月。doi:10.1137/080716542。统一资源定位地址http://dx.doi.org/10.1137/080716542。 ·Zbl 1175.94009号 [5] 安托万·博内弗伊（Antoine Bonnefoy）、瓦伦丁·艾米亚（Valentin Emiya）、利瓦·拉莱沃拉（Liva Ralaivola）和雷米·格里波瓦尔（Rémi Gribonval）。动态筛选：加速套索和群拉索的一阶算法。IEEE信号处理汇刊，63（19）：5121-51322015年10月。ISSN 1053-587X。doi:10.1109/TSP.2015。2447503. ·Zbl 1394.94087号 [6] J.M.Borwein和A.S.Lewis。凸分析与非线性优化：理论与实例。CMS数学书籍。斯普林格，2000年。国际标准图书编号9780387989402。URL地址·Zbl 0953.90001号 [7] 彼得·鲍尔曼（Peter Bühlmann）和萨拉·范德格尔（Sara van de Geer）。高维数据统计。统计学中的施普林格系列。施普林格，海德堡，2011年。ISBN 978-3-642-20191-2。doi:10.1007/978-3-642-20192-9。统一资源定位地址http://dx.doi.org/10.1007/978-3-642-20192-9。方法、理论和应用·Zbl 1273.62015年 [8] 安东尼·钱伯勒和托马斯·波克。凸问题的一阶原对偶算法及其在成像中的应用。数学成像与视觉杂志，40（1）：120-1452011年5月。ISSN 1573-7683。doi:10.1007/s10851-010-0251-1。统一资源定位地址https://doi.org/10.1007/s10851-010-0251-1。 ·Zbl 1255.68217号 [9] 阿黛尔·卡特勒（Adele Cutler）和利奥·布雷曼（Leo Breiman）。原型分析。技术计量学，36（4）：338-3471994。ISSN 00401706。统一资源定位地址http://www.jstor.org/stable/1269949。 ·兹比尔0804.62002 [10] C.F.Dantas和R.Gribonval。稳定的安全筛选和结构化词典，可更快地进行“1正规化”。IEEE信号处理汇刊，67（14）：3756-37692019年7月。ISSN 1053-587X。doi:10.1109/TSP.2019.2919404·Zbl 07123322号 [11] 凯西奥·丹塔斯（Cassio F.Dantas）、艾曼纽尔·索比斯（Emmanuel Soubies）和塞德里克·费沃特（Cédric Févotte）。具有kullback-leibler散度的稀疏回归的安全筛选。InIEEE国际声学会议，演讲·Zbl 07626751号 [12] Laurent El Ghaoui、Vivian Viallon和Tarek Rabbani。针对套索和稀疏监督学习问题的安全特征消除。《太平洋优化杂志》，8（4）：667-6982012年10月。圆锥优化专题·Zbl 1259.65010号 [13] 范建清和吕金池。超高维特征空间的绝对独立筛选。《皇家统计学会杂志：B辑（统计方法）》，70（5）：849-911，2008年11月。doi:10.1111/j.1467-9868.2008.00674.x.网址https://doi.org/10。1111/j.1467-9868.2008.00674.x·Zbl 1411.62187号 [14] O.Fercoq、A.Gramfort和J.Salmon。注意二元性的差距：套索的安全规则。机器学习国际会议，第37卷，第333-342页，2015年7月。 [15] 塞德里克·费沃特和杰尔·伊迪尔。具有β散度的非负矩阵分解算法。神经计算，23（9）：2421-24562011年9月。ISSN 0899-7667。doi:10.1162/NECO_a_00168。统一资源定位地址https://doi.org/10.1162/NECO_a_00168。 ·Zbl 1231.65072号 [16] 塞德里克·费沃特（Cédric Févotte）、艾曼纽尔·文森特（Emmanuel Vincent）和阿列克谢·奥泽洛夫（Alexey Ozerov）。使用NMF的单通道音频源分离：发散、约束和算法。InAudio源分离。施普林格，2018年3月。统一资源定位地址https://hal.inia.fr/hal-01631185。 [17] Jerome H.Friedman、Trevor Hastie和Rob Tibshirani。广义线性模型的坐标下降正则化路径。统计软件杂志，文章，33（1）：1-222010。ISSN 1548-7660。doi:10.18637/jss.v033.i01。统一资源定位地址https://www.jstatsoft.org/v033/i01版。 [18] C.Févotte和N.Dobigeon。基于稳健非负矩阵分解的非线性高光谱分解。IEEE图像处理汇刊，24（12）：4810-48192015。doi:10.1109/TIP.2015.2468177·Zbl 1408.94183号 [19] A.Globerson、G.Chechik、F.Pereira和N.Tishby。共现数据的欧几里得嵌入。机器学习研究杂志，8:2265-22952007·Zbl 1222.68203号 [20] T.R.Golub、D.K.Slonim、P.Tamayo、C.Huard、M.Gaasenbeek、J.P.Mesirov、H.Coller、M.L.Loh、J.R.Downing、M.A.Caligiuri和C.D.Bloomfield。癌症的分子分类：通过基因表达监测进行分类发现和分类预测。科学，286:531-5371999。 [21] Z.T.Harmany、R.F.Marcia和R.M.Willett。这是SPIRAL-TAP：稀疏泊松强度重建算法-理论与实践。IEEE图像事务·Zbl 1372.94381号 [22] Jean-Baptiste Hiriart-Urruti和Claude Lemaréchal。凸分析与最小化算法I.Springer Berlin Heidelberg，1993a。doi:10.1007/978-3-662-02796-7。网址·Zbl 0795.49001号 [23] Jean-Baptiste Hiriart-Urruti和Claude Lemaréchal。凸分析与最小化算法2。施普林格-柏林-海德堡，1993b。doi:10.1007/978-3-662-06409-2。URL地址·Zbl 0795.49002号 [24] 谢卓瑞和英迪尔吉特·S·迪伦。非负矩阵因式分解的快速坐标下降方法和变量选择。InProc.公司。ACM SIGKDD国际会议 [25] S.Jia和Y.Qian。基于光谱和空间复杂性的高光谱分解。IEEE地球科学与遥感汇刊，45（12）：3867-38792007。数字对象标识代码：10.1109/ [26] Tyler Johnson和Carlos Guestrin。闪电战：一种用于缩放稀疏优化的原则性元算法。国际机器学习会议，第1171-1179页，2015年。 [27] Daniel D.Lee和H.Sebastian Seung。非负矩阵分解算法。在T.K.Leen、T.G.Dietterich和V.Tresp，编辑，《神经信息进展》·Zbl 1369.68285号 [28] 刘军，赵郑，王杰，叶洁平。变分不等式的安全筛选及其在套索中的应用。第31届国际会议记录 [29] A.Malti和C.Herzet。LASSO安全筛查试验基于坚定的非泛泛性。2016年IEEE声学、语音和信号处理国际会议（ICASSP）。 [30] M.Massias、A.Gramfort和J.Salmon。从安全筛选规则到快速Lasso型解算器的工作集。InNIPS机器学习优化研讨会，美国长滩，2017年12月。 [31] 马图林·马西亚斯（Mathurin Massias）、塞缪尔·维特（Samuel Vaiter）、亚历山大·格兰福特（Alexandre Gramfort）和约瑟夫·萨尔蒙（Joseph Salmon）。稀疏glm的双重外推。机器学习研究杂志，21（234）：1-332020。统一资源定位地址http://jmlr.org/papers/v21/19-587.html。 ·Zbl 1531.62042号 [32] 尤金·恩迪亚耶。变量选择和超参数调整的安全优化算法。论文，巴黎萨克利大学，2018年10月。统一资源定位地址https://pastel.archives-ouvertes。传真：01962450。 [33] 尤金·恩迪亚耶（Eugene Ndiaye）、奥利维尔·费尔科克（Olivier Fercoq）、亚历山大·格兰福特（Alexandre Gramfort）和约瑟夫·萨尔蒙（Joseph Salmon）。稀疏组套索的间隙安全筛选规则。D.Lee、M.Sugiyama、U.Luxburg、I.Guyon和R.Garnett，编辑，《神经信息处理系统进展》，第29卷，第388-396页。Curran Associates，Inc.，2016年。统一资源定位地址https://proceedings.neurips.cc/paper/2016/文件/555d6702c950ecb729a966504af0a635-Paper.pdf·Zbl 1442.62161号 [34] 尤金·恩迪亚耶（Eugene Ndiaye）、奥利维尔·费尔科克（Olivier Fercoq）、亚历山大·格兰福特（Alexandre Gramfort）和约瑟夫·萨尔蒙（Joseph Salmon）。针对稀疏执行处罚的间隙安全筛选规则。《机器学习研究杂志》，18（128）：1-332017年11月·Zbl 1442.62161号 [35] 小川小平、铃木义树和竹内一郎。路径支持向量机计算中非支持向量的安全筛选。Sanjoy Dasgupta和David McAllester，编辑，会议记录 [36] 任志刚、黄志刚、叶杰和钱学森。全身套索的安全功能筛查。IEEE模式分析和机器智能汇刊，40（12）：2992-30062018。数字对象标识： [37] R.Tyrrell Rockafellar先生。凸分析。普林斯顿数学系列。普林斯顿大学出版社，新泽西州普林斯顿，1970年·Zbl 0193.18401号 [38] Robert Tibshirani、Jacob Bien、Jerome Friedman、Trevor Hastie、Noah Simon、Jonathan Taylor和Ryan J.Tibshilani。套索型问题中丢弃预测因子的强规则。英国皇家统计学会杂志：B辑（统计方法），74·Zbl 1411.62213号 [39] 曾荫权和桑文云。非光滑可分离极小化问题的坐标梯度下降法。数学规划，117（1）：387-4232009。doi:10.1007/s10107-007-0170-0·Zbl 1166.90016号 [40] T.Virtanen、J.F.Gemmeke和B.Raj。用于音频的过完备非负表示的Active-set newton算法。IEEE音频、语音和语言汇刊 [41] J.Wang、W.Fan和J.Ye。通过次微分的单调性融合套索筛选规则。IEEE模式分析和机器智能汇刊，37（9）：1806-18202015。 [42] 王杰（Jie Wang）、彼得·旺卡（Peter Wonka）和叶洁平（Jieping Ye）。通过精确数据缩减来缩放svm和最小绝对偏差。国际机器学习会议（ICML），ICML’14，第II-523-II-531页。JMLR.org，2014年。 [43] 王杰、王彼得和叶洁平。拉索通过双多面体投影筛选规则。机器学习研究杂志，16（1）：1063-11012015年5月a。编号1532-4435·Zbl 1360.62403号 [44] 王杰，张占秋，叶洁平。基于凸集分解的稀疏群套索二层特征约简。机器学习研究杂志，20（163）：1-422019。统一资源定位地址http://jmlr.org/papers/v20/16-383.html。 ·Zbl 1446.62207号 [45] 王素玉、张宗祥和吴颖。基于冗余字典的高光谱图像空间和光谱坐标超分辨率。第七国际·Zbl 1349.94082号 [46] Z.J.Xiang和P.J.Ramadge。基于相关性的快速套索筛选测试。2012年IEEE声学、语音和信号处理国际会议（ICASSP）， [47] Z.J.Xiang、Y.Wang和P.J.Ramadge。套索问题筛查测试。IEEE模式分析和机器智能汇刊，39（5）：1008-10272017年5月。 [48] 甄詹姆斯·翔、郝旭和彼得·拉马奇。在大规模字典上学习高维数据的稀疏表示。神经信息处理系统（NIPS）进展，第24卷，第900-908页，西班牙格拉纳达，2011年12月。 [49] F.Yanez和F.Bach。具有Kullback-Leibler散度的非负矩阵分解的原对偶算法。2017年IEEE声学、语音和信号处理国际会议（ICASSP），第2257-2261页，2017年。 [50] Tomoki Yoshida、Ichiro Takeuchi和Masayuki Karasuyama。远程测量学习的安全三胞胎筛查。第24届ACM SIGKDD国际会议记录·Zbl 1494.68234号 [51] 袁国勋，张开伟，谢卓奎，林志仁。大规模l1-正则化线性分类的优化方法和软件比较·Zbl 1242.62065号 [52] 周强和赵琦。核范数正则化最小二乘问题的安全子空间筛选。弗兰西斯·巴赫（Francis Bach）和大卫·布莱（David Blei），编辑，《第32届会议录》 [53] 朱利安·齐默特（Julian Zimmert）、克里斯蒂安·施罗德·德维特（Christian Schroeder de Witt）、吉安卡洛·科格（Giancarlo Kerg）和马吕斯·克劳特（Marius Kloft）。支持向量机的安全筛选。InNIPS 2015年优化研讨会 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。