×
詹姆斯·福尔伯思;斯蒂芬·贝克尔

非负约束凸优化的安全特征消除。 （英语） Zbl 1432.90110号

J.优化。理论应用。 184，第3期，931-952（2020年）.
摘要：受最近关于1-范数正则最小二乘安全特征消除的工作的启发，我们开发了策略来消除具有非负约束的凸优化问题的特征。我们的策略是安全的，因为只有在解决方案中保证特征/坐标为零时，它才会从问题中删除特征/坐标。为了进行特征消除，我们使用了一个精确但不是最优的原对偶可行对，使我们的方法健壮，并且能够用于病态问题。我们用一种从精确的原始可行点构造精确的对偶可行点的方法来补充我们的特征消除问题；这使得我们可以使用一阶方法来找到一个精确的原始可行点，然后使用该点来构造一个准确的对偶可行点并执行特征消除。在合理的条件下，我们的特征消除策略最终将从问题中消除所有零特征。作为我们方法的一个应用，我们展示了如何使用安全的特征消除来稳健地证明非负最小二乘问题的唯一性。我们给出了一个条件良好的合成非负最小二乘问题和一组在显微镜应用中出现的40000个极端病态问题的数值例子。

MSC公司：

90C25型 凸面编程
49甲15 对偶理论（优化）
90立方厘米 数学规划中的最优性条件和对偶性

关键词：

特征消除;尺寸缩减;二元性;NNLS公司

软件：

TFOCS公司;LAPACK公司;qpOASES公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Folberth}和\textit{S.Becker}，J.Optim。理论应用。184，第3号，931--952（2020；Zbl 1432.90110）
全文： 内政部 arXiv公司

参考文献：

[1] Ghaoui，L.E.，Viallon，V.，Rabbani，T.：稀疏监督学习中的安全特征消除。派克靴。J.优化。8(4) (2012) ·Zbl 1259.65010号
[2] 汤普森，Gl；舌，Fm；Zionts，S.，从线性规划问题中移除非约束约束和无关变量的技术，管理。科学。，12, 7, 588-608 (1966) ·Zbl 0135.19904号 ·doi:10.1287/mnsc.127.588
[3] Fercoq，O.，Gramfort，A.，Salmon，J.：注意二元性差距：套索的安全规则。摘自：《第32届国际机器学习会议论文集》，《机器学习研究论文集》第37卷，第333-342页。法国里尔PMLR（2015）
[4] Ndiaye，E.，Fercoq，O.，Gramfort，A.，Salmon，J.：稀疏多任务和多类模型的GAP安全筛选规则。摘自：《神经信息处理系统进展》，第811-819页（2015年）
[5] Ndiaye，E.，Fercoq，O.，Gramfort，A.，Salmon，J.：稀疏群套索的GAP安全筛选规则。摘自：《神经信息处理系统进展》，第388-396页（2016年）·兹比尔1442.62161
[6] 恩迪亚耶，E。；费尔科克，O。；Gramfort，A。；Salmon，J.，《稀疏执法处罚的间隙安全筛选规则》，J.Mach。学习。研究，18，1，4671-4703（2017）·Zbl 1442.62161号
[7] Xiang，Zj；王，Y。；Ramadge，Pj，套索问题的筛选测试，IEEE Trans。模式分析。机器。智力。，39, 5, 1008-1027 (2017) ·doi:10.1109/TPAMI.2016.2568185
[8] Ogawa，K.，Suzuki，Y.，Takeuchi，I.：路径支持向量机计算中非支持向量的安全筛选。摘自：《第30届国际机器学习会议论文集》，《机器学习研究论文集》第28卷，第1382-1390页。PMLR，美国乔治亚州亚特兰大（2013）
[9] Zimmert，J.、de Witt，C.S.、Kerg，G.、Kloft，M.：支持向量机的安全筛选。In:NIPS机器学习优化研讨会（OPT）（2015）
[10] Raj，A.，Olbrich，J.，Gärtner，B.，Schölkopf，B.，Jaggi，M.：凸问题的筛选规则。arXiv预印arXiv:1609.07478（2016）
[11] Bauschke，Hh；Combettes，Pl，Hilbert空间中的凸分析和单调算子理论（2017），柏林：Springer，柏林·Zbl 1359.26003号
[12] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号
[13] Beck，A.：优化中的一阶方法，第25卷。SIAM（2017）·Zbl 1384.65033号
[14] 斯拉夫斯基，M。；Hein，M.，《高维线性模型的非负最小二乘法：无正则化的一致性和稀疏恢复》，Electron。《美国法律总汇》，73004-3056（2013）·Zbl 1280.62086号 ·doi:10.1214/13-EJS868
[15] Tibshirani，Rj，套索问题和独特性，电子。J.Stat.，71456-1490（2013）·Zbl 1337.62173号 ·doi:10.1214/13-EJS815
[16] 张，H。；尹，W。；Cheng，L.，1-范数极小化中解唯一的充要条件，J.Optim。理论应用。，164, 1, 109-122 (2015) ·Zbl 1308.65102号 ·doi:10.1007/s10957-014-0581-z
[17] Donoho博士；Elad，M.，通过最小化在一般（非正交）字典中实现最优稀疏表示，Proc。美国国家科学院。科学。，100, 5, 2197-2202 (2003) ·Zbl 1064.94011号 ·doi:10.1073/pnas.0437847100
[18] Alexeev，B。；卡希尔，J。；Mixon，Dg，Full spark frames，J.傅里叶分析。申请。，18, 6, 1167-1194 (2012) ·Zbl 1257.42040号 ·doi:10.1007/s00041-012-9235-4
[19] 美国蒂尔曼；Pfetsch，Me，受限等距特性的计算复杂性，零空间特性，以及压缩感知中的相关概念，IEEE Trans。《信息论》，60，2，1248-1259（2014）·Zbl 1364.94170号 ·doi:10.1109/TIT.2013.2290112
[20] Tropp，Ja，Greed很好：稀疏近似的算法结果，IEEE Trans。Inf.理论，50，10，2231-2242（2004）·Zbl 1288.94019号 ·doi:10.1109/TIT.2004.834793
[21] 劳森，Cl；Hanson，Rj，《解决最小二乘问题》（1995），宾夕法尼亚州费城：SIAM，费城·Zbl 0860.65029号
[22] Amelunxen博士。；洛茨，M。；麦考伊，Mb；Tropp，Ja，《生活在边缘：随机数据凸规划中的相变》，Inf.Inference J.IMA，3，3，224-294（2014）·Zbl 1339.90251号 ·doi:10.1093/imaiai/iau005
[23] Yu，Jy；老贝克尔；Folberth，J。；沃林，Bf；陈，S。；Cogswell，Cj，通过照明增强稀疏性实现超分辨率，Opt。快递，26，8，9850-9865（2018）·doi:10.364/OE.26.009850
[24] 安德森，E。；Bai，Z。；比肖夫，C。；南卡罗来纳州布莱克福德。；德梅尔，J。；Dongarra，J。；杜克罗兹，J。；格林鲍姆，A。；Hammarling，S。；A.麦肯尼。；Sorensen，D.，《LAPACK用户指南》（1999），宾夕法尼亚州费城：工业和应用数学学会，宾夕法尼亚州，费城·Zbl 0934.65030号
[25] Golub，Gh；Van Loan，Cf，矩阵计算（1998），马里兰州巴尔的摩：JHU出版社，马里兰州巴的摩
[26] Goto，K。；Geijn，Ra，《高性能矩阵乘法剖析》，ACM Trans。数学。柔和。（TOMS），34，3，12（2008）·Zbl 1190.65064号 ·数字对象标识代码：10.1145/1356052.1356053
[27] 澳大利亚银行。；Teboulle，M.，凸优化和圆锥优化的内部梯度和近似方法，SIAM J.Optim。，16, 3, 697-725 (2006) ·兹比尔1113.90118 ·doi:10.1137/S1052623403427823
[28] 老贝克尔；坎迪斯（Ej Candès）；Grant，Mc，凸锥问题的模板及其在稀疏信号恢复中的应用，数学。程序。计算。，3165年3月3日（2011年）·Zbl 1257.90042号 ·doi:10.1007/s12532-011-0029-5
[29] Goebel，R。；Rockafellar，Rt，凸函数梯度的局部强凸性和局部Lipschitz连续性，J.凸分析。，15, 2, 263 (2008) ·Zbl 1149.26022号
[30] Hj费罗；柯奇斯，C。；Potschka，A。；Bock，汞；Diehl，M.，qpOASES:二次规划的参数活动集算法，数学。程序。计算。，6, 4, 327-363 (2014) ·Zbl 1302.90146号 ·doi:10.1007/s12532-014-0071-1
[31] van den Berg，E.：一种混合准Newton投影粒度方法，应用于套索和基本追踪去噪。数学。程序。计算。(2019). 2007年10月17日/12532-019-00163-5·兹比尔1434.90118
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。