×
张辉;潘丽丽;秀、奈华

具有\（l_0\）-正则化的局部Lipschitz优化的最优性条件。 （英语） Zbl 1470.90135号

最佳方案。莱特。 189-203年（2021年）第1期第15页.
本文考虑有限维空间中具有（l_0）正则化的局部Lipschitz优化问题（LLOP）。针对这一问题，作者引入并分析了两类驻点：次微分驻点（S驻点）和近似驻点（P驻点）。在适当的条件下，给出了LLOP的一阶充分必要最优性条件。两个例子说明了所考虑的最优性条件的有效性。
审核人：纳达·朱拉诺维奇-米利奇奇（贝尔格莱德）

MSC公司：

90立方 非线性规划
90立方厘米 数学规划中的最优性条件和对偶性

关键词：

局部Lipschitz优化;\（l0\）-正则化;次微分驻点;近静止点;应用
PDF格式BibTeX公司 XML格式引用
\textit{H.Zhang}等人，Optim。莱特。15，第1号，189--203（2021；Zbl 1470.90135）
全文： 内政部

参考文献：

[1] Allen-Zhu，Z.，Hazan，E.：方差减少，以实现更快的非凸优化。摘自：第33届机器学习国际会议记录，第699-707页（2016）
[2] Bertsekas，DP，非线性规划（1999），Belmont:Athena Scientific，Belmon·Zbl 1015.90077号
[3] 贝克，A。；Hallak，N.，对称惩罚和稀疏性的近似映射，SIAM J.Optim。，28, 1, 496-527 (2018) ·Zbl 1390.90438号 ·doi:10.1137/17M1116544
[4] 卞，W。；Chen，XJ，带基数惩罚的非光滑凸回归的平滑近似梯度算法，SIAM J.Numer。分析。，58, 1, 858-883 (2020) ·doi:10.1137/18M1186009
[5] Blumensath，T.，《非线性观测压缩传感和相关非线性优化问题》，IEEE Trans。Inf.理论，59，63466-3474（2013）·Zbl 1364.94111号 ·doi:10.1109/TIT.2013.2245716
[6] Blumensath，T。；Davies，ME，稀疏近似的迭代阈值，J.Fourier Ana。申请。，14, 5-6, 629-654 (2008) ·Zbl 1175.94060号 ·doi:10.1007/s00041-008-9035-z
[7] Blumensath，T。；Davies，ME，压缩感知的迭代硬阈值，应用。计算。谐波分析。，27, 3, 265-274 (2009) ·Zbl 1174.94008号 ·doi:10.1016/j.acha.2009.04.002
[8] 陈，YQ；休，NH；Peng，DT，半正定锥上非Lipschitz（S_2CS_p）极小化的全局解，Optim。莱特。，8, 7, 2053-2064 (2013) ·Zbl 1326.90063号 ·doi:10.1007/s11590-013-0701-y
[9] Chen，X.J.，Pan，L.L.，Xu，N.H.：多元回归的三个稀疏优化问题之间的关系。提交1-32（2019）
[10] Chib，S.，Tobit删失回归模型中的贝叶斯推断，J.Econom。，51, 1-2, 79-99 (1992) ·Zbl 0742.62033号 ·doi:10.1016/0304-4076（92）90030-U
[11] 克拉克，FH，《优化与非光滑分析》（1983），霍博肯：威利，霍博克·Zbl 0582.49001号
[12] FH Clarke，《动态和非光滑优化方法》，CBMS-NSF应用数学区域会议系列（1989），费城：SIAM出版物，费城·Zbl 0696.49003号
[13] 坎迪斯，EJ；Tao，T.，线性规划解码，IEEE Trans。《信息论》，51，42，4203-4215（2005）·Zbl 1264.94121号 ·doi:10.1109/TIT.2005.858979
[14] 陈，XJ；Ge，DD；王，ZZ，无约束极小化的复杂性，数学。程序。，143, 1-2, 371-383 (2014) ·Zbl 1285.90039号 ·doi:10.1007/s10107-012-0613-0
[15] Cuim，Y。；庞姆，JS；Senm，B.，现代统计估计问题的复合差分-最大程序，SIAM J.Optim。，28, 4, 3344-3374 (2018) ·Zbl 1407.62250号 ·doi:10.1137/18M117337X
[16] Donoho，DL，压缩传感，IEEE Trans。《信息论》，52，4，1289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[17] 郭，L。；Ye，JJ，非Lipschitz非线性规划的必要最优性条件和精确惩罚，数学。程序。，168, 1-2, 571-598 (2018) ·Zbl 1401.90169号 ·doi:10.1007/s10107-017-1112-0
[18] 格洛洛特，X。；Bordes，A。；Bengio，Y.，深度稀疏整流器神经网络，Artif。智力。《法律总汇》第15315-323页（2011年）
[19] 辛顿（Hinton），G.E.：修正的线性单位改进了受限的波尔兹曼（boltzmann）机器维诺德·奈尔（Vinod Nair）。参加：机器学习国际会议国际会议。Omnipress（2010）
[20] 侯赛因，R。；阿杰马尔，M。；穆巴拉克，S.，《从新观点学习人类行为识别的深层模型》，IEEE Trans。模式分析。机器。智力。，40, 3, 667-681 (2017)
[21] Cho，K.，Van Merrienboer，B.，Gulcehre，C.等人：使用RNN编码器-解码器学习短语表示，用于统计机器翻译。摘自：《2014年自然语言处理实证方法会议论文集》，第1724-1734页（2014）
[22] Le，HY，秩函数的广义次微分，Optim。莱特。，7, 4, 731-743 (2013) ·Zbl 1290.90073号 ·doi:10.1007/s11590-012-0456-x
[23] 刘，J。；Cosman，PC公司；Rao，BD，通过（l_0）正则化的稳健线性回归，IEEE Trans。信号处理。，66, 3, 698-713 (2017) ·Zbl 1414.94367号 ·doi:10.1109/TSP.2017.2771720
[24] 卢，ZS；Zhang，Y.，通过惩罚分解方法的稀疏近似，SIAM J.Optim。，23, 4, 2448-2478 (2013) ·Zbl 1295.90056号 ·数字对象标识代码：10.1137/100808071
[25] Lu，ZS，正则化无约束非线性规划的迭代重加权极小化方法，数学。程序。，147, 1-2, 277-307 (2014) ·Zbl 1308.90170号 ·doi:10.1007/s10107-013-0722-4
[26] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444（2015）·doi:10.1038/nature14539
[27] Mordukhovich，理学学士，变分分析与应用（2018），柏林：施普林格，柏林·Zbl 1402.49003号 ·doi:10.1007/978-3-319-92775-6
[28] Natarajan，BK，线性系统的稀疏近似解，SIAM J.Compute。，24, 2, 227-234 (1995) ·Zbl 0827.68054号 ·doi:10.1137/S0097539792240406
[29] Nikolova，M.，用（l_0）范数正则化的最小二乘最优解与受k-稀疏性约束的最小二乘最佳解之间的关系，应用。计算。谐波分析。，41, 1, 237-265 (2016) ·Zbl 1338.90323号 ·doi:10.1016/j.acha.2015.10.10
[30] Powell，JL，截尾回归模型的最小绝对偏差估计，J.Econom。，25, 3, 303-325 (1984) ·Zbl 0571.62100号 ·doi:10.1016/0304-4076（84）90004-6
[31] Rockafellar，RT公司；Wets，RJ，变分分析（1998），柏林：施普林格出版社，柏林·Zbl 0888.49001号 ·doi:10.1007/978-3-642-02431-3
[32] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0932.90001号 ·doi:10.1515/9781400873173
[33] 托兰斯多蒂尔，TL；Gneiting，T.，《风速的概率预测：使用异方差删失回归的集合模型输出统计》，J.R.Stat.Soc.Ser。A（Stat.Soc.），173，2371-388（2010年）·doi:10.1111/j.1467-985X.2009.00616.x
[34] Witten，IH；Frank，E.，《数据挖掘：Java实现的实用机器学习工具和技术》（2000），伯灵顿：摩根考夫曼出版社，伯灵敦
[35] Yu，D。；Deng，L.，《自动语音识别：深度学习方法》，《信号与通信技术》（2015），柏林：施普林格出版社，柏林·Zbl 1356.68004号
[36] Yuan，X.T.，Liu，Q.S.：牛顿贪婪追求：稀疏约束优化的二次近似方法。摘自：IEEE计算机视觉和模式识别会议记录，第4122-4129页（2014）
[37] 元，XT；Liu，QS，（l_0）约束极小化的牛顿型贪婪选择方法，IEEE Trans。模式分析。机器。智力。，39, 12, 2437-2450 (2017) ·doi:10.1109/TPAMI.2017.2651813
[38] 王，R。；秀，N。；Zhang，C.，稀疏逻辑回归的贪婪投影梯度-Newton方法，IEEE神经网络和学习系统汇刊，31，2，527-538（2020）·doi:10.1109/TNNLS.2019.2905261
[39] Zhou，S.L.，Xiu，N.H.，Qi，H.D.：牛顿硬阈值追求的全局和二次收敛。arXiv预印本arXiv:1901.02763（2019）
[40] 张，N。；Li，Q.，关于约束\（l_0\）正则化的最优解及其惩罚问题，逆问题。，33, 2, 025010 (2017) ·Zbl 1360.65183号 ·doi:10.1088/1361-6420/33/2/025010
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。