×
苏哈伊尔·巴赫马尼;贾斯汀·隆伯格

通过锚定回归求解随机凸函数方程。 （英语） Zbl 1422.62235号

找到。计算。数学。 19，第4期，813-841（2019）.
摘要：我们考虑了一个涉及凸非线性的方程组的解的估计问题，这是机器学习和信号处理中常见的问题。由于这些非线性，基于经验风险最小化的传统估计通常涉及求解非凸优化程序。我们建议锚定回归这是一种基于凸规划的新方法，它相当于在凸集上最大化线性泛函（可能由正则化子增强）。所提出的凸规划是在问题的自然空间中制定的，避免了引入辅助变量，使其在计算上更为有利。在本地空间工作也提供了很大的灵活性，因为可以无缝地结合结构优先级（例如稀疏性）。为了进行分析，我们将这些方程建模为根据概率定律从固定集合中得出的方程。我们的主要结果保证了估计器在求解方程数量、存在的噪声量、随机方程的统计复杂性度量以及正则化子在真解处的几何结构方面的准确性。我们还提供了从观测数据直接构造锚向量（确定要最大化的线性函数）的方法。

引用于1审查
引用于4文件

MSC公司：

62J02型 一般非线性回归
62英尺10英寸 点估计
90C25型 凸面编程

关键词：

非线性回归;凸规划;锚定回归

软件：

GESPAR公司;Wirter流量;相位提升;相位最大值
PDF格式BibTeX公司 XML格式引用
\textit｛S.Bahmani｝和\textit｛J.Romberg｝，找到。计算。数学。19，第4号，813--841（2019；Zbl 1422.62235）
全文： 内政部 arXiv公司

参考文献：

[1] A.Ahmed、B.Recht和J.Romberg。使用凸规划的盲反褶积。IEEE传输。通知。理论，60（3）：1711-17322014·Zbl 1360.94057号 ·网址：10.1109/TIT.2013.2294644
[2] 相位恢复符合统计学习理论：灵活的凸松弛。编辑A.Singh和J.Zhu，《第20届国际人工智能与统计会议论文集》，《机器学习研究论文集》第54卷，第252-260页。PMLR，2017年·Zbl 1408.62032号
[3] S.Bahmani和J.Romberg。相位恢复的灵活凸松弛。选举。J.Stat.，11（2）：5254-52812017年·Zbl 1408.62032号 ·doi:10.1214/17-EJS1378SI
[4] S.Bahmani、B.Raj和P.T.Boufounos。贪婪的稀疏约束优化。机器学习研究杂志，14:807-8412013·Zbl 1320.90046号
[5] A.Beck和Y.C.Eldar。稀疏约束非线性优化：最优性条件和算法。SIAM J.Optim.公司。，23(3):1480-1509, 2013. ·Zbl 1295.90051号 ·数字对象标识代码：10.1137/120869778
[6] Q.Berthet和P.Rigollet。稀疏主成分检测的复杂性理论下限。《机器学习研究杂志》（Journal of Machine Learning Research W&CP），第26届学习理论会议论文集（COLT’13）第30卷，第1046-1066页，2013年。
[7] T.Blumensath公司。非线性观测压缩传感及相关非线性优化问题。IEEE传输。通知。理论，59（6）：3466-34742013·Zbl 1364.94111号 ·doi:10.1109/TIT.2013.2245716
[8] E.Candès和X.Li。当方程的数量与未知量差不多时，通过PhaseLift求解二次方程。找到。计算机的。数学。，14:1017-1026, 2014. ·Zbl 1312.90054号 ·doi:10.1007/s10208-013-9162-z
[9] E.Candès、T.Strohmer和V.Voroninski。相位提升：通过凸规划从幅度测量中准确稳定地恢复信号。普通纯应用程序。数学。，66(8):1241-1274, 2013. ·Zbl 1335.94013号 ·doi:10.1002/cpa.21432
[10] E.J.Candès、X.Li和M.Soltanolkotabi。通过Wirtinger流进行相位恢复：理论和算法。信息理论，IEEE汇刊，61（4）：1985-20072015年4月·Zbl 1359.94069号
[11] V.H.de la Peña和E.Giné。脱钩：从依赖到独立。概率论及其应用。施普林格出版社，纽约，1999年。
[12] L.Dümbgen、S.A.van de Geer、M.C.Veraar和J.A.Wellner。重新审视了内米洛夫斯基的不平等。美国数学月刊，117（2）：138-1602010·Zbl 1213.60039号 ·doi:10.4169/000298910x476059
[13] M.Ehler、M.Fornasier和J.Sigl。准线性压缩传感。SIAM J.多尺度模型。模拟。，12(2):725-754, 2014. ·Zbl 1380.94050号 ·doi:10.1137/130929928
[14] T.Goldstein和C.Studer。通过PhaseMax无需提升即可恢复凸相位。编辑D.Precup和Y.W.Teh，《第34届国际机器学习会议论文集》，《机器学习研究论文集》第70卷，第1273-1281页。PMLR，2017年。
[15] P.Hand和V.Voroninski。在自然参数空间中，通过线性规划对无相位高斯测量进行压缩传感。预印arXiv:1611.059852016。
[16] P.Hand和V.Voroninski。基于线性规划的腐败鲁棒相位检索。预印arXiv:1612.035472016·Zbl 1441.94040号
[17] P.Hand和V.Voroninski。通过线性程序PhaseMax对自然参数空间中的凸相位恢复进行了初步证明。预印arXiv:1611.039352016·Zbl 1441.94040号
[18] S.海金。神经网络和学习机器。皮尔逊，上鞍河，新泽西州，美国，第三版，2009年。
[19] C.J.Hillar和L.Lim。大多数张量问题都是NP-hard问题。ACM杂志，60（6）：45:1-45:392013年11月·Zbl 1281.68126号 ·doi:10.1145/2512329
[20] H.一村。单指标模型的半参数最小二乘（SLS）和加权SLS估计。《计量经济学杂志》，58（1）：71-1201993年·兹伯利0816.62079 ·doi:10.1016/0304-4076（93）90114-K
[21] I.M.Johnstone和A.Y.Lu。关于高维主成分分析的一致性和稀疏性。《美国统计协会杂志》，104（486）：682-6932009年·Zbl 1388.62174号 ·doi:10.1198/jasa.2009.0121
[22] V.Koltchinskii和S.Mendelson。无集中约束随机矩阵的最小奇异值。国际数学研究通告，2015（23）：12991-13008，2015·Zbl 1331.15027号
[23] G.Lecué和S.Mendelson。正则化和小球方法II：依赖于复杂性的错误率。机器学习研究杂志，18（146）：1-482017·Zbl 1444.62051号
[24] G.Lecué和S.Mendelson。规则化和小球方法I：稀疏回收。安.统计师。，46(2):611-641, 04 2018. ·Zbl 1403.60085号
[25] M.Ledoux和M.Talagrand。巴拿赫空间中的概率：等高线和过程。施普林格科学与商业媒体，2013年·Zbl 1226.60003号
[26] 李伟伟和A.Wei。涉及绝对值函数的高斯积分，《集合》第5卷，第43-59页。美国俄亥俄州比奇伍德数学统计研究所，2009年·Zbl 1243.60043号
[27] S.Ling和T.Strohmer。自校准和双凸压缩传感。反问题，31:1150022015·Zbl 1327.93183号 ·doi:10.1088/0266-5611/31/11/115002
[28] P.Mccullagh和J.A.Nelder。广义线性模型，统计学和应用概率专著第37卷。查普曼和霍尔/CRC，伦敦；纽约，第二版，1989年·Zbl 0744.62098号
[29] C.麦克迪米德。关于有界差分法。组合学调查，141（1）：148-1881989·Zbl 0712.05012号
[30] S.门德尔森。学习时注意力不集中。在《第27届学习理论会议论文集》（COLT）中，JMLR W&C第35卷，第25-392014页·Zbl 1333.68232号
[31] S.门德尔森。学习而不专注于一般损失函数。预印本；arXiv:14100.3192，2014年·Zbl 1393.62038号
[32] A.内米洛夫斯基。非参数统计主题，第5章，第183-206页。施普林格-柏林-海德堡，柏林，海德堡·Zbl 0998.62033号
[33] S.Oymak、A.Jalali、M.Fazel、Y.Eldar和B.Hassibi。应用于稀疏和低秩矩阵的同时结构化模型。信息理论，IEEE汇刊，61（5）：2886-29082015·Zbl 1359.94150号 ·doi:10.1109/TIT.2015.2401574
[34] R.E.A.C.Paley和A.Zygmund。关于单位圆中解析函数的一个注记。剑桥哲学学会数学学报，28（3）：266-2721932·Zbl 0005.06602号 ·doi:10.1017/S0305004100010112
[35] Y.Plan和R.Vershynin。具有非线性观测的广义LASSO。IEEE信息理论汇刊，62（3）：1528-15372016年3月·Zbl 1359.94153号
[36] Y.Plan、R.Vershynin和E.Yudovina。几何约束下的高维估计。信息与推断，2016年·Zbl 1383.62121号
[37] S.Shalev-Shwartz和S.Ben-David。理解机器学习：从理论到算法。剑桥大学出版社，美国纽约州纽约市，2014年·Zbl 1305.68005号 ·doi:10.1017/CBO9781107298019
[38] Y.Shechtman、A.Beck和Y.C.Eldar。GESPAR：稀疏信号的有效相位恢复。IEEE传输。叹息。程序。，62（4）：928-9381014年·Zbl 1394.94522号 ·doi:10.1109/TSP.2013.2297687
[39] M.Soltanolkotabi。通过梯度下降学习ReLU。《神经信息处理系统进展》，第30卷，第2007-2017页。Curran Associates，Inc.，2017年。
[40] C.斯坦因。相依随机变量和分布的正态近似误差的界。《第六届伯克利数理统计与概率研讨会论文集》，概率论第2卷，583-602页，加利福尼亚州伯克利，1972年。加利福尼亚大学出版社·Zbl 0278.60026号
[41] J.A.特罗普。从独立随机线性测量中恢复结构化信号的凸性，第67-101页。施普林格国际出版公司，Cham，2015年·Zbl 1358.94034号
[42] A.W.van Der Vaart和J.A.Wellner。弱收敛和经验过程。统计学中的斯普林格系列。施普林格，1996年·Zbl 0862.60002号
[43] Y.Yu、T.Wang和R.J.Samworth。对于统计学家来说，戴维斯-卡汉定理的一个有用变体。《生物特征》，102（2）：315-3232014·Zbl 1452.15010号 ·doi:10.1093/biomet/asv008
[44] H.Zou、T.Hastie和R.Tibshirani。稀疏主成分分析。计算与图形统计杂志，15（2）：265-2862006·doi:10.1198/106186006X113430
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。