苏海尔·巴赫曼尼 通过凸规划对非线性观测值进行估计，并应用于双线性回归。 （英语） Zbl 1420.62088号 电子。J.统计。 1978-2011（2019）第1期第13页. 摘要：我们提出了一种计算效率高的估计量，并将其表示为凸程序，用于一类涉及以下内容的非线性回归问题凸差（DC）非线性。提出的方法可以被视为“锚定回归”方法的一个重要扩展，该方法在[巴哈马岛南部和J.罗姆伯格，找到。计算。数学。19，第4期，813–841（2019年；Zbl 1422.62235号)]对于凸非线性回归。除了其他温和的统计和计算假设外，我们的主要假设是，观测函数梯度平均值在地面真实值处存在某种近似预言。在这个假设下，使用PAC-Baysian分析，我们表明所提出的估计量产生了高概率的准确估计。作为一个具体的例子，我们研究了高斯因子双线性回归问题中所提出的框架，并量化了精确恢复所需的足够样本复杂度。此外，我们描述了一个可计算的方案，该方案可证明在所考虑的双线性回归问题中产生所需的近似预言。 引用于1文件 MSC公司： 10层62层 点估计 90C25型 凸面编程 62J02型 一般非线性回归 关键词：非线性回归;凸规划;PAC-巴氏分析;双线性回归 引文：Zbl 1422.62235号 软件：CVX公司;古罗比;Wirter流量;BranchHull公司;相位最大值 PDF格式BibTeX公司 XML格式引用 \textit{S.Bahmani}，电子。J.Stat.13，第1号，1978年-2011年（2019年；Zbl 1420.62088） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] A.Aghasi、A.Ahmed和P.Hand。Branchhull：具有已知符号的信号的入口乘积的凸双线性反演。预印本，arXiv:1702.04342[cs.IT]，2017年·Zbl 1448.94042号 [2] A.A.Ahmadi和G.Hall。用代数技术对非凸多项式进行DC分解。，数学编程——B辑，2017年·Zbl 1390.90418号 ·doi:10.1007/s10107-017-1144-5 [3] A.Ahmed、B.Recht和J.Romberg。使用凸规划的盲反卷积。，IEEE信息理论汇刊，60（3）：1711-17322014年3月·Zbl 1360.94057号 ·网址：10.1109/TIT.2013.2294644 [4] P.阿尔基尔。随机经验风险最小化者的PAC-Baysian界。，统计数学方法，17（4）：279-3042008年12月·Zbl 1260.62038号 ·doi:10.3103/S1066530708040017 [5] P.Alquier和K.Lounici。指数权重稀疏回归估计的PAC-Bayesian界。，《电子统计杂志》，5:127-1452011·Zbl 1274.62463号 ·doi:10.1214/11-EJS601 [6] J.-Y.Audibert和O.Catoni。稳健线性最小二乘回归。，《统计年鉴》，39（5）：2766-27942011年10月·Zbl 1231.62126号 ·doi:10.1214/11-AOS918 [7] S.Bahmani和J.Romberg.随机掩模成像中盲解卷积的提升：可识别性和凸松弛。，SIAM成像科学杂志，8（4）：2203-22382015·Zbl 1330.94006号 ·doi:10.1137/141002165 [8] 相位恢复符合统计学习理论：灵活的凸松弛。2017年4月20日至22日，美国佛罗里达州劳德代尔堡，机器学习研究论文集第54卷，第252-260页，第20届国际人工智能与统计会议论文集编辑A.Singh和J.Zhu。PMLR公司·Zbl 1408.62032号 ·doi:10.1214/17-EJS1378SI [9] S.Bahmani和J.Romberg.相位恢复的灵活凸松弛。，《电子统计杂志》，11（2）：5254-52812017b·Zbl 1408.62032号 ·doi:10.1214/17-EJS1378SI [10] S.Bahmani和J.Romberg.通过锚定回归求解随机凸函数方程。，J.发现。公司。数学。，2018年出版；预印本arXiv:1702.05327[cs.LG]·Zbl 1422.62235号 [11] O.Bousquet、V.Koltchinskii和D.Panchenko。凸包复杂性的一些局部度量和泛化界。J.Kivinen和R.H.Sloan，编辑，《计算学习理论》，第59-73页，柏林，海德堡，2002年。施普林格-柏林-海德堡·Zbl 1050.68055号 [12] E.J.Candès、X.Li和M.Soltanolkotabi。通过Wirtinger流进行相位恢复：理论和算法。，信息理论，IEEE汇刊，61（4）：1985-2007，2015年4月·Zbl 1359.94069号 ·doi:10.1109/TIT.2015.2399924 [13] O.Catoni。，PAC-Baysian监督分类：统计学习的热力学，讲座笔记-专题系列第56卷。美国俄亥俄州比奇伍德数学统计研究所，2007年·兹比尔1277.62015 [14] O.Catoni和I.Giulini。矩阵、向量和线性最小二乘回归的无量纲PAC-Bayesian界。，arXiv预印本，2017年12月。arXiv:1712.02747[数学，统计]。 [15] R.Y.Chen、A.Gittens和J.A.Tropp。掩蔽样本协方差估计：使用矩阵集中不等式的分析。，信息和推断：IMA杂志，1（1）：2-202012·Zbl 06242993号 ·doi:10.1093/imaiai/ias001 [16] Y.Chen和E.Candés。求解随机二次方程组几乎与求解线性系统一样容易。在，《神经信息处理系统进展》28，第739-747页。Curran Associates，Inc.，2015年。 [17] P.Germain、A.Lacasse、F.Laviolette和M.Marchand。线性分类器的PAC-Baysian学习。年，《第26届国际机器学习年会论文集》，ICML'09，第353-360页，美国纽约州纽约市，2009年。ACM公司。 [18] E.Giné和V.Koltchinskii。比率型经验过程的集中不等式和渐近结果。，《概率年鉴》，34（3）：1143-12162006年5月·Zbl 1152.60021号 ·doi:10.1214/009117906000000070 [19] E.Giné、V.Koltchinskii和J.A.Wellner。经验过程的比率极限定理。在E.Giné、C.Houdré和D.Nualart，编辑，《随机不等式与应用》，第249-278页，巴塞尔，2003年。Birkhä用户巴塞尔·Zbl 1055.60019号 [20] T.Goldstein和C.Studer。凸相检索，无需通过PhaseMax提升。D.Precup和Y.W.Teh，编辑，《第34届机器学习国际会议论文集》，《机器学习研究论文集》第70卷，第1273-1281页，澳大利亚悉尼国际会议中心，2017年8月6日至11日。PMLR公司。 [21] T.Goldstein和C.Studer。Phasemax：通过基追踪的凸相位检索。，IEEE信息理论汇刊，64（4）：2675-26892018年4月·Zbl 1390.94194号 ·doi:10.1109/TIT.2018.2800768 [22] M.Grant和S.Boyd。CVX:2014年3月，2.1版，用于严格凸编程的Matlab软件。URL，http://cvxr.com/cvx。 [23] Gurobi Optimization，Inc.古罗比优化器参考手册，2016年。URL，http://www.gurobi.com。 [24] P.哈特曼。关于可表示为凸函数差的函数。，太平洋数学杂志。，9(3):707-713, 1959. ·Zbl 0093.06401号 ·doi:10.2140/pjm.1959.9.707 [25] M.Junge和Q.Zeng。非交换Bennett和Rosenthal不等式。，《概率年鉴》，41（6）：4287-43161013年11月·Zbl 1290.46056号 ·doi:10.1214/12-AOP771 [26] V.科尔钦斯基。Rademacher惩罚和结构风险最小化。，IEEE信息理论汇刊，47（5）：1902-19142001·Zbl 1008.62614号 ·doi:10.1109/18.930926 [27] V.Koltchinskii。，经验风险最小化和稀疏恢复问题中的Oracle不等式。数学课堂讲稿：Ecole d’Etéde Probabilityés de Saint-Flour XXXVIII-2008。施普林格-弗拉格-柏林-海德堡，2011年·Zbl 1223.91002号 [28] V.Koltchinskii和S.Mendelson。在没有集中的情况下对随机矩阵的最小奇异值进行定界。，国际数学研究通告，2015（23）：12991-13008，2015·Zbl 1331.15027号 [29] V.Koltchinskii和D.Panchenko。Rademacher处理和限制函数学习的风险。E.Giné、D.M.Mason和J.A.Wellner，编辑，《高维概率II》，第443-457页，马萨诸塞州波士顿，2000年。Birkhä用户Boston·Zbl 1106.68385号 [30] J.Langford和J.Shawe-Taylor。PAC-Bayes和利润。2003年，《神经信息处理系统进展》，第439-446页。 [31] M.Ledoux和M.Talagrand。，巴拿赫空间中的概率：等高线和过程。施普林格科学与商业媒体，2013·Zbl 1226.60003号 [32] X.Li、S.Ling、T.Strohmer和K.Wei。通过非凸优化实现快速、稳健、可靠的盲反褶积。，应用和计算谐波分析，2018年……正在出版·Zbl 1422.94013号 [33] S.Ling和T.Strohmer。正则梯度下降：快速联合盲反褶积和分层的非凸方法。，信息和推断：IMA杂志，2018年…正在出版·Zbl 1470.94047号 [34] W.Luo、W.Alghamdi和Y.M.Lu。信号恢复的最佳频谱初始化及其在相位恢复中的应用。预印本，arXiv:1811.04420[cs.IT]，2018年·Zbl 1458.94111号 [35] C.Ma、K.Wang、Y.Chi和Y.Chen。非凸统计估计中的隐式正则化：梯度下降线性收敛用于相位恢复、矩阵补全和盲反褶积。预印本，arXiv:1711.10467[cs.LG]，2017年·Zbl 1445.90089 [36] L.Mackey、M.I.Jordan、R.Y.Chen、B.Farrell和J.A.Tropp。矩阵集中不等式的交换对方法。，《概率年鉴》，42（3）：906-9452014年5月·Zbl 1294.60008号 ·doi:10.1214/13-AOP892 [37] D.McAllester和T.Akinbiyi。，PAC-Baysian理论，第95-103页。施普林格-柏林-海德堡，柏林，海德堡·兹比尔1325.62100 [38] D.A.McAllester博士。一些PAC-Baysian定理。，机器学习，37（3）：355-3631999年12月·兹比尔0945.68157 ·doi:10.1023/A:1007618624809 [39] S.门德尔森。学习不专心。《第27届学习理论会议论文集》，JMLR W&CP第35卷，第25-39页，2014年·Zbl 1333.68232号 ·doi:10.1145/2699439 [40] S.门德尔森。学习不专心。，美国计算机学会期刊，62（3）：21:1-21:252015年6月。ISSN 0004-5411·Zbl 1333.68232号 ·doi:10.1145/2699439 [41] M.Mondelli和A.Montanari。弱恢复的基本极限及其在相位恢复中的应用。在《第31届学习理论会议论文集》（COLT）中，机器学习研究论文集第75卷，第1445-1450页。PMLR，2018年·Zbl 1464.62296号 ·doi:10.1007/s10208-018-9395-y [42] P.Netrapalli、P.Jain和S.Sanghavi。使用交替最小化进行相位恢复。在，《神经信息处理系统进展》26，第2796-2804页。Curran Associates，Inc.，2013年·Zbl 1394.94421号 ·doi:10.1109/TSP.2015.2448516 [43] R.I.奥利维拉。随机二次型的下尾及其在普通最小二乘中的应用。，概率论及相关领域，166（3）：1175-1194，2016年12月·Zbl 1360.60075号 ·doi:10.1007/s00440-016-0738-9 [44] Y.Plan和R.Vershynin。稳健的1位压缩感知和稀疏逻辑回归：凸规划方法。，IEEE信息理论汇刊，59（1）：482-4942013年1月·Zbl 1364.94153号 ·doi:10.1109/TIT.2012.2207945 [45] Y.Plan和R.Vershynin。具有非线性观测的广义套索。，IEEE信息理论汇刊，62（3）：1528-15372016年3月·Zbl 1359.94153号 ·doi:10.10109/TIT.2016.2517008 [46] A.W.van Der Vaart和J.A.Wellner。，弱收敛和经验过程。统计学中的斯普林格系列。施普林格，1996年·Zbl 0862.60002号 [47] V.N.Vapnik。，统计学习理论。威利，1998年·Zbl 0935.62007号 [48] V.N.Vapnik和A.Y.Chervonenkis。关于事件相对频率与其概率的一致收敛性。，概率论及其应用，16（2）：264-2801971·Zbl 0247.60005号 ·doi:10.1137/111025 [49] R.Vershynin。介绍随机矩阵的非渐近分析。G.Kutyniok和Y.Eldar，《压缩传感、理论和应用》编辑，第210-268页。剑桥大学出版社，2012年。 [50] Y.Yu、T.Wang和R.J.Samworth。对于统计学家来说，戴维斯-卡汉定理的一个有用变体。，《生物特征》，102（2）：315-3232015·Zbl 1452.15010号 ·doi:10.1093/biomet/asv008 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。