拉胡尔·马祖姆德;阿科帕尔·乔杜里;加鲁德·艾扬格;菩萨森 多元凸回归及其变体的计算框架。 （英语） Zbl 1418.62122号 美国统计协会。 114，编号525，318-331（2019）. 摘要：我们研究了多元凸回归函数的非参数最小二乘估计（LSE）。LSE是一个二次规划的解，它具有（O（n^2））线性约束（（n）是样本量），对于大型问题很难计算。利用问题特定结构，我们提出了一个基于增广拉格朗日方法的可扩展算法框架来计算LSE。我们提出了一种新的方法来获得拟合（分段仿射）凸LSE的光滑凸逼近，并给出了逼近质量的形式界。当样本数与预测器维数相比不太大时，我们提出了一种正则化方案——Lipschitz凸回归——在该方案中，我们约束了次梯度的范数，并研究了获得的LSE的收敛速度。我们的算法框架简单灵活，可以很容易地适应处理变量：估计一个非递减/非递增凸/凹（有或没有Lipschitz界）函数。我们进行了数值研究，以说明所提算法的可扩展性——在某些情况下，我们的建议在运行时比使用（n=500）的非自助内部点求解器提高了10000倍以上。 引用于15文件 MSC公司： 62G05型 非参数估计 62G08号 非参数回归和分位数回归 90C25型 凸面编程 关键词：增广拉格朗日方法;Lipschitz凸回归;非参数最小二乘估计;可扩展二次规划;光滑凸回归 软件：ElemStatLearn（电子状态学习）;LogConcDEAD日志 PDF格式BibTeX公司 XML格式引用 \textit{R.Mazumder}et al.，J.Am.Stat.Assoc.114，No.525，318--331（2019；Zbl 1418.62122） 全文： 内政部 arXiv公司 链接 参考文献： [1] 阿奎莱拉，N。；Forzani，L。；Morin，P.，关于凸回归的一致一致估计，非参数统计杂志，23897-908（2011）·Zbl 1230.62047号 [2] 阿龙，G。；比恩斯托克，M。；哈克曼，S。；美国帕西。；Shapiro，A.，用熵方法对凹面生产技术进行非参数估计，应用计量经济学杂志，22795-816（2007） [3] 新南威尔士州艾巴特。；Iyengar，G.，压缩传感的一阶增广拉格朗日方法，SIAM优化杂志，22，429-459（2012）·Zbl 1251.90303号 [4] 新南威尔士州艾巴特。；Wang，Z.，大型凸回归问题的并行方法，IEEE第53届决策与控制年会论文集，5710-5717（2014） [5] 艾尔，M。；Brunk，H.D。；尤因，G.M。；里德，W.T。；Silverman，E.，《不完全信息抽样的经验分布函数》，《数理统计年鉴》，26，641-647（1955）·Zbl 0066.38502号 [6] Balabdaoui，F.，原点凸密度的一致估计，数理统计方法，16，77-95（2007）·Zbl 1283.62073号 [7] Balázs，G。；György，A。；Szepesvári，C.，凸回归的近最优Max-Affine估计，第十八届国际人工智能与统计会议论文集，56-64（2015） [8] Bertsekas，D.P.，《非线性规划》（1999），马萨诸塞州贝尔蒙特：雅典娜科学出版社，马萨诸塞诸塞州贝尔蒙特·Zbl 1015.90077号 [9] M.伯克。；Dette，H.，非参数回归中凸函数的估计，《斯堪的纳维亚统计杂志》，34384-404（2007）·Zbl 1142.62019年 [10] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；Peleato，B。；Eckstein，J.，《通过机器学习中乘数、基础和趋势®交替方向方法的分布式优化和统计学习》，3，1-122（2011）·Zbl 1229.90122号 [11] 博伊德，S。；Vandenberghe，L.，《凸优化》（2004），英国剑桥：剑桥大学出版社，英国剑桥·Zbl 1058.90049号 [12] Brunk，H.D.，单调参数的最大似然估计，《数理统计年鉴》，26，607-616（1955）·Zbl 0066.38503号 [13] 陈，C。；他，B。；叶，Y。；袁，X.，多块凸极小化问题ADMM的直接推广不一定收敛，数学规划，155，57-79（2016）·Zbl 1332.90193号 [14] 库勒，M。；萨姆沃思，R。；Stewart，M.，多维对数凹形密度的最大似然估计，英国皇家统计学会杂志，72545-607（2010）·Zbl 1411.62055号 [15] 杜，P。；参数，C.F。；Racine，J.S.，《具有多个预测因子和多个形状约束的非参数核回归》，《统计学》，2013年第23期，第1347-1371页·兹比尔1534.62050 [16] 洛杉矶汉纳。；Dunson，D.B.，带自适应分区的多元凸回归，机器学习研究杂志，14，3261-3294（2013）·Zbl 1318.62225号 [17] 哈斯蒂，T。；蒂布希拉尼，R。；J.弗里德曼。，统计学习的要素：数据挖掘、推理和预测（第二版）（2009年），《统计学中的斯普林格系列》，纽约：斯普林格，《统计学的斯普林格系列》（Springer Series in Statistics），纽约·兹比尔1273.62005 [18] 洪，M。；罗志清，关于乘数交替方向法的线性收敛性，《数学规划》，162165-199（2017）·Zbl 1362.90313号 [19] Kuosmanen，T.，凸非参数最小二乘表示定理，计量经济学杂志，11，308-325（2008）·Zbl 1141.91640号 [20] Lim，E.，关于多维凸回归的收敛速度，INFORMS计算杂志，26，616-628（2014）·Zbl 1304.62057号 [21] Lim，E。；Glynn，P.W.，多维凸回归的一致性，运筹学，60，196-208（2012）·Zbl 1342.62064号 [22] Mammen，E.，估计平滑单调回归函数，统计年鉴，19724-740（1991）·Zbl 0737.62038号 [23] Matzkin，R.L.，《非参数方法中经济理论的限制》，《计量经济学手册》，42523-2558（1994） [24] Mekaroonreung，M。；Johnson，A.L.，估算SO的影子价格\(_2\)和否\（_｛x｝\）《美国煤电厂：凸非参数最小二乘法》，《能源经济学》，34723-732（2012） [25] 梅耶，R.F。；Pratt，J.W.，《偏好函数的一致性评估和公平化》，IEEE系统科学与控制论汇刊，4270-278（1968） [26] Michelot，C.，求点在标准单纯形上投影的有限算法\（R^{n}\），《优化理论与应用杂志》，50，195-200（1986）·Zbl 0571.90074号 [27] Mukerjee，H.，《单调非参数回归》，《统计年鉴》，16741-750（1988）·Zbl 0647.62042号 [28] Nesterov，Y.，《凸优化入门讲座：基础课程》（2004年），诺威尔：Kluwer，诺威尔·Zbl 1086.90045号 [29] ---，非光滑函数的平滑最小化，数学规划，103，127-152（2005）·Zbl 1079.90102号 [30] 北卡罗来纳州帕里赫。；Boyd，S.，优化中的近似算法、基础和趋势®，1127-239（2014） [31] Seijo，E。；Sen，B.，多元凸回归函数的非参数最小二乘估计，统计学年鉴，391633-1657（2011）·Zbl 1220.62044号 [32] 塞雷金，A。；Wellner，J.A.，《多元凸变换密度的非参数估计》，《统计学年鉴》，383751-3781（2010）·Zbl 1204.62058号 [33] 夏皮罗，A。；Dentcheva博士。；Ruszczyński，A.，随机规划讲座：建模与理论（2009）·邮编：1183.90005 [34] Van De Geer，S.，《实证过程理论的应用》（2000），英国剑桥：剑桥大学出版社·Zbl 0953.62049号 [35] Varian，H.R.，《需求分析的非参数方法》，《计量经济学》，50945-973（1982）·Zbl 0483.90006号 [36] ---《生产分析的非参数方法》，《计量经济学》，52，579-597（1984）·Zbl 0558.90024号 [37] Verbeek，M.，《现代计量经济学指南》（2008），英国奇切斯特：Wiley·Zbl 1013.62109号 [38] Wang，Y。；Wang，S.，估算α-形状受限核分位数回归的前沿技术效率，神经计算，101，243-251（2013） [39] Yatchhew，A.，《经济学中的非参数回归技术》，《经济文献杂志》，36，669-721（1998） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。