越南阮；丹尼尔·库恩；Esfahani、Peyman Mohajerin 分布稳健的逆协方差估计：Wasserstein收缩估计。 （英语） Zbl 1485.90084号 操作。物件。 70，编号1，490-515（2022）. 摘要：我们引入了一个具有Wasserstein模糊集的分布稳健最大似然估计模型，以从独立样本中推断p维高斯随机向量的协方差逆矩阵。该模型在规定的Wasserstein距离内，使所有正态参考分布的Stein损失的最坏情况（最大）最小化，该距离由样本均值和样本协方差矩阵表示。我们证明了这个估计问题等价于一个半定规划，该规划在理论上是可处理的，但对于实际相关的问题维数（p），它超出了通用求解器的能力。在没有任何先验结构信息的情况下，估计问题有一个分析解，该解自然被解释为非线性收缩估计量。除了可逆且条件良好（p>n）外，新的收缩估计是旋转等变的，并且保持了样本协方差矩阵特征值的顺序。这些理想的性质不是临时强加的，而是从潜在的分布稳健优化模型中自然产生的。最后，我们开发了一种序列二次近似算法，用于有效解决高斯图形模型中通常遇到的条件独立约束下的一般估计问题。 引用于4文件 MSC公司： 90立方厘米 数学规划中的稳健性 90立方厘米22 半定规划 90 C90 数学规划的应用 关键词：机器学习与数据科学；分布鲁棒优化；数据驱动优化；瓦瑟斯坦距离；收缩估计器；最大似然估计 软件：机器人学；雅尔米普；玻璃制品；罗马；SDPT3系统；spcov公司；魁北克；促进；PMTK公司 PDF格式BibTeX公司 XML格式引用 \textit{V.A.Nguyen}等人，作品。第70号决议，第1号，490--515（2022年；Zbl 1485.90084） 全文： 内政部 arXiv公司 链接 参考文献： [1] Banerjee O，El Ghaoui L，d'Aspremont A（2008）通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择。J.机器学习。物件。9（6月）：485-516。谷歌学者·兹比尔1225.68149 [2] Berge C（1963年）拓扑空间：包括多值函数、向量空间和凸性的处理（纽约州米诺拉市多佛）。谷歌学者·Zbl 0114.38602号 [3] 伯恩斯坦DS（2009）矩阵数学：理论、事实和公式（普林斯顿大学出版社，新泽西州普林斯顿）。Crossref，谷歌学者·Zbl 1183.15001号 ·doi:10.1515/9781400833344 [4] Bertsekas DP（2009）凸优化理论（Athena Scientific，马萨诸塞州贝尔蒙特）。谷歌学者·Zbl 1242.90001号 [5] Bien J，Tibshirani RJ（2011）协方差矩阵的稀疏估计。生物特征98（4）:807-820.谷歌学者（Google Scholar）交叉引用·Zbl 1228.62063号 ·doi:10.1093/biomet/asr054 [6] Blanchet J，Murthy K（2016）通过最优运输量化分配模型风险。数学。操作。物件。44（2）:565-600.谷歌学者·Zbl 1434.60113号 [7] Blanchet J，Si N（2019）分布稳健逆协方差估计中的最佳不确定性大小。操作。Res.Lett公司。47（6）:618-621.谷歌学者·Zbl 1476.62104号 [8] Boyd S、Vandenberghe L（2004）凸优化（英国剑桥大学出版社）。Crossref，谷歌学者·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [9] Chun SY、Browne MW、Shapiro A（2018）《修正的无分布优良性检验统计》。心理测量学83（1）：48-66.Crossref，谷歌学者·Zbl 1402.62305号 ·doi:10.1007/s11336-017-9574-9 [10] Dahl J，Roychowdhury V，Vandenberghe L（2005）高斯图形模型的最大似然估计：数值实现和拓扑选择。工作文件，加利福尼亚大学洛杉矶分校。谷歌学者 [11] Das A，Sampson AL，Lainssek C，Muller L，Lin W，Doyle JC，Cash SS，Halgren E，Sejnowski TJ（2017）从人类皮层电图记录中解释精确矩阵及其在估计睡眠纺锤波期间稀疏大脑连接中的应用。神经计算。29（3）：603-642.Crossref，谷歌学者·Zbl 1414.92163号 ·doi:10.1162/NECO_a_00936 [12] Delage E，Ye Y（2010），力矩不确定性下的分布稳健优化，应用于数据驱动问题。操作。物件。58（3）：595-612.Link，谷歌学者·Zbl 1228.90064号 [13] DeMiguel V，Nogales FJ（2009）《稳健估计的投资组合选择》。操作。物件。57（3）：560-577.链接，谷歌学者·Zbl 1233.91240号 [14] Dettling M（2004）BagBoosting利用基因表达数据进行肿瘤分类。生物信息学20（18）:3583-3593.Crossref，谷歌学者·doi:10.1093/bioinformatics/bth447 [15] Dey DK，Srinivasan C（1985）Stein损失下协方差矩阵的估计。安。统计师。13（4）：1581-1591.Crossref，谷歌学者·Zbl 0582.62042号 ·doi:10.1214/aos/1176349756 [16] Du L，Li J，Stoica P（2010）鲁棒自适应波束形成的对角加载电平的全自动计算。IEEE传输。航空航天电子系统46（1）：449-458.Crossref，谷歌学者·doi:10.1109/TAES.2010.5417174 [17] Fan J，Fan Y，Lv J（2008）使用因子模型进行高维协方差矩阵估计。J.计量经济学147（1）：186-197.克罗斯里夫，谷歌学者·Zbl 1429.62185号 ·doi:10.1016/j.jeconom.2008.09.017 [18] Fisher RA（1936）分类问题中多重测量的使用。优生学年鉴7（2）：179-188.Crossref，谷歌学者·文件编号：10.1111/j.1469-1809.1936.tb02137.x [19] Friedman J，Hastie T，Tibshirani R（2008）用图形套索进行稀疏逆协方差估计。生物统计学9（3）:432-441.Crossref，谷歌学者·Zbl 1143.62076号 ·doi:10.1093/biostatistics/kxm045 [20] Gao R，Kleywegt A（2016）具有Wasserstein距离的分布鲁棒随机优化。预印本，4月8日提交，https://arxiv.org/abs/1604.02199。谷歌学者 [21] Gao R，Chen X，Kleywegt A（2016），统计学习中的Wasserstein分布稳健性和正则化。预印本，于12月17日提交，https://arxiv.org/abs/1712.06050.谷歌学者 [22] Givens CR，Short RM（1984）概率分布的一类Wasserstein度量。密歇根数学。J。31（2）：231-240.谷歌学者（Google Scholar）交叉引用·Zbl 0582.60002号 ·doi:10.10307/mmj/1029003026 [23] Goh J，Sim M（2010）分布稳健优化及其可处理近似。操作。物件。58（4，第1部分）：902-917.链接，谷歌学者·Zbl 1228.90067号 [24] Goto S，Xu Y（2015）通过稀疏对冲限制改进均值-方差优化。J.财务数量。分析。50（6）：1415-1441.Crossref，谷歌学者·doi:10.1017/S0022109015000526 [25] Haff LR（1991）某些Bayes估计的变分形式。安。统计师。19（3）：1163-1190.谷歌学者Crossref·Zbl 0739.62046号 ·doi:10.1214/aos/1176348244 [26] Hastie T、Tibshirani R、Friedman J（2001）统计学学习的要素（纽约斯普林格）。Crossref，谷歌学者·Zbl 0973.62007号 ·doi:10.1007/978-0-387-21606-5 [27] Hespanha JP（2009）线性系统理论（普林斯顿大学出版社，新泽西州普林斯顿）。谷歌学者·Zbl 1185.93001号 [28] Hsieh C-J，Sustik MA，Dhillon IS，Ravikumar P（2014）QUIC：稀疏逆协方差估计的二次近似。J.机器学习。物件。15（83）：2911-2947谷歌学者·Zbl 1319.65048号 [29] Jagannathan R，Ma T（2003）《大型投资组合中的风险降低：为什么施加错误的约束会有所帮助》。J.金融58（4）：1651-1683.Crossref，谷歌学者·doi:10.1111/1540-6261.00580 [30] James W，Stein C（1961）二次损失估计。程序。第四届伯克利交响乐团。数学。统计师。可能性。，第1卷：对统计学理论的贡献（加州大学伯克利分校出版社），361-379.谷歌学者·Zbl 1281.62026号 [31] Lauritzen SL（1996）图形模型（英国牛津大学出版社）。谷歌学者·Zbl 0907.62001 [32] Ledoit O（2004a）大维协方差矩阵的良好估计。《多元分析杂志》。88（2）：365-411.Crossref，谷歌学者·Zbl 1032.62050 ·doi:10.1016/S0047-259X（03）00096-4 [33] Ledoit O（2004b）亲爱的，我缩小了样本协方差矩阵。J.投资组合管理30（4）：110-119。Crossref，谷歌学者·doi:10.3905/jpm.2004.110 [34] Ledoit O（2012）大维协方差矩阵的非线性收缩估计。安。统计师。40（2）：1024-1060。交叉引用，谷歌学者·Zbl 1274.62371号 ·doi:10.1214/12-AOS989 [35] Ledoit O，Wolf M（2003）改进了股票收益协方差矩阵的估计，并将其应用于投资组合选择。J.实证金融10（5）:603-621.Crossref，谷歌学者·doi:10.1016/S0927-5398（03）00007-0 [36] Löfberg J（2004）YALMIP：MATLAB中建模和优化的工具箱。2004 IEEE国际。Conf.机器人自动化（IEEE，新泽西州皮斯卡塔韦），284-289.谷歌学者 [37] Markowitz H（1952）《投资组合选择》。J.金融7（1）:77-91.谷歌学者 [38] Mohajerin Esfahani P，Kuhn D（2017）《使用Wasserstein指标的数据驱动分布式稳健优化：性能保证和可控制的重新制定》。数学。编程171（1-2）：115-166.Crossref，谷歌学者·Zbl 1433.90095 ·doi:10.1007/s10107-017-1172-1 [39] Murphy KP（2013）机器学习：概率的观点（麻省理工学院出版社，马萨诸塞州剑桥）。谷歌学者 [40] Nocedal J，Wright SJ（2006）数值优化（纽约州施普林格）。谷歌学者·Zbl 1104.65059号 [41] Nguyen VA、Shafieezadeh-Abadeh S、Kuhn D、Mohajerin Esfahani P（2022）通过Wasserstein分布稳健优化桥接Bayesian和minimax均方误差估计。数学。操作。即将发布的研究。谷歌学者 [42] Oztoprak F，Nocedal J，Rennie S，Olsen PA（2012）稀疏逆协方差估计的类牛顿方法。Pereira F、Burges CJC、Bottou L、Weinberger KQ编辑。神经信息处理系统研究进展，第25卷（纽约州Red Hook市Curran Associates），755-763.谷歌学者 [43] Pan VY，Chen ZQ（1999）矩阵特征问题的复杂性。程序。第31届ACM年度交响曲。理论计算。（ACM，纽约），507-516。谷歌学者·兹比尔1346.68103 [44] Perlman MD（2007）STAT 542：多元统计分析。西雅图华盛顿大学讲稿。http://courses.washington.edu/stat512/542备注2007.pdf.Google学者 [45] Ribes A，Azaís J-M，Planton s（2009）使用条件良好的协方差矩阵估计对气候变化检测的最佳指纹方法进行调整。气候动力。33（5）：707-722.Crossref，谷歌学者·doi:10.1007/s00382-009-0561-4 [46] Rippl T、Munk A、Sturm A（2016）《经验Wasserstein距离的极限定律：高斯分布》。《多元分析杂志》。151（10月）：90-109。Crossref，谷歌学者·Zbl 1351.62064号 ·doi:10.1016/j.jmva.2016.06.005 [47] Schäfer J，Strimmer K（2005）大规模协方差矩阵估计的收缩方法及其对功能基因组学的影响。统计师。申请。遗传学分子生物学。4（1）：第32条谷歌学者 [48] Shafieezadeh-Abadeh S、Kuhn D、Mohajerin Esfahani P（2017）《通过大众运输实现正规化》。10月27日提交的预印本，https://arxiv.org/abs/1710.10016.谷歌学者·Zbl 1434.68450号 [49] Shafieezadeh-Abadeh S，Mohajerin Esfahani P，Kuhn D（2015），分布稳健逻辑回归。Cortes C、Lawrence N、Lee D、Sugiyama M、Garnett R编辑高级神经信息。处理系统，第28卷（Curran Associates，Red Hook，NY），1576-1584.谷歌学者 [50] Stein C（1975）协方差矩阵的估计。里兹讲座，第39届IMS年会，克利夫兰数理统计研究所。谷歌学者 [51] Stein C（1986）多参数估计理论讲座。J.苏联数学。34（1）：1373-1403。交叉引用，谷歌学者·Zbl 0593.62049号 ·doi:10.1007/BF0108507文件 [52] Stevens GVG（1998）关于投资组合分析中协方差矩阵的逆问题。J.金融53（5）：1821-1827.Crossref，谷歌学者·doi:10.1111/0022-1082.00074 [53] Torri G、Giacometi R、Paterlini S（2019）最小方差投资组合的稀疏精度矩阵。计算。管理科学。16（3）:375-400.谷歌学者Crossref·Zbl 07097398号 ·doi:10.1007/s10287-019-00344-6 [54] Touloumis A（2015）高维环境中的非参数Stein型收缩协方差矩阵估值器。计算。统计师。数据分析。83（3月）：251-261 Crossref，谷歌学者·Zbl 1507.62168号 ·doi:10.1016/j.csda.2014.10.018 [55] Tseng P，Yun S（2009）非光滑可分离最小化的坐标梯度下降法。数学。编程117（1-2）：387-423.Crossref，谷歌学者·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0 [56] TüTüncüRH，Toh KC，Todd MJ（2003）使用SDPT3求解半定二次线性程序。数学。编程95（2）：189-217.Crossref，谷歌学者·Zbl 1030.90082号 ·文件编号：10.1007/s10107-002-0347-5 [57] van der Vaart HR（1961）关于一般条件下对称随机矩阵潜在根分布的某些特征。安。数学。统计师。32（3）：864-873.Crossref，谷歌学者·Zbl 0121.14102号 ·doi:10.1214/aoms/1177704979 [58] Wiesel A，Eldar Y，Hero A（2010）可分解高斯图形模型中的协方差估计。IEEE传输。信号处理。58（3）：1482-1492.Crossref，谷歌学者·Zbl 1392.94526号 ·doi:10.1109/TSP.2009.2037350 [59] Wiesemann W，Kuhn D，Sim M（2014）分布鲁棒凸优化。操作。物件。62（6）：1358-1376.链接，谷歌学者·Zbl 1327.90158号 [60] Won J-H，Lim J，Kim S-J，Rajaratnam B（2013）条件数正则化协方差估计。J.罗伊。统计师。Soc.序列号。B统计师。Methodol公司。75（3）:427-450.谷歌学者（Google Scholar）交叉引用·Zbl 1411.62146号 ·文件编号：10.1111/j.1467-9868.2012.01049.x [61] Yang R，Berger JO（1994）使用参考先验估计协方差矩阵。安。统计师。22（3）：1195-1211.谷歌学者交叉引用·Zbl 0819.62013号 ·doi:10.1214/aos/1176325625 [62] Zhao C，Guan Y（2018）基于Wasserstein度量的数据驱动风险规避随机优化。操作。Res.Lett公司。46（2）：262-267.Crossref，谷歌学者·Zbl 1525.90316号 ·doi:10.1016/j.orl.2018.01.011 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。