乔纳森·塔克;斯蒂芬·博伊德 拉普拉斯正则分层高斯模型的拟合。 （英语） 兹伯利07545228 最佳方案。工程师。 23,2号，895-915（2022）. 摘要：我们考虑从数据中联合估计多个相关零米高斯分布的问题。我们建议使用拉普拉斯正则化分层模型拟合联合估计这些协方差矩阵，其中包括每个协方差矩阵的损失和正则化项，以及鼓励不同协方差矩阵接近的项。该方法从相邻协方差中“借用强度”，以改进其估计。通过精心选择超参数，这种模型可以表现得很好，特别是在低数据条件下。我们提出了一种适用于大型问题的分布式方法，并通过金融、雷达信号处理和天气预报方面的示例说明了该方法的有效性。 引用于1文件 MSC公司： 62华夏 多变量分析 90立方厘米 数学编程 68次发射 人工智能 关键词：凸优化;分层模型拟合;拉普拉斯正则分层模型;拉普拉斯正则化;高斯模型 软件：PRMLT公司;RegEM公司;玻璃制品;Flury公司;童子军;CVX投资组合 PDF格式BibTeX公司 XML格式引用 \textit{J.Tuck}和\textit{S.Boyd}，Optim。Eng.23，编号2，895-915（2022；Zbl 07545228） 全文： DOI程序 arXiv公司 参考文献： [1] 阿尔姆格伦，R。；Chriss，N.，《投资组合交易的最佳执行》，J Risk，3，5-40（2000）·doi:10.21314/JOR.2001.041 [2] Anderson，T.，《多元统计分析导论》（2003），霍博肯：威利·Zbl 1039.62044号 [3] O.班纳吉。；El Ghaoui，L。；d'Aspremont，A.，多元高斯或二进制数据的稀疏最大似然估计模型选择，J Machine Learn Res，9485-516（2008）·Zbl 1225.68149号 [4] Bergin J，Techau P（2002）《高精度现场特定雷达数据集》。In:2002年知识辅助传感器信号处理和专家推理研讨会 [5] 比克尔，P。；Levina，E.，通过阈值进行协方差正则化，Ann Stat，36，6，2577-2604（2008）·Zbl 1196.62062号 [6] Bishop，C.，模式识别和机器学习（2006），柏林：施普林格出版社，柏林·Zbl 1107.68072号 [7] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [8] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，《发现趋势机器学习》，3，1，1-122（2011）·Zbl 1229.90122号 ·doi:10.1561/220000016 [9] 博伊德，S。；Busseti，E。；钻石，S。；卡恩（Kahn，R.）。；Koh，K。；Nystrup，P。；Speth，J.，通过凸优化进行多期交易，Found Trends Opt，3，1，1-76（2017）·doi:10.1561/24000023 [10] 伯格，J。；Luenberger，D。；DWenger，结构协方差矩阵的估计，IEEE Proc，70，9，963-974（1982）·doi:10.1109/PROC.1982.12427 [11] Cao G，Bouman C（2009）使用稀疏矩阵变换对高维数据向量进行协方差估计。收录人：Koller D、Schuurmans D、Bengio Y、Bottou L（eds）《神经信息处理系统进展》21，Curran Associates，Inc.，pp 225-232 [12] Danaher，P。；王，P。；Witten，D.，《多类协方差逆估计的联合图形套索》，《皇家统计学会杂志》，76，2，373-397（2014）·Zbl 07555455号 ·doi:10.1111/rssb.12033 [13] Deshmukh，S。；Dubey，A.，《改进协方差矩阵估计及其在投资组合优化中的应用》，IEEE Signal Process Lett，27985-989（2020）·doi:10.1109/LSP.2020.2996060 [14] Eaton，M.，《多元统计：向量空间方法》（1983年），纽约：威利出版社·Zbl 0587.62097号 [15] Engle，R.，英国通货膨胀方差估计的自回归条件异方差，《计量经济学》，50，4，987-1007（1982）·Zbl 0491.62099号 ·doi:10.307/1912773 [16] 范，J。；Liao，Y。；Liu，H.，《大协方差和精度矩阵估计概述》，《经济杂志》，19，1，C1-C32（2016）·Zbl 1521.62083号 ·doi:10.1111/ectj.12061 [17] Fazel M（2002）矩阵秩最小化及其应用。斯坦福大学博士论文 [18] Flury B（1997）多元统计第一课程。统计中的Springer文本，Springer·Zbl 0879.62052号 [19] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，用图形套索进行稀疏逆协方差估计，生物统计学，9，3，432-441（2008）·Zbl 1143.62076号 ·doi:10.1093/生物统计学/kxm045 [20] 郭杰。；莱维纳，E。；Michailidis，G。；Zhu，J.，多图形模型的联合估计，Biometrika，98，1，1-15（2011）·Zbl 1214.62058号 ·doi:10.1093/biomet/asq060 [21] Hallac D、Leskovec J、Boyd S（2015）《网络套索：大型图中的聚类和优化》。摘自：ACM知识发现和数据挖掘国际会议记录，第387-396页 [22] Hallac D，Park Y，Boyd S，Leskovec J（2017），通过时变图形套索进行网络推理。摘自：ACM知识发现和数据挖掘国际会议记录，第205-213页 [23] 赫斯特内斯，MR；Stiefel，E.，求解线性系统的共轭梯度方法，《美国国家研究局标准期刊》，49，409-435（1952）·Zbl 0048.09901号 ·doi:10.6028/jres.049.044 [24] 霍夫贝克，J。；Landgrebe，D.，有限训练数据的协方差矩阵估计和分类，IEEE Trans-Pattern Ana Machine Intell，18，7，763-767（1996）·doi:10.1109/34.506799 [25] Kang B（2015）雷达空时自适应处理（stap）的稳健协方差矩阵估计。宾夕法尼亚州立大学博士论文 [26] Kelner J，Orecchia L，Sidford A，Zhu Z（2013）在近线性时间内求解sdd系统的简单组合算法。摘自：美国计算机学会第四十五届年度计算机理论研讨会论文集，美国纽约州纽约市，STOC'13，p911-920·Zbl 1293.68145号 [27] 科尔南，W。；维斯科利，C。；马库奇，R。；布拉斯，L。；Horwitz，R.，临床试验的分层随机化，临床流行病学杂志，52，1，19-26（1999）·doi:10.1016/S0895-4356（98）00138-3 [28] 科勒，D。；弗里德曼，N.，《概率图形模型：原理和技术》（2009），美国：麻省理工学院出版社，美国·兹比尔1183.68483 [29] O.莱多特。；Wolf，M.，《股票收益协方差矩阵的改进估计及其在投资组合选择中的应用》，J Empir Financ，10，5，603-621（2003）·doi:10.1016/S0927-5398（03）00007-0 [30] O.莱多特。；Wolf，M.，《（非）线性收缩的力量：协方差矩阵估计的回顾和指南》，《金融计量经济学杂志》（2020年）·Zbl 1456.62105号 ·doi:10.1093/jjfinec/nbaa007 [31] 莱维坦，E。；GHerman，发射断层成像中图像重建的最大后验概率期望最大化算法，IEEE Trans-Med Imaging，6，3，185-192（1987）·doi:10.1010/TMI.1987.4307826 [32] 李，H。；斯托伊卡，P。；Li，J.，结构协方差矩阵的计算效率最大似然估计，IEEE Trans-Sig过程，47，5，1314-1323（1999）·Zbl 0986.62014号 ·doi:10.1109/78.757219 [33] 马，J。；Michaelidis，G.，多个图形模型的联合结构估计，J Mach Learn Res，17166，1-48（2016）·Zbl 1392.62198号 [34] Markowitz，H.，《投资组合选择》，J Finan，7，1，77-91（1952） [35] Melvin，W.，《STAP概述》，IEEE航空航天电子系统杂志，19，1，19-35（2004）·doi:10.1109/MAES.2004.1263229 [36] 米勒，M。；Snyder，D.，《不完全数据问题中似然和熵的作用：应用于估计点过程强度和toeplitz约束协方差》，继续IEEE，75，7，892-907（1987）·doi:10.1109/PROC.1987.13825 [37] OpenWeather（2017）OpenWeature天气API。https://openweathermap.org/history [38] 北卡罗来纳州帕里赫。；Boyd，S.，Proximal algorithms，Found Trends Opt，1,3127-239（2014）·数字对象标识代码：10.1561/24000003 [39] Recht，B。；法泽尔，M。；Parrilo，P.，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Rev，52，3，471-501（2010）·Zbl 1198.90321号 ·数字对象标识代码：10.1137/070697835 [40] 罗比，F。；Fuhrmann，D。；Kelly，E。；Nitzberg，R.，CFAR自适应匹配滤波器检测器，IEEE Trans Aerospace Electric Syst，28，1，208-216（1992）·数字对象标识代码：10.1109/7.135446 [41] Saegusa，T。；Shojaie，A.，异质人群中精度矩阵的联合估计，Elect J Stat，10，1，1341-1392（2016）·Zbl 1341.62130号 ·doi:10.1214/16-EJS1137 [42] 萨拉里，S。；陈，F。；Chan，Y。；Kim，I。；Cormier，R.，压缩传感MIMO雷达中的联合DOA和杂波协方差矩阵估计，IEEE跨航空航天电子系统，55，1，318-331（2019）·doi:10.1109/TAES.2018.2850459 [43] Schneider，T.，《不完整气候数据的分析：平均值和协方差矩阵的估计以及缺失值的插补》，《气候杂志》，14，5，853-871（2001）·doi:10.1175/1520-0442（2001）014<0853:AOICDE>2.0.CO；2 [44] Skaf J，Boyd S（2009），带约束和交易成本的多阶段投资组合优化。手稿·Zbl 1367.93218号 [45] 斯坦纳，M。；Gerlach，K.，快速收敛自适应处理器或结构化协方差矩阵，IEEE Trans Aerospace Electron Syst，36，4，1115-1126（2000）·数字对象标识代码：10.1109/7.892662 [46] 孙，Y。；巴布，P。；Palomar，D.，信号处理、通信和机器学习中的优化最小化算法，IEEE Trans-signal Process，65，3，794-816（2017）·兹比尔1414.94595 ·doi:10.1109/TSP.2016.2601299 [47] Takapoui R，Javadi H（2016）通过对角线缩放进行预处理。arXiv预打印arXiv:1610.03871 [48] 塔克，J。；Boyd，S.，特征认证模型，Opt Eng（2021）·Zbl 07370577号 ·数字对象标识代码：10.1007/s11081-020-09592-x [49] 塔克，J。；哈拉克·D。；Boyd，S.，拉普拉斯正则化问题的分布式优化最小化，IEEE/CAA J Autom Sinica，6，1，45-52（2019）·doi:10.1109/JAS.2019.1911321 [50] Tuck J，Barratt S，Boyd S（2021）用于拟合拉普拉斯正则分层模型的分布式方法。J机器学习结果出现·Zbl 07370577号 [51] 范登伯格，L。；Boyd，S.，《半定规划》，SIAM Rev，38，1，49-95（1996）·兹比尔0845.65023 ·数字对象标识代码：10.1137/1038003 [52] Vishnoi，N.，Lx=b，发现趋势理论计算科学，8，1-2，1-141（2013）·Zbl 1280.65003号 ·doi:10.1561/0400000054 [53] Wahlberg B，Boyd S，Annergren M，Wang Y（2012）一类总变差正则化估计问题的ADMM算法。In:第16届IFAC系统识别研讨会 [54] Ward J（1995）机载雷达的时空自适应处理。1995年声学、语音和信号处理国际会议，5 2809-2812 [55] 维克斯，M。；Rangaswamy，M。；阿德·R。；Hale，T.，《空时自适应处理：机载雷达的基于知识的观点》，IEEE Signal Process Mag，23，1，51-65（2006）·doi:10.10109/MSP.2006.1593337文件 [56] 维滕，D。；Tibshirani，R.，高维问题的协方差回归与分类，皇家统计学会杂志，71，3，615-636（2009）·Zbl 1250.62033号 ·文件编号：10.1111/j.1467-9868.2009.00699.x [57] Zhu，Y。；沈，X。；Pan，W.，《多重无向图的结构追求》，J Am Stat Assoc，109，508，1683-1696（2014）·Zbl 1368.62181号 ·doi:10.1080/01621459.2014.921182 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。