Dalalyan，Arnak S。 多元回归中的指数权重和有利于先验的低秩。 （英语。法语摘要） Zbl 1439.62164号 普罗巴伯亨利·彭卡雷（Henri Poincaré）安研究所。斯达。 56，第2期，1465-1483（2020）. 摘要：在多元回归的情况下，即当标记向量是多维的时，我们为指数加权集合的预期预测误差建立了理论保证。我们考虑具有固定设计和有界噪声的回归模型。我们的保证揭示的第一个新特征是，没有必要要求观测的独立性：仅噪声分布的对称条件就足以获得尖锐的风险边界。这个结果需要回归向量有界。第二个奇怪的发现涉及无界回归向量但独立噪声的情况。结果表明，将指数权重应用于受均匀噪声扰动的标签向量会导致估计器满足尖锐的预言不等式。最后一个贡献是对未知参数为矩阵的问题实例化了所提出的预言不等式。我们提出了一个低秩偏好先验的估计，并证明了该估计在弱假设下是最优的。 引用于4文件 MSC公司： 62J05型 线性回归；混合模型 62甲12 多元分析中的估计 60埃15 不平等；随机排序 关键词：oracle不等式;指数权重;跟踪回归;低秩矩阵 PDF格式BibTeX公司 XML格式引用 \textit{A.S.Dallalyan}，Ann.Inst.Henri Poincaré，Probab。Stat.56，No.2，1465--1483（2020；Zbl 1439.62164） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] P.阿尔基尔。低秩矩阵估计的贝叶斯方法：简短调查和理论研究。算法学习理论309-323。柏林，海德堡，2013年·兹比尔1411.62136 [2] P.Alquier和B.Guedj。拟贝叶斯非负矩阵分解的一个预言不等式。数学。方法统计。26 (1) (2017) 55-67. ·Zbl 1381.62222号 ·doi:10.3103/S1066530717010045 [3] P.Alquier和K.Lounici。指数权重稀疏回归估计的PAC-Bayesian界。电子。《美国联邦法律大全》第5卷（2011年）第127-145页·兹比尔1274.62463 ·doi:10.1214/11-EJS601 [4] J.-Y.奥迪伯特。通过聚合进行统计推断的快速学习率。安。统计师。37 (4) (2009) 1591-1646. ·Zbl 1360.62167号 ·doi:10.1214/08-AOS623 [5] P.C.Bellec公司。仿射估计集合的最优界。安。统计师。46 (1) (2018) 30-59. ·Zbl 1401.62056号 ·doi:10.1214/17-AOS1540 [6] F.Bunea、Y.She和M.H.Wegkamp。高维矩阵降秩估计的最优选择。安。统计师。39 (2) (2011) 1282-1309. ·Zbl 1216.62086号 ·doi:10.1214/11-AOS876 [7] F.Bunea、Y.She和M.H.Wegkamp。高维矩阵简约估计的联合变量和秩选择。安。统计师。40 (5) (2012) 2359-2388. ·兹比尔1373.62246 ·doi:10.1214/12-AOS1039 [8] E.J.Candès和T.Tao。凸松弛的幂：近似最优矩阵完备。IEEE传输。通知。理论56（5）（2010）2053-2080·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061 [9] O.Catoni。Pac-Bayesian监督分类：统计学习的热力学。课堂讲稿-专著系列56。俄亥俄州比奇伍德数学统计研究所，2007年·Zbl 1277.62015年 [10] D.Dai、P.Rigollet、L.Xia和T.Zhang。仿射估计的聚合。电子。《美国法律总汇》第8（1）（2014）卷第302-327页·Zbl 1348.62132号 ·doi:10.1214/14-EJS886 [11] A.S.达拉扬。平滑密度和对数曲线密度近似采样的理论保证。J.R.统计社会服务。B.统计方法。79 (3) (2017) 651-676. ·Zbl 1411.62030号 ·doi:10.1111/rssb.12183 [12] A.S.Dalalyan和J.Salmon。仿射估计集合的尖锐预言不等式。安。统计师。40 (4) (2012) 2327-2355. ·Zbl 1257.62038号 ·doi:10.1214/12-AOS1038 [13] A.S.Dalalyan和A.B.Tsybakov。通过指数加权和尖锐的预言不等式进行聚合。学习理论97-111。LNCS 45392007年·Zbl 1203.62063号 [14] A.S.Dalalyan和A.B.Tsybakov。通过指数加权、尖锐的pac-Bayesian边界和稀疏性进行聚集。机器。学习。72 (1-2) (2008) 39-61. ·Zbl 1470.62054号 [15] A.S.Dalalyan和A.B.Tsybakov。稀疏先验的镜像平均。伯努利18（3）（2012）914-944·Zbl 1243.62008年 ·doi:10.3150/11-BEJ361 [16] A.S.Dalalyan和A.B.Tsybakov。通过聚合和Langevin Monte-Carlo进行稀疏回归学习。J.计算。系统科学。78 (5) (2012) 1423-1443. ·Zbl 1244.62054号 ·doi:10.1016/j.jcss.2011.12.023 [17] A.Durmus和E.Moulines。使用未调整Langevin算法从强对数压缩分布中采样。2016年技术报告。可在arXiv:1605.01559购买。 [18] E.I.George。组合最小最大收缩估计量。J.Amer。统计人员。协会81（394）（1986）437-445·Zbl 0594.62061号 ·doi:10.1080/01621459.1986.10478288 [19] E.I.George，Minimax多重收缩估算。安。统计师。14 (1) (1986) 188-205. ·兹比尔0602.62041 ·doi:10.1214/aos/1176349849 [20] S.格奇诺维茨。在线线性回归中单个序列的稀疏遗憾界。J.马赫。学习。第14（1）号决议（2013）729-769·兹比尔1320.62165 [21] A.J.Izenman。多元线性模型的降秩回归。J.多变量分析。5 (2) (1975) 248-264. ·Zbl 0313.62042号 ·doi:10.1016/0047-259X（75）90042-1 [22] A.Juditsky、P.Rigollet和A.B.Tsybakov。通过镜像平均学习。安。统计师。36 (5) (2008) 2183-2206. ·Zbl 1274.62288号 ·doi:10.1214/07-AOS546 [23] G.Leung。信息论与混合最小二乘回归。耶鲁大学博士论文，2004年。 [24] G.Leung和A.R.Barron。信息理论和混合最小二乘回归。IEEE传输。通知。理论52（8）（2006）3396-3410·Zbl 1309.94051号 ·doi:10.1109/TIT.2006.878172 [25] S.Negahban和M.J.Wainwright。带有噪声和高维缩放的（近）低秩矩阵的估计。安。统计师。39 (2) (2011) 1069-1097. ·Zbl 1216.62090号 ·doi:10.1214/10-AOS850 [26] P.Rigollet和A.Tsybakov。指数筛选和稀疏估计的最佳速率。安。统计师。39 (2) (2011) 731-771. ·Zbl 1215.62043号 ·doi:10.1214/10-AOS854 [27] P.Rigollet和A.B.Tsybakov。指数加权稀疏估计。统计人员。科学。27（4）（2012）558-575·Zbl 1331.62351号 ·doi:10.1214/12-STS393 [28] A.Rohde和A.B.Tsybakov。高维低秩矩阵的估计。安。统计师。39 (2) (2011) 887-930. ·Zbl 1215.62056号 ·doi:10.1214/10-AOS860 [29] O.Wintenberger。Bernstein在线聚合优化学习。机器。学习。106 (1) (2017) 119-141. ·Zbl 1412.68196号 ·doi:10.1007/s10994-016-5592-6 [30] L.Yang、J.Fang、H.Duan、H.Li和B.Zeng。基于层次高斯先验模型的快速低秩贝叶斯矩阵补全。IEEE传输。信号处理。66 (11) (2018) 2804-2817. ·Zbl 1415.94288号 ·doi:10.1109/TSP.2018.2816575 [31] 杨勇。组合不同过程的模式识别中的自适应估计。统计人员。Sinica 10（4）（2000）1069-1089·Zbl 0979.62019 [32] 杨勇。结合不同的程序进行自适应回归。J.多变量分析。74 (1) (2000) 135-161. ·Zbl 0964.62032号 ·doi:10.1006/jmva.1999.1884 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。