蒂莫·科洛克;亚历山德罗·兰特里;斯特凡诺·维戈尼亚 用响应条件最小二乘估计多指标模型。 （英语） Zbl 1472.62043号 电子。J.统计。 15，第1号，589-629（2021）. 在充分降维的一般领域中，导出并分析了一种新的估计高维多指标回归模型（E（Y|X）=g（a^TX））的指标空间（a）的方法，其中（g）是一个链接函数。该估计方法基于局部最小二乘问题的解，并使用在数据水平集上计算的线性回归斜率系数的跨度。详细研究了链路函数回归中指标空间估计的传播误差。由于只需要指定一个超参数（水平集的数量），因此所提出的方法具有计算效率高、易于实现的特点，因而对实践者具有吸引力。此外，还提供了回归模型的有限样本泛化边界，该边界考虑了投影误差；反过来，这些界用于量化导出回归估计的泛化界，并得出当响应条件最小二乘与分段多项式回归配对时，这将导致多指标模型的最优估计。审核人：迪米特里奥斯·巴格卡沃斯（约阿尼纳） 引用于2文件 MSC公司： 62G05型 非参数估计 62G08号 非参数回归和分位数回归 62甲12 多元分析中的估计 关键词：多指标模型;充分降维;非参数回归;有限样本界 软件：最简单的 PDF格式BibTeX公司 XML格式引用 \textit{T.Klock}等人，《电子》。J.Stat.15，No.1，589--629（2021；Zbl 1472.62043） 全文： 内政部 arXiv公司 参考文献： [1] Adragni，K.P.和Cook，R.D.（2009年）。回归中的充分降维与预测。，英国皇家学会哲学汇刊A：数学、物理和工程科学367 4385-4405. ·Zbl 1185.62109号 ·doi:10.1098/rsta.2009.0110 [2] Arbel，J.、Marchal，O.和Nguyen，H.D.（2020年）。关于有界随机变量的严格次高斯性、最优代理方差和对称性。，ESAIM：概率与统计24 39-55. ·Zbl 1445.60016号 ·doi:10.1051/ps/2019018 [3] Bentley，J.L.（1975）。用于关联搜索的多维二叉搜索树。，Commun公司。ACM公司18 509-517. ·Zbl 0306.68061号 ·数字对象标识代码：10.1145/361002.361007 [4] Beygelzimer，A.、Kakade，S.和Langford，J.（2006）。为最近的邻居盖上树。在中，第23届机器学习国际会议论文集.2006年ICML97-104. [5] Bhatia，R.（2013）。，矩阵分析169.施普林格科技与商业媒体。 [6] Bickel，P.J.和Li，B.（2007年）。未知流形上的局部多项式回归。，专题系列讲座笔记54 177-186. [7] Binev，P.、Cohen，A.、Dahmen，W.和DeVore，R.（2007年）。学习理论的通用算法。第二部分：分段多项式函数。，构造性近似26 127-152. ·Zbl 1191.62067号 ·doi:10.1007/s00365-006-0658-z [8] Boente Boente，G.L.和Rodriguez，D.A.（2012年）。广义部分线性单指数模型的稳健估计。，21 386-441·Zbl 1259.62015号 ·doi:10.1007/s11749-011-0249-z [9] Chen，D.，Hall，P.，Müller，H.-G等人（2011年）。具有非参数链接的单指标和多指标函数回归模型。，统计年鉴39 1720-1747. ·Zbl 1220.62040号 ·doi:10.1214/11-AOS882 [10] 库克博士（1994年）。关于回归图的解释。，美国统计协会杂志89 177-189. ·Zbl 0791.62066号 ·doi:10.1080/01621459.1994.10476459 [11] 库克，R.D.（1998）。，回归图形：通过图形研究回归的思路约翰·威利父子公司·Zbl 0903.62001 [12] 库克，R.D.（2000）。SAVE：回归中的降维和图形方法。，统计学传播学-理论与方法29 2109-2121. ·Zbl 1061.62503号 ·网址：10.1080/03610920008832598 [13] Cook，R.D.和Li，B.（2002年）。回归中条件均值的降维。，统计年鉴30 455-474. ·Zbl 1012.62035号 ·doi:10.1214/aos/1021379861 [14] Cook，R.D.和Li，B.（2004）。确定迭代Hessian变换的维数。，统计年鉴32 2501-2531. ·兹比尔1069.62033 ·doi:10.1214/009053604000000661 [15] Dalalyan，A.S.、Juditsky，A.和Spokoiny，V.（2008）。一种估计有效降维子空间的新算法。，机器学习研究杂志9 1647-1678. ·Zbl 1225.62091号 [16] Fornasier，M.、Schnass，K.和Vybíral，J.（2012）。高维少个任意线性参数的学习函数。，计算数学基础12 229-262. ·Zbl 1252.65036号 ·doi:10.1007/s10208-012-9115-y [17] Fornasier，M.、Vybíral，J.和Daubechies，I.（2018年）。用最少样本识别浅层神经网络。，ArXiv预打印ArXiv：1804.01592 . [18] 郭，X.，Xu，W.和Zhu，L.（2014）。随机缺失协变量的多元回归模型。，多元分析杂志123 345-363·Zbl 1278.62053号 ·doi:10.1016/j.jmva.2013.10.006 [19] Györfi，L.、Kohler，M.、Krzyzak，A.和Walk，H.（2006）。，非参数回归的无分布理论Springer科学与商业媒体·Zbl 1021.62024号 [20] Hamm，J.和Lee，D.D.（2008）。格拉斯曼判别分析：基于子空间学习的统一观点。在中，第25届机器学习国际会议论文集376-383. ACM公司。 [21] Hardle，W.和Stoker，T.M.（1989）。用平均导数方法研究平滑多元回归。，美国统计协会杂志84 986-995. ·Zbl 0703.62052号 [22] Hemant，T.和Cevher，V.（2012年）。多指标函数模型的主动学习。在中，NeurIPS的进展1466-1474. [23] Hristache，M.、Juditsky，A.、Polzehl，J.和Spokoiny，V.（2001）。结构自适应降维方法。，统计年鉴1537-1566年·Zbl 1043.62052号 [24] Hristache，M.、Juditsky，A.和Spokoiny，V.（2001年）。单指标模型中指标系数的直接估计。，统计年刊595-623. ·Zbl 1012.62043号 ·doi:10.1214/aos/1009210681 [25] Janzamin，M.、Sedghi，H.和Anandkumar，A.（2015）。战胜非凸性的危险：使用张量方法保证神经网络的训练。，ArXiv预打印ArXiv：1506.08473 . [26] Kato，T.（2013）。，线性算子的扰动理论132.施普林格科技与商业媒体。 [27] Kereta，v.和Klock，T.（2021年）。沿子空间估计协方差矩阵和精度矩阵。，电子统计杂志15 554-588. ·Zbl 1461.62067号 ·doi:10.1214/20-EJS1782 [28] Kereta，Z.、Klock，T.和Naumova，V.（2020）。单调单指标模型的非线性推广。，信息和推理：IMA杂志. [29] Kohler，M.、Krzyzak，A.和Walk，H.（2006年）。无界数据的分区和最近邻回归估计的收敛速度。，多元分析杂志97 311-323. ·Zbl 1085.62041号 ·doi:10.1016/j.jmva.2005.03.006 [30] Kpotufe，S.（2011年）。k-NN回归适应局部内在维数。，神经信息处理系统的进展24729-737. [31] Kpotufe，S.和Garg，V.（2013年）。核回归中对局部光滑性和维数的适应性。，神经信息处理系统的进展263075-3083. [32] Kuchibhotla，A.K.和Patra，R.K.（2016）。单指标模型中基于平滑样条的有效估计。，ArXiv预打印ArXiv：1612.00068 . ·Zbl 1466.62295号 ·doi:10.350/19-BEJ1183 [33] Lanteri，A.、Maggioni，M.和Vigogna，S.（2020年）。单指数模型的条件回归。，ArXiv预打印ArXiv：2002.10008 . ·Zbl 1434.62138号 [34] Larsson，E.G.和Selén，Y.（2007年）。稀疏参数向量线性回归。，IEEE信号处理汇刊55 451-460. ·Zbl 1391.62132号 [35] Li，B.（2018）。，充分降维：R的方法及应用.查普曼和霍尔/CRC统计学和应用概率专著CRC出版社·Zbl 1408.62011号 [36] Li，B.和Wang，S.（2007）。关于降维的方向回归。，美国统计协会杂志102 997-1008·Zbl 1469.62300号 ·doi:10.1198/0162145000000536 [37] Li，B.，Zha，H.和Chiaromonte，F.（2005）。轮廓回归：降维的一般方法。，统计年鉴33 1580-1616. ·Zbl 1078.62033号 ·doi:10.1214/009053605000000192 [38] Li，K.-C.（1991）。用于降维的分段逆回归。，美国统计协会杂志86 316-327. ·Zbl 0742.62044号 ·数字对象标识代码：10.1080/01621459.1991.10475035 [39] Li，K.-C.（1991）。用于降维的分段逆回归：Rejoiner。，美国统计协会杂志86 337-342. ·Zbl 1353.62040号 [40] Li，K.-C.（1992）。关于数据可视化和降维的主要Hessian方向：Stein引理的另一个应用。，美国统计协会杂志87 1025-1039. ·Zbl 0765.62003年 ·doi:10.1080/01621459.1992.10476258 [41] Liao，W.、Maggioni，M.和Vigona，S.（2016）。学习低维集附近数据和函数的自适应多尺度近似。在中，2016 IEEE信息理论研讨会（ITW）226-230. 电气与电子工程师协会。 [42] Liao，W.、Maggioni，M.和Vigona，S.（2021）。未知流形上的多尺度回归。，ArXiv电子打印ArXiv：2101.05119 . [43] Liu，J.、Zhang，R.、Zhao，W.和Lv，Y.（2013）。一种稳健有效的单指标模型估计方法。，多元分析杂志122 226-238. ·兹比尔1280.62048 ·doi:10.1016/j.jmva.2013.08.007 [44] Ma，Y.和Zhu，L.（2012）。降维的半参数方法。，美国统计协会杂志107 168-179. ·Zbl 1261.62037号 ·doi:10.1080/01621459.2011.646925 [45] Ma，Y.和Zhu，L.（2013）。尺寸缩减综述。，国际统计评论81 134-150. ·Zbl 1416.62220号 ·doi:10.1111/j.1751-5823.012.00182.x [46] Ma，Y.和Zhu，L.（2013）。充分降维中的有效估计。，统计年鉴41 250. ·Zbl 1347.62089号 ·doi:10.1214/12-AOS1072 [47] Mitzenmacher，M.和Upfal，E.（2017）。，概率与计算：算法与数据分析中的随机化与概率技术剑桥大学出版社·Zbl 1368.60002号 [48] Mondelli，M.和Montanari，A.（2018年）。关于学习双层神经网络与张量分解之间的联系。，ArXiv预打印ArXiv：1802.07301 . [49] Radchenko，P.（2015）。高维单指数模型。，多元分析杂志139 266-282. ·Zbl 1328.62482号 ·doi:10.1016/j.jmva.2015.02.007 [50] Raskutti，G.、Wainwright，M.J.和Yu，B.（2011年）。球上高维线性回归的最小极大估计率。，IEEE信息理论汇刊57 6976-6994·Zbl 1365.62276号 ·doi:10.1109/TIT.2011.2165799 [51] Reiß，M.，Wahl，M..等人（2020年）。PCA重建误差的非渐近上界。，统计年刊48 1098-1123. ·Zbl 1450.62070号 ·doi:10.1214/19-AOS1839 [52] Soudry，D.和Carmon，Y.（2016年）。无不良局部极小值：多层神经网络的数据无关训练误差保证。，ArXiv预打印ArXiv：1605.08361 . [53] Stone，C.J.（1982年）。非参数回归的最优全局收敛速度。，统计年鉴10 1040-1053. ·Zbl 0511.62048号 ·doi:10.1214/aos/1176345969 [54] Vershynin，R.（2018）。，高维概率：数据科学应用简介47.剑桥大学出版社·Zbl 1430.60005号 [55] Wang，H.和Xia，Y.（2008）。降维切片回归。，美国统计协会杂志103 811-821. ·Zbl 1306.62168号 ·doi:10.1198/0162145000000418 [56] Weyl，H.（1912）。Das渐近线Verteilungsgesetz der Eigenwerte linear parteller Differentialgleichungen（mit einer Anwendung auf die Theorye der Hohlramstrahlung）。，数学年刊71 441-479. ·doi:10.1007/BF01456804 [57] Xia，Y.（2008）。多重因次模型和降维。，美国统计协会杂志103 1631-1640. ·Zbl 1286.62021号 ·doi:10.1198/0162145000000805 [58] 夏毅、童宏、李维凯和朱丽霞（2002）。降维空间的自适应估计。，英国皇家统计学会杂志：B辑（统计方法）64 363-410. ·Zbl 1091.62028号 ·doi:10.1111/1467-9868.03411 [59] Zhu，L.-X.，Ohtaki，M.和Li，Y.（2007）。关于基于逆回归的算法的混合方法。，计算统计与数据分析51 2621-2635. ·Zbl 1161.62332号 ·doi:10.1016/j.csda.2006.01.005 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。