迪伦·福斯特。;瓦西里斯锡尔卡尼斯 正交统计学习。 （英语） Zbl 07732733号 Ann.统计。 51，第3号，879-908（2023）. 摘要：在评估目标参数的人群风险取决于未知因素的情况下，我们为统计学习提供了非症状性超额风险保证妨害参数这必须根据数据进行估计。我们分析了一种两阶段样本分裂元算法，该算法将目标参数和干扰参数的任意估计算法作为输入。我们证明，如果人口风险满足一个条件，即内曼正交性，妨害估计误差对元算法实现的超额风险界的影响是二阶的。我们的定理对用于目标和累赘的特定算法是不可知的，并且只对其各自的性能进行了假设。这使得可以使用机器学习的大量现有结果，为使用讨厌的组件进行学习提供新的保证。此外，通过关注超额风险而非参数估计，我们可以在比以往工作更弱的假设下提供利率，并适应目标参数属于复杂非参数类的设置。我们提供了关于妨害类和目标类的度量熵的条件，以便预言率就好像我们知道滋扰参数一样。 引用于4文件 理学硕士： 62G08号 非参数回归和分位数回归 62C20个 统计决策理论中的Minimax过程 62D20型 观察性研究的因果推断 62克05 非参数估计 68T05型 人工智能中的学习和自适应系统 关键词：双机器学习;局部Rademacher复杂性;内曼正交性;政策学习;统计学习;治疗效果 软件：玻璃纤维;超级学习者 PDF格式BibTeX公司 XML格式引用 \textit｛D.J.Foster｝和\textit｛V.Syrgkanis｝，Ann.Stat.51，第3号，879-908（2023；Zbl 07732733） 全文： 内政部 arXiv公司 链接 参考文献： [1] Ai，C.和Chen，X.（2003）。含有未知函数的条件矩约束模型的有效估计。计量经济学71 1795-1843. ·Zbl 1154.62323号 [2] AI，C.和CHEN，X.（2007）。具有不同条件变量的可能指定错误的半参数条件矩约束模型的估计。J.计量经济学141 5-43. ·兹比尔1418.62405 ·doi:10.1016/j.jeconom.2007.01.013 [3] AI，C.和CHEN，X.（2012）。含未知函数的序列矩约束模型的半参数效率界。J.计量经济学170 442-457. ·Zbl 1443.62418号 ·doi:10.1016/j.jeconom.2012.05.015 [4] Athey，S.、Tibshirani，J.和Wager，S.（2019年）。广义随机森林。安。统计师。47 1148-1178. ·Zbl 1418.62102号 ·doi:10.1214/18-AOS1709 [5] ATHEY，S.和WAGER，S.（2017年）。有效的政策学习。ArXiv预印本。可在ArXiv:1702.02896上获得·Zbl 1478.91057号 [6] AUDIBERT，J.-Y.（2008）。渐进混合规则的偏差次优。在神经信息处理系统研究进展41-48. [7] Bartlett，P.L.、Bousquet，O.和Mendelson，S.（2005）。局部Rademacher复杂性。安。统计师。33 1497-1537. ·Zbl 1083.62034号 ·doi:10.1214/009053605000000282 [8] Belloni，A.、Chernozhukov，V.、Fernández-Val，I.和Hansen，C.（2017）。利用高维数据进行程序评估和因果推断。计量经济学85 233-298. ·Zbl 1410.62197号 ·doi:10.3982/ECTA12723 [9] BEYGELZIMER，A.和LANGFORD，J.（2009）。使用部分标签进行学习的偏移树。在会议记录15第届ACM SIGKDD知识发现和数据挖掘国际会议129-138. 纽约ACM。 [10] Bickel，P.J.（1982）。关于自适应估计。安。统计师。10 647-671. ·Zbl 0489.62033号 [11] 比克尔·P.J.、克拉森·C.A.、比克尔·P·J.和里托夫·Y（1993）。半参数模型的有效自适应估计4.约翰·霍普金斯大学出版社，巴尔的摩·Zbl 0786.62001号 [12] Blundell，R.、Chen，X.和Kristensen，D.（2007年）。形状不变恩格尔曲线的半非参数IV估计。计量经济学75 1613-1669. ·Zbl 1133.91461号 ·网址：10.1111/j.1468-0262.2007.00808.x [13] Boucheron，S.、Lugosi，G.和Massart，P.（2013）。集中不等式:独立性的非渐近理论牛津大学出版社，牛津·Zbl 1279.60005号 ·doi:10.1093/acprof:oso/9780199535255.001.0001 [14] BOUSQUET，O.，BOUCHERON，S.和LUGOSI，G.（2004）。统计学习理论导论。在机器学习高级讲座169-207. 柏林施普林格·Zbl 1120.68428号 [15] Cassel，C.M.、Särndal，C.E.和Wretman，J.H.（1976年）。有限总体广义差分估计和广义回归估计的一些结果。生物特征63 615-620. ·Zbl 0344.62011号 ·doi:10.1093/biomet/63.3.615 [16] CHEN，X.和CHRISTENSEN，T.M.（2018）。非参数IV回归非线性泛函的最优超正规率和一致推理。数量。经济。9 39-84. ·Zbl 1398.62088号 ·doi:10.3982/QE722 [17] CHEN，X.和POUZO，D.（2009）。具有可能非光滑残差的半参数条件矩模型的有效估计。J.计量经济学152 46-60. ·Zbl 1431.62111号 ·doi:10.1016/j.jeconom.2009.02.002 [18] Chen，X.和Pouzo，D.（2012）。具有可能非光滑广义残差的非参数条件矩模型的估计。计量经济学80 277-321. ·Zbl 1274.62232号 [19] CHEN，X.和POUZO，D.（2015）。Sieve-Wald和QLR对半/非参数条件矩模型的推断。计量经济学83 1013-1079. ·兹比尔1410.62046 ·doi:10.3982/ECTA10771 [20] CHEN，X.和WHITE，H.（1999）。非参数神经网络估计量的改进率和渐近正态性。IEEE传输。Inf.理论45 682-691. ·Zbl 1098.92502号 ·doi:10.1109/18.749011 [21] Chernozhukov，V.、Chetverikov，D.、Demirer，M.、Duflo，E.、Hansen，C.、Newey，W.和Robins，J.（2018年）。用于治疗和结构参数的双/脱苦机器学习。经济。J。21 C1-C68·Zbl 07565928号 ·doi:10.1111/ectj.12097 [22] CHERNOZHUKOV，V.、ESCANCIANO，J.C.、ICHIMURA，H.、NEWEY，W.K.和ROBINS，J.M.（2022）。局部稳健半参数估计。计量经济学90 1501-1535. ·doi:10.3982/ecta16294 [23] CHERNOZHUKOV，V.、GOLDMAN，M.、SEMENOVA，V.和TADDY，M.（2017）。用于需求估计的正交机器学习：动态面板中的高维因果推理。ArXiv预印本。可从ArXiv:1712.09988获得。 [24] CHERNOZHUKOV，V.、NEKIPELOV，D.、SEMENOVA，V.和SYRGKANIS，V.（2018年）。非线性半参数模型中高维参数的插入正则化估计。ArXiv预印本。可从ArXiv:1806.04823获得。 [25] CHERNOZHUKOV，V.、NEWEY，W.和ROBINS，J.（2018年）。使用正则Riesz表示的双/双偏倚机器学习。ArXiv预印本。可从ArXiv:1802.08667获得。 [26] CHERNOZHUKOV，V.、NEWEY，W.K.、QUINTAS-MARTINEZ，V.和SYRGKANIS，V.（2021）。基于神经网络的广义线性回归自动减量机器学习。ArXiv预印本。可从ArXiv:2104.14737获得。 [27] CURTH，A.、ALAA，A.M.和VAN DER SCHAAR，M.（2020年）。使用机器学习和影响函数估计结构目标函数。ArXiv预印本。可从ArXiv:2008.06461获取。 [28] DíAZ，I.和VAN DER LAAN，M.J.（2013）。因果剂量反应曲线的目标数据自适应估计。J.因果推理1 171-192. ·doi:10.1515/jci-2012-0005 [29] DUDíK，M.、LANGFORD，J.和LI，L.（2011）。强有力的政策评估和学习。在会议记录28第十届国际机器学习会议1097-1104. [30] FARRELL，M.H.、LIANG，T.和MISRA，S.（2021）。用于估计和推理的深度神经网络。计量经济学89 181-213. ·Zbl 1479.62082号 ·doi:10.3982/ecta16901 [31] FOSTER，D.J.、KALE，S.、LUO，H.、MOHRI，M.和SRIDHARAN，K.（2018年）。逻辑回归：不当的重要性。Conf.学习。理论. [32] FOSTER，D.J.和SYRGKANIS，V.（2023年）。补充“正交统计学习”https://doi.org/10.1214/23-AOS2258SUPP网站 ·Zbl 07732733号 [33] FRIEDBERG，R.、TIBSHIRANI，J.、ATHEY，S.和WAGER，S.（2021）。当地线形森林。J.计算。图表。统计师。30 503-517. ·Zbl 07499871号 ·doi:10.1080/106186002018831930 [34] Hall，P.和Horowitz，J.L.（2005）。存在工具变量的非参数推理方法。安。统计师。33 2904-2929. ·Zbl 1084.62033号 ·doi:10.1214/009053605000000714 [35] HIRSHBERG，D.A.和WAGER，S.（2021）。增广极大极小线性估计。安。统计师。49 3206-3227. ·Zbl 1486.62084号 ·doi:10.1214/21-aos2080 [36] IBRAGIMOV，I.A.和HAS’MINSKIĬ，R.Z.（1981）。统计估计:渐近理论.数学应用16.纽约-柏林施普林格。 [37] KALLUS，N.和ZHOU，A.（2018年）。持续治疗的政策评估和优化。在国际人工智能与统计会议1243-1251. [38] KENNEDY，E.H.（2016）。因果推理中的半参数理论和经验过程。在统计因果推断及其在公共卫生研究中的应用.ICSA图书序列号。斯达。141-167. 查姆施普林格·兹比尔1349.92001 [39] KENNEDY，E.H.（2020年）。异质因果效应的最优双稳健估计。ArXiv预印本。可从ArXiv:2004.14497获得。 [40] KENNEDY，E.H.、LORCH，S.和SMALL，D.S.（2019年）。使用局部工具变量曲线进行连续工具的稳健因果推断。J.R.统计社会服务。B.统计方法。81 121-143. ·Zbl 1407.62170号 ·doi:10.1111/rssb.12300 [41] KENNEDY，E.H.，MA，Z.，MCHUGH，M.D.和SMALL，D.S.（2017年）。连续治疗效果双稳健估计的非参数方法。J.R.统计社会服务。B.统计方法。79 1229-1245. ·Zbl 1373.62159号 ·doi:10.1111/rssb.12212 [42] KLAASSEN，C.A.J.（1987）。局部渐近线性估计量影响函数的一致估计。安。统计师。15 1548-1562. ·Zbl 0629.62041号 ·doi:10.1214/aos/1176350609 [43] KOLTCHINSKII，V.和PANCHENKO，D.（2000）。Rademacher过程和函数学习风险边界。在高维概率，II(华盛顿州西雅图, 1999).概率论进展47 443-457. Birkhäuser，马萨诸塞州波士顿·Zbl 1106.68385号 [44] Kosorok，M.R.（2008年）。经验过程和半参数推断导论.统计学中的斯普林格系列纽约州施普林格·兹比尔1180.62137 ·数字对象标识代码：10.1007/978-0-387-74978-5 [45] KüNZEL，S.R.、SEKHON，J.S.、BICKEL，P.J.和YU，B.（2019年）。使用机器学习评估异质治疗效果的元学习者。程序。国家。阿卡德。科学。美国116 4156-4165. [46] LECUé，G.和MENDELSON，S.（2016年）。学习亚高斯类：上限和极小极大界。在学习理论专题法国巴黎数学学会。 [47] 莱维特，B.Y.（1976）。关于一类非参数估计的有效性。理论问题。应用。20 723-740. ·Zbl 0367.62041号 [48] LIANG，T.、RAKHLIN，A.和SRIDHARAN，K.（2015）。平方损失学习：通过抵消Rademacher复杂性进行本地化。在会议记录28第届学习理论会议1260-1285. [49] MAURER，A.和PONTIL，M.（2009年）。经验伯恩斯坦界限和样本方差惩罚。在这个22第二届学习理论会议(COLT公司). [50] MENDELSON，S.（2011年）。差异、链接和亚因果过程。安·普罗巴伯。39 985-1026. ·Zbl 1226.60011号 ·doi:10.1214/10-AOP575 [51] MENDELSON，S.（2014）。学习不专心。在学习理论会议(COLT公司) 25-39. ·Zbl 1333.68232号 [52] MENDELSON，S.和NEEMAN，J.（2010）。内核学习中的正则化。安。统计师。38 526-565. ·Zbl 1191.68356号 ·doi:10.1214/09-AOS728 [53] Newey，W.K.（1994）。半参数估计的渐近方差。计量经济学62 1349-1382. ·Zbl 0816.62034号 ·doi:10.2307/2951752 [54] Newey，W.K.和Powell，J.L.（2003）。非参数模型的工具变量估计。计量经济学71 1565-1578. ·Zbl 1154.62415号 ·doi:10.1111/1468-0262.00459 [55] NEYMAN，J.（1959年）。复合统计假设的最优渐近检验。在概率论与统计学:哈拉尔德·克拉姆卷(编辑：Ulf Grenander) 213-234. 斯德哥尔摩Almqvist&Wiksell·兹伯利0104.12602 [56] NEYMAN，J.（1979年）\（\mathit{C}（\mathat{alpha}）测试及其使用。SankhyáSer。A类41 1-21. ·Zbl 0471.62023号 [57] NIE，X.和WAGER，S.（2021）。非均匀处理效应的准有序估计。生物特征108 299-319. ·Zbl 07458256号 ·doi:10.1093/biomet/asaa076 [58] NING，Y.、PENG，S.和IMAI，K.（2020年）。通过高维协变量平衡倾向得分稳健估计因果效应。生物特征107 533-554. ·Zbl 1451.62050 ·doi:10.1093/biomet/asaa020 [59] OPRESCU，M.、SYRGKANIS，V.和WU，Z.S.（2019年）。因果推理的正交随机森林。在机器学习国际会议4932-4941. [60] PFANZAGL，J.（1982）。对一般渐近统计理论的贡献.统计学课堂讲稿13.纽约-柏林施普林格·Zbl 0512.62001号 [61] Qian，M.和Murphy，S.A.（2011年）。个性化治疗规则的性能保证。安。统计师。39 1180-1210. ·Zbl 1216.62178号 ·doi:10.1214/10-AOS864 [62] RAKHLIN，A.、SRIDHARAN，K.和TSYBAKOV，A.B.（2017年）。经验熵、极大极小后悔和极大极小风险。伯努利23 789-824. ·Zbl 1380.62176号 ·doi:10.3150/14-BEJ679 [63] ROBINS，J.、LI，L.、TCHETGEN，E.和VAN DER VAART，A.（2008年）。非线性泛函的高阶影响函数和极大极小估计。在概率论与统计学:纪念大卫·A·弗里德曼的论文335-421. 俄亥俄州比奇伍德IMS·Zbl 1513.62067号 [64] Robins，J.M.和Rotnitzky，A.（1995年）。缺失数据多元回归模型的半参数效率。J.Amer。统计师。协会。90 122-129. ·Zbl 0818.62043号 [65] ROBINS，J.M.和ROTNITZKY，A.（2001）。评论Bickel和Kwon的文章“半参数模型的推断：一些问题和答案”。统计师。西尼卡11 920-936. [66] Robins，J.M.、Rotnitzky，A.和Zhao，L.P.（1994年）。当某些回归变量不总是被观测时，回归系数的估计。J.Amer。统计师。协会。89 846-866. ·Zbl 0815.62043号 [67] Robinson，P.M.（1988）。根-（N）-一致半参数回归。计量经济学56 931-954. ·Zbl 0647.62100号 ·doi:10.2307/1912705 [68] Rosenbaum，P.R.和Rubin，D.B.（1983年）。倾向评分在因果效应观察性研究中的中心作用。生物特征70 41-55. ·Zbl 0522.62091号 ·doi:10.1093/biomet/70.1.41 [69] RUBIN，D.和VAN DER LAAN，M.J.（2005）。截尾数据非参数回归的一般插补方法。 [70] RUBIN，D.和VAN DER LAAN，M.J.（2007）。一种双重稳健的审查无偏变换。国际生物统计杂志。3 4. ·Zbl 1133.62325号 ·doi:10.2202/1557-4679.1052 [71] SCHARFSTEIN，D.O.，ROTNITZKY，A.和ROBINS，J.M.（1999）。使用半参数无响应模型对不可忽视的辍学重新进行调整。J.Amer。统计师。协会。94 1135-1146. ·兹比尔1072.62644 [72] 塞梅诺娃，V.和切尔诺朱科夫，V.（2021）。条件平均处理效应和其他因果函数的借方机器学习。经济。J。24 264-289. ·Zbl 07546401号 ·doi:10.1093/ectj/utaa027 [73] Srebro，N.、Sridharan，K.和Tewari，A.（2010年）。平滑、低噪音、速度快。在神经信息处理系统研究进展2199-2207. [74] SWAMINATHAN，A.和JOACHIMS，T.（2015）。反事实风险最小化：从记录的盗贼反馈中学习。在机器学习国际会议814-823. ·兹比尔1351.68236 [75] Tsiatis，A.A.（2006年）。半参数理论与缺失数据.统计学中的斯普林格系列纽约州施普林格·Zbl 1105.6202号 [76] VAN DER LAAN，M.J.和DUDOIT，S.（2003）。估计器选择的统一交叉验证方法和通用交叉验证自适应ε-网估计器：有限样本预言不等式和示例。 [77] van der Laan，M.J.、Dudoit，S.和van der Vaart，A.W.（2006）。交叉验证的自适应ε-网估计器。统计师。决定24 373-395. ·Zbl 1111.62003号 [78] VAN DER LAAN，M.J.和LUEDTKE，A.R.（2014）。有针对性地学习最佳动态治疗，并对其平均结果进行统计推断。 [79] 范德兰，M.J.、波利，E.C.和哈伯德，A.E.（2007）。超级学习者。统计应用程序。遗传学。分子生物学。6 25. ·Zbl 1166.62387号 ·doi:10.2202/1544-6115.1309 [80] 范德兰，M.J.和罗宾斯，J.M.（2003）。删失纵向数据和因果关系的统一方法柏林施普林格·兹比尔1013.62034 [81] VAN DER LAAN，M.J.和ROSE，S.（2011年）。有针对性的学习:观测和实验数据的因果推断.统计学中的斯普林格系列纽约州施普林格·doi:10.1007/978-1-4419-9782-1 [82] 范德兰，M.J.和鲁宾，D.（2006）。目标最大似然学习。国际生物统计杂志。2 11. ·doi:10.2202/1557-4679.1043 [83] 范德法特（2000）。渐近统计3.剑桥大学出版社，剑桥·Zbl 0943.6202号 [84] 范德法特，A.和范德拉恩，M.J.（2006）。用当前状态数据和高维协变量估计生存分布。国际生物统计杂志。2 9. ·doi:10.2202/1557-4679.1014 [85] Vapnik，V.N.（1995）。统计学习理论的本质纽约州施普林格·兹比尔0836.2008 ·数字对象标识代码：10.1007/978-1-4757-2440-0 [86] Wainwright，M.J.（2019年）。高维统计:非共鸣观点.剑桥统计与概率数学系列48.剑桥大学出版社，剑桥·Zbl 1457.62011年 ·doi:10.1017/9781108627771 [87] WANG，L.、ROTNITZKY，A.和LIN，X.（2010）。使用加权核估计方程进行缺失结果的非参数回归。J.Amer。统计师。协会。105 1135-1146. ·Zbl 1390.62068号 ·doi:10.1198/jasa.2010.tm08463 [88] Yang，Y.和Barron，A.（1999）。最小最大收敛速度的信息论确定。安。统计师。27 1564-1599. ·兹比尔0978.62008 ·doi:10.1214/aos/1017939142 [89] Zhao，Y.、Zeng，D.、Rush，A.J.和Kosorok，M.R.（2012）。使用结果加权学习评估个体化治疗规则。J.Amer。统计师。协会。107 1106-1118. ·Zbl 1443.62396号 ·doi:10.1080/01621459.2012.695674 [90] ZHENG，W.和VAN DER LAAN，M.J.（2010）。交叉验证目标最大似然估计的渐近理论。 [91] ZHOU，X.、MAYER-HAMBLETT，N.、KHAN，U.和KOSOROK，M.R.（2017）。残差加权学习用于估计个体化治疗规则。J.Amer。统计师。协会。112 169-187. ·doi:10.1080/01621459.2015.1093947 [92] ZHOU，ATHEY，S.和WAGER，S.（2023）。离线多动作策略学习：泛化与优化。操作。物件。71 148-183 ·Zbl 07809600号 ·doi:10.1287/opre.2022.2271 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。