科琳·埃梅内格;彼得·伯尔曼 在部分线性内生模型中正则化双机器学习。 （英语） Zbl 1498.62086号 电子。J.统计。 15，第2号，6461-6543（2021）. 摘要：具有混杂变量的部分线性模型中的线性系数可以使用双机器学习（DML）进行估计。然而，该DML估计量具有两阶段最小二乘（TSLS）解释，可能会产生过宽的置信区间。为了解决这个问题，我们提出了一个正则化和选择方案，规则dML这导致置信区间变窄。它根据估计方差较小的情况选择TSLS DML估计器或仅正则化估计器。仅正则化估计器被定制为具有低均方误差。regsDML估计器完全由数据驱动。regsDML估计量以参数速率收敛，是渐近高斯分布的，并且渐近等价于TSLS-DML估计量，但regsDML表现出更好的有限样本性质。regsDML估计使用了k类估计的思想，并且我们展示了如何将DML和k类估计结合起来来估计部分线性内生模型中的线性系数。实证例子证明了我们的方法和理论发展。regsDML方法的软件代码可在R（右）-包装dmlalg公司. 引用于1文件 MSC公司： 62G08号 非参数回归和分位数回归 62G05型 非参数估计 62J05型 线性回归；混合模型 6220国集团 非参数推理的渐近性质 62第20页 统计学在经济学中的应用 68T05型 人工智能中的学习和自适应系统 关键词：双机器学习;内生变量;广义矩量法;工具变量;k类估计;部分线性模型;正规化;半参数方法;两阶段最小二乘法 软件：CRAN（起重机）;github;dmlalg公司;玻璃纤维;高密度聚乙烯;半标准杆 PDF格式BibTeX公司 XML格式引用 \textit{C.Emmeneger}和\textit{P.Bühlmann}，电子。J.Stat.15，No.2，6461--6543（2021；Zbl 1498.62086） 全文： 内政部 arXiv公司 链接 参考文献： [1] Acemoglu，D.、Johnson，S.和Robinson，J.A.（2001年）。比较发展的殖民起源：一项实证调查。美国经济评论91 1369-1401. [2] Ai，C.和Chen，X.（2003）。含有未知函数的条件矩约束模型的有效估计。计量经济学71 1795-1843. ·Zbl 1154.62323号 [3] Amemiya，T.（1974年）。非线性两阶段最小二乘估计。计量经济学杂志2 105-110. ·兹比尔0282.62089 [4] Amemiya，T.（1985）。高级计量经济学哈佛大学出版社，马萨诸塞州剑桥。 [5] Anderson，T.W.（1983）。单方程估计量分布的一些最新发展。在计量经济学进展（A.Deaton、D.McFadden和H.Sonnenschein编辑）。计量经济学社会专题4, 109-122. 剑桥大学出版社，剑桥·Zbl 0522.62096号 [6] Anderson，T.W.（2005）。有限信息最大似然和两阶段最小二乘估计的起源。计量经济学杂志127 1-16. ·Zbl 1334.62002号 [7] Anderson，T.W.、Kunitomo，N.和Sawa，T.（1982）。有限信息极大似然估计的分布函数的估计。计量经济学50 1009-1027. ·Zbl 0486.62110号 [8] Anderson，T.W.、Kunitomo，N.和Morimune，K.（1986年）。比较联立方程系统中的单方程估值器。计量经济学理论2 1-32. [9] Anderson，T.W.，Kunitomo，N.和Matsushita，Y.（2010）。关于可能有多个工具的LIML估计的渐近最优性。计量经济学杂志157 191-204. ·Zbl 1400.62052号 [10] Anderson，T.W.和Rubin，H.（1949年）。完整随机方程组中单个方程的参数估计。数理统计年报20 46-63. ·Zbl 0033.08002号 [11] Anderson，T.W.和Sawa，T.（1979）。两阶段最小二乘估计的分布函数评估。计量经济学47 163-182. ·Zbl 0397.62091号 [12] Andrews，I.、Stock，J.和Sun，L.（2019年）。IV回归中的薄弱工具：理论与实践。经济学年鉴11 727-753。 [13] Angrist，J.D.、Imbens，G.W.和Rubin，D.B.（1996）。使用工具变量识别因果关系。美国统计协会杂志91 444-455. ·Zbl 0897.62130号 [14] Athey，S.、Tibshirani，J.和Wager，S.（2019年）。广义随机森林。统计年鉴47 1148-1178. ·Zbl 1418.62102号 [15] Bang，H.和Robins，J.M.（2005）。缺失数据和因果推理模型中的双重稳健估计。生物计量学61 962-972. ·Zbl 1087.62121号 ·文件编号：10.1111/j.1541-0420.2005.00377.x [16] Basmann，R.L.（1957）。结构方程系数线性估计的广义经典方法。计量经济学25 77-83. ·Zbl 0078.34004号 [17] Belloni，A.和Chernozhukov，V.（2013）。高维稀疏模型中模型选择后的最小二乘法。伯努利19 521-547. ·Zbl 1456.62066号 ·doi:10.3150/11-BEJ410 [18] Berndt，E.R.、Hall，B.H.、Hall，R.E.和Hausman，J.A.（1974年）。非线性结构模型中的估计和推理。经济和社会计量年鉴3 653-665. [19] Bickel，P.J.（1982）。关于自适应估计。统计年鉴10 647-671. ·Zbl 0489.62033号 [20] Bickel，P.J.、Ritov，Y.和Tsybakov，A.B.（2009年）。Lasso和Dantzig选择器的同时分析。统计年鉴37 1705-1732. ·Zbl 1173.62022号 [21] Bound，J.、Jaeger，D.A.和Baker，R.M.（1995）。当工具与内生解释变量之间的相关性较弱时，工具变量估计存在问题。美国统计协会杂志90 443-450. [22] Bowden，R.J.和Turkington，D.A.（1985年）。仪器变量.计量经济学社会专题剑桥大学出版社，剑桥。 [23] Bühlmann，P.（2020年）。不变性、因果性和稳健性。统计科学35 404-426. ·Zbl 07292527号 [24] Bühlmann，P.和van de Geer，S.（2011）。高维数据统计：方法、理论与应用.统计学中的斯普林格系列海德堡施普林格·Zbl 1273.62015年 [25] Bühlmann，P.和van de Geer，S.（2018年）。大数据统计：一个视角。统计与概率信件136 37-41. ·Zbl 1489.62407号 [26] Candes，E.和Tao，T.（2007）。Dantzig选择器：当\（p）远大于\（n）时的统计估计。统计年鉴35 2313-2351. ·Zbl 1139.62019号 [27] Chen，J.、Huang，C.-H.和Tien，J.-J.（2021）。仪器变量分位数回归的借方/双机器学习。计量经济学9 [28] Chen，B.、Liang，H.和Zhou，Y.（2016）。具有内生协变量的偏线性模型中的GMM估计导致过度识别问题。统计学传播学-理论与方法45 3168-3184. ·Zbl 1342.62057号 [29] Chernozhukov，V.、Hansen，C.和Spindler，M.（2016）。hdm：高维指标。R（右）日记账8 185-199. [30] Chernozhukov，V.、Chetverikov，D.、Demirer，M.、Duflo，E.、Newey，W.和Robins，J.（2017）。为论文“治疗和结构参数的双/脱苦机器学习”进行回购。https://github.com/VC2015/DMLonGitHub。访问日期：2020年9月23日。 [31] Chernozhukov，V.、Chetverikov，D.、Demirer，M.、Duflo，E.、Hansen，C.、Newey，W.和Robins，J.（2018年）。用于治疗和结构参数的双/脱苦机器学习。计量经济学杂志21 C1-C68·兹伯利07565928 [32] Chiang，H.D.、Kato，K.、Ma，Y.和Sasaki，Y.（2021年）。多路集群鲁棒双/差分机器学习。商业与经济统计杂志0 1-11. [33] Colangelo，K.和Lee，Y.-Y.（2020年）。具有连续处理的双衰退机器学习非参数推理。预印arXiv:2004.03036。 [34] Cragg，J.G.（1967年）。几种结构方程估计的相对小样本性质。计量经济学35 89-110. [35] Crown，W.H.、Henk，H.J.和Vanness，D.J.（2011）。关于在结果研究中使用工具变量估计器的一些注意事项：工具强度、工具污染和样本大小如何影响工具变量估测器的偏差。健康价值14 1078-1084. [36] Cui，Y.和Tchetgen-Tchetgen，E.（2020年）。双鲁棒泛函的选择性机器学习。预印arXiv:1911.02029·Zbl 1457.62339号 [37] DasGupta，A.（2008）。统计学和概率的渐近理论.统计中的Springer文本纽约州施普林格·Zbl 1154.62001年 [38] DiazOrdaz，K.、Daniel，R.和Kreif，N.（2019年）。治疗效果异质性的数据自适应双稳健工具变量方法。预印本arXiv：1802.02821·Zbl 1443.62131号 [39] Durrett，R.（2010）。概率：理论和示例，第4版。剑桥统计与概率数学系列剑桥大学出版社，剑桥·Zbl 1202.60001号 [40] Emmenegger，C.（2021）。dmlalg：CRAN上提供的双机器学习算法R包。 [41] Farbmacher，H.、Huber，M.、Lafférs，L.、Langen，H.和Spindler，M.（2020年）。基于双机器学习的因果中介分析。预印arXiv:2002.12710。 [42] Florens，J.-P.、Johannes，J.和Van Bellegem，S.（2012年）。部分线性模型中的工具回归。计量经济学杂志15 304-324·Zbl 1521.62049号 [43] Fuller，W.A.（1977年）。有限信息估计的一个修正的一些性质。计量经济学45 939-53. ·Zbl 0387.62056号 [44] Fuller，W.A.（1987）。测量误差模型.概率和数理统计中的威利级数John Wiley&Sons，纽约·Zbl 0800.62413号 [45] Hahn，J.、Hausman，J.和Kuersteiner，G.（2004）。弱工具估计：高阶偏差和MSE近似的准确性。计量经济学杂志7 272-306. ·Zbl 1053.62128号 [46] Hansen，L.P.（1982）。广义矩估计方法的大样本性质。计量经济学50 1029-1054. ·Zbl 0502.62098号 ·doi:10.2307/1912775 [47] Hansen，L.P.（1985）。一种计算广义矩估计方法的渐近协方差矩阵的界的方法。计量经济学杂志30 203-238. ·兹伯利0588.62166 [48] Härdle，W.、Liang，H.和Gao，J.（2000）。部分线性模型.对统计的贡献施普林格，柏林-海德堡·Zbl 0968.62006年 [49] Härdle，W.、Müller，M.、Sperlich，S.和Werwatz，A.（2004）。非参数和半参数模型.统计学中的斯普林格级数柏林施普林格·Zbl 1059.62032号 [50] Henderson，H.V.和Searle，S.R.（1981年）。关于求矩阵和的逆。SIAM审查23 53-60. ·Zbl 0451.15005号 [51] Hill，R.C.、Griffiths，W.E.和Lim，G.C.（2011年）。计量经济学原理新泽西州霍博肯市威利出版社，第4版。 [52] Hillier，G.H.和Skeels，C.L.（1993）。结构方程估计量的一些进一步精确结果。在计量经济学的模型、方法和应用：纪念A.R.Bergstroms的论文（P.C.B.Phillips编辑）117-139。马萨诸塞州剑桥市布莱克威尔。 [53] Horowitz，J.L.（2011）。应用非参数工具变量估计。计量经济学79 347-394. ·Zbl 1210.62034号 [54] Jakobsen，M.E.和Peters，J.（2021）。K类估计和PULSE的分布稳健性。计量经济学杂志. [55] Knaus，M.C.（2020年）。基于双机学习的无约束程序评价。预印arXiv:2003.03191。 [56] Koltchinskii，V.和Yuan，M.（2010）。多核学习中的稀疏性。统计年鉴38 3660-3695. ·Zbl 1204.62086号 [57] Kozbur，D.（2020年）。基于测试的正向模型选择分析。计量经济学88 2147-2173. ·Zbl 1467.62040号 [58] Lattimore，T.和Szepesvári，C.（2020年）。Bandit算法剑桥大学出版社，剑桥·Zbl 1439.68002号 [59] Lauritzen，S.L.（1996）。图形模型.牛津统计科学系列牛津克拉伦登出版社·Zbl 0907.62001 [60] Lewis，G.和Syrgkanis，V.（2020年）。动态治疗效果的双/脱苦机器学习。预印arXiv:2002.07285。 [61] Liu，M.、Zhang，Y.和Zhou，D.（2021）。logistic部分线性模型的双/差机器学习。计量经济学杂志. ·Zbl 07546415号 [62] 劳埃德·W·P（1975）。关于在财务模型中使用两阶段最小二乘估计的说明。金融与定量分析杂志10 143-149. [63] Ma，Y.和Carroll，R.J.（2006）。具有测量误差的半参数模型的局部有效估计。美国统计协会杂志101 1465-1474. ·Zbl 1171.62324号 [64] Maathuis，M.、Drton，M.，Lauritzen，S.和Wainwright，M.编辑（2019年）。图形模型手册.现代统计方法手册查普曼和霍尔/CRC，佛罗里达州博卡拉顿·Zbl 1410.62001号 [65] Mammen，E.和van de Geer，S.（1997年）。部分线性模型中的惩罚拟似然估计。统计年鉴25 1014-1035. ·Zbl 0906.62033号 [66] Mariano，R.S.（1972年）。普通最小二乘和两阶段最小二乘估计矩的存在性。计量经济学40 643-652. ·Zbl 0258.62068号 [67] Mariano，R.S.（1982年）。计量经济学中的分析小样本分布理论：联立方程案例。国际经济评论23 503-533. ·Zbl 0531.62096号 [68] Mariano，R.S.（2003）。联立方程模型估计：统计特性和实际意义在理论计量经济学指南6, 122-141. John Wiley&Sons有限公司。 [69] Meier，L.、van de Geer，S.和Bühlmann，P.（2009）。高维加性建模。统计年鉴37 3779-3821. ·Zbl 1360.62186号 [70] 纳加尔，A.L.（1959年）。联立方程中参数的一般k类估计的偏差和矩矩阵。计量经济学27 575-595. ·Zbl 0091.15202号 [71] Nagar，A.L.（1960年）。交替联立方程估计的蒙特卡罗研究。计量经济学28 573-590. ·Zbl 0097.13302号 [72] Newey，W.K.和McFadden，D.（1994年）。大样本估计和假设检验。在计量经济学手册, 4 36, 2111-2245. 爱思唯尔科学。 [73] Okui，R.、Small，D.S.、Tan，Z.和Robins，J.M.（2012）。双稳健工具变量回归。中国统计局22 173-205. ·Zbl 1417.62090号 [74] Pearl，J.（1998）。图、因果关系和结构方程模型。社会学方法与研究27 226-284. [75] Pearl，J.（2004）。因果索赔的稳健性。在第20届人工智能不确定性会议论文集.怀俄明州'04446-453. 美国弗吉尼亚州阿灵顿AUAI出版社。 [76] Pearl，J.（2009）。因果关系：模型、推理和推理，第2版，剑桥大学出版社，剑桥·Zbl 1188.68291号 [77] Pearl，J.（2010）。因果推理导论。国际生物统计学杂志6第7条。 [78] Peters，J.、Janzing，D.和Schölkopf，B.（2017年）。因果推理的要素：基础和学习算法.自适应计算与机器学习麻省理工学院出版社，马萨诸塞州剑桥·兹比尔1416.62012 [79] 菲利普斯，P.C.B.（1984）。LIML:I的精确分布。国际经济评论25 249-261. ·Zbl 0659.62059号 [80] 菲利普斯，P.C.B.（1985）。LIML的精确分布：II。国际经济评论26 21-36. ·Zbl 0659.62060号 [81] Robinson，P.M.（1988）。根一致的半参数回归。计量经济学56 931-954. ·Zbl 0647.62100号 ·doi:10.2307/1912705 [82] Rothenhäusler，D.，Meinshausen，N.，Bühlmann，P.和Peters，J.（2021）。锚回归：异质数据符合因果关系。英国皇家统计学会杂志：B辑（统计方法）83 215-246. ·Zbl 07555263号 [83] Ruppert，D.、Wand，M.P.和Carroll，R.J.（2003）。半参数回归.剑桥统计与概率数学系列12.剑桥大学出版社，剑桥·Zbl 1038.62042号 [84] Smucler，E.、Rotnitzky，A.和Robins，J.M.（2019年）。因果对比的双重稳健正则化估计的统一方法。预印arXiv:1904.03737。 [85] Speckman，P.（1988）。部分线性模型中的核平滑。英国皇家统计学会杂志。B系列（方法学）50 413-436. ·Zbl 0671.62045号 [86] Staiger，D.和Stock，J.H.（1997年）。工具变量与弱工具回归。计量经济学65 557-586. ·Zbl 0871.62101号 ·doi:10.2307/2171753 [87] Stock，J.H.、Wright，J.H和Yogo，M.（2002年）。广义矩量法中的弱仪器和弱识别综述。商业与经济统计杂志20 518-529. [88] Su，L.和Zhang，Y.（2016）。具有固定效应的部分线性动态面板数据模型的半参数估计。在纪念阿曼·乌拉的文章第1版（G.González-Rivera、R.C.Hill和T.-H.Lee编辑）。计量经济学进展36 137-204. Emerald Group Publishing Limited，Howard House，Wagon Lane，Bingley BD16 1WA，英国。 [89] Summers，R.（1965）。各种联立方程估计的小样本性质的资本密集型方法。计量经济学33 1-41. [90] Takeuchi，K.和Morimune，K..（1985年）。联立方程组中扩展最大似然估计的三阶有效性。计量经济学53 177-200. ·兹比尔0592.62098 [91] Theil，H.（1953a）。应用于完整方程组的重复最小二乘法。海牙中央规划局.手写备忘录。 [92] Theil，H.（1953b）。完全方程组中的估计和同时相关。海牙中央规划局.备忘录。 [93] Theil，H.（1961年）。经济预测和政策，第2版。对经济分析的贡献15.阿姆斯特丹North-Holland出版公司。 [94] van der Laan，M.J.和Robins，J.M.（2003）。截尾纵向数据和因果关系的统一方法.统计学中的斯普林格级数纽约州施普林格·Zbl 1013.62034号 [95] Wager，S.和Walther，G.（2016年）。回归树的自适应集中，适用于随机森林。预印arXiv:153.06388。 [96] Wagner，H.M.（1958年）。同时线性结构方程估计的蒙特卡罗研究。计量经济学26 117-133. ·Zbl 0080.13802号 [97] Wooldridge，J.M.（2013）。介绍性计量经济学：现代方法，第5版，俄亥俄州梅森西南岑盖学习出版社。 [98] Yao，F.（2012）。条件异方差下的有效半参数工具变量估计。数量经济学杂志10 32-55. [99] Yuan，M.和Zhou，D.-X.（2016）。高维可加模型中的Minimax最优估计率。统计年鉴44 2564-2593. ·Zbl 1360.62200号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。