埃里克·B·拉伯（Eric B.Laber）。；丹尼尔·利佐特（Daniel J.Lizotte）。；钱敏；威廉·佩勒姆。；苏珊·墨菲。 动态治疗制度：技术挑战和应用。 （英语） Zbl 1298.62189号 电子。J.统计。 8，第1期，1225-1272（2014）. 摘要：动态治疗机制在临床科学中越来越受到关注，因为这些机制提供了一种操作化的方法，从而为后续个性化临床决策提供了信息。从形式上讲，动态治疗方案是一系列决策规则，每个临床干预阶段一个决策规则。每个决策规则都将最新的患者信息映射到建议的治疗。我们简要回顾了使用数据构建决策规则的各种方法。然后，我们回顾了一个关键的推理挑战，它是由非规则性引起的，而非规则性通常出现在这一领域。特别是，在最佳动态治疗方案的参数推断中出现了不规则性；估计量的渐近、极限和分布对局部扰动很敏感。我们提出并评估了最优动态治疗方案参数的局部一致自适应置信区间（ACI）。我们使用来自ADHD儿童适应性药理和行为治疗试验的数据作为一个说明性示例。最后，我们强调并讨论了这一领域新出现的理论问题。 引用于5评论引用于26文件 MSC公司： 62页第10页 统计学在生物学和医学中的应用；元分析 62F40型 引导、折刀和其他重采样方法 软件：q学习；近似值；引导库 PDF格式BibTeX公司 XML格式引用 \textit{E.B.Laber}等人，《电子》。J.Stat.8，No.1，1225--1272（2014；Zbl 1298.62189） 全文： 内政部 欧几里得 参考文献： [1] Andrews，D.W.和Soares，G.，使用广义矩选择推断由矩不等式定义的参数。，SSRN电子图书馆，2007年。 [2] Andrews，D.W.K.，参数位于参数空间边界时引导程序的不一致性。，《计量经济学》，68（2）：399-4052000·Zbl 1015.62044号 ·数字对象标识代码：10.1111/1468-0262.00114 [3] Andrews，D.W.K.，《参数处于维持假设边界时的测试》。，《计量经济学》，69:683-7342001a·Zbl 0999.62010号 ·doi:10.1111/1468-0262.00210 [4] Andrews，D.W.K.，《参数处于维持假设边界时的测试》。，《计量经济学》，69（3）：683-7342001b·Zbl 0999.62010号 ·doi:10.1111/1468-0262.00210 [5] Andrews，D.W.K.和Guggenberger，P.，基于后一致模型选择估计器的子抽样程序的不正确渐近大小。，《计量经济学杂志》，152（1）：19-272009年·Zbl 1431.62203号 ·doi:10.1016/j.jeconom.2009.02.001 [6] Anthony，M.和Bartlett，P.L.，《神经网络学习：理论基础》。剑桥大学出版社，1999年·Zbl 0968.68126号 [7] Barto，A.G.和Dieterich，T.，强化学习及其与监督学习的关系。，学习和近似动态规划手册，第45-632004页。 [8] Bellman，R.E.，《动态编程》。普林斯顿大学出版社，1957年·Zbl 0077.13605号 [9] Berger，R.L.和Boos，D.，P值在妨害参数的置信集上最大化。，美国统计协会杂志，89（427）：1012-10161994·2018年4月8日 ·doi:10.2307/2290928 [10] Bickel，P.J.，参数空间受限时正态分布平均值的Minimax估计。，《统计年鉴》，9（6）：1301-13091981年·Zbl 0484.62013.中 ·doi:10.1214/aos/1176345646 [11] Bickel，P.J.和Freedman，D.A.，引导的一些渐近理论。，《统计年鉴》，第1196-1217页，1981年·Zbl 0449.62034号 ·doi:10.1214操作系统/11763456637 [12] Bickel，P.J.、Klaassen，A.J.、Ritov，Y.和Wellner，J.A.，《半参数模型中的有效和自适应推断》。约翰·霍普金斯大学出版社，巴尔的摩，1993年·Zbl 0786.62001号 [13] Bickman，L.、Kelley，S.D.和Athay，M.，测量反馈系统技术。，《夫妻与家庭心理学：研究与实践》，1（4）：274-2842012年。 [14] Blumenthal，S.和Cohen，A.，两个正常平均值中较大值的估计。，《美国统计协会期刊》，第861-8761968页·Zbl 0162.49705号 ·doi:10.2307/2283879 [15] Busoniu，L.、Babuska，R.、De Schutter，B.和Ernst，D.，《使用函数逼近器的强化学习和动态规划》。CRC出版社，2010年。 [16] Casella，G.和Strawderman，W.E.，估计有界正态平均值。，《统计年鉴》，第870-8781981页·Zbl 0474.62010 ·doi:10.1214/aos/1176345527 [17] Chakraborty，B.、Laber，E.B.和Zhao，Y.，使用自适应m取n自举方案推断最佳动态治疗方案。，生物统计学，待定（TBA）：待定，2013年·Zbl 1418.62182号 ·doi:10.1111/biom.12052 [18] Chakraborty，B.、Murphy，S.和Strecher，V.，最佳动态治疗方案中非常规参数的推断。，医学研究中的统计方法，19（3），2009年·Zbl 1365.62411号 ·doi:10.1177/0962280209105013 [19] Chakraborty，B.和Moodie，E.E.M.，《动态治疗方案的统计方法》。施普林格，2013年·Zbl 1278.62169号 [20] Chakraborty，B.和Murphy，S.A.，《动态治疗方案》。，《统计及其应用年鉴》，1（1）：无，2014年。URL。 [21] Chen，J.，《关于偏差-方差权衡现象的注释》。，赫尔曼·鲁宾的节日：数理统计研究所，45:207-201004·Zbl 1268.62029号 ·doi:10.1214/lnms/1196285391 [22] Cheng，X.，弱辨识下非线性回归的稳健置信区间。，《就业市场论文》，2008年。 [23] Csörgő，S.和Rosalsky，A.，自举总和极限定律调查。，国际数学与数理统计杂志，45:2835-28612003·Zbl 1036.60018号 ·doi:10.1155/S0161171203301437 [24] Davidson，A.C.和Hinkley，D.V.，Bootstrap方法及其应用，第1卷。剑桥大学出版社，1997年·Zbl 0886.62001号 [25] Dusseldorp，E.和Van Mechelen，I.，《定性相互作用树：识别定性治疗-子组相互作用的工具》。，医学统计，2013年。 [26] Foster，J.C.、Taylor，J.M.G.和Ruberg，S.J.从随机临床试验数据中确定亚组。，医学统计，30（24）：2867-28802011·doi:10.1002/sim.4322 [27] Goldberg，Y.、Song，R.和Kosorok，M.R.，自适应q-learning。，《从概率到统计再回来：高维模型和过程》，第150页，2012年。 [28] Gunter，L.、Zhu，J.和Murphy，S.A.，定性交互的变量选择。，统计方法，8（1）：42-552011年·Zbl 05898213号 ·doi:10.1016/j.stamet.2009.05.003 [29] Hamburg，M.A.和Collins，F.S.，《个性化医疗之路》。，《新英格兰医学杂志》，363（4）：301-3042010。 [30] Henderson，R.、Ansell，P.和Alshibani，D.，最佳动态治疗方案的回归分析。，生物统计学，66（4），2009年·Zbl 1233.62180号 ·doi:10.1111/j.1541-0420.2009.01368.x [31] Hirano，K.和Porter，J.，不可微泛函的不可能结果。《Mpra论文》，德国慕尼黑大学图书馆，2009年。URL。 [32] Hirano，K.和Porter，J.R.，不可微泛函的不可能结果。，《计量经济学》，80（4）：1769-17902012年·Zbl 1274.62240号 ·doi:10.3982/ECTA8681 [33] Janes，H.、Brown，M.D.、Pepe，M.和Huang，Y.，评估和比较患者治疗选择生物标记物的统计方法，2013年。 [34] Kelly，J.、Gooding，P.、Pratt，D.、Ainsworth，J.，Welford，M.和Tarrier，N.，《智能实时治疗：利用机器学习的力量优化瞬时认知行为干预的交付》。，《心理健康杂志》，21（4）：404-4142012年。 [35] Konda，V.R.和Tsitsiklis，J.N.，Onactor-critic算法。，SIAM控制与优化杂志，42（4）：1143-11662003·Zbl 1049.93095号 ·doi:10.1137/S0363012901385691 [36] Kosorok，M.R.，《经验过程和半参数推断导论》。施普林格，2008年·Zbl 1180.62137号 [37] Laber，E.B.，Linn，L.A.和Stefanski，L.A.，《交互式（q）学习建模》。，生物特征，将于2014年发布·Zbl 1306.62235号 [38] Laber，E.、Qian，M.、Lizotte，D.J.和Murphy，S.A.，《动态治疗方案中的统计推断》。arXiv预印arXiv:1006.58312010。 [39] Laber，E.B.和Murphy，S.A.，分类测试误差的自适应置信区间。，《美国统计协会杂志》，106（495）：904-9132011·Zbl 1229.62085号 ·doi:10.1198/jasa.2010.tm10053 [40] Lavori，P.W.和Dawson，R.，《临床策略测试设计：受试者随机偏倚自适应》。，英国皇家统计学会杂志：A辑（社会统计），163（1）：29-382000。 [41] Leeb，H.和Poetscher，B.M.，《模型后选择估计量和一致与非一致近似的有限样本分布》。，计量经济学理论，19（1）：100-1422003·Zbl 1032.62011年 ·doi:10.1017/S0266466603191050 [42] Leeb，H.和Pötscher，B.M.，模型选择后估计量的有限样本分布和一致与非一致近似。，计量经济学理论，19（1）：100-1422003·Zbl 1032.62011年 ·doi:10.1017/S0266466603191050 [43] H.Leeb和Pötscher，B.M.，《模型选择与推理：事实与虚构》。，计量经济学理论，21（01）：21-592005·兹比尔1085.62004 ·doi:10.1017/S0266466605050036 [44] Lei，H.、Nahum-Shani，I.、Lynch，K.、Oslin，D.和Murphy，S.A.，构建个性化治疗序列的“智能”设计。，《临床心理学年度回顾》，2012年8月21日至48日。 [45] Liu，R.C.和Brown，L.D.，奇异问题中信息无偏估计的不存在性。，统计年鉴，21（1）：1-131993·Zbl 0783.62026号 ·doi:10.1214/aos/1176349012 [46] Marchand，E.和Strawderman，W.E.，限制参数空间中的估计：综述。，课堂讲稿-专题系列，第21-44页，2004年·Zbl 1268.62030号 ·doi:10.1214/lnms/1196285377 [47] Moodie，E.E.M.，Richardson，T.S.，and Stephens，D.A.，《估算最佳动态状态：修正零偏差》。，生物统计学，63（2）：447-4552010·Zbl 1224.62139号 ·doi:10.1111/j.1541-0420.2006.00686.x [48] Murphy，S.A.，开发适应性治疗策略的实验设计。，医学统计，24（10）：1455-14812005a。 ·doi:10.1002/sim.2022 [49] Murphy，S.A.、Van Der Laan，M.J.和Robins，J.M.，动态状态的边际平均模型。，美国统计协会杂志，96（456）：1410-14232001·Zbl 1051.62114号 ·doi:10.1198/016214501753382327 [50] Murphy，S.A.，《最佳动态治疗方案》。，英国皇家统计学会杂志，B辑，65（2）：331-3662003·Zbl 1065.62006号 ·doi:10.1111/1467-9868.00389 [51] Murphy，S.A.，Q学习的泛化错误。，机器学习研究杂志，6:1073-10972005年7月b·Zbl 1222.68271号 [52] Nahum-Shani，I.、Qian，M.、Almirall，D.、Pelham，W.E.、Gnagy，B.、Fabiano，G.A.、Waxmonsky，J.G.、Yu，J.和Murphy，S.A.，比较适应性干预的实验设计和主要数据分析方法。，心理学方法，17（4）：4572012a。 [53] Nahum-Shani，I.、Qian，M.、Almirall，D.、Pelham，W.E.、Gnagy，B.、Fabiano，G.A.、Waxmonsky，J.G.、Yu，J.和Murphy，S.A.，Q-learning：构建适应性干预的数据分析方法。，心理学方法，17（4）：4782012b。 [54] Olshen，R.A.，F检验的条件水平。，美国统计协会杂志，68（343）：692-6981973·Zbl 0271.62068号 ·doi:10.2307/2284800 [55] Orellana，L.、Rotnitzky，A.和Robins，J.，用于估计最佳动态治疗方案的动态方案边际结构均值模型，第一部分：主要内容。，小Int.Jr。生物统计学，6（2），2010年。 [56] PSU方法论中心，Nih计划公告，2014年1月a。URL。 [57] PSU方法中心，智能研究，2014年1月b。网址。 [58] Putterman，M.L.，马尔可夫决策过程。约翰·威利父子公司，纽约，1994年。 [59] Qian，M.、Nahum-Shani，I.和Murphy，S.A.，《动态治疗方案》。在《现代临床试验分析》中，第127-148页。施普林格，2013年。 [60] Robins，J.，《死亡率研究中因果推断的新方法，持续暴露期应用于控制健康工人-幸存者效应》。，数学建模，7（9）：1393-15121986·Zbl 0614.62136号 ·doi:10.1016/0270-0255（86）90088-6 [61] Robins，J.M.，《持续暴露期死亡率研究中因果推断的新方法——应用于控制健康工人-幸存者效应》补遗。，计算机与数学应用，14（9）：923-9451987·Zbl 0643.62062号 ·doi:10.1016/0898-1221（87）90238-0 [62] Robins，J.M.，《使用纵向研究中因果推断的新方法分析随机和非随机艾滋病治疗试验》。，《卫生服务研究方法：关注艾滋病》，113:1591989年。 [63] Robins，J.M.，《使用替代标记的随机试验比例风险回归分析中的信息恢复和偏差调整》。年，《美国统计协会生物制药部会议录》，第24卷，第3页。美国统计协会，1993年。 [64] Robins，J.M.，复杂纵向数据的因果推断。在，潜在变量建模和因果关系应用，第69-117页。施普林格，1997年·Zbl 0969.62072号 ·doi:10.1007/978-1-4612-1842-54 [65] Robins，J.M.，通过使用结构嵌套模型重新参数化有向非循环图来测试和估计直接影响。，计算、因果和发现，第349-405页，1999年。 [66] Robins，J.M.，《边缘结构模型》。1997年《美国统计协会会刊》，贝叶斯统计科学部分，第1-10页，1998年。 [67] Robins，J.M.，最优序列决策的最优结构嵌套模型。年，《第二届西雅图生物统计学研讨会论文集：相关数据分析》，2004年·Zbl 1279.62024号 ·doi:10.1007/978-1-4419-9076-1_11 [68] Robins，J.M.、Orellana，L.和Rotnitzky，A.，最佳治疗和测试策略的估计和推断。，《医学统计》，第4678-4721页，2008年·doi:10.1002/sim.3301 [69] 鲁宾，D.B.，因果效应的贝叶斯推断：随机化的作用。，《统计年鉴》，第34-58页，1978年·Zbl 0383.62021号 ·doi:10.1214/aos/1176344064 [70] Schulte，P.J.、Tsiatis，A.A.、Laber，E.B.和Davidian，M.，用于估计最佳动态治疗方案的Q和A学习方法。技术报告，arXiv:1202.4177v2，arXiv.org，2013年·Zbl 1331.62437号 [71] Si，J.、Barto，A.G.、Powell，W.B.、Wunsch，D.C.等人，《学习和近似动态规划手册》。IEEE出版社，洛斯阿拉米托斯，2004年。 [72] Song，R.、Wang，W.、Zeng，D.和Kosorok，M.，动态治疗方案的惩罚q学习。技术报告，arXiv:1108.5338v1，arXiv.org，2011年·兹比尔1415.62054 [73] Sutton，R.S.、McAllester，D.A.、Singh，S.P.和Mansour，Y.，《函数逼近强化学习的策略梯度方法》。在，NIPS，第99卷，第1057-1063页，1999年。 [74] Sutton，R.S.和Barto，A.G.，《强化学习：导论》。麻省理工学院出版社，1998年。 [75] Szepesvári，C.，强化学习算法。，人工智能和机器学习综合讲座，4（1）：1-1032010·Zbl 1205.68320号 [76] Tsiatis，A.A.，《半参数理论与缺失数据》。Springer Verlag，2006年·Zbl 1105.6202号 [77] van der Laan，M.J.，意图治疗的因果模型和现实的个体化治疗规则。，2006. ·Zbl 1165.62357号 [78] van der Laan，M.J.和Petersen，M.L.，现实个性化治疗和意向治疗规则的因果模型。，国际生物统计学杂志，3（1）：32007年3月·Zbl 1165.62357号 [79] Van der Vaart，A.，《关于可微泛函》。，《统计年鉴》，第178-204页，1991年·Zbl 0732.62035号 ·doi:10.1214/aos/1176347976 [80] Van der Vaart，A.和Wellner，J.，《弱收敛和经验过程：统计应用》。施普林格，1996年·Zbl 0862.60002号 [81] Watkins，C.J.C.H.和Dayan，P.，Q-learning。，机器学习，8（3）：279-2921992·Zbl 0773.68062号 [82] Wiering，M.和van Otterlo，M.，《强化学习：现状》，第12卷。施普林格，2012年。 [83] Zhang，B.，Tsiatis，A.A.，Laber，E.B.，and Davidian，M.，序贯治疗决策最优动态治疗方案的稳健估计。，《生物特征》，2013年出版·Zbl 1284.62508号 ·doi:10.1093/biomet/ast014 [84] Zhang，B.，Tsiatis，A.A.，Laber，E.B.，and Davidian，M.，《估算最佳治疗方案的稳健方法》。，生物统计学，68（4）：1010-10182012·Zbl 1258.62116号 ·doi:10.1111/j.1541-0420.2012.01763.x [85] Zhao，Y.、Zeng，D.、Laber，E.B.和Kosorok，M.R.，估计最佳动态治疗方案的新统计学习方法。，审查中，107（499）：1106-11182013·Zbl 1373.62557号 [86] Zhao，Y.、Zeng，D.、Rush，A.J.和Kosorok，M.R.，使用结果加权学习估计个体化治疗规则。，《美国统计协会杂志》，107（499）：1106-1118，2012年·Zbl 1443.62396号 ·doi:10.1080/01621459.2012.695674 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。