×
孙毅伦；王璐

用于估计最佳动态治疗方案的随机树搜索。 （英语） Zbl 1457.62362号

美国统计协会。 116，编号533，421-432（2021）.
总结：动态治疗方案（DTR）是一系列适应个体时变状态的决策规则。黑盒学习方法在预测最佳治疗方面显示出巨大潜力；然而，由此产生的DTR缺乏可解释性，这对医学专家的理解和实施至关重要。我们提出了一种基于随机树的强化学习（ST-RL）方法，用于使用随机试验或观察性研究的数据估计多级多治疗环境中的最佳DTR。在每个阶段，ST-RL首先通过非参数回归模型对反事实结果的平均值建模，然后使用马尔可夫链蒙特卡罗算法随机搜索最优树结构决策规则，从而构建决策树。我们通过多个决策阶段以反向归纳的方式实现了该方法。所提出的ST-RL提供了具有更好可解释性的最优DTR，并在其非贪婪策略搜索方面为现有文献做出了贡献。此外，即使有大量协变量，ST-RL也表现出稳定和出色的性能，这在数据来自大型观测研究时尤其有吸引力。我们通过模拟研究说明了ST-RL的性能，并使用1998年至2012年MD Anderson癌症中心1170名患者的食管癌数据进行了实际数据应用。

引用于三文件

MSC公司：

62页第10页 统计学在生物学和医学中的应用；元分析
68T05型 人工智能中的学习和自适应系统

关键词：

贝叶斯加性回归树；因果动态决策；可解释性；个性化医疗；精密医学

软件：

形状；超级学习者；IVE软件；贝叶斯树；巴蒂
PDF格式BibTeX公司 XML格式引用
\textit{Y.Sun}和\textit{L.Wang}，J.Am.Stat.Assoc.116，No.533，421--432（2021；Zbl 1457.62362）
全文： 内政部 链接

参考文献：

[1] Ajani，J。；萧，L。；Roth，J。；Hofstetter，W。；沃尔什，G。；Komaki，R。；廖，Z。；赖斯，D。；Vaporciyan，A。；D.Maru。；Lee，J.，“食管癌患者术前放疗后诱导化疗与非诱导化疗的II期随机试验，肿瘤学年鉴，24，2844-2849（2013）
[2] Bertsimas，D。；Dunn，J.，“最优分类树，机器学习，106，1039-1082（2017）·Zbl 1455.68159号
[3] Chipman，H.A。；E.I.乔治。；McCulloch，R.E.，“贝叶斯CART模型搜索，美国统计协会杂志，93，935-948（1998）
[4] Chipman，H.A。；E.I.乔治。；McCulloch，R.E.，“BART：贝叶斯加性回归树，应用统计年鉴，4266-298（2010）·兹比尔1189.62066
[5] Denison，D.G。；马利克，B.K。；Smith，A.F.，“贝叶斯CART算法”，《生物特征》，85，363-377（1998）·Zbl 1048.62502号
[6] 共和国杜达。；哈特，体育。；Stork，D.G.，模式分类（2012），纽约：威利，纽约
[7] 费希尔，A。；鲁丁，C。；Dominici，F.，“所有模型都是错误的，但许多模型都是有用的：通过同时研究一整类预测模型来学习变量的重要性”，《机器学习研究杂志》，20，1-81（2019）·兹比尔1436.62019
[8] 弗里德曼，J.H。；Popescu，B.E.，“通过规则集合进行预测学习，应用统计学年鉴，2916-954（2008）·Zbl 1149.62051号
[9] Hill，J.L.，“因果推断的贝叶斯非参数建模，计算与图形统计杂志，20，217-240（2011）
[10] 胡，X。；鲁丁，C。；Seltzer，M.，最优稀疏决策树，神经信息处理系统进展，7265-7273（2019）
[11] 黄，X。；Choi，S。；Wang，L。；Thall，P.F.，“利用累积数据优化多阶段动态治疗方案，医学统计学，343424-3443（2015）·doi:10.1002/sim.6558
[12] Kim，J。；Pollard，D.，“立方根渐近，统计年鉴，18191-219（1990）·兹伯利0703.62063
[13] Kosorok，M.R.，《经验过程和半参数推断导论》（2008），纽约：施普林格出版社，纽约·Zbl 1180.62137号
[14] 拉伯，E.B。；Wu，F。；穆内拉，C。；利普科维奇，I。；科鲁奇，S。；Ripa，S.，“确定安全约束下的最佳剂量方案：在长期阿片类药物治疗慢性疼痛中的应用”，医学统计学，371407-1418（2018）·doi:10.1002/sim.7566
[15] 拉伯，E.B。；Zhao，Y.，“个体化治疗方案的基于树的方法，生物统计学，102，501-514（2015）·Zbl 1452.62821号 ·doi:10.1093/biomet/asv028
[16] Laurent，H。；Rivest，R.L.，“构建最优二元决策树是NP-完全的，信息处理快报，5，15-17（1976）·兹伯利0333.68029
[17] 拉沃里，P.W。；Dawson，R.，“动态治疗方案：实际设计考虑，临床试验，1，9-20（2004）·doi:10.1191/1740774s04cn002oa
[18] Linero，A.R.，“用于高维预测和变量选择的贝叶斯回归树，美国统计协会杂志，113626-636（2018）·Zbl 1398.62065号
[19] Linero，A.R。；Yang，Y.，“适应平滑度和稀疏度的贝叶斯回归树集成，皇家统计学会期刊，B辑，80，1087-1110（2018）·Zbl 1407.62138号
[20] 卢戈西，G。；诺贝尔，A.，“密度估计和分类的数据驱动直方图方法的一致性，《统计年鉴》，24，687-706（1996）·Zbl 0859.62040号
[21] 伦德伯格，S.M。；Lee，S.-I.，《解释模型预测的统一方法》，《神经信息处理系统的进展》，4765-4774（2017）
[22] 穆迪，E.E。；查克拉波蒂，B。；Kramer，M.S.，“从观测数据估算最佳动态处理规则的Q-学习，加拿大统计杂志，40，629-645（2012）·Zbl 1349.62371号 ·doi:10.1002/cjs.11162
[23] 穆迪，E.E。；N.院长。；Sun，Y.R.，“Q-Learning：关于有用效用的灵活学习，生物科学统计，6，223-243（2014）
[24] Murphy，S.A.，“最佳动态治疗方案”，《皇家统计学会杂志》，B辑，65，331-355（2003）·Zbl 1065.62006号
[25] Murphy，S.A.，“开发适应性治疗策略的实验设计，医学统计学，2411455-1481（2005）
[26] Murphy，S.A.，“Q-Learning的泛化错误，机器学习研究杂志，61073-1097（2005）·Zbl 1222.68271号
[27] Murphy，S.A。；范德莱恩，M.J。；罗宾斯，J.M。；Conduct Problems Prevention Research Group，“动态机制的边际均值模型”，《美国统计协会杂志》，96，1410-1423（2001）·Zbl 1051.62114号 ·doi:10.1198/016214501753382327
[28] Murray，T.A。；袁，Y。；Thall，P.F.，“优化动态治疗方案的贝叶斯机器学习方法”，《美国统计协会杂志》，1131255-1267（2018）·Zbl 1402.62281号 ·doi:10.1080/01621459.2017.1340887
[29] Murthy，S。；萨尔茨伯格，S.，222-227（1995）
[30] Murthy，S。；Salzberg，S.，《决策树诱导中的前瞻性和病理学》，1025-1031（1995），Morgan Kaufmann出版社
[31] Nahum-Shani，I。；钱，M。；阿尔米拉尔，D。；佩勒姆，W.E。；格尼，B。；法比亚诺，G.A。；Waxmonsky，J.G。；Yu，J。；Murphy，S.A.，“Q-学习：构建适应性干预的数据分析方法，心理学方法，17，478（2012）·doi:10.1037/a0029373
[32] Nieman，D.R。；Peters，J.H.，“食管癌的治疗策略，胃肠病学临床，42187-197（2013）·doi:10.1016/j.gtc.2012.11.007
[33] 诺鲁齐，M。；柯林斯，M。；约翰逊，医学硕士。；弗利特，D.J。；Kohli，P.，决策树的高效非自由优化，神经信息处理系统的进展，1729-1737（2015）
[34] Pratola，M.T.，“贝叶斯回归树模型的有效大都会-黑斯廷斯提案机制，贝叶斯分析，11885-911（2016）·Zbl 1357.62178号
[35] 钱，M。；Murphy，S.A.，“个体化治疗规则的性能保证，统计年鉴，39，1180（2011）·Zbl 1216.62178号 ·doi:10.1214/10-AOS864
[36] Raghunathan，T.E。；索伦伯格，P.W。；Van Hoewyk，J.，IVEware：插补和方差估计软件（2002），密歇根州安娜堡：密歇根大学社会研究所调查研究中心调查方法计划
[37] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2016），“机器学习的模型-认知解释”，arXiv编号1606.05386。
[38] 罗宾斯，J.M.，189-326（2004），施普林格
[39] 罗宾斯，J.M。；Hernán，医学硕士。；Fitzmaurice，G。；Davidian，M。；韦贝克，G。；Molenberghs，G.，《纵向数据分析的进展，时间变化暴露的因果效应估计》，553-599（2009），佛罗里达州博卡拉顿：查普曼和霍尔/CRC出版社，佛罗里达州波卡拉顿
[40] Rockova，V.和Saha，E.（2018），“关于BART的理论”，arXiv编号1810.00787。
[41] Rockova，V.和van der Pas，S.（2017），“贝叶斯回归树及其集合的后验集中”，arXiv编号1708.08734·Zbl 1459.62057号
[42] Rossi，G.（2011），“分区距离”，arXiv编号1106.4579。
[43] Schulte，P.J。；Tsiatis，A.A。；拉伯，E.B。；Davidian，M.，“估算最佳动态治疗方案的Q和A学习方法，统计科学，29640（2014）·Zbl 1331.62437号 ·doi:10.1214/13-STS450
[44] Tao，Y。；Wang，L。；Almirall，D.，“基于树的强化学习用于评估最佳动态治疗方案，应用统计年鉴，1914年12月（2018年）·兹比尔1405.62206 ·doi:10.1214/18-AOAS1137
[45] 泰尔，P.F。；Wooten，L.H。；Logothetis，C.J。；密立根·R·E。；Tannir，N.M.，“基于间隔检查的连续失效时间的贝叶斯和频数两阶段治疗策略，医学统计，26，4687-4702（2007）·数字对象标识代码：10.1002/sim.2894
[46] Tsiatis，A.A。；Davidian，M。；S.T.霍洛韦。；Laber，E.B.，《动态治疗方案：精确医学的统计方法》（2019），佛罗里达州博卡拉顿：CRC出版社，佛罗里达州波卡拉顿
[47] 范德兰，M.J。；波利，E。；Hubbard，A.E.，“超级学习者，遗传学和分子生物学中的统计应用，6，25（2007）·Zbl 1166.62387号
[48] Wang，L。；罗特尼茨基，A。；林，X。；密立根·R·E。；Thall，P.F.，“晚期前列腺癌序贯随机试验中可行动态治疗方案的评估”，《美国统计协会杂志》，107，493-508（2012）·Zbl 1328.62601号 ·doi:10.1080/01621459.2011.641416
[49] Wang，T。；鲁丁，C。；Doshi-Velez，F。；刘，Y。；Klampfl，E。；MacNeille，P.，“可解释分类学习规则集的贝叶斯框架”，《机器学习研究杂志》，18，2357-2393（2017）·Zbl 1434.68467号
[50] Wu，Y。；Tjelmeland，H。；West，M.，“贝叶斯CART：先验规范和后验模拟，计算与图形统计杂志，16，44-66（2007）
[51] 徐，C。；Lin，S.H.，“食管癌：治疗方案的比较有效性”，比较有效性研究，6，1-12（2016）
[52] Yang，S。；Lok，J.J.，“粗略结构嵌套平均模型中未测量混淆的敏感性分析”，《统计学》，第28期，第1703页（2018年）·Zbl 1406.62107号 ·doi:10.5705/ss.202016.0133
[53] Yang，Y.，“Minimax非参数分类。I.收敛速度，IEEE信息理论汇刊，452271-2284（1999）·Zbl 0962.62026号
[54] 张，B。；Tsiatis，A.A。；拉伯，E.B。；Davidian，M.，“估算最佳治疗方案的稳健方法，生物统计学，68，1010-1018（2012）·Zbl 1258.62116号 ·doi:10.1111/j.1541-0420.2012.01763.x
[55] 张，B。；Tsiatis，A.A。；拉伯，E.B。；Davidian，M.，“序贯治疗决策中最佳动态治疗方案的稳健估计，生物统计学，100681-694（2013）·兹比尔1284.62508
[56] 张，B。；Zhang，M.，“C-Learning:评估最佳动态治疗方案的新分类框架，生物统计学，74891-899（2018）·兹伯利1414.62485 ·doi:10.1111/biom.12836
[57] Zhang，Y。；拉伯，E.B。；Davidian，M。；Tsiatis，A.A.，“可解释的动态治疗机制”，《美国统计协会杂志》，1131541-1549（2018）·Zbl 1409.62231号 ·doi:10.1080/01621459.2017.1345743
[58] Zhang，Y。；拉伯，E.B。；Tsiatis，A。；Davidian，M.，“使用决策列表构建可解释且节约的治疗方案，生物统计学，71，895-904（2015）·Zbl 1419.62490号 ·doi:10.1111/biom.12354
[59] 赵，Y.-Q。；曾博士。；拉伯，E.B。；Kosorok，M.R.，“估算最佳动态治疗方案的新统计学习方法”，《美国统计协会杂志》，110，583-598（2015）·Zbl 1373.62557号 ·doi:10.1080/01621459.2014.937488
[60] 赵永清。；曾博士。；拉什，A.J。；Kosorok，M.R.，“使用结果加权学习评估个体化治疗规则，美国统计协会杂志，107，1106-1118（2012）·Zbl 1443.62396号 ·doi:10.1080/01621459.2012.695674
[61] 赵永清。；曾博士。；索辛斯基，硕士。；Kosorok，M.R.，“非小细胞肺癌临床试验的强化学习策略，生物统计学，671422-1433（2011）·Zbl 1274.62922号 ·文件编号：10.1111/j.1541-0420.2011.01572.x
[62] 朱，R。；曾博士。；Kosorok，M.R.，“强化学习树”，《美国统计协会杂志》，110，1770-1784（2015）·Zbl 1374.68466号 ·doi:10.1080/01621459.2015.1036994
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。