×
丹尼尔·勒基特（Daniel J.Luckett）。;埃里克·B·拉伯。;安娜·卡科斯卡。;戴维·马赫斯（David M.Maahs）。;伊丽莎白·梅耶尔·戴维斯;迈克尔·科索罗克。

使用V-learning评估移动健康中的动态治疗方案。 （英语） Zbl 1445.62279号

美国统计协会。 115，编号530，692-706（2020）.
总结：精准医疗的愿景是利用患者的个体特征制定个性化治疗计划，为每位患者提供尽可能最佳的医疗服务。移动技术在这一愿景中发挥着重要作用，因为移动技术提供了一种实时监测患者健康状况的手段，并在需要时以所需剂量提供干预措施。动态治疗方案将个体化治疗计划形式化为决策规则的序列，每个临床干预阶段一个决策规则，将当前患者信息映射到推荐的治疗。然而，大多数现有的估计最佳动态治疗方案的方法都是针对发生在粗略时间尺度上的少量固定决策点设计的。我们提出了一种新的强化学习方法，用于评估最佳治疗方案，该方法适用于门诊使用移动技术收集的数据。该方法适用于移动健康应用程序中常见的不确定时间范围和逐分钟决策。我们证明了在温和的条件下，所提出的估计是一致的和渐近正态的。所提出的方法用于评估1型糖尿病患者控制血糖水平的最佳动态治疗方案。

引用于25文件

MSC公司：

62页第10页 统计学在生物学和医学中的应用；元分析
60J20型 马尔可夫链和离散时间马尔可夫过程在一般状态空间（社会流动、学习理论、工业过程等）上的应用
62C05型 统计决策理论的一般考虑
62G05型 非参数估计
62升12 序贯估计

关键词：

马尔可夫决策过程;精密医学;强化学习;1型糖尿病

软件：

ElemStatLearn（电子状态学习）;R（右）
PDF格式BibTeX公司 XML格式引用
\textit｛D.J.Luckett｝等人，《美国法律总汇》第115卷，第530、692至706号（2020；兹bl 1445.62279）
全文： DOI程序 arXiv公司 链接

参考文献：

[1] 阿里，A.A。；侯赛因，S.M。；霍夫斯皮安，K。；拉赫曼，M.M。；普拉尔，K。；Kumar，S.，“烟雾：通过呼吸测量自动检测卷烟烟雾，269-280（2012）
[2] Bergenstal，R.M。；加格，S。；Weinzimer，S.A。；白金汉，B.A。；Bode，B.W。；西弗吉尼亚州坦博兰。；Kaufman，F.R.，“混合闭环胰岛素输送系统在1型糖尿病患者中的安全性，美国医学会杂志，3161407-1408（2016）·doi:10.1001/jama.2016.11708
[3] Bexelius，C。；勒夫，M。；桑丁，S。；Lageros，Y.T。；Forsum，E。；Litton，J.-E，“使用手机测量身体活动：使用标准方法验证”，《医学互联网研究杂志》，12，e2（2010）·doi:10.2196/jmir.1298
[4] 查克拉波蒂，B。；Moodie，E.E.，《动态治疗方案的统计方法》（2013），纽约：Springer，纽约·Zbl 1278.62169号
[5] Cobry，E。；McFann，K。；Messer，L。；量规，V。；VanderWel，B。；霍顿，L。；Chase，H.P.，“为1型糖尿病患者实现最佳餐后血糖控制而使用餐后胰岛素丸的时机”，《糖尿病技术与治疗》，第12期，第173-177页（2010年）·doi:10.1089/dia.2009.0112
[6] Dai，Y.-H，“BFGS算法的收敛性”，SIAM优化杂志，13，693-701（2002）·Zbl 1036.65052号 ·doi:10.1137/S1052623401383455
[7] Doya，K.，“连续时间和空间中的强化学习”，《神经计算》，12，219-245（2000）·doi:10.11162/089977600300015961
[8] Ertefaie，A.，“在无限水平环境中构建动态治疗机制，arXiv编号1406.0764（2014）
[9] 免费，C。；菲利普斯，G。；Watson，L。；加利，L。；费利克斯，L。；爱德华兹，P。；帕特尔，V。；Haines，A.，“移动健康技术改善医疗服务提供流程的有效性：系统回顾和元分析”，《公共科学图书馆·医学》，10，e1001363（2013）·doi:10.1371/journal.pmed.1001363
[10] Haller，M.J。；Stalvey，M.S。；Silverstein，J.H.，“糖尿病控制的预测因素：监测可能是关键”，《儿科杂志》，144660-661（2004）·doi:10.1016/j.jpeds.2003.12.042
[11] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.H.，《统计学习的要素：数据挖掘、推断和预测》（2009），纽约：施普林格出版社，纽约·Zbl 1273.62005年
[12] Hernan，医学硕士。；Robins，J.M.，《因果推断》（2010），佛罗里达州博卡拉顿：CRC出版社，佛罗里达州博卡拉顿
[13] 克拉斯尼亚，P。；Hekler，E.B。；Shiffman，S。；Boruvka，A。；阿尔米拉尔，D。；Tewari，A。；Murphy，S.A.，“微随机试验：开发即时适应性干预的实验设计”，《健康心理学》，341220（2015）·doi:10.1037/hea0000305
[14] Kober，J。；彼得斯，J。；Wiering，M。；van Otterlo，M.，《机器人强化学习：调查》，579-610（2012），柏林，海德堡：施普林格，柏林
[15] Kosorok，M.R.，《经验过程和半参数推断导论》（2008），纽约：施普林格出版社，纽约·Zbl 1180.62137号
[16] 科索罗克，M.R。；Moodie，E.E.，《实践中的适应性治疗策略：针对个性化医学的试验规划和数据分析》，21（2015），宾夕法尼亚州费城：宾夕法尼亚州新药研究所·Zbl 1334.92005年
[17] Kowalski，A.，“重新审视人工胰腺系统的途径：向下游移动”，《糖尿病护理》，38，1036-1043（2015）·doi:10.2337/dc15-0364
[18] 库马尔，S。；尼尔森，W.J。；阿伯内西，A。；Atienza，A。；帕特里克，K。；Pavel，M。；莱利，W.T。；沙尔，A。；弹簧，B。；Spruijt-Metz，D。；Hedeker，D.，“移动健康技术评估：mHealth证据研讨会”，《美国预防医学杂志》，45，228-236（2013）·doi:10.1016/j.amepre.2013.03.017
[19] 拉伯，E.B。；Linn，K.A。；Stefanski，L.A.，“Q-Learning的交互式模型构建”，《生物统计学》，101831（2014）·Zbl 1306.62235号 ·doi:10.1093/biomet/asu043
[20] Lai，T.L。；Robbins，H.，“渐进有效的自适应分配规则”，应用数学进展，6，4-22（1985）·Zbl 0568.62074号 ·doi:10.1016/0196-8858（85）90002-8
[21] 莱文，B.-S。；B.J.安德森。；巴特勒，医学博士。；Antisdel，J.E。；Brackett，J。；Laffel，L.M.，“青少年1型糖尿病患者血糖控制和短期不良反应的预测因素”，《儿科杂志》，139197-203（2001）·doi:10.1067/mpd.2001.116283
[22] 廖，P。；克拉斯尼亚，P。；Tewari，A。；Murphy，S.A.，“mHealth中微随机试验的样本量计算”，《医学统计》，第35期，1944-1971年（2016年）·数字对象标识代码：10.1002/sim.6847
[23] Linn，K.A。；拉伯，E.B。；Stefanski，L.A.，“分位数的交互式Q-Learning”，《美国统计协会杂志》，112638-649（2017）·doi:10.1080/01621459.2016.1155993
[24] Long，N。；Gianola，D。；罗莎·G·J。；Weigel，K.A。；Kranis，A。；Gonzalez-Recio，O.，“利用SNP标记预测数量性状的径向基函数回归方法”，《遗传学研究》，92，209-225（2010）·doi:10.1017/S0016672310000157
[25] Ly，T.T。；布雷顿医学博士。；Keith-Hynes，P。；De Salvo，D。；克林顿，P。；Benassi，K。；Mize，B。；Chernavvsky，D。；Place，J。；Wilson，D.M。；Kovatchev，B.P.，“在糖尿病营地使用自动化统一安全系统对患有1型糖尿病的儿童和青少年进行夜间血糖控制”，《糖尿病护理》，372310-2316（2014）·doi:10.2337/dc14-0147
[26] Ly，T.T。；罗伊，A。；格罗斯曼，B。；Shin，J。；坎贝尔，A。；莫尼拉巴西，S。；梁，B。；冯·埃本，R。；Shanmugham，S。；克林顿，P。；白金汉，B.A.，“在糖尿病潮湿的情况下，使用集成美敦力混合闭环系统对1型糖尿病进行昼夜闭环控制”，糖尿病护理，381205-1211（2015）·doi:10.2337/dc14-3073
[27] Maahs，D.M。；Mayer-Davis，E。；Bishop，F.K。；Wang，L。；Mangan，M。；McMurray，R.G.，“青少年1型糖尿病患者血糖漂移决定因素的门诊评估：概念验证”，《糖尿病技术与治疗》，第14658-664页（2012年）·doi:10.1089/dia.2012.0053
[28] Maei，H.R。；塞佩斯瓦里，C。；巴特纳加，S。；Sutton，R.S.，《利用函数逼近实现非政策学习控制》，719-726（2010）
[29] 穆迪，E.E。；Richardson，T.S。；Stephens，D.A.，“揭开最佳动态治疗方案的神秘面纱”，《生物统计学》，第63期，第447-455页（2007年）·Zbl 1137.62077号 ·doi:10.1111/j.1541-0420.2006.00686.x
[30] Murphy，S.A.，“最佳动态治疗方案”，《皇家统计学会杂志》，B辑，65，331-355（2003）·Zbl 1065.62006号 ·doi:10.1111/1467-9868.00389
[31] Murphy，S.A.，“Q-Learning的泛化错误，机器学习研究杂志，61073-1097（2005）·Zbl 1222.68271号
[32] 墨菲，S。；邓，Y。；拉伯，E。；Maei，H。；萨顿，R。；Witkiewitz，K.，“优化平均回报的批量、非政策、行动者-关键算法”，arXiv编号1607.05047（2016）
[33] Murphy，S.A。；范德拉恩，M.J。；Robins，J.M.，“动态机制的边际均值模型”，《美国统计协会杂志》，96，1410-1423（2001）·Zbl 1051.62114号 ·doi:10.1198/016214501753382327
[34] Puterman，M.L.，《马尔可夫决策过程：离散随机动态规划》（2014），纽约：威利出版社，纽约
[35] 奎因，C.C。；医学博士Shardell。；特琳，M.L。；巴尔，E.A。；Ballew，S.H。；Gruber-Baldini，A.L.，“手机个性化行为干预血糖控制的集群随机试验”，《糖尿病护理》，341934-1942（2011）·doi:10.2337/dc11-0366
[36] R核心团队，R：统计计算语言与环境（2016），奥地利维也纳：R统计计算基金会，奥地利维也纳
[37] Robins，J.M.，第二届西雅图生物统计学研讨会论文集，“最优序列决策的最优结构嵌套模型”，189-326（2004），纽约：Springer，纽约·Zbl 1279.62024号
[38] Rubin，D.，“因果关系的贝叶斯推断：随机化的作用”，《统计年鉴》，634-58（1978）·Zbl 0383.62021号 ·doi:10.1214/aos/1176344064
[39] Schulte，P.J。；Tsiatis，A.A。；拉伯，E.B。；Davidian，M.，“估算最佳动态治疗方案的Q和A学习方法”，《统计科学》，29，640-661（2014）·Zbl 1331.62437号 ·doi:10.1214/13-STS450
[40] Steinhubl，S.R。；E.D.缪斯。；Topol，E.J.，“移动健康技术能改变医疗保健吗？”，《美国医学会杂志》，310，2395-2396（2013）·doi:10.1001/jama.2013.281078
[41] 萨顿，R。；Barto，A.，《强化学习：导论》（1998），马萨诸塞州剑桥：麻省理工学院出版社
[42] Tang，Y。；Kosorok，M.R.（2012年）
[43] Weinzimer，S.A。；斯泰尔，G.M。；Swan，K.L。；Dziura，J。；北卡罗来纳州库尔茨。；Tamborlane，W.V.，“使用人工胰腺对1型糖尿病患儿进行全自动闭环胰岛素输送与半自动混合控制”，《糖尿病护理》，31934-939（2008）·doi:10.2337/dc07-1967年
[44] Wolever，T。；Mullan，Y.，“糖和脂肪对正常和1型糖尿病患者餐后血糖反应的不同影响”，《营养、代谢和心血管疾病》，21，719-725（2011）·doi:10.1016/j.numecd.2010.12.005
[45] 张，B。；Tsiatis，A.A。；拉伯，E.B。；Davidian，M.，“估算最佳治疗方案的稳健方法”，《生物统计学》，681010-1018（2012）·Zbl 1258.62116号 ·doi:10.1111/j.1541-0420.2012.01763.x
[46] 张，B。；Tsiatis，A.A。；拉伯，E.B。；Davidian，M.，“序贯治疗决策中最佳动态治疗方案的稳健估计，生物统计学，100681-694（2013）·Zbl 1284.62508号
[47] Zhao，Y。；科索罗克，M.R。；曾博士，“癌症临床试验强化学习设计”，《医学统计学》，2009年第28期，第3294-3315页·doi:10.1002/sim.3720
[48] 齐格勒，R。；Heidtmann，B。；希尔加德，D。；霍弗，S。；罗森鲍尔，J。；Holl，R.，“1型糖尿病儿童和青少年的SMBG频率与HbA1c和急性并发症的相关性”，《儿科糖尿病》，12，11-17（2011）·doi:10.1111/j.1399-5448.2010.00650.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。