从综合临床医生行为中学习风险分层模型的决策阈值

摘要

使用风险分层模型指导临床实践通常需要在模型输出上选择一个阈值，以触发后续操作，如电子警报。选择这个截止点并不总是简单的。我们提出了一种灵活的方法，利用现实生活中做出的治疗决策中的集体信息，从医生实践中学习参考决策阈值。以2013年集合队列方程计算出的10年风险为基础，为心血管疾病的初级预防开他汀类药物为例，我们证明了使用真实世界数据学习反映现有医生行为的隐含决策阈值的可行性。以这种方式学习决策阈值，可以根据反映社区护理标准的阈值评估建议的操作点。此外，该方法可用于监测和审计模型部署后的模型指导临床决策。

简介

医生信息学家越来越多地参与到临床决策支持风险分层模型的部署中。他们可能会被问及机器学习衍生模型的预测性能（如敏感性和特异性）是否适合指导其卫生系统干预措施的分配。¹如果是这样，从风险分层模型的受试者操作特征（ROC）曲线预测得分的相应阈值成为操作点，这是触发后续行动的风险得分阈值，例如生成早期检测和治疗脓毒症的警报。²

医疗决策分析是确定手术点的最受认可的方法之一，通过发现预期益处大于干预预期危害的疾病的特定概率，计算出患者应接受治疗的决策阈值。^三,4通常，特定患者的患病概率由医生估计，但利用精确医学的进步，这种概率可以由风险分层模型生成的风险评分代替。然而，使用此程序计算决策阈值需要测量作为输入的治疗的危害和益处的经济效用值的比率。一个重要的限制是，在实践中很难获得这些效用值。^5,6选择手术点的另一种方法是使用临床实践指南，该指南可能建议风险分层治疗阈值。然而，制定阈值建议的基础往往没有报告，因此很难确定这些阈值是否适合使用。⁷或者，由其他医生在类似情况下所做或将要做的事情建立的护理标准的概念长期以来一直在法律环境中使用。⁸与这一概念相呼应，通过让医生对一系列已知风险评分的临床案例作出反应，可以获得一个决策阈值。^9–13

我们认识到，有机会利用电子健康记录中记录的许多医生集体实践的真实数据，在假设的临床病例之外，增加此类评估。¹⁴我们假设临床医生的行为反映了一个组织中的医生如何平衡危害、利益、成本、患者偏好和资源限制，以便在个别情况下与实际患者共享临床决策¹⁵-可以用来学习实践中使用的潜在决策阈值。¹⁶然后可以将此学习阈值用作参考17了解在部署或监测风险分层模型时，潜在操作点与当前社区护理标准的比较。我们的目标是证明一种灵活的数学方法的可行性，该方法使用观察数据来学习医生实践中隐含的潜在决策阈值。为了用一个临床例子来说明这种方法，我们拟合了一个方程，该方程最能从观测数据中捕捉临床决策，从该方程中提取决策阈值，将这些经验结果与指南推荐的阈值进行比较，并对风险分层模型向公众发布后学习到的决策阈值的稳定性进行了评估。

方法

例如，我们根据2013年集合队列方程（PCE）了解了他汀类药物治疗的决策阈值，¹⁸预测10年动脉粥样硬化疾病风险，并有明确的决策阈值。¹⁹我们从没有动脉粥样硬化或糖尿病病史的成年初级预防患者中构建了一个回顾性队列（因为对这些疾病开始他汀类药物治疗的决定并不取决于PCE风险评分），2013年之前，他们接受了斯坦福医学院初级护理提供者的脂质筛查，此外，还符合计算10年动脉粥样硬化疾病风险的标准。我们确定患者是否在脂质筛查后180天内服用他汀类药物。此外，我们还确保了PCE在我们的队列中是通用的，正如类似的预测性能所证明的那样；这确保了将我们队列中的学习决策阈值与指南中列出的阈值进行比较是有意义的。为了计算预测性能，我们首先确定患者是否在接下来的10年内或在失去随访之前（以先发生者为准）发生了重大动脉粥样硬化疾病，然后计算Harrell的C统计量，该统计量可用于测量删失生存数据中的差异。²⁰我们的研究使用了斯坦福医学研究数据库中的未确认数据，我们的机构审查委员会将该数据集的研究归类为非人类受试者研究。

我们通过计算每个方程的Brier分数（一种模型拟合观测数据的度量），然后选择得分最高的方程，从而确定哪一个方程在经验上最能描述现实世界的决策。然后使用该决策方程确定决策阈值，如下所示：对于指定的预测治疗概率，我们使用方程系数来求解相应的风险评分。在我们的例子中，我们检查了两种特定的治疗概率，尽管其他概率可以使用不同的动机来选择。我们计算的第一个阈值对应于PCE风险评分，其中拟合的决策方程预测50%的治疗概率。这个阈值对应于临床医生对治疗和不治疗漠不关心的程度。在基于渐晕图的决策阈值研究中也描述了相同的阈值。^10,16因为该方程预测到一半的风险评分患者在此时接受他汀类药物治疗，所以我们将该阈值称为总多数投票阈值。我们检查的第二个阈值是，治疗的概率等于队列中的总体治疗比例。例如，如果队列中30%的患者使用他汀类药物，则该阈值将与PCE风险评分相对应，在该评分中，拟合的决策方程预测30%的治疗概率。虽然这个阈值没有决策论解释，但它可以作为一个有用的参考，以确定治疗概率超过总体治疗率的风险评分。我们将此阈值称为总处理率阈值。然后，我们将这些经验得出的阈值与指南中规定的阈值进行比较。

最后，为了评估这些学习决策阈值对2013年风险分层模型发布的敏感性，我们生成了2013年后筛选出动脉粥样硬化性心血管疾病风险的患者队列，并检查方程拟合或学习阈值是否存在差异。

结果

2009年至2013年间，斯坦福医学院共有4705名患者接受了一级预防风险评估(表1). 在这些患者中，有1045人（22.2%）服用了他汀类药物。与构建PCE的原始队列相比，该队列中的PCE具有相似的辨别能力（C-统计值=0.71）。¹⁸PCE计算的10年期风险评分中位数在未治疗组为2.4%，在接受他汀类药物治疗组为6.1%。

正如预期的那样，我们发现增加10年动脉粥样硬化疾病风险与更高的他汀类药物处方率有关(图2). 与线性决策方程相比，对数转换的决策方程更适合观察到的临床医生决策（对数转换的Brier得分为0.159，线性转换的为0.165）。在对数转换方程中，接受他汀类药物治疗的人群比例（22.2%）对应于3.6%的10年风险总治疗率阈值。50%的治疗概率对应于23.0%的10年期风险的总多数票阈值。线性方程没有描述观察到的决策以及对数转换方程，产生了类似的决策阈值，分别为5.9%和20.7%。

PCE本质上是一个预测模型，其连续风险评分通过在ROC曲线上设置一个操作点而转换为治疗建议(图2). 根据2009年至2013年观察到的决策行为，在总治疗率阈值附近设置的操作点将捕获治疗指南中处于临界（5%）和中间（7.5%）风险类别的患者。设定在总多数投票阈值附近的操作点将涵盖高危类别的患者，在该类别中，指南使用了20%的截止值，并记录了高强度他汀类药物治疗对这些患者的巨大益处。

然后，我们构建了2013年PCE发布后进行风险评估的患者队列(表1). 该队列包括23291例患者，其中4851例（20.8%）接受他汀类药物治疗。我们发现了类似的决策模式(图3)风险分层模型发布后，重新计算的对数转换决策方程具有相似的性能（Brier得分=0.148）。总体治疗率阈值为3.9%，总体多数投票阈值为23.7%，分别比2013年前队列的阈值高0.3%和0.7%。

讨论

我们发现，对过去总体医生行为的分析可以将揭示的患者偏好、临床判断和实践中使用的决策规则的组合转化为风险预测模型ROC曲线上的参考操作点。据我们所知，这是第一个描述从过去临床医生订购干预措施的行为中学到的经验决策阈值如何为风险分层模型的部署和监测提供信息的示例。对于PCE，我们的数据衍生阈值表明，2013年之前的医生集体行为通常与后来由专家指导小组确定的决策阈值一致。特别是，我们发现的总多数投票阈值位于他汀类药物治疗的高风险类别的临界值附近，这表明医生实践倾向于同意对这一风险类别的患者利大于弊。在其他评估中，发现与较低阈值相比，位于高风险阈值附近的决策阈值提供了净效益，尤其是当患者变老时。²⁵另一方面，值得注意的是，总治疗率阈值位于3.0%至4.0%之间，这是纳入患者偏好的成本效益分析所建议的范围。²⁶

从总体决策中学习决策阈值的一个主要局限性是，过去的临床行为可能有缺陷。例如，医生可能不知道文献中最新的临床证据或指南，这意味着特定社区的实践标准可能与国家或国际标准不一致。对特定群体的治疗可能存在系统性偏差，或者诊断错误的发生率可能很高，以至于所学的决策阈值对于客观衡量决策没有意义。此外，即使临床证据表明不同的阈值，许多患者对治疗的偏好也可能改变总的多数投票阈值。将一个学习过的阈值作为操作点，可以将与健康公平努力或审查过临床证据的专家制定的指南相冲突的行为制度化。

然而，我们学习决策阈值的方法发挥了独特的作用，特别是作为在部署风险分层模型之前总结当前行为的参考。PCE前有效的胆固醇管理指南²⁷使用基于分层胆固醇目标的策略来推荐药物治疗。2013年，当PCE作为一个新的基于风险的框架发布时，我们的方法本可以用于将现有社区实践标准转化为新风险分层模型的参考决策阈值。这样的背景可能有助于与那些对如何将这些新的风险评分与他们的实践相协调持谨慎态度的医生进行沟通。²⁸我们描述的这种方法的一个特别优点是，即使风险分层算法还不存在，也可以使用它。随着医疗保健风险分层模型的扩散，²⁹将有许多新的用例，在这些用例中，理解当前的临床实践可能对模型实现者有用。

该方法还可用于在部署风险分层模型后监测决策模式，以识别临床医生行为的变化和偏差。例如，2013年后，我们只观察到学习决策阈值的微小变化，这表明医生在实践中的行为类似，即使推荐了一种新的计算心血管风险的算法。这一观察结果可以简单地反映出2013年之后PCE的采用率较低。然而，即使医生避免使用新的风险分层模型，我们的方法仍然能够使用这些其他启发式方法产生的净决策来找到利益风险分层模型的相应风险分数。换句话说，即使风险分层模型没有在实践中使用，也可以学习它的决策阈值。该方法甚至可以扩展到评估个体医生之间决策模式的差异，^10,16,30帮助澄清临床变异的来源。

该方法还可用于评估相关亚组的决策差异，同时控制结果的风险。^11,13已经对这些阈值测试进行了研究，以测量机器学习模型引入的辨别能力。^31–34观察学习阈值的差异可能是不同护理标准的证据，并可能产生进一步审计的假设，以确定护理过程和模型推导中的差异。³⁵每个子组的学习决策阈值和校准误差度量的组合³⁶对于描述偏见的来源可能非常有用。例如，在检查治疗中的种族差异时，如果风险分层模型系统地低估了某一组的风险，那么可能会出现对该组使用不同的阈值，即使实际风险可能相同。在使用风险分层模型指导护理时，这方面的未来工作可能有助于审计卫生公平方面的进展。

我们从决策方程中导出了两个不同的决策阈值。在试图了解风险分层模型是否减少了由于疏忽或谨慎委托而导致的错误时，考虑不同的阈值可能会有所帮助。³⁷例如，为了识别潜在副作用和治疗不必要费用的低风险患者，当风险评分低于规定阈值的患者被指定为干预措施时，操作点可以标记护理偏差。这种异常检测可以使用以预定义的低处理概率（例如5%）计算的学习决策阈值。另一方面，为了分析护理中的疏漏，接近总多数投票阈值的操作点可以识别尚未得到潜在有益治疗的高危患者。在临床决策的阈值方法中，使用两个不同的阈值具有平行性。⁴根据这一理论，疾病概率低于“测试”阈值的患者不应接受治疗，而疾病概率高于“测试-治疗”阈值的则应接受治疗。疾病概率在这些阈值之间的患者应接受进一步测试，以确定下一步的行动方案。类似地，对于风险分层模型生成的风险评分在2个相关决策阈值之间的患者，更多信息可能有助于确定下一步。否则，在这些阈值之间使用操作点的风险分层模型可能会触发具有较低值信息的过度警报，从而导致覆盖警报³⁸以及提供者疲劳。³⁹

我们的方法不同于其他评估决策阈值选择的方法，因为它允许灵活地处理决策的多个组成部分，这些组成部分通常没有明确衡量，例如患者风险承受能力和对危害和益处的个性化估计，并利用描述性方法从实际决策中学习。相反，像医疗决策分析这样的规范性理论需要预先测量效用值才能完成决策建模过程。^三,40多准则决策分析通过向利益相关者询问与决策相关的多个因素，扩展了这一点。⁴¹然而，这些标准也需要以透明和可靠的方式确定，并且将跨多个标准的度量组合起来以选择决策阈值的策略并不简单。另一种方法，决策曲线分析，⁵有助于突出模型提供预测值的决策阈值范围，但无法自行确定临床医生或患者是否认为这些阈值在现实环境中是合理的，⁴²我们的方法直接观察到的。与临床案例类似，集体智能实验捕捉临床医生的决策，但可以基于真实案例。⁴³然而，这些研究很难在研究环境之外的实践中实施，因为多个医生必须评估同一个患者病例，而这很少是在第二种意见之外进行的。我们的方法使用个人临床决策，但受益于实践中自然发生的类似临床场景的聚合。

我们方法的一个重要贡献是在选择数学方程以适应治疗决策方面的灵活性。以前的研究从临床案例中学习决策阈值，使用风险评分的线性函数。^10,16,44然而，我们发现对数转换为现实生活中他汀类药物的处方生成了更好的描述性方程，最好的Brier评分证明了这一点。其他非线性单调函数实际上可能会产生更好的描述性决策方程。⁴⁵例如，风险下决策的一个公式是指数效用函数，它包括一个用来捕捉风险规避程度的参数。²⁴我们所说明的方法的一个缺点是，逻辑回归无法直接将数据拟合到这个特定的单调函数。风险下决策的另一种方法是前景理论，它表明决策者在现实生活中可能会权衡弊大于利。^46,47然而，并不总是清楚风险分层模型的输出如何与实际中与之配套的治疗的危害和益处单独相关。前景理论在风险分层模型决策中的应用值得进一步研究。尽管如此，我们所描述的方法可以推广到预测风险的任何单调函数，假设存在将方程拟合到数据的过程，为了学习决策阈值，实施者可以考虑使用最能描述由客观评分函数（如Brier分数）测量的实际决策的等式。

总的来说，在使用风险分层模型指导护理时，学习到的决策阈值可以提供有关社区护理标准的有用经验信息，以评估潜在操作点的背景。

基金

这项工作得到了国家心脏、肺和血液研究所的支持，授予编号为R01 HL144555。本研究使用了STAnford医学研究数据仓库（STARR）提供的数据或服务，STARR是一个临床数据仓库，包含来自斯坦福医疗、斯坦福儿童健康、大学医疗联盟和帕卡德儿童健康联盟诊所的实时Epic数据，以及来自医院应用程序（如放射PACS）的其他辅助数据。STARR平台由斯坦福医学研究IT团队开发和运营，并由斯坦福医学院研究办公室实现。资助机构在研究的设计和实施中没有任何作用；数据的收集、管理、分析和解释；手稿的准备、审查或批准；并决定将手稿提交出版。

作者贡献

BSP完全可以访问研究中的所有数据，并对数据的完整性和数据分析的准确性负责。BSP参与了概念和设计、手稿起草和统计分析。所有作者都参与了数据的获取、分析或解释，以及重要知识内容手稿的批判性修订。NHS参与了行政、技术或物质支持以及监督。

数据可用性声明

根据合理要求，可从相应作者处获得支持本研究结果的数据。由于可能危及研究参与者隐私的信息，数据无法公开。

利益冲突声明

NHS报道称，它是Prealize Health的联合创始人，该公司使用机器学习来更好地预测和负责任地控制医疗成本，同时提高医疗质量。BSP、ES和SRP没有报告利益冲突披露。

工具书类