小数据集乐观预测的修正

这个C类统计是一种常用的筛选测试性能的测量方法。乐观估计C类统计是一个常见的问题，因为小数据集中的统计模型过拟合，并且有方法来纠正这个问题。然而，许多研究没有使用这样的方法，而那些对乐观主义正确的研究使用了不同的方法，其中一些方法是有偏见的。我们使用临床数据集（英国格拉斯哥（1991–2003）、爱丁堡（1999–2003）和剑桥（1990–2006）的唐氏综合征筛查数据，以及苏格兰国家妊娠出院数据（2004–2007））来评估不同的乐观调整方法。我们发现，样本分割、无复制的交叉验证和“留一”交叉验证产生了经优化调整的C类与其他可用方法相比，存在偏差和/或与更大绝对误差相关的统计数据。通过复制、引导和新方法（离开-淘汰交叉验证）进行交叉验证，均生成了无偏的优化调整估计C类在临床数据集中有相似的绝对误差。大型模拟研究证实，所有3种方法在每个变量10个或更多事件的情况下，或当C类统计值为0.9或更高。但是，每个变量的事件数更低或更低C类统计数据显示，bootstrapping倾向于乐观，但与这两种交叉验证方法相比，绝对误差和均方误差更低。

预测结果（如疾病、死亡、复发）的能力在许多医学领域都很重要，例如人口筛查、预后评估和治疗反应。随着生物标记物开发技术（包括基因组学、蛋白质组学和代谢组学）的扩展，针对特定条件生成多种生物标记物的能力不断增强(1). 此外，日益复杂的生物医学技术可以更准确地对不良结果进行表型分析，从而分析更小的疾病亚群(2). 因此，许多研究最终使用案例数量相对较少的数据集来评估多个潜在预测因素。对多个标记的分析通常涉及到对数据拟合统计模型。由于模型的生成是为了为可用数据提供最佳拟合，因此有可能模型会被过度填充，因此，可以对预测能力进行乐观评估，通过此处的C类统计（也称为接收器工作特性曲线下的面积）。

一般认为，需要对模型进行外部验证。一些研究将样本分为2个，但验证并不是真正的外部验证。此外，当研究外部数据进行验证时，小样本可能会削弱分析。因此，在候选模型的初始内部评估中，重要的是纠正对乐观预测能力的估计。已经提出了一些统计方法来解决这一问题(三). 常用的方法包括样本分割、交叉验证和自举。交叉验证的变体包括在有或无复制的情况下使用交叉验证、离开-离开交叉验证，以及最近描述的方法开发，称为离开-离开交互验证。本研究的目的是比较这些纠正乐观情绪的方法。

方法

概述

我们评估了不同的纠正方法C类使用类似于Steyerberg等人的方法进行统计(4). 我们获得了2个大型临床数据集。在每种情况下，我们将大数据集划分为多个不同的小数据集（无需重新采样），每个数据集包含每个变量大约5个事件（EPV）（有意地，这远低于通常建议的EPV 10(三))每例约4个对照组。我们减少了控制的数量，以更好地模拟乐观主义是一个问题的研究类型。我们将模型拟合到每个小数据集，并在大数据集的其余部分（即所有其他小数据集汇总在一起）评估其预测能力，我们将其用作“黄金标准”。然后，我们通过比较乐观度调整后的结果，比较每种方法的性能C类根据金标准的小数据集进行统计估计。病例对照设计的使用只是为了方便，我们使用的方法适用于逻辑回归的任何应用。

临床数据

第一个数据来源是位于格拉斯哥（1991-2003）、爱丁堡（1999-2003）和剑桥（1990-2006）的英国唐氏综合症筛查实验室(5). 所有记录均包括孕妇年龄、孕妇血清甲胎蛋白水平和孕妇血清人绒毛膜促性腺激素的数据。来自3个中心的汇总数据包括466309份记录和785例唐氏综合征病例（0.17%）。评估的3个预测因子为母亲年龄、母亲血清甲胎蛋白和母亲血清人绒毛膜促性腺激素（均以对数表示₁₀胎龄中位数的倍数(6)). 我们随机创建了50个小数据集，每个数据集包含15或16个病例以及66或67个对照。第二个数据来源是苏格兰发病率记录2，这是一个国家怀孕出院数据注册中心，我们从中选择了2004年至2007年的记录(7). 数据来源于首次妊娠足月自然分娩的所有女性，其中婴儿为头位分娩。结果是紧急剖宫产。登记处共有32868份合格记录，其中3817份（19.9%）记录了紧急剖宫产。所用的5个预测因子为母亲年龄、身高、孕周、婴儿性别和出生体重百分位数（校正了性别和孕周）。我们随机创建了150个小数据集，每个数据集包含25或26个病例和102或103个对照。苏格兰国家卫生服务局信息服务部隐私咨询委员会和剑桥地方研究伦理委员会2批准了这些分析。

乐观评估

所有分析均使用Stata 12.1版软件（StataCorp LP，德克萨斯州大学城）进行。这两个临床实例所用的预测模型均为逻辑回归模型，其中包括连续协变量的线性项，并排除相互作用项。我们使用了C类统计（案例和控制的所有可能成对组合的比例，其中案例的预测失效概率高于控制）以评估预测能力。根据给定的小数据集得出的模型的乐观度评估如下。首先，该模型适用于给定小数据集中的所有观测值C类统计是经过计算的，我们称之为天真C类统计的。然后，将该模型应用于由汇集所有其他小数据集而形成的数据集C类统计数据被计算出来，我们称之为“真”C类统计的。天真与真实的区别C类统计数据是对这个小数据集的“乐观”。

现有乐观临床数据调整方法

在样本分割中，小数据集被随机分成两组，每组三分之二和三分之一。将预测模型拟合到较大组的数据，并对C类通过将此拟合模型应用于较小组进行统计。交叉验证是通过将小数据集随机拆分为k个大小相等的组。我们使用k个= 10. 排除了1组的数据，并将模型拟合到另一组的数据k个-1组。然后将得到的模型应用于排除的组C类进行统计学计算。重复这个过程k个时间，依次排除每个组。产生的结果k摄氏度对统计数据进行平均，以得出对C类统计的。我们还对复制进行了交叉验证。这里重复了交叉验证第页时间，以不同的随机划分为k个每次分组。有人建议，分析应包括至少200个模型的开发和测试，以生成平均值(8). 因此，我们使用了20个重复的10倍交叉验证。对C类统计为200个值的平均值。

在leave-1-out交叉验证中，从小数据集中省略了一个观察结果，并对其余观察结果拟合了一个模型，用于预测省略观察结果的概率。重复这一过程，省略不同的观测，直到数据集中的所有观测都具有根据拟合所有其他观测的模型计算出的估计概率。这个C类然后根据这些概率计算统计数据。

按照Harrell等人的描述执行引导(三). 重复对小数据集进行采样以生成b条复制的数据集，每个数据集的大小与原始数据集相同。我们使用b条= 200. 预测模型适用于b条依次复制数据集。然后将每个拟合模型应用于生成模型的重采样数据集和原始数据集；这个C类对两者进行统计，并计算这两个统计之间的差异。这个b条然后对差异进行平均，以估计乐观程度。对C类然后将统计数据计算为原始值C类统计数据减去估计的乐观情绪。

Leave-pair-out交叉验证

我们对交叉验证进行了修改，其中从小数据集中删除了1个病例和1个对照，将模型拟合到其余观察值，然后使用拟合模型预测被忽略对中每个成员的结果概率。在小数据集中，对病例和对照的每一个可能的成对组合重复此过程。这个C类然后，统计数据被计算为所有成对组合的比例，其中病例的预测概率大于对照组。我们随后发现，该方法以前曾在机器学习文献中描述过，在那里被称为“leave-pair-out交叉验证”(9).

乐观调整的评价方法

所有方法均在所有小数据集中进行。我们通过减去真值来量化每种方法的系统误差C类上述统计数据，来自经优化校正的C类统计，通过给定的方法计算。当所有小数据集的中位数符号差异与0显著不同时，可以推断出系统误差。我们还评估了绝对误差（即C类用给定方法计算的统计值与真值C类统计）。使用所有方法计算所有小数据集（唐氏综合征50例，剖宫产150例）的绝对误差。然后，对于每个小数据集和每对方法，我们计算了绝对误差之间的差异。使用Wilcoxon符号秩检验，当绝对误差的中位数（小数据集）差异与0显著不同时，推断出两种方法具有不同的绝对误差。通过对每个结果的单个代表性小数据集的50次重复分析的标准偏差和范围，评估与对相同小数据集重复应用相同方法相关的变异性。

模拟研究

为了模拟与原始唐氏综合征数据集类似的单个数据集，我们生成了年龄、对数母血α-甲胎蛋白、对数母血清人绒毛膜促性腺激素值以及大量个体中每个个体的二进制结果变量，然后从该群体中抽取病例和对照。选择了15例患者和60名对照组，得出EPV为5，每例为4名对照组。对于人口中的每个个体，年龄由最小15岁、最大47岁和模式31的三角分布生成，对数母血清α-胎蛋白和对数母血清人绒毛膜促性腺激素由双变量正态分布生成，平均值取决于年龄。这些分布是在对原始唐氏综合征筛查数据集进行探索性分析后选择的。为了生成二元结果，使用了从原始数据集估计的逻辑回归模型，但系数乘以相同的常数，以确保C类该模型的统计量为0.90。

同样，为了模拟与原始剖宫产数据集类似的单个数据集，我们为大量个体中的每个个体生成了数据，然后对25例病例和100例对照进行了抽样。对于人口中的每个个体，我们独立地从最小37、最大42和模式39.5的三角分布中得出了孕龄；母亲年龄分布均匀，最低16岁，最高37岁；重量（以百分位数计）在0–100均匀。身高呈正态分布，平均值取决于年龄、孕龄和体重。性别是通过模拟一个二元变量产生的，其概率取决于其他4个变量。这些分布是在对原始数据集进行探索性分析后选择的。为了生成二元结果，我们使用从原始数据集估计的逻辑回归模型，但系数乘以相同的常数，以确保C类统计值为0.71。

为了修改EPV，我们对病例数和对照数进行了缩放（例如，在基于唐氏综合征研究的数据集中，EPV为20的病例数为60例，对照数为240例）。通过对二元结果逻辑回归模型中的系数进行缩放，改变了受试者操作特征曲线下的真实面积。在所有模拟中，我们计算了优化调整值和真实值之间的差异C类统计每个结果的1000个数据集。我们使用平均有符号差、平均绝对（无符号）差和均方误差来评估方法。

结果

唐氏综合征预测分析

剖宫产预测分析

模拟研究

在这两项模拟研究中，自举和所有形式的交叉验证（EPV为10或更高）的符号差异都相似，但剖腹产模拟的真实值除外C类统计值为0.61，bootstrapping对此持乐观态度(补充数据). 当EPV小于等于5时，引导往往是乐观的，特别是当C类统计值为0.71或更低。所有形式的交叉验证都趋于悲观，尽管有一个模拟结果是乐观的。与交叉验证相关的悲观程度小于与自举相关的乐观程度。当EPV为5或更大时，或当EPV大于5时，自举、10倍重复交叉验证和离-平交叉验证都有类似的绝对误差C类统计值为0.9或更高(补充数据). 当EPV为2且C类统计值为0.61。当EPV为2或EPV为5且C类统计值小于0.7(补充数据).

讨论

在分析2个临床数据集时，我们发现3种常用的方法用于校正C类乐观数据表现不佳。样本分割产生的结果在剖宫产预测分析中存在偏差（图1)在这两种分析中，其绝对误差均大于任何其他方法（图2). 十倍交叉验证对C类统计的。然而，在剖宫产分析中C类统计数据大于其他方法。在这两种分析中，遗漏一项交叉验证产生的估计值都有偏差，并且比其他方法的绝对误差更大。我们发现，自举、10倍交叉验证（20次重复）和离开-离开交叉验证在临床数据集中的表现都相似，对C类统计和可比绝对误差。

在模拟研究中，我们发现当EPV为10或更大时，启动、10倍交叉验证（重复20次）和离开-退出交叉验证的执行情况都类似，或者C类统计值为0.9或更高。当EPV和C类统计数据较低，与不同的交叉验证方法相比，自举方法的绝对误差和均方误差往往较低。然而，当比较有符号错误时，引导往往是乐观的，交叉验证（包括复制和离开验证）往往是悲观的，但交叉验证的偏差绝对值往往低于引导。因此，在随机和系统误差方面，没有一种方法明显优于所有其他方法。

当比较不同的交叉验证方法时，没有复制的10倍交叉验证显然不如其他方法，具有更高的绝对误差和均方误差。Leave-pair-out交叉验证的签名错误和绝对错误与复制交叉验证的其他方法类似。我们的发现是，它对C类具有低绝对误差的统计与机器学习文献中的评估类似(9). 尽管该方法的优点是，当重复应用于同一数据集时，它总是生成相同的值，但更大的计算要求可能会限制其有用性。

乐观预测问题

多元模型中乐观预测的潜在问题已被广泛认识(三). 然而，一些关键文献并没有详细讨论这个问题。许多期刊要求新诊断试验的报告符合诊断准确性研究报告标准指南(10). 然而，该指南并不要求作者表达乐观态度。此外，关于诊断测试的开发和验证的方法学审查没有详细讨论这个问题(11,12). 对使用分子标记物描述癌症预后模型的论文进行的系统综述发现，129篇文章中只有3篇进行了乐观校正(13). 此外，当研究确实纠正了乐观情绪时，会使用各种方法。例如，最近（过去3年）大规模、多中心、国际、前瞻性队列研究生成的先兆子痫预测模型包括使用自举校正(14)使用10倍交叉验证进行校正，无需重复(15).

为什么不同的方法表现不同

有许多问题可以解释方法之间的差异。一个关键方面是模型拟合系数和模型性能估计的不确定性。两者在很大程度上都存在于样本分割中，其中由于排除了用于验证的案例，模型更加不确定，而由于排除了生成模型的案例，验证更加不确定。在交叉验证中，对所有受试者的模型进行评估。然而，每个模型的样本量始终小于总样本量，通常为90%（即，在10倍交叉验证的情况下）；因此，与使用整个数据集相比，系数中仍存在更多的不确定性。因此，当生成给定预测模型时忽略的受试者数量最少时，交叉验证可能最有效。然而，退出交叉验证表现不佳。这里的问题是，尽管每个被忽略的对象都有一个估计的概率，该概率来自于一个与整个其余数据集相匹配的模型，但用于生成这些概率的所有模型都略有不同。之前已经证明，不同模型的汇集概率会导致对C类统计(16)，我们在当前的分析中也发现了这一点。Leave-pair-out交叉验证具有优势，因此，每个模型都包含生成有效样本外比较所需的尽可能多的受试者。然而，任何模型中的受试者仍然少于自举模型中的，自举模型使用重采样来增加受试者的数量，使其与完整数据集相同。

第二个可能解释不同结果的问题是随机抽样。Leave-pair-out交叉验证不涉及随机抽样，因为它评估每个可能的成对案例和对照组合以进行验证。相比之下，传统的交叉验证和自举都涉及随机抽样，因此，没有2种分析会产生相同的结果。建议乐观调整分析应包括至少200个模型的开发和测试(8)这说明我们选择了20个重复的10倍交叉验证和200个重复的引导。我们发现，与使用其他无偏方法相比，使用无复制交叉验证时的绝对误差更大，这可能反映出更大的随机误差，如图所示三相反，20次重复的交叉验证和200个样本的自举验证表明，相同小数据集的重复分析之间的变异程度要小得多，在这两种情况下C类统计值小于0.01，这与绝对误差相比很小（图2). 因此，当我们使用这些方法时，与估计C类统计反映了使用小数据集的固有不确定性，而不是使用随机抽样方法的可变性。然而C类在50次分析中估计的统计数据约为0.02，其中10倍交叉验证（20次重复）和自举验证（200次重复）。因此，使用这些方法的研究应评估重复分析的可变性，并应考虑使用更多的重复次数。

最后，我们确认在小数据集中使用天真方法会导致对C类统计的。这是因为模型是为了最好地描述给定的数据集而拟合的。随着研究规模的扩大，这就不再是一个问题，因为任何单个观测对任何拟合模型或拟合模型评估产生重要总体影响的可能性随着数据集的大小而减小。在交叉验证中，单个观察不可能对模型开发或验证产生重大影响，因为在生成或验证给定模型的过程中，用于这些过程的对象之间没有重叠。相反，使用引导，在重采样过程中，2之间存在重叠。这可能解释了对C类两个模拟研究中的统计数据。

本研究的局限性

随着数据集的大小，适合离开-淘汰法的模型数量增加。因此，在大型数据集中，这在计算上可能是不切实际的。我们能够对60例病例和240例对照进行1000次分析（EPV=20的唐氏综合症模拟）。因此，它在小数据集中是实用的，并且随着计算能力的进一步提高，它很可能在未来在大数据集中变得实用。在本研究中，每个预测因子的病例数少于其他情况下的病例数（例如，表达基因阵列）。需要进一步研究，以比较这些方法在预测因子较多的情况下的性能。

进一步的工作

当过拟合可能是一个问题时，建立预测模型还有许多其他方面，进一步的研究应比较当前分析中评估的方法，以解决这些问题。这可能包括选择变量、包含交互项和使用非线性变换。在这些角色中，离开-淘汰交叉验证可能表现得不太好，因为所有模型都是共享的n个−2个观测值，除非有一个具有高度影响力的观测值，否则倾向于选择相同的变量（或变量转换或交互作用）。

致谢

作者单位：英国剑桥大学妇产科系（Gordon C.S.Smith）；英国剑桥公共卫生研究所医学研究理事会生物统计股（Shaun R.Seaman，Ian R.White）；英国剑桥大学公共卫生和初级保健系（Angela M.Wood）；和英国伦敦医学研究委员会临床试验室（Patrick Royston）。

这项工作得到了英国国家健康研究所（剑桥综合生物医学研究中心）的支持。

我们感谢Sandy Goodburn博士（英国剑桥）、Jennifer Crossley博士（英国格拉斯哥）和Catherine Shearing博士（英国爱丁堡）提供唐氏综合征筛查数据，以及Jim Chalmers博士和Mike Fleming博士（苏格兰国家卫生服务局信息服务部）提供剖宫产数据。

利益冲突：未声明。

参考文献

作者注释