遗传关联研究的解释：具有重复高显著比值比的标记可能是较差的分类器

摘要

介绍

最近，在发现复杂疾病的潜在因果单核苷酸多态性（SNPs）方面取得了巨大成功，基因组学在个性化医学中的商业化已经开始。许多公司现在提供个性化的基因组学服务，收费相对较低，这些服务基于全基因组SNP基因分型提供个性化的疾病风险评估。大多数提供这种分析的公司都清楚地表明，它们不是临床服务，它们的计算不用于诊断或预测目的。他们通常建议客户咨询他们的医疗服务提供者以获取更多信息。在大多数情况下，人们会求助于他们的总医师[1]然而，正如其他人所指出的那样[2],[3]目前，很少有医生受过足够的遗传学培训，能够真正理解目前商业上提供的风险计算。许多医生似乎也有同样的感受。在五个欧洲国家的调查中，医生对他们认为需要更多培训来克服未来挑战的学科进行了排名[4],[5]在所有国家中，排名最高的领域是“常见疾病的遗传学”，排名第二的是“临床实践中的遗传风险评估”

不仅受试者及其医生往往对风险结果了解不足，而且这些结果往往基于风险模型，例如逻辑回归模型，而这些模型可能不是好的分类模型[6]因此，这些公司否认其服务并非医疗建议，这一点再怎么强调也不过分。目前对大多数基因在复杂疾病中的作用的了解是在疾病状态与SNP之间的组水平上。大多数SNP是通过基因关联研究发现的，旨在发现与疾病风险相关的变异。希望这些发现将为深入了解疾病的发病机制和病因学提供帮助，并最终推动新疗法或预防疗法的发展。假设这些SNP也将是有效的分类器，它们现在正在用于个体水平的风险评估、分类和临床决策。然而，对于许多复杂的疾病，例如这里讨论的疾病（年龄相关性黄斑变性[AMD]、II型糖尿病、炎症性肠病[Crohn's病]和心血管病），个性化医学中的基因组时代是否已经到来还存在争议。在这篇文章中，我们讨论并探索了高度相关的SNP对个体水平风险评估和预测的有用性。我们的重点是基因检测的分类准确性，重点是两种常用的评估生物标记物的统计方法。我们给出了现实的实际数据示例，说明目前，遗传信息对个性化医疗的价值有限。我们还讨论了基于风险和基于分类的分析方法，并将其应用于AMD数据。

两种统计方法

评估标记有两种基本的统计方法。基于风险的方法将风险建模为标记的函数，通常对协变量进行调整，并且通常应用于遗传学研究。在病例对照研究中，这是通过logistic回归进行的，对疾病风险影响最大的标记物是那些与最小相关的标记物第页-值和最极端比值比（OR）。另一种方法是基于分类的方法，根据标记在病例和对照之间的区分程度来评估标记。性能通过各种测量方法进行评估，例如病例中阳性检测结果的比例或真阳性分数（TPF或敏感性），以及对照组中阳性检测结论的比例或假阳性分数（FPF或1−特异性）。一个完美的分类器会将阳性测试结果分配给每个有这种情况的人（TPF=敏感性=1），而将阴性测试结果分配到每个没有这种条件的人（FPF=0，特异性=1）。通常，基于分类器可以将多个可能的案例和控件分组。接收机工作特性（ROC）曲线是每个可能分组的所有（FPF、TPF）对的曲线图。ROC曲线下面积（AUC）是衡量分类器辨别能力的常用指标。这是一种概率，给定两个随机的个体，一个会患上这种疾病，另一个不会，分类器将前者指定为阳性测试结果，后者指定为阴性结果。理论上，AUC可以取0到1之间的值，但实际下限为0.5；完美分类器的AUC为1。AUC显著大于0.5的分类器至少有一些区分病例和对照的能力。然而，对于疾病风险增加的个体的筛查，建议AUC大于0.75，对于一般人群的症状前诊断，AUC应大于0.99[7]当以预后为目标时，人们通常还通过两个额外的指标来评估分类模型：（1）在检测结果为阳性或预测值为阳性的人群中，将发展成该疾病的人群的比例，以及（2）在检测结果呈阴性或预测值呈阴性的人群中，不会患上这种疾病的比例(方框1). 我们顺便注意到，还有其他方法可以模拟分类性能，并已应用于遗传研究，例如，遗传算法、广义多因素降维和随机森林[8]–[10]然而，为了保持讨论的重点，我们在此不讨论这些其他方法。

虽然基于风险的（逻辑回归）和基于分类的（ROC理论）方法在方向性方面不会产生矛盾的结果，但它们可以而且经常会在规模或重要性方面有所不同。例如，与风险密切相关的标记很可能是较差的分类器；反之亦然，一个好的分类器可能与风险只有微弱的关联[6]此外，这两种方法都没有直接测量校准，即预测风险与潜在真实风险的一致程度[11](方框2).

在病例和对照之间的区别最为重要的诊断环境中，重要的是病例比对照具有更高的估计风险，准确与否。然而，当预后或风险分层是目标时，区分和校准都很重要。然后，我们需要一个模型，既能很好地区分未来病例和那些将继续控制的病例，又能准确估计未来疾病发展的确切风险。

比值比、分类、校准和预测

OR被广泛用于评估标记，并且假设与OR最极端相关的标记是有效的预测因子。然而，正如我们前面提到的，与风险密切相关的标记很可能是一个糟糕的分类器，反之亦然，一个好的分类器可能只与风险弱相关[6]此外，与风险相关的标记可能校准得很好或很差，也就是说，预测的风险可能与真实风险吻合得很好也可能不好[11].

为了使强关联标记在分类中有效，关联OR必须具有在遗传关联研究中罕见（如果有）的极端大小。如所示图1如果人们想用一个二元标记物检测80%的病例，如存在或不存在风险等位基因，ORs为1.5、10或50，那么大约73%、29%和7%的对照将被误标为病例，二元标记获得的AUC将分别为0.54、0.76和0.86。即使是50的巨大OR也不能保证标记具有可接受的预测精度；例如，TPF可能低得令人无法接受（TPF=55%，FPF=2.4%，AUC=0.76），或者FPF高得令人无法忍受（TPF=97.6%，FPF=45%，AUC=0.76）(图1).

在单独的窗口中打开

图1

二进制标记的精度曲线。

绘制了ORs为1.5、10和50的二元标记的准确点曲线（FPF、TPF对）。黑钻石和水平虚线突出显示了精度曲线上的点（FPF，TPF）=（FPF、80%）。OR标记在曲线上。

让我们在基因型编码为0、1和2的加性遗传模型下，检验可实现的AUC作为风险等位基因频率的函数(图2和表1). 在图2，我们绘制了OR固定值的AUC，作为病例中风险等位基因频率的函数(第页 _{加利福尼亚州})在Hardy-Weinberg平衡的假设下。我们清楚地看到，OR为3的标记的最大可能AUC小于0.70，OR为5的标记甚至没有达到0.80。对于每个OR，对照组的风险等位基因频率(第页 _有限公司)对应于图中给出的最大可能AUC，毫不奇怪，为了达到每个OR的最大可能AUC，病例和对照组之间的风险等位基因频率差异必须相当大(表1). 例如，使用OR值为10的标记物达到0.80的AUC，病例和对照组的等位基因频率将大不相同(第页 _{加利福尼亚州} = 0.49和第页 _有限公司 = 0.09) (表1).

在单独的窗口中打开

图2

作为病例中风险等位基因频率函数的SNP标记加性风险模型的AUC。

假设加性OR为1.5、3、5、10和50（OR标记在曲线上），对对照组中所有风险等位基因频率的AUC进行估计。灰色数字是对照组中对应于每个OR最大AUC的风险等位基因频率。灰色水平虚线表示AUC为0.7和0.8。黑色菱形突显要点(第页 _{加利福尼亚州}，AUC）=(第页 _{加利福尼亚州}，0.80），对于添加ORs 10和50的标记（参见表1).

比值比、相对风险和风险

在回顾性研究中，除非已知患病率，否则无法估计相对风险或风险比（RR），因此，or被用作代理。理论上，如果患病率较低，OR将给出RR的很好近似值，但在其他情况下，OR往往会高估RR[12],[13]RR是两种风险（概率）的比值，正确地解释为，与没有这种基因组合的人群相比，共享同一基因组合的人患上感兴趣疾病的可能性更大。RR的分子是给定感兴趣的基因型组合的疾病风险，但很明显，RR（或or）本身不是对个体水平风险的估计，当然也不是诊断测试或分类器。

统计学家应该很容易理解OR、RR和风险之间的关系，但没有受过统计学（或一般科学）培训的人可能不会轻易做出相同的区分。遗传咨询文献中的许多研究调查了人们对风险评估的看法。例如，在一项关于女性乳腺癌感知风险的研究中，当被要求将风险量化为1000分之一时，98%的女性高估了10年内死于乳腺癌的风险，高估了一半到8倍。有趣的是，只有10%的女性认为自己比同龄女性的风险更高[14].

预测性基因检测的临床有效性和实用性

临床有效性是通过标记物的辨别能力或其将人归类为病例或对照的能力来衡量的。AUC虽然不完善，但却是一种流行且易于解释的分类准确度测量方法。它可以解释为一个案例的预测风险高于控制风险的概率。不同的TPF和FPF对以及AUC的不同值可以对应相同的OR(图1). 因此，OR本身不能给出被正确分类为病例（TPF）的概率或被错误分类为病例（FPF）的概率的有意义的指示，仅其值对个人基本上是无用的。

预测性基因图谱对复杂疾病的临床实用性至少取决于两个条件：（1）在普通人群中有高效的预防手段，（2）这些预防手段对遗传高危人群也有效。此外，值得注意的是，对于许多复杂的疾病，已知的预防性生活方式改变广泛有益：减肥、戒烟、血压控制、定期锻炼、富含水果和蔬菜的饮食等，对许多人来说，花1000美元去发现自己在某些疾病上的遗传风险增加，却让医生告诉他们，他们唯一能做的就是减肥和戒烟，这可能是浪费。另一方面，如果一个人更有可能改变生活方式并坚持下去，那么无论是对个人还是对整个人口来说，都会受益匪浅。当然，另一方面，如果基因测试表明一种或多种特定疾病的风险低于平均水平，那么将采取什么行动。

重新分类

AUC试图测量模型区分病例和对照的能力，以获得一组将两组分开的临界值。然而，在个人的基础上，我们也希望该模型能够提供对该人风险的最佳估计。比较不同风险模型的个体水平风险估计准确性的一种方法是使用重新分类表方法[11],[15]在这种方法中，我们衡量了当应用不同的风险模型时，受试者被估计为处于不同风险层的频率，以及重新分类是否更准确地将个人分为高风险层还是低风险层。对AUC有轻微影响或没有影响的标记可以改进风险分类[11]例如，假设我们正在比较两个风险模型，这两个模型在单个个体的20%-30%风险阶层成员资格与10%-20%风险阶层成员身份方面存在差异。如果这两个模型通过将低于40%风险阈值的所有人归类为控制对象，将高于40%的所有人分类为案例来实现最佳区分，则TPF和FPF不会因此人的重新分类而发生改变，但就个人风险估计的真实值而言，一个模型比另一个模型更准确。

示例

现在，我们从文献和我们自己的数据中提供了几个例子，说明尽管一组SNP与疾病风险密切相关，但极其微小第页-值时，同一组SNP可能不一定具有很高的识别能力，或者可能不会显著提高使用“传统”非遗传风险因素构建的分类模型在没有SNP的情况下的识别能力。

与年龄相关的黄斑变性风险

使用我们以前发布的AMD数据[10]上CFH公司,LOC387715号、和指挥与控制变量，我们绘制了ROC曲线，估计了单因素、双因素和三因素模型的AUC和阳性预测值（详细方法见文本S1).图3显示了零模型和五种遗传风险模型的ROC曲线：CFH公司,LOC387715号、和指挥与控制SNP，双因素模型CFH公司和LOC387715号以及所有单因素模型。我们发现，若要使用三因素模型正确识别约74%的病例，我们会错误地将31%的对照分类，若TPF约为80%，FPF需要高得令人无法接受（>40%）。三因素模型的AUC很高，为0.79，与0.5显著不同（95%置信区间[CI]0.74–0.83）(表2).表2同时给出了logistic回归分析的结果：瑞士法郎和LOC387715号风险等位基因约为3个第页-值约为10⁻¹³.

在单独的窗口中打开

图3

AMD分类模型的ROC曲线。

黑色菱形突出了三因素模型ROC曲线上的点（FPF，TPF）=（31%，74%）CFH公司,LOC387715号、和指挥与控制参考灰色线给出了“机会”分类规则：ROC曲线离机会线越远，分类规则越好。

表2

Logistic回归和ROC分析结果。

模型	因素	对数几率回归		ROC分析
		或	第页-价值	AUC公司	95%置信区间
模型1	CFH公司	2.89	9.1×10−13	0.79	0.74–0.83
	LOC387715号	3.42	2.3×10−13	0.79	0.74–0.83
	指挥与控制	0.39	1.3×10−3	0.79	0.74–0.83
型号2	CFH公司	3	9.1×10−14	0.77	0.73–0.82
	LOC387715号	3.38	2.5×10−13	0.77	0.73–0.82
模型3	CFH公司	2.77	2.1×10−13	0.69	0.64–0.73
模型4	LOC387715号	3.11	6.2×10−13	0.69	0.65–0.74
模型5	指挥与控制	0.33	1.9×10−5	0.56	0.53–0.60

在单独的窗口中打开

每个变体的OR是一个加性模型，其中基因型编码为0-1-2。

AUC的置信区间（CI）是渐近的，并使用DeLong估计量导出[48]用于差异。

我们还绘制了综合预测性和分类图，该图结合了来自上述基于风险和分类的分析方法的信息[27].在综合图中(图4)，有两个对齐的图：在顶部图中，有序的单个风险绘制为风险百分位数的函数，在底部图中，TPF和FPF绘制为风险百分比的函数，以便在每个点，计算TPF和FPF的风险阈值等于与相应风险百分位数相关的风险。如果我们现在查看三因素模型的综合预测性和分类图，我们会发现TPF和FPF对74%和31%对应于35%的风险百分位(图4，底部面板），这对应于选择4%的AMD风险作为个体分类的临界点(图4，顶部面板）。风险大于4%的被认为是高风险的，被归类为病例，风险较低的被归类为控制。为了说明这一点，假设我们的人口规模为1000人，患病率为5.5%（根据Friedman et al。[28]和美国2000年人口普查数据文本S1更多详细信息）。如果患病率为5.5%，那么我们人口中将有55例。在这55例病例中，74%或41例被正确地认为是AMD的高风险，而真正的945例对照中，31%或293例被错误地认为是高风险。因此，在高风险组中的334（41+293）个人中，88%实际上应该属于低风险组，换句话说，PPV仅为12%（即100%−88%）。当设计一项临床试验来测试仅基于基因分型的高风险队列中的预防性治疗时，将12%（而不是5.5%）的研究队列作为真实病例可能具有成本效益，也可能不具有成本效益。然而，作为一项临床测试，对88%的高危人群进行不必要的警告可能被认为是不道德的，尤其是在治疗和预防选择有限的情况下[29].

在单独的窗口中打开

图4

三因素模型的综合预测性和分类图。

浅灰色线显示了文本中给出的示例中如何使用这些图：虚线表示第一个示例，TPF=74%，FPF=31%，风险百分位数=35%，AMD风险阈值=4%；虚线表示第二个例子，AMD风险阈值=25%，风险百分位数=85%，TPF=17%，FPF=5%。在顶部面板上，案例风险用黑色圆点标记，而控制风险用深色垂直线段标记。

为了降低高风险人群中控制组的比例，可以使用更严格的阈值来称呼某人为高风险，例如25%，而不是上面使用的4%阈值。然而，使用这一较高的风险阈值只会将高风险人群中控制组的比例从88%降低到84%，如图所示：(图4，顶部面板）显示25%的风险阈值对应于85%的风险百分位数。查看分类曲线(图4，底部面板），我们看到85%的风险百分位数对应于17%的TPF和5%的FPF。再次，为了正确看待这些数字，让我们再次假设我们的人口规模为1000人。55例真实病例中有9例（17%）被正确归类为高风险，945例控制中有47例（5%）被错误归类为高危险。因此，84%（47/56=47/（9+47））被归类为“高风险”的人实际上是控制因素（PPV=100%−84%=16%）。

当应用于病例对照数据时，综合预测性和分类图取决于假定的疾病流行率，这可能无法精确地知道，或者可能与AMD的情况一样，严重依赖于年龄。请注意，随着流行率的变化，底图没有变化，只有顶图发生了变化：尽管它看起来基本上仍然相同，但随着流行率越来越高，风险将在0到1之间扩大，否则将减少。

其次，值得注意的是，如果使用不同的患病率值，我们AMD示例的结果会发生怎样的变化。AMD的发病率与年龄高度相关表3，我们使用不同年龄组的患病率估计值来计算PPV。如果患病率增加，结果就不那么令人失望了（PPV增加），但如果患病率降低，情况会更糟(表3). 显然，根据基因型数据区分当前病例和对照组的能力CFH公司,LOC387715号、和指挥与控制独自一人，随年龄变化。根据这三个变异体的遗传高风险评分，粗略估计80岁时的终生风险为30%，而80岁时基线终生风险为15%(表3).

表3

不同流行值的阳性预测值（PPV）。

患病率	年龄组	风险阈值	PPV（购买力平价）
15%	80岁及以上	10%	30%
5.5%	65岁及以上	4%	12%
1.5%	40岁及以上	1%	3%

在单独的窗口中打开

风险阈值对应于TPF=74%和FPF=31%（如文中第一个示例所示）。

PPV=高危人群中的病例比例。

1−PPV=高危人群中对照组的比例。

AMD示例的讨论

如果AMD基因诊断测试的主要目标是在出现不可逆转的退行性改变之前确定高危人群，以最大限度地提高长期预防策略的有效性，那么我们将对40-55岁（或更小）的人群进行测试，以预测他们是否会在80岁之前患上AMD。我们在此提供的病例对照数据并没有完全测量遗传数据预测未来疾病状态（预后）的能力，原因如下：（1）AMD患病率随着年龄的增长而增加，（2）与男性相比，女性在所有年龄组中的患病率都更高，（3）女性寿命更长，（4）根据病例对照数据得出的FPF被高估了，因为随着队列年龄的增长，一些对照会发展为AMD，（5）病例/对照计数不平衡，因此我们的样本可能不是评估标记物分类准确性的最佳样本[30]ORs的估计值以及大多数其他AMD病例对照研究的估计值都是基于极端表型的比较：将一组AMD晚期患者与一组没有或极少临床发现的对照组患者进行对比。因此，他们很可能高估了具有中等临床发现的个体的RR和辨别力。即使以乐观的方式考虑所有这些问题，我们分析的总体结论也不太可能发生显著变化。使用生存分析技术对纵向队列数据进行适当分析，可以更准确地评估遗传数据在预测终身AMD状态中的潜在价值[31],[32].

众所周知，在理解AMD遗传学方面取得的主要成就，以及AMD的发现[33]–[38]被广泛提及为全基因组关联分析有效的第一个“证据”（尽管大多数AMD研究不是全基因组关联研究，而是针对连锁区域的搜索）。结果是如此令人兴奋，也许我们所有研究AMD的人都有夸大结果的罪过。以下是几个示例：

“然而，有了所有的基因发现，很快就有可能以合理的准确性提供症状前诊断，从而为高危人群制定更好的疾病管理策略。”——Swaroop等人。[39]

“对ARM易感性中这些基因的持续支持有望使我们更接近于利用这些基因中的信息来识别高危个体，并为未来临床试验提供合理的基础，以测试高危人群的预防性治疗。”-Conley等人。[40]

“从另一方面来说，这些基因型显然可以识别出AMD终生风险在1%以下到50%以上的个体；然而，需要进行纵向研究来确定可归因于这些基因座的真正风险以及这些基因座可能与已知环境和生活方式风险因素相互作用的方式。”-Maller等人。[41]

所有这些陈述在科学上都是有效的，措辞谨慎，很明显，调查人员谈论的是“潜力”、“未来”和“希望”。然而，他们可能也被过度解读了。例如，最近的一篇综述[42]引用Maller等人。[41]并声明：

“补体因子H中的SNP(CFH公司)和PLEKHA1/ARMS2/HtrA1捕获AMD风险的很大一部分，并允许识别患有AMD的高风险个体。”

偶数自然遗传学似乎也夸大了AMD遗传学的潜在影响。在2007年12月号[43]，编辑们讨论了关于个性化基因组学的新炒作，并问道：“除了年龄相关性黄斑变性这一可能的例外，我们对风险范围有多大信心？”然而，正如我们在这里所展示的，我们还不能为AMD破例。然而，我们不应该因此而气馁。AMD风险基因的发现确实令人惊叹，它们当然应该鼓励和指导未来的研究。事实上，发现CFH公司基因为补体通路异常功能可导致AMD的假说提供了更坚实的基础，并导致在该通路中发现了其他AMD基因[9],[44]–[46].

结论

遗传关联研究已经确定了许多复杂疾病的易感性变体，并且在许多情况下，增加了对疾病病因的了解。然而，正如我们在这里使用实际数据和理论示例讨论的那样，强关联并不一定保证良好的分类或辨别能力。在将关联结果用于分类和风险评估目的之前，我们需要使用适当的度量和理想的适当研究设计正式确定其有效性。此外，当通过在预测模型中添加标记来评估预测值的改进时，我们可能需要使用除AUC之外的其他度量，例如重新分类表。

在我们的例子中，我们发现在风险模型中添加九个高度显著的风险SNP并不能提高标准风险因素以外的心血管事件的识别能力。对于2型糖尿病，基于12个SNP的分类规则得出的AUC仅为0.64，该值远低于筛查和预后的0.75和0.99临界值。对于克罗恩病，基于五个SNP的分类模型得出的AUC仅为0.66，而对于前列腺癌，两个SNP模型得出的AUC仅为0.56。这两个值都远低于0.75和0.99截止值。对于AMD，具有三个SNP的模型的AUC为0.80，但受影响个体的阳性检测结果比例仅为30%、12%和3%，具体取决于假定的患病率（分别为15%、5.5%和1.5%）。尽管这四个例子的结果有些令人失望，但考虑到Janssens等人的理论结果，这并不令人惊讶。[7],[47]这表明实现高AUC需要比我们迄今为止更多的遗传变异。例如，Janssens等人证明，为了进行基因分析，平均需要80个ORs为1.25的常见变体来开发一个用于识别高危个体的模型（AUC>0.80）。

尽管我们的示例表明，高度关联的SNP可能无法作为分类器有效，但不应得出结论，即关联发现并不重要，关联研究也没有价值。在许多情况下，关联发现已经并将继续导致以前未考虑的新的病因假设。例如，在AMD的情况下CFH公司发现[33]–[35],[37]导致了对补体途径的新关注，并随后在该途径中发现了其他新的疾病基因[9],[44]–[46].科学界应该非常谨慎，避免在其发表之前就过度炒作协会发现的“个性化医学”价值，以免我们失去公众的善意和支持。

支持信息

致谢

脚注

工具书类