基因查询检索

摘要

背景

本研究的重点是从MEDLINE检索基因查询的问题。检索有关基因的正确文档集的能力是生物信息学中快速增长的各种基于文本的解决方案的基础。最终目标是否是自动识别基因-疾病关系[1]或提取与特定疾病（如癌症）相关的药物和基因的相关信息[2]，准确识别关联文档集非常重要。基因查询的有效检索与使用MEDLINE分析DNA微阵列和寡核苷酸阵列实验生成的基因簇的扩展研究尤其相关[3-7]. 单阵列实验通常涉及数千个基因，通常是全基因组范围的。这使得对数组表达式数据的分析非常具有挑战性。一些研究人员提出了使用每个基因的MEDLINE数据的技术。例如Chaussabel和Sher[7]补体基因表达聚类分析，根据基因的文献资料对基因进行聚类。Kankar等人[5]对基因文献中的MeSH术语进行统计评估，以确定不同重要性水平的基因簇的局部特征。雷恩和加纳[6]利用文献共现性来评估基因簇的内聚性。当然，这种一次分析数百个基因的方法，关键取决于其底层文档检索功能的准确性。

基因查询检索的一个重要方面是与基因名称相关的模糊性，这使得检索具有挑战性，也因此很有趣[8]. 关于这种基因名称模糊现象的研究有相当大的一部分，并且在不断增加[9-13]特别强调消歧策略的设计和测试。Weeber等人[11]研究了LocusLink（LL）基因名称中的各种歧义，如同义词和同音异义词。他们还使用Schwartz和Hearst扩展算法自动创建一个基因消歧测试集合。Tuason等人[12]研究了四种生物（小鼠、果蝇、蠕虫和酵母）的基因名称的模糊性。它们可以识别所有有机体、每个有机体内部以及通用英语单词的歧义。

在文献中可以找到各种消歧方法。Liu等人[14]使用两阶段无监督方法自动训练和构建歧义生物医学术语的词义分类器。Podowski等人[15]使用有监督的方法将其对应的LocusLink ID分配给MEDLINE摘要中的每个基因名称。他们为使用LocusLink和SWISPROT记录中的MEDLINE引文训练的每个LocusLinkID创建了模型。Koike和Takagi[16]Seki和Mostafa使用启发式构建的基因名称和基因家族名称词典[17]探索了概率方法。最近，Schijvenaars等人[18]使用了一种方法，包括对不同意义的基因进行同义词表和参考描述，后者是根据代表性文件或OMIM构建的。他们的基因符号、名称等同义词库是根据OMIM和LocusLink等五个公共数据库建立的。

如前所述，我们的方法是从检索观点。KDD 2002挑战杯等活动[19]，BioCreAtIvE挑战[20]和TREC基因组学[21]提供相关研究。然而，我们的研究在目标和实验设计上都是不同的。在2002年的KDD中，尽管一项任务是按照需要策划的概率对论文进行排序和检索，但实验条件与我们的实验条件有很大不同。例如，该系列从FlyBase域“清理”的全文论文不到1100篇。在BioCreAtIvE 2004研讨会的子任务2.3中，参与者被要求“提供十种蛋白质，即与注释相关的文章”，以及与GO注释相关的信息[22]. 在此，《生物化学杂志》（Journal of Biological Chemistry）上的全文文章也仅限于212篇。此外，如组织者所述，由于“参与者人数有限”等原因，未对子任务的结果进行评估。

在2003年TREC基因组追踪中，一项任务是从50个基因主题的525938个MEDLINE记录中检索[23]. 2004年TREC基因组学跟踪也有一个检索任务，有50个查询，但这次代表了更广泛的生物信息学查询[24]例如，探索基因与疾病之间关系的查询。我们的努力与这两项TREC努力不同。尽管我们使用了460万条MEDLINE记录的数据集，主要建立在TREC 2004数据集上，但我们关注的是更大的（接近9400个查询）和不同的查询集（专注于基因查询）。我们使用与TREC 2003相似但不完全相同的策略来识别金标准相关文件。我们的方法识别的相关文档数量是原来的两倍多。除了实验设计上的差异外，我们的检索目标更直接地关系到生物科学家使用基于MEDLINE的证据来分析涉及数千个基因的基于阵列的表达数据的需求。

与基因串歧义识别和解决的广泛研究相比，很少有研究将重点放在评估MEDLINE文件的有效性上检索使用基因查询。消除歧义的重点是特定文档中基因串的个别出现。然而，尽管消歧策略可以正确地确定给定的模糊字符串代表感兴趣的基因，但文档可能仍然不相关。例如，如果只在外围环境中提及该基因，就可能发生这种情况。另一方面，根据定义，检索与相关性有关。从长远来看，在处理基因时，结合检索研究和消歧研究的优势可能是有益的。本文的重点是检索。对于我们样本中的每个基因，我们从PubMed检索到的一组文档开始，目的是使用信息检索研究中的排名方法来改进这组文档。

PubMed是MEDLINE的公共接口，提供了在布尔框架内设计的一系列复杂的搜索功能。然而，对检索到的一组文档进行排序的主要选项是按时间顺序排列的。换句话说，PubMed查询将MEDLINE集合划分为两个集合：一个满足查询，另一个不满足查询。然后，前者按时间顺序显示给用户。PubMed检索的集合中没有“灰色阴影”。根据文档的相关性潜力对文档进行排序可能会带来很大的好处，尤其是在检索到大量文档时，这是许多基因查询的情况。因此，我们的目标是探索有效的战略排名PubMed检索到的文档。我们从一个基线排序策略开始，该策略仅使用提交给PubMed.的原始基因查询中的术语。然后，我们探索了各种其他排序策略，假设不同水平的基因领域知识。我们还研究了模糊性对性能的影响。

在最近的研究中，Chen等人[13]对基因名称进行了迄今为止最广泛的研究。他们探索了21个物种，研究了不同模糊度的分布，包括本研究中研究的模糊度。例如，他们发现，尽管他们的基因集只有0.57%由具有英语含义的基因组成（在老鼠数据集的上下文中），但他们检索到了另外233%的基因文档“实例”，其中大多数是不正确的。我们提供逻辑上互补的研究，尽管研究的重点是单个基因组的基因。我们对人类基因的检索有效性及其固有的命名模糊性进行了系统研究。具体来说，我们提出了三个主要实验，共涉及9390个基因（从LocusLink（LL）鉴定出具有已知功能的人类基因）。每个实验都探索了一个或多个排序查询应用于从MEDLINE检索的基因查询文档集的有效性。我们的目标是在检索集中对相关文档的排名高于非相关文档。

结果和讨论

对于每个基因，我们通过搜索取自LL的OFFICIAL_gene_NAME、OFFICIAL_SYMBOL和ALIAS_SYMBOL字段的别名的析取，从MEDLINE检索文档。检索的文档仅限于MEDLINE的一个子集（接近460万条记录），主要由2004年TREC基因组数据集组成[24]. 44%的基因查询检索到100个或更多文档，而近25%检索到500个或更多的文档。相关文档（我们的金标准）是从每个基因LL记录中的PMID和GRIF字段中提取的。在TREC 2003中，仅使用LL的GRIF字段就50个基因主题确定了金标准文档。已注意到该相关性信息库不完整[23]. 对于我们收集的9390个查询，我们从PMID和GRIF字段中提取的策略确定了黄金标准判断数（47639）是单独使用GRIF（21517）的两倍多。我们发现，76%的主题通过LL识别了五个或更少的相关文档。这表明，确保基因查询检索的准确性是一项挑战，用户可能会从按相关性潜力排序的检索集中受益。对于给定的基因，我们使用基本的tf*idf策略计算一组术语向量以进行术语加权。为每个检索到的MEDLINE记录和每个排名查询计算术语向量。计算[0,1]中的余弦相似性分数，用于每个排序查询向量–检索到的文档向量对。给定一个排序查询，检索到的文档按与查询的余弦相似性排序。排名集合仅限于排名靠前的10000个文档。我们认为，用户不太可能想要更大的检索集。我们使用平均精度（AP）衡量排名质量[24]. AP是在排名文档列表中每个相关文档的位置计算的精度分数的平均值。例如，给定一个排名列表，其中3个金标准文档位于第2、5和7位，AP是精度分数（0.5、0.4、0.43）的平均值，等于0.44。由于AP对每个相关文档的排名敏感，我们还计算了排名前5的文档的（标准化）精度（NTop5P=Top5P/max_Top5P）。Top5P是排名前5的相关文档数除以5。由于某些查询的相关文档少于5个，因此包含了规范化因子。例如，如果一个基因只有3个金标准文档，那么max_Top5P为0.6。如果对于这样的查询，所有3个相关文档都在前5个位置内，则NTop5P=0.6/0.6=1。相反，如果前5名中只有2名，则NTop5P=0.4/0.6=0.63。对于至少包含5个相关文档的查询，NTop5P与Top5P相同。

对各主题的得分进行平均，得出平均AP（MAP）和平均NTop5P。AP是我们的主要衡量标准。我们比较了五种文档排名策略。B1和B2是基准策略。S、 P和SP由LL构建。

1基线1（B1）：此排名查询与PubMed查询（基因名称和别名）相同，没有析取运算符。

2基线2（B2）：我们在B1排名查询中添加了术语“基因”、“遗传学”、“基因组”和“致癌基因”。在这里，我们希望引导排名有利于整个遗传学领域的文档。这个查询部分是由“查询区域”的概念驱动的[25].

三。总结（S）：我们在B1中添加基因LL记录的SUMMARY字段。例如，该字段描述了基因的功能、结构和相关的表型信息。它是使用各种来源的数据生成的[26].

4产品（P）：我们在B1查询中添加LL中的PRODUCT、PREFERRED_PRODUCT、ALIAS_PROT字段。

5总结+产品（SP）：LL摘要和产品信息都添加到B1排名查询中。

不幸的是，并非我们库中的所有9390个基因都同时具有LL中的摘要字段和产品字段。4647个基因的子集既有摘要又有产物（用于出口1）；4195的另一个子集没有摘要（在表达式2中使用），而全集在表达式3中使用。

排名结果（实验1）

我们首先使用4647个既有摘要字段又有产品字段的基因来比较我们的五种排名策略。图​图11显示了地图每个策略的得分以及95%的置信区间。我们发现，通用查询（B2）在性能上与B1没有太大区别。但与B1相比，S和SP显著提高了14%，与B2相比，提高了12%。此外，S和SP的95%置信区间与B1和B2的置信区间不重叠，表明差异在0.05显著性水平上具有统计学意义。即使与B1相比，P也很弱，尽管当添加到S中时不会影响性能（S和SP显示出几乎相同的结果）。图​图22显示了每种策略的相应平均NTop5P得分。我们再次发现，S和SP与B1和B2在0.05显著性水平上存在显著差异。与B1和B2相比，改善幅度分别约为10.4%和8%。

在单独的窗口中打开

图1

排名策略绩效（MAP）图中显示了4647个基因组中不同策略的平均AP得分（95%置信区间），LL中提供了这些基因的摘要和乘积。

在单独的窗口中打开

图2

排名策略的表现（NTop5P）图中显示了4647个基因组中不同策略的平均NTop5P得分（95%置信区间），LL中提供了这些基因的摘要和乘积。

有关更详细的分析，请参见图​图33显示AP分数的差异图，其中差异是根据B1计算的。这些基因被分配到由B1 AP评分定义的10个箱子中。我们看到，随着B1绩效下降到约0.7以下，其他排名策略通常会变得越来越有利。事实上，最好的策略是，从第四个箱子到右边，SP收益率从0.06增加到0.14。根据基线平均值进行评估，这个bin范围显示出显著改善，涵盖3297/4647（71%）个基因。我们再次看到P是无效的。

在单独的窗口中打开

图3

平均精确度差异：B1 AP结合的基因基因分布在B1 AP评分定义的10个箱子中。除了最右边的箱子有617个基因外，每个箱子都有450个基因。箱子中基因的平均B1得分显示在X轴的方括号中。Y轴表示给定策略和B1之间AP的平均差异。因此，例如，对于距离原点最近的箱子，其平均B1得分为1.0，B2会降低性能。平均来说，它使AP下降了0.06。X轴下方的横线表示排名的负面影响，上方的横线则表示正面影响。条形图的高度表示性能的改善/下降程度。

图​图44显示了NTop5P评分的差异图。根据相应的B1得分再次进行装箱。我们看到，随着基准绩效下降到0.7以下，其他排名策略显示出积极的影响。SP是最好的，从垃圾箱5起平均增加0.02至0.3。在这里，P也表现不好。

在单独的窗口中打开

图4

NTop5精确度的差异：B1 NTop5P结合的基因。这些基因通过B1 NTop5P评分进行装箱。每个垃圾箱有450个基因，除了最右边的垃圾箱有617个基因。每个箱子的B1 NTop5P平均得分显示在X轴的方括号中。Y轴表示给定策略和B1之间NTop5P的平均差异。X轴以下的横线表示性能下降，而X轴以上的横线则表示性能提高。改善/下降的程度由杆的高度表示。

总的来说，我们最好的策略，SP和S，比B2做得好得多。对于SP，AP（从4号料位开始）的改善百分比为11.6%，NTop5P（从5号料位）为7.9%。因此，我们的基因特定策略比通用排名策略表现更好。毫不奇怪，我们发现当B1性能已经相当合理时，很难进行改进。我们现在面临的问题是，给定一个基因查询，我们能否预测其B1性能是否足够？换言之，我们能否确定SP排名将产生改进的基因？我们将在本文的后面讨论这个问题。

不明确基因的结果

最近研究的一个重要重点是探索和理解基因术语的歧义程度和多样性。因此，我们检查了我们在被模糊术语引用的特定基因中的排名策略的优点。我们探讨了三种歧义。这些并不是互斥的，因为一个给定的基因搜索术语可能在多个方面存在歧义。我们提醒读者基因与其组成基因术语（搜索术语）之间的区别。歧义是在搜索词级别确定的。如果一个基因的搜索词中至少有一个不明确，则认为该基因不明确。

不同的基因-相同的基因术语

基因术语有时指多个基因。例如，基因术语弗拉普指小鼠基因和大鼠基因。另一个例子是亚太地区1，是人类基因的搜索词，也是老鼠基因的别名Nudt2号机组这类歧义已被多项研究所研究[12,13]. 对于4647个基因搜索中的每个术语，我们都会计算其出现的LL记录的数量。（计数仅限于出现在OFFICIAL_GENE_NAME、OFFICIAL_SYMBOL和ALIAS_SYMBOL字段中，并且与记录中指示的物种无关）。出现在1个以上LL记录中的基因项被认为是不明确的。带有这样一个搜索词的基因被认为是模糊的。根据这一标准，4647个基因中的2516个（54%）被标记为不明确。这些2516个基因的结果如图所示​图55&6在“重复基因”下。我们发现，与B2（B1）相比，SP和S仍然是最好的，MAP提高了13.3%（15.9%）和12.8%（15.4%），平均NTop5P提高了9.2%（12.9%）和9.1%（12.7%）。由于95%置信区间不重叠，两种策略提供的改善在0.05的显著性水平上具有统计学意义。

在单独的窗口中打开

图5

含模糊基因的性能（MAP）图中显示了在LL（DG）、一般英语意义（ENG）和其他生物意义（BIO）中有重复记录的基因的每种策略的MAP得分（95%置信区间）。

在单独的窗口中打开

图6

含模糊基因的性能（NTop5P）图中显示了在LL（DG）、一般英语意义（ENG）和其他生物意义（BIO）中有重复记录的基因的每个策略的平均NTop5P得分（95%置信区间）。

具有英语语言意义的基因术语

第二种歧义是基因术语（通常是基因符号，如GAB，澳大利亚和酒吧)也有一般英语的意思。我们通过简单的WordNet查找来识别这些术语[27]. 我们排除了含义包含诸如基因、基因组、酶、氨基酸等词的情况，这些词指向与遗传学相关的含义。我们数据库中4647个基因中有446个（9.6%）至少有一个基因术语具有一般英语含义。该子集的结果如图所示​图55&6在“English Genes”下面。在这方面，S战略处于领先地位，尤其是在NTop5P中。相对于B2（B1），MAP提高13.6%（19%），NTop5P提高13.7%（24.5%）。除MAP w.r.t.B2外，所有改善在统计学上均为0.05。SP的表现也很好。然而，MAP和平均NTop5P的差异在0.05水平上一般不具有统计学意义。

MEDLINE中具有其他含义的基因术语

还有一些具有其他生物学意义的基因术语[13]. 例如，基因术语ACR公司有许多不同的生物医学含义，包括白蛋白/肌酐比值，获得性细胞抵抗和急性与慢性比率.含义如下异常宇宙射线也出现在MEDLINE中。我们寻找的正确基因含义是顶体酶。其他研究人员也在这方面进行了探索，尤其是在扩大缩写的背景下[28,29]. 特别是施瓦茨和赫斯特[30]发布了一种算法，允许人们识别显示为A类(B)在文本中，其中A类是一个缩写，并且B是其对应的长形式。我们选择此算法而不是其他算法[28,29]因为它的简单性和速度。它的有效性也与大多数其他方法相当[30].

我们通过Schwartz和Hearst算法处理检索到的每个基因的文档，寻找该基因搜索中每个术语的可能扩展。2277/4647个基因（47.8%）至少有1个组分基因项，鉴定出1个以上的长型。这些被认为是模棱两可的。这种方法并非没有局限性，因为算法依赖于A（B）文本中的结构A类表示基因项和B正确识别为可能的扩展。2277个基因的这一子集的结果如图中的“生物基因”所示​图55&6SP策略（S为等效值）使MAP提高11.7%（17.5%），平均NTop5P提高9.7%（17.2%），而B2（B1）则有所提高。这些数字还表明，在0.05显著性水平上，这些改进是显著的。我们还估计程度基因层面的模糊性，我们称之为二义性_生物对于基因G公司定义如下：

二义性_生物(G公司) = 0,如果|扩张(克_我)| = 1,∀我∈n个

二义性_生物(G公司) = ∑_我∈n个|扩张(克_我)|否则

其中|膨胀(克_我)|是基因术语的长形式的数量克_我通过算法和克_我，在是PubMed查询中的基因G搜索词。

图​图77描述了这种模糊度估计（仅限于模糊度得分>1的基因）与根据AP对策略性能进行排名之间的关系。我们观察到，SP策略的所有存储箱都有9.2%到25.8%的改进，其中9个存储箱的改进幅度大于10%。

在单独的窗口中打开

图7

平均精确度差异（AP）：基因被二义性_生物分数图中描述了二义性_生物得分（>1），并根据AP对战略绩效进行排名。基因沿X轴由它们的二义性_生物分数。除了最右边的箱子外，所有箱子都有220个基因。最右边的箱子里有297个基因。X轴下方括号中的数字显示平均值二义性_生物每个箱子的得分。图中的方括号中显示了每个箱子的B1 AP平均得分。Y轴描述了每个策略和B1之间的性能差异。X轴上方的横线表示性能提高，而X轴下方的横线则表示性能下降。

歧义分析总结

在三种歧义类型中，有两种类型的歧义，SP在MAP和NTop5P中显著优于B1和B2。ENG在MAP和NTop5P中的得分似乎都落后。当我们考虑MAP时，DG似乎更容易适应。我们注意到，这些模糊性之间存在基因集重叠。ENG和BIO中有411个基因，ENG和DG中有361个，DG和BIO有1948个。例如，92.2%和80.9%的ENG基因也分别属于BIO和DG类别；18.1%和70.3%的BIO基因也存在于ENG和DG中。

性能与检索集大小

图​图88是一个用于AP探索与检索集大小的关系的二进制差异图。我们从先前的IR研究中得知，随着检索集大小的增加，精度往往会下降。我们在基线得分方面观察到了相同的趋势。有趣的是，相对于B1和B2，我们的S和SP策略都提供了显著的好处。尽管随着检索的文档越来越多，改进变得越来越难实现，但这些改进对于所有垃圾箱来说仍然很重要。当检索到100个或更多文档时，SP的最小改进是13.3%。当平均检索集大小最大时，AP的改进为18.1%。B2明显落后于S和SP。

在单独的窗口中打开

图8

平均精度差异（AP）：按检索文档数分类的基因图中显示了检索到的集合大小与AP方面的排名策略性能之间的关系。根据检索到的文档数量，将基因分为大小相等的组。除最后一个外，每个箱子都有450个基因。最后一个箱子由617个基因组成。括号中显示了每个箱子的平均检索集大小，方括号中显示每个箱子的B1平均AP。

不含LL摘要的排名结果（实验2）

我们现在关注的是在LocusLink中没有摘要字段的4195个基因（在9390个基因中）。我们可以使用其他策略对这些基因的文档进行排序吗？我们有B2排名查询（在基因名称中添加了一些域信息）。但是，有没有更有效的通用的这个问题，也许更能代表关于基因的总结性陈述？为了探索这一点，我们采用M（M）从4647个基因（出口1）可用的摘要字段中找出最常见的单词（删除非索引词后），并形成一个通用查询。与B2一样，添加了基因名称，从而为每个基因定制排名查询。自M（M）是一个需要设置的参数，我们将4195个基因的数据集随机划分为1000个用于训练的基因和3195个用于测试的基因的训练集。训练集用于找到M（M）其变化范围为5至50步（5步），100至500步（50步）。不幸的是，除了B2策略之外，我们的自动通用策略没有一个能够提高性能。（因此图​图99这表明本实验的结果，只包括训练期间M=5的最佳通用策略）。因此，我们只在3195个基因的测试集上尝试B1和B2策略。请注意，PubMed仅按时间顺序排列，因此，相比之下，我们的B1和B2绩效（按相关性潜力排列）本身就是有价值的。

在单独的窗口中打开

图9

遗传排序策略在训练集（1000个基因）和测试集（3195个基因）上的表现图中显示了我们的通用排名策略B1和B2在训练和测试集上的MAP得分（95%置信区间）。M（M）是所选排名靠前的术语数。因为M=5是我们最好的通用排名策略，所以我们只展示了该策略的性能。

整体战略的结果（实验3）

结合到目前为止获得的结果，我们针对任意基因提出的总体策略是使用SP对其检索集进行排序。下一个选择是按S策略排名。如果总结不可用，则我们使用B2策略进行排名。以数字表示​图1010和​和11，11“B2+SP+S”显示了该组合策略在9390个全组基因上的MAP和NTop5P得分（4647个有摘要和乘积，4195个没有摘要，548个基因只有摘要）。与我们的两个基线策略相比，我们发现两个绩效衡量指标在统计学上都有显著改善（在0.05显著性水平上）。请注意，由于PubMed仅按时间顺序排列，我们的B1结果本身就是一种贡献。鉴于在我们的数据集中，已知相关的检索文档不到7%，因此排名目标具有挑战性。此外，使用我们的组合策略，我们能够将排名提高6.5%至7.5%，即使我们收集的大约一半基因（截至目前）在LL中没有摘要信息。随着这一信息在LL/Enterez Gene中的积累，我们期望我们的整体表现会有所改善。作为对我们整体策略的改进，我们可以使用回归模型的结果来确定优先按B1排序的基因。这种改进将在未来的研究中进行测试。

在单独的窗口中打开

图10

9390个基因（MAP）组合策略的性能此图显示了我们的组合策略（B2+S+SP）、B1和B2在全组9390个基因上的MAP得分（95%置信区间）。

在单独的窗口中打开

图11

9390个基因（NTop5P）组合策略的性能该图显示了我们的组合策略（B2+S+SP）、B1和B2在全套9390个基因上的平均NTop5P得分（具有95%置信区间）。

结论

我们探讨了五种不同的PubMed检索后人类基因查询排名策略的相对有效性。我们的结论是，结合LocusLink摘要和产品信息（或只是摘要）以及基因名称和别名可以有效地对检索到的文档进行排序。这一结论与其他研究一致，在这些研究中，一些形式的精心策划的知识被用于提高绩效，例如小池和高木的工作[16]. 我们的网站上提供了每个基因的文档排名列表[31].

有趣的是，使用没有摘要的产品名称是无效的。这可能是因为产品名称更容易模棱两可。我们发现，在缺少摘要信息的情况下，我们手动设计的针对遗传领域并结合基因名称的通用查询是最好的。我们无法自动构建更有效的“通用”查询。

即使面临歧义，我们的LocusLink策略也比基线更有效。英语歧义问题是最具挑战性的，幸运的是也是最不普遍的。最后，检索到的集合大小可以为我们提供一种预测B2策略最适合处理哪些基因的方法。这也可能是基因查询清晰度分数的基础，类似于[32]. 我们观察到存在B1 AP评分非常低（<0.2）的基因，这些基因使用我们的方法未被确定为具有任何模糊性。要么我们的歧义检测方法不够充分，要么还有其他方面阻碍了检索。我们计划探索其他检测方法，如[13].

对于任何成功的方法来说，健壮是很重要的。在我们的上下文中，健壮性的一个标准是，即使金标准文档的数量发生变化，S和SP仍然是相对最佳的策略。为了测试这一方面，我们使用最新的LocusLink文件（2005年8月）中的相关性判断重复了五种排名策略的测试。我们对2003年（在前面章节中报告的实验中使用）和2005年的LocusLink文件中常见的4641个人类基因进行了研究，这些基因都有摘要和产品信息。2005年的LocusLink文件为我们提供了45728个相关性判断，而2003年的版本为29730个。因此，我们现在的相关性判断数量是现在的1.5倍多。重要的是要声明，每个基因的检索集与以前保持一致。这是两组实验之间的唯一区别，即我们现在的相关性判断数量是现在的1.5倍。数字​图1212和​和1313使用两个相关判断集展示我们的5种策略在4641个基因上的表现。我们发现，就MAP和平均NTop5P得分而言，我们的策略的相对顺序仍然成立，其中S和SP表现最好。与之前一样，S和SP相对于基线策略的改善在0.05水平上具有统计学意义。我们还进行了一项小型专家用户评估研究。我们随机选择了34个基因主题，并将B2和SP策略检索到的每个主题的排名前15的文档汇总在一起。然后，我们将不同的主题随机分配给我们的三位专家，让他们判断文件的相关性。我们发现SP和B2在NTop5P方面的差异为10%。这与其他实验的结果类似。

在单独的窗口中打开

图12

不同黄金标准集上排名策略（MAP）的表现此图显示了4641个基因的每种策略的MAP得分（95%置信区间），这些基因的摘要和产品在两个版本的LL中可用。图的左半部分显示了使用来自2003 LL文件的相关性判断的性能，而右半部分显示了使用来自2005 LL文件的相关性判断的性能。

在单独的窗口中打开

图13

不同黄金标准集上排名策略（NTop5P）的表现此图显示了4641个基因的每种策略的平均NTop5P得分（95%置信区间），在两个版本的LL中都可以获得这些基因的摘要和乘积。图的左半部显示了使用2003 LL文件中的相关性判断的性能，而右半部显示的是使用2005 LL文件中相关性判断的绩效。

对误差可能原因的分析引发了一些有趣的观察结果。我们观察到SP策略失败的三个可能原因。首先，有没有摘要的相关文档。SP倾向于使用摘要的文档（因为更多的单词可能会与来自LocusLink的摘要共享）。例如，基因A2M型（LLID 2）有一个黄金标准文件（PMID 1707161），没有摘要。B2排名第5位，SP排名第180位。在我们的数据集中，25%具有摘要的金标准实例位于排名前5的文档中（针对SP），而没有摘要的金标实例的相应百分比仅为15%（也针对SP）。另一个可能的错误原因是文档中的主题不同。由于SP策略以LocusLink摘要为主，因此该策略倾向于反映类似主题的文档。对于主题不匹配的错误示例，基因PMID为9116026的金标准文档欧洲标准化委员会（LLID 1059）谈到了分离一种新的人类同源基因，而LL摘要主要是描述该基因的功能。本文件按SP排名第17位，按B2排名第2位。第三个可能导致错误的原因是，一些文件中提到了正确的基因，但在另一种生物的背景下，其排名很高。例如，对于胃泌素基因（LLID 2520），排名前10的文件中有6份（包括排名最靠前的文件）与人类无关。这些都不是基因的黄金标准。处理这个问题的一种方法可能是只考虑那些分配了MeSH术语“人类”（在“有机体”语义类别下）的文档。虽然这些观察结果远未得出结论，但为我们今后进行更严格的误差分析指明了方向。

我们只使用传统的tf*idf向量和余弦相似性，故意使排名模型保持简单。这使我们能够在本研究中关注其他维度。显然，可以尝试检索模型，例如有或无反馈的语言模型。在TREC数据集取得了令人鼓舞的结果后，我们现在将考虑完整的MEDLINE数据库。我们还计划研究其他基因组的基因。我们还将探索基因描述的其他来源，如OMIM。这些可能为没有LL/Entrez基因摘要的基因提供了有趣的途径。

方法

可利用性

一个基于web的系统提供了检索和排序文档集的访问权，用于基因查询，可在(http://sulu.info-science.uiowa.edu/genedocs).

作者的贡献

AKS和PS同样参与了实验设计、结果分析和论文撰写。此外，AKS负责运行所有实验。

注释

¹下载日期2003年10月2日。我们注意到，LocusLink现在是NCBI的Entrez基因的一部分。重要的是，本研究中使用的LocusLink字段仍然可以通过Entrez Gene获得。

致谢

工具书类