BioCreative 2012年研讨会轨道三概述：交互式文本挖掘任务

BioCreative III IAT的经验教训

在BioCreative III IAT中，目标是开发一个交互式系统，以便于手动注释文章中出现的所有基因的唯一数据库标识符。这项任务包括按重要性对基因进行排序（最好基于描述的有关基因的实验信息量）(7). 还有一个可选任务，帮助用户检索给定基因的最相关文章。为了帮助仔细设计此任务，用户咨询小组（UAG；http://www.biocreative.org/about/biocreative-iii/UAG/)在评估IAT系统和为未来更严格的IAT系统评估提供详细指导方面发挥了积极作用(7).

从这项活动中获得的一些重要经验包括：（i）开发人员与生物净化剂的早期合作对于在整个系统开发过程中协同工作很重要；（ii）系统培训需要足够的时间；（iii）选择与用户专业领域相关的语料库（例如模型生物数据库的物种特定文档和路径数据库的路径中心文档），以及（iv）鼓励文本挖掘开发人员参与生物化成会议，以促进与生物验证者的交互。正如生物清除剂调查所观察到的，用户在其管理过程中采用自动化工具在很大程度上取决于工具的性能和整体便利性。

基于这些观察结果，我们设计了这里描述的BioCreative 2012研讨会互动轨道。

评价

我们计划了两项评估，一项是基于选定语料库的研讨会前系统正式评估，其中包括系统性能和主观测量（稍后解释），另一项是非正式评估，包括演示（演示）会议期间在研讨会上进行的系统测试。后者只包括主观测量，主要代表用户对系统的第一印象。

系统的性能和可用性基于以下指标进行计算：

作为“绩效衡量”，我们包括比较系统辅助与人工管理的任务时间；以及自动系统与金标准注释（由领域专家独立手动管理的数据集）和/或手动与系统辅助注释（再次由金标准评级）的精度/召回/F测量。

我们将这些措施定义如下：

其中TP、FP和FN分别是真阳性、假阳性和假阴性。

对于“主观测量”，我们准备了一份调查，旨在记录用户对系统的主观体验。调查包括五个主要类别，即总体反应、系统帮助完成任务的能力、应用程序设计、学习使用应用程序和可用性，此外还包括单独评估的“系统推荐”；这些类别是基于Chin开发的用户界面满意度问卷（QUIS）等。并被证明是理解用户反应的可靠指南(9). 每个类别都包含根据七点利克特量表进行评分的问题(10). 问题的性质和形式部分受到了为QUIS开发的问题的启发，部分受到了其他工作的启发：计算机系统可用性问卷(11)感知有用性和易用性调查(12)和USE调查问卷(13). 作者修改了这些调查中使用的问题，以更好地解决生物化界面的特定方面。该调查仍在以下网址提供：http://ir.cis.udel.edu/biocreative/survey.html.

在车间前评估期间，生物检验员按照每个系统提供的格式手动管理一半的数据集，另一半使用指定的系统，记录相应的任务时间。

评价结果的总体分析

请注意，我们知道该分析的局限性，即每个系统的生物净化器数量有限，以及系统执行的任务性质差异很大。例如，我们无法直接比较系统之间的性能指标。然而，我们可以得出一些有用的观察结果，下面将对此进行描述。研讨会前评估的绩效结果表明，一套系统能够通过显著加快管理任务来提高管理效率（比手动执行快1.7到2.5倍，表5). 至少在一种情况下，熟悉系统输出和管理工具是实现效率最大化的关键（在Textpresso系统中，一旦熟悉了管理任务，一个生物验证器就成为新手）。与手动性能相比，一些系统能够提高注释准确性（例如PubTator、eFIP和PCS，将系统辅助注释与手动注释进行比较表4). 就宣布者之间的协议而言，导致某些系统存在显著差异的因素是生物鉴定员在管理任务上的专业知识（正如GO注释中所发生的那样），策展任务的固有困难，如表型注释和不遵循所提供的注释指南的情况（例如，注释者被要求标记所有句子，但他/她选择选择了一个有代表性的句子）。结果还表明，许多系统依赖于多个不同文本挖掘模块的组合，每个模块的性能如何显著影响整个系统的性能（PPInterFinder中添加基因提及/归一化算法显著降低了系统的性能，相比之下表4).

我们假设，与总体满意度测量高度相关的问题反映出对一般生物清除剂的更大重要性；如果一个系统在一个问题上获得高分，而在总体满意度上得分较低，那么这个问题对生物验证者的经验可能并不特别重要。根据中的调查问卷http://ir.cis.udel.edu/biocreative/survey.html,表7根据相关性程度对前10个调查问题进行排名（Kendall的tau等级相关性(31)，因为Likert量表是离散的），在他们对三个总体满意度测量结果的回答中：问题2（生物验证者对系统的主观评价）、7（生物验验者是否会推荐系统）和问题1，关于生物验证器是否喜欢使用系统。该排名计算如下：我们首先计算每个问题的每个系统的中位数评级，然后根据该中位数对每个问题的系统进行排名。我们通过问题2、7和1的中位数评级计算该排名和系统排名之间的Kendallτ相关性，然后取三个τ相关性的平均值。请注意，这三个问题本身高度相关（τ>0.9，这与P（P）< 0.01). 这是对所有填报调查（共38份）进行的。从表中可以清楚地看出，任务完成非常重要，其次是系统的可用性。

最后，表8对每一组问题（总体评估、任务完成、系统设计、可学习性、可用性和建议）的每个系统进行总体评分，通过取组中所有问题的所有生物清除剂评分的中位数计算得出：总体评估（问题1-6的中位数），任务完成情况（问题8-10中位数）、系统设计（问题11-14中位数），可学习性（问题15-19中位数）和可用性（问题20-25中位数）以及建议（仅问题7）。虽然系统在设计、可学习性和可用性方面通常得分很高，但从这个表中可以清楚地看出，完成任务对生物净化师的整体体验有多重要。

所有团队都在一定程度上受益于参与第三轨道，特别是来自生物测定器的反馈（研讨会前和研讨会上）。因此，一些团队已经改进或正在改进他们的系统，其他团队已经与新的社区接触。例如，在PPInterFinder中，对“关系关键字”列表进行了优化，以减少误报，并在PPI提取方法中添加了新模式(22). PubTator出版社(18)正在计划扩大涵盖的生物概念，以及处理全长文章，T-HOD正在扩大疾病覆盖范围(27). 最后，Textpresso与TAIR合作，以类似的方式评估Textpresso在细胞成分管理方面的表现拟南芥基因产物(14).

接合生物滤器

生物创意2012年IAT研讨会参与团队的反馈表明，生物化学家的参与是该活动最有价值的方面之一。此外，招聘管理任务领域专家至关重要。在这方面，IAT的协调员联系了许多小组，并与小组进行了协商，试图为每个系统找到合适的生物净化剂，但时间框架、缺乏明显的奖励和其他承诺是阻碍生物净化剂参与研讨会前评估的一些障碍。基于这一经验，我们现在对生物清除剂所需的承诺有了更好的认识，我们希望UAG不仅能为BioCreative IV规划提供建议，还能够提供如何招募生物清除器的见解，甚至成为生物清除员的来源。在这方面，UAG在研讨会期间直接接触活动是一项资产。

最后，尽管存在所有挑战、障碍和可能的错误，生物鉴定员和文本挖掘团队都对未来参与这项活动表示了兴趣。IAT作为一种媒介，用于试验不同的方法，以正式评估交互系统。与BioCreative III IAT的经验类似，我们希望所学到的经验教训将有助于塑造未来的BioCreative IV任务，不仅有助于改进IAT，还有助于改善涉及生物成型的挑战。