BioMart：大型协作项目的数据联合框架

摘要

介绍

生物数据很复杂，需要专门的专业知识来收集、分析和解释。因此，不同的生物数据源分布在世界各地，集中在这些专门知识中心周围。每个中心都有自己的数据存储和呈现解决方案。这些解决方案的创建导致了研究人员的重复努力，也让必须学习如何查询多个界面的用户感到沮丧。数据生产者和消费者都将从标准化解决方案中受益。

生物研究越来越多地涉及多个群体之间的合作，而这些群体往往地理位置遥远。例如，已经建立了大规模的合作，以全面研究癌症基因组(1,2). 这可能导致单个项目的数据存储在不同的位置。为了促进这种合作，需要一种技术，使多个站点的数据相互关联，并作为统一的来源呈现，从而允许研究人员进行综合分析。

下一代测序（NGS）和其他高通量技术以前所未有的速度生成大量数据。经过初步分析后，通过与公共注释的链接，这些类型的数据的解释大大方便了，公共注释通常不存储在与NGS数据相同的服务器上。由于这些数据集非常大，因此在服务器之间交换数据是不切实际的。需要一个可伸缩和分布式的解决方案来促进这种类型的注释。

这些问题的许多传统解决方案都基于集中式模型。一方面，原始数据存储库，如欧洲基因组-现象档案(三)和序列读取存档(4)，提供低级数据。为了正确分析和解释数据，用户需要大量的资源和专业知识。另一方面，专门的数据存储库，如Ensembl(5)和UCSC(6)，提供处理过的数据。这些都是东道国机构投入大量资源和专业知识的成果。由于这一大笔投资，它们不太可能随着数据的增长而扩展，而且很难适应新的数据类型。这两种方法都有局限性。

为了解决这些问题，我们创建了BioMart，这是一个开源数据联合系统。BioMart最初是为Ensembl数据库编写的(7)已成为管理多种类型生物数据库的流行选择。BioMart数据管理系统基于联邦模型，在该模型下，每个数据源都由其宿主机构独立发布和更新。由于每个数据提供程序都在本地存储和处理自己的数据，因此系统的可扩展性得到了改进。BioMart包含一个集成层，可提供所有数据源的统一视图，这样用户就不会意识到数据存储在多个服务器上。BioMart有一个灵活的数据模型，因此可以与多种生物数据类型一起使用，并且内置的查询优化使其适合用于非常大的数据集。由于这些功能，协作组的成员能够独立维护自己的数据源，同时为其项目生成的所有数据提供统一的访问点。

概述

BioMart是一个数据库联合系统，它可以将地理上分布的数据源表示为一个集成的数据库。无论每个数据源的底层结构如何，都可以将其作为BioMart数据集呈现给用户，该数据集是过滤器和属性的集合。属性是用户可以从系统中检索的信息，过滤器限制查询以缩小结果范围。通过这种方式，用户可以以简单统一的方式与每个数据源交互，而无需学习底层数据模型。

BioMart服务器可以直接访问自己的本地数据库，并可以与其他BioMart服务器通信，以便从远程数据库中检索数据。提供对数据源集合访问的BioMart服务器称为BioMart'门户'。BioMart门户可以配置为类似“主/从”的架构，其中单个服务器仅显示自己的数据源，而单个“主”服务器充当门户，提供对所有源的统一视图(图1A） ●●●●。或者，可以在类似“对等”的体系结构中配置服务器，其中每个单独的服务器都链接到组中的所有其他服务器，这样，所有服务器都充当门户，提供对所有数据的访问(图1B） ●●●●。

在单独的窗口中打开

图1。

BioMart门户架构.BioMart门户可以部署在两种不同类型的服务器架构中的任何一种。在“主/从”式架构中(一个)每个“从”服务器仅提供对其自身本地数据的访问，而“主”服务器充当门户，对驻留在所有“从”服务上的数据提供统一视图。在类似“对等”的体系结构中(B类)每个服务器不仅提供对其自身数据源的数据访问，还提供来自所有其他服务器的数据访问。这样，每个服务器都充当了一个数据门户，提供对所有数据的访问。

BioMart门户可以通过几个基于web的图形用户界面（GUI）、编程界面和第三方工具进行查询。无论使用何种查询方法，当用户启动查询时，都会将其发送到BioMart查询引擎。查询引擎将查询分解为各个数据源。结果被返回到查询引擎，查询引擎将数据重新编译为单个结果集，以返回给用户，或使用BioMart的可扩展插件架构进行进一步处理。

BioMart包括许多查询优化，以提高查询速度。这些包括优化的关系模式，支持数据集的物理分区（在单个服务器或多个服务器上），以及并行查询处理。为了在连接多个数据源时提高性能，BioMart提供了预计算索引的可选使用。

BioMart包含安全功能，允许管理员根据用户权限控制对某些数据集的访问。还可以选择使用安全HTTPS协议在服务器之间以及与客户端之间执行数据传输。

设计和实施

BioMart软件是一个带有集成web前端的Java应用程序，只需单击几下鼠标即可创建、配置和部署BioMart服务器实例。BioMart系统分为三个层次：数据库层、应用程序层和客户端层(图2). 数据库层处理如何在关系数据库中组织、存储和管理数据。客户端层处理如何向用户显示查询界面和查询结果。连接这两者的是应用层，它存储和检索元数据并执行查询，将其发送到适当的目的地，接收响应数据并最终组织结果，然后再将其发送回客户端层。

在单独的窗口中打开

图2。

BioMart系统组件。

数据库

架构

为了将数据源包含在BioMart系统中，需要将其显示为BioMart数据集。每个数据集都以一种称为“反向星”的格式组织在查询优化的关系型BioMart模式中(7). 此模式已针对快速检索大量描述性数据进行了优化。该设计源自仓库星型模式(8)，并且它对描述性数据的适应要求“颠倒”经典星型模式的某些关键特征。因此，中心（“主”）表与附属（“维度”）表中的关系是一对多的，或者在某些情况下是多对多的而不是多对一的；中心表的主键是维度表中的外键，而主表通常小于维度表。主表列通常是查询约束的来源，而不是经典星型模式中的维度表。通过使用较小的表开始查询，许多结果在查询过程的早期被过滤掉，从而简化了整个搜索路径。为了增加灵活性，允许使用多个主表，主表和子表具有一对多关系。每个主表都可以有自己的维度表(图3). 为了提供进一步的查询优化，可以在相同的数据库服务器或不同的数据库服务器上将数据集划分为不同的物理模式。

在单独的窗口中打开

图3。

反向星型模式。这个数据集有一个主表和一个子主表，每个子表都有几个维度表。主表和子主表具有一对多关系，而主表和维度表之间的关系是一对多。

模式转换算法

BioMart可以自动将任何以第三范式（3NF）组织的数据库转换为反向星型模式。该算法的工作原理如下：从用户定义的“候选主表”开始，查找候选主表与所有其他表之间1:1或M:1关系的最长路径。沿着这些路径行走，它执行联接，然后将这些表合并在一起以创建主表。可以提供多个候选表作为输入，在这种情况下，算法会从每个选定的候选表中创建主表。一旦主表完成，如果它们之间存在1:M关系，它们将成为主表和子主表。如果它们之间没有1:M关系，则将它们拆分为单独的数据集。任何与新创建的主表或子主表具有1:M或多对多（M:N）关系的表都是构建独立维度表的起点。创建维度表遵循与构建主表相同的算法。图4显示了模式转换的示例。新创建的数据集及其反向星型模式是源关系数据库的非规范化版本。这种结构消除了连接大量表的必要性，从而提供了更好的查询性能。

在单独的窗口中打开

图4。

转换算法。显示3NF模式如何转换为反向星形模式的示意图。(一个)显示了包含10个表的3NF模式，表之间的关系由连接器指示。为了构建主表，算法从候选表开始，沿着相关表的所有可能路径向外走，直到遇到一对多关系。这种一对多的关系称为断点。从表b开始，有三个断点：i–iii；从表g开始，断点是：i、ii和iv。在到达断点之前遍历的表将通过SQL联接合并，以创建主表。当表b被选为候选主表时，表b和表c被合并；当选择表g作为候选表时，合并表b、c、g和h以构建主表。构建维度表时应用了相同的遍历和合并规则。(B类)显示选择表b作为候选主表时产生的反向星型模式。转换后的模式包括一个主表（合并的原始表b和c）和三个维度表：原始表a成为第一个维度表，表d、e和f合并形成第二个维度表；表g和h合并形成第三个维度表格。(C类)显示当表b和表g都被选为候选主表时产生的反向星型模式。除了与B中相同的一个主表和两个维度表外，还有一个新的子主表，它是通过合并表B、c、g和h构建的。原始表i成为子主表的维度表。注意，子主表和主表具有多对一关系，并且子主表包含主表的所有内容。

在上述模式转换中，可以只生成反向星型模式的视图，而不是物理创建表。基于反向星型模式视图的数据集称为非物化数据集。设置非物化数据集对于构建快速原型或小型数据库非常有用。

SQL编译

BioMart能够查询物化和非物化数据集。SQL将根据用户输入自动编译，并考虑数据集是否物化。对于物化数据集，查询编译通过在运行时根据查询中涉及的表列选择相关的主（或子）表来定义通过模式的SQL路径。此功能可以调整输出的粒度并避免结果集中的冗余。对于非物化数据集，SQL是根据源3NF模式编译的。上述模式转换算法提供了有关用于创建物化表的连接系列的必要信息。此信息用于针对源模式3NF表动态执行一系列联接，为了提高效率，省略了任何未使用的数据源表。为了确保跨平台的可移植性，只使用标准ANSI SQL语句进行查询。在撰写本文时，BioMart支持五大RDBMS平台：MySQL、PostgreSQL、Oracle、DB2和MS SQL server。

查询引擎。

查询引擎负责查询处理，将查询分发到底层数据源以供执行，并收集查询结果。查询处理是一个多步骤的过程(图5). 第一步是验证。此步骤确保查询中的所有元素都存在，并强制执行数据提供程序设置的任何限制。如果查询包含多个数据集，则可以确保这些数据集可以链接在一起。通过验证后，如果可能，将查询拆分为较小的子查询。子查询并行运行，有助于实现可扩展且健壮的查询。

在单独的窗口中打开

图5。

查询引擎。传入的查询首先传递给QueryValidator，以确保请求的资源存在。验证后，如果原始查询涉及多个数据集的属性或筛选器，则会将其拆分为较小的子查询。然后，QueryPlanner决定执行子查询的最佳顺序；这包括检查是否存在相关的链接索引（如果存在，请进行查询），并确定应用了过滤器的子查询。确定最佳执行顺序后，将子查询传递给QueryRunner执行。当查询涉及分区的数据集时，QueryRunner将为每个分区创建一个QueryRunnerThread，以通过并发执行独立查询来最大化查询性能。查询结果在从任何QueryRunnerThreads生成时流式传输到OutputStream。

根据门户配置，跨多个数据集的查询可以作为并集或交集执行。在交集中，子查询的执行和联接顺序会对性能产生重大影响，因此软件会尝试预测最有效的执行路径。交叉点的进一步优化是可选使用数据链接索引，从而根据预先计算的索引文件检查条目。不会返回结果的条目将在流程的早期被丢弃，从而使下游子查询更小、更高效。

此时，子查询用于编译将发送到数据源的查询，数据源可以是数据库服务器或其他BioMart服务器。对于数据库源，编译过程将确定最有效的表联接系列，以检索请求的数据并创建SQL语句。如果数据源是通过另一个BioMart服务器访问的，那么查询引擎将生成XML格式的子查询，并通过web服务调用将其发送到另一个BioMart server进行处理和查询。

子查询按计划步骤确定的顺序执行。当查询分区数据集时，会并发执行独立查询。系统分批从源中检索结果，其大小可配置为最佳利用不同硬件配置的内存。检索结果时会从数据源流式传输结果，以提高返回结果的速度并控制内存使用。为了进一步优化BioMart的内存使用，结果被同步写入结果缓冲区，以便BioMart服务器使用更少的临时存储。来自各种来源的结果被编译并连接到BioMart服务器上的内存中，以实现快速性能。在编译数据时，会同步输出数据，以便客户端尽快开始接收结果。

配置和部署

BioMart提供MartConfigurator(图6)，用于设置、配置和管理BioMart门户的工具。MartConfigurator管理所有元数据，包括有关数据源的结构、相互关联以及向最终用户显示的方式的信息。它还可以限制特权用户对某些数据的访问。配置是一个逐步的过程，如下所述。

在单独的窗口中打开

图6。

MartConfigurator。(一个)主MartConfigurator窗口分为两个面板。左侧列出了数据源。数据门户访问点列在右侧，并按类型进行组织。(B类)模式编辑器窗口，显示数据集的反向星型模式。(C类)“链接管理”窗口，显示数据源之间的数据链接。(D类)访问点编辑器窗口，显示在容器中组织的属性和过滤器。

数据访问

BioMart为访问数据提供了各种不同的图形和编程接口。每个接口的基本概念都非常相似，包括选择数据集、过滤器和属性。在下一节中，我们将演示如何使用不同的BioMart接口发出相同的查询。

图形用户界面

BioMart提供了几种适用于各种情况的图形查询界面，涵盖了简单易用的查询和更高级、高度灵活的查询。无论GUI类型如何，交互都是相似的：用户首先选择要搜索的一个或多个数据集，然后根据需要选择过滤器来限制数据。接下来，根据界面的不同，用户可以选择查询返回的属性。然后，用户按下“Go”或“Results”按钮，结果立即返回。此时也可以选择下载结果。使用“MartForm”、“MartWizard”和“MartExplorer”GUI编译的相同查询的示例如所示图7分别为A–C。

在单独的窗口中打开

图7。

BioMart网络GUI：“MartForm”、“MartWizard”和“MartExplorer”。(一个)“MartForm”自上而下提供了数据集、过滤器和属性的选择。过滤器和属性可以组织在容器和子容器中，相互排斥的过滤器和属性集可以分隔为单独的选项卡。MartForm在单个页面上显示所有选项，因此最适合于需要用户配置但过滤器和属性数量相对较少的查询。(B类)对于具有更多过滤器和属性的搜索，有“MartWizard”界面。在“MartWizard”界面中，在连续的步骤中选择数据集、过滤器和属性，每个步骤都显示在自己的页面上。查询在构建时汇总在右侧列中，用户可以在过滤器和属性页面之间移动以修改查询。在每个页面中，过滤器和属性可以在容器中显示，也可以在“MartForm”中显示。(C类)为了实现最大的灵活性和复杂的查询，我们提供了“MartExplorer”界面。与“MartWizard”中一样，在“MartExplorer”数据集中，过滤器和属性显示在单独的页面上。然而，在“MartExplorer”中，过滤器和属性不是组织到单个页面上的容器中，而是组织到屏幕左侧列中显示的层次化文件夹结构中。因此，“MartExplorer”最适合于具有大量过滤器和属性的查询，这些过滤器和属性组织在复杂的目录结构中。

单击按钮时编写脚本

可以在GUI中构造查询，然后单击结果页面上的相应按钮将其转换为一种API格式(图8). 由于所有查询类型（包括GUI）都使用相同的属性、过滤器和数据集抽象，因此它们之间的相互转换很简单。

在单独的窗口中打开

图8。

通过单击按钮进行编程访问。通过单击一个可用的API按钮，如REST/SOAP web服务、SPARQL或Java，在基于web的GUI中构建的查询将自动编译为所需的语法。

其他GUI类型

除了查询GUI之外，BioMart还预装了两种特殊的GUI类型。第一个是“MartReport”(图9). “MartReport”界面显示了通过单个标识符链接到数据条目的许多属性，因此可以在集成报告页面中显示大量相关数据。不同来源的数据可以通过BioMart数据联合机制集成到报告中。它旨在与BioMart将超链接与属性关联的功能相集成，这样管理员就可以允许用户通过点击其他搜索结果中的特定标识符来打开报告页面。

在单独的窗口中打开

图9。

MartReport。”“MartReport”提供有关单个数据条目的详细信息，例如癌症样本、基因或点突变。MartReport允许在单个报告页面中显示来自多个数据源的数据。在本例中，从Ensembl、KEGG、Reactome、ICGC、COSMIC和胰腺表达数据库检索并整合NBN基因的数据。

第二种特殊的GUI类型是“MartAnalysis”，它允许通过BioMart插件框架以不同的方式处理和显示查询结果。核心BioMart分发中包含了一些插件，例如条形图和基因组序列检索工具。图10显示了最常见的受影响路径，使用“MartAnalysis”GUI显示为条形图。

在单独的窗口中打开

图10。

MartAnalysis。”MartAnalysis向用户提供左侧列中的数据集选择和右侧列中的过滤器列表。属性由管理员预先确定，用户不能更改。因此，“MartAnalysis”界面最适合快速查询常用属性。在本例中，对查询结果进行处理，以生成最常见受影响路径的直方图表示。

未来的方向

BioMart软件已成功应用于30多个包含多种数据类型的公共生物数据库，包括基因注释[Ensembl(14)、HGNC(15)]，基因组变异(16)]、蛋白质序列和结构(17)，百事可乐(18)，骄傲(19)、UniProt(20)]分子相互作用和生物途径(21)]，基因表达(22)，欧盟快递(23)，德国在线(24)，SigReannot(25)]癌症基因组(26)，胰腺表达数据库(27)、IntOGen(28)]和模型生物(29)、MGI(30)，草履虫DB(31)，蜗杆底座(32)]. 国际癌症基因组联盟（ICGC）利用最新版本的BioMart建立了一个数据门户(33)管理全球产生和分布的大量癌症基因组数据。新版本的BioMart Central Portal(34)还利用了新的BioMart软件，将30多个独立维护的公共数据库集成到一个访问点中。

BioMart系统正在不断改进，因此正在开发几个新功能。为了改善BioMart服务器之间的协调，我们正在创建BioMart-Central Registry。这将是BioMart数据提供商可以注册其数据模型和数据源的永久资源。中央注册中心将允许任何人浏览可用的BioMart服务器。独立数据源之间的链接将存储在注册表中，允许服务器部署人员轻松找到潜在注释的新源。此外，作为一种集中的永久性资源，中央登记处可以可靠地用于协调大型数据门户的创建：可以通过登记处跟踪和同步独立管理的数据源中的更改。

为了进一步提高BioMart的灵活性，我们添加了从非RDBMS数据源（如平面数据文件或XML数据文件）自动构建BioMart数据库的支持。BioMart将允许管理员为源数据创建数据模型，然后BioMart数据加载模块将使用用于转换关系数据源的相同算法将数据转换为BioMartschema。

BioMart持续发展的主要途径之一是强大的插件系统。我们计划通过添加插件来增强BioMart系统，允许在BioMartGUI中直接显示各种形式的数据。当然，第三方也可以开发插件，进一步扩展系统的功能。

基金

开放获取费用的资金来源：安大略癌症研究所和安大略研究与创新部。

利益冲突。未声明。

工具书类