PhenoImageShare：图像注释和查询基础设施

摘要

背景

现在，许多组都可以使用高通量成像，并且可以快速生成大量高质量图像。管理这些数据、对其进行一致的注释或将其提供给社区都是这些方法带来的挑战。

结果

PhenoImageShare提供了一个支持本体论的轻量级图像数据查询、注释服务和由Solr服务器支持的单点访问，用于对集成图像集合进行编程访问，从而改进社区访问。PhenoImageShare还提供了一个易于使用的在线图像注释工具，该工具可以在图像上绘制感兴趣的区域，并使用支持自动建议的本体查找小部件中的术语对其进行注释。保存每个图像的来源和注释，并提供原始资源的链接。语义和直观的搜索界面与物种和成像技术无关。PhenoImageShare现在为2个物种的100000多张图像提供了注释。

结论

PhenoImageShare平台为生物学家的编程访问和用户界面工具提供了底层基础设施，支持联合图像的查询和注释。PhenoImageShare可在线访问http://www.phenoimageshare.org.

介绍

随着参考基因组和生成模型生物突变体和敲除物的大规模项目的完成，国际小鼠表型联合会（IMPC）和亚洲小鼠表型联合体（AMPC）等项目已经开展了平行和互补的工作，以建立和编纂基因组覆盖的表型[1]. 目前的表型分析工作通常会提供各种图像，并带有描述显示表型的注释。然后，这些数据存储在与主数据关联的独立数据库中。这些数据库可以单独搜索，尽管没有整合、交叉查询或分析的机制，尤其是关于人类异常和疾病表型的机制。我们开发了PhenoImageShare（PhIS）来解决这个问题。PhIS是一个支持语义发现、表型浏览和联合表型图像注释的跨浏览器、跨存储库平台。PhIS提供了一个集中存储库，用于存储有限的元数据集，包括与原始资源的链接以及通过使用PhIS生成的注释。因此，“完整的”PhIS系统是一个联合资源，其中包括中央PhIS数据库和底层图像源的存储库。

OMERO等资源[2]允许用户存储图像，但不提供支持本体论的工具。此外，图像通常被成像方法或领域“孤立”[三]访问多个不同的图像存储库可能需要针对多种编程访问模式进行定制开发，这些模式可能会随着资源的变化而演变。PhIS通过使用轻量级注释文档结构实现了这一级别的集成，然后可以通过标准查询引擎（如Solr）公开该注释文档结构[4]. PhIS是物种和成像技术中立的，目前可以访问来自四个不同数据资源的117982幅图像，其中53000个感兴趣区域（ROI）与解剖或表型本体术语注释相关。这些可以通过web GUI或通过web服务编程访问。迄今为止，PhIS中填充了来自果蝇和三个不同鼠标项目的图像。

相关工作

虽然没有任何现有服务或工具可与PhIS直接比较，但许多产品可能被视为类似。耶鲁大学图像查找器（YIF）[5]提供了一个从开放存取期刊查询150多万张图像的界面。用户有几个选项可以限制或放宽对图像描述、整篇文章或摘要的搜索。NCI视频在线[6]提供了对大约3000幅图像的访问，可以使用常见的文本搜索功能（例如精确匹配的引号、术语排除、多个关键字、不区分大小写的默认搜索、词干分析等）搜索图像描述。这些都是有用的资源，可以满足PhIS的不同需求。虽然存在高级文本搜索，但不支持支持Ontology的搜索（即语义搜索）。YIF不支持通过API显示感兴趣区域（ROI）、在线注释、图像提交或资源整合。

生物医学图像的语义丰富（SEBI）[7]语义丰富了YIF中的图像元数据，并支持对该元数据的搜索。SEBI平台基于许多不同的模块。通过使用语义自动发现和集成（SADI），这些模块共同促进了自动注释（即语义丰富）[8]使服务能够从其他资源中提取相关信息。当自动注释失败时，提供了基于群组的注释。生成的数据存储在名为iCryus的三重存储中[9]可以通过SPARQL端点进行查询，也可以通过RDF浏览器进行导航。SEBI和iCyrus都专注于DNA/蛋白质序列图像，而不是PhIS中发现的表型图像。另一个区别是创建注释的方法。SEBI/iCyrus获取与图像关联的元数据，并使用语义Web上可用的其他服务对其进行扩展。PhIS在不同级别上运行，帮助创建和发布由人类专家生成的注释。用于表型图像的SEBI/iCyrus样平台将是对PhIS的补充。类似iCyrus的phenooype工具将从PhIS中提取图像数据，就像iCylus从YIF中提取数据一样。

Kurtz等人提出了另一个框架[10]，支持注释建议和语义注释，重点关注相似度度量，但没有与应用程序的链接。

Wang等人[11]解决了对本体论辅助图像标注工具的需求，并开发了支持RadLex的软件[12]放射图像的支持注释。虽然该项目取得了成功，但其范围仅限于放射学注释，外部用户无法在线访问。它并不旨在通过任何API提供与其他资源的进一步集成。

一组商业桌面应用程序，如Osirix[13]和阿米拉[14]提供分段帮助和纯文本注释，无论是集成的还是通过插件。美国钢铁协会[15]是一个桌面工具，用于植物图像注释并支持本体使用。AISO仅限于通过自己的web服务访问的植物本体。OMERO在web客户端和桌面应用程序上都提供了注释支持，但没有集成本体。OMERO服务器不是在线服务，而是服务器分发，因此每个组或机构都需要托管自己的服务器。PhenoImageShare是一种补充资源，可以与OMERO托管图像结合使用。

有各种各样的公众形象门户[三]一些关注表型图像：IMPC门户，EMAGE[16,17]，癌症基因组图谱[18]举几个例子。所有这些都侧重于物种或项目特定的图像，图像提交不向外部用户开放。IMPC和EMAGE支持本体注释，但对原始图像上的感兴趣区域（ROI）显示的支持有限或不支持，但EMAGE确实支持将空间映射到标准图谱上，以进行空间比较和查询。

我们已经确定需要一个公共且易于使用的web服务，该服务可以联合跨物种、跨项目图像，并提供开放的图像提交和强大的语义搜索。显然还需要一个支持本体术语和不同本体的在线图像注释工具。据我们所知，这种工具并不存在。

方法

PhIS平台由三个主要软件层组成：用户界面（UI）、集成层和后端服务。UI组件提供了一个直观的图形用户界面（GUI）来查询跨平台图像元数据。GUI还提供了一个支持本体的基本注释服务，允许图像所有者和第三方使用本体对图像进行注释，以供自己使用，也可以在联盟和合作者之间共享图像和注释。集成层将对不同后端服务的访问合并为一个访问点，供GUI使用。后端服务提供了查询和注释数据的API方法以及数据导入机制。图中还表示了所描述的体系结构。1.

图1

PhIS架构。PhIS平台的不同软件组件。这个箭头描述组件的协作和函数调用的方向。例如，UI使用IQS提供的方法，但仅IQS无法触发UI中的任何操作。需要保护注释提交API以保持数据库的完整性，但查询API不受限制

图像发现基础架构

查询API提供了一个简单的REST类接口，以多种方式访问数据。提供了用于图像发现的近似搜索方法，但也提供了特定接口，例如“按id搜索”。API为输入字符串上的查询建议选项提供了一个端点。其设计顺序如下：1）完全匹配，2）以给定字符串作为单词开头的短语，3）以给定的字符串作为第一个单词的一部分开头的短语；4）短语中单词的完全匹配，而不是在单词的开头，5）匹配短语中另一个单词以给定字符串开头的位置“眼睛”，建议的顺序如下：“眼睛”（案例1），“眼球出血”（案例2），“眼睑无法打开”（情况3），“TS20眼”“TS21眼”“左眼”“右眼”“窄睁眼”“眼部发育异常”（案例4），“眼睑孔径异常”（案例5）。我们在与用户进行了一系列形成性对话后实现了这一点。我们通过对以不同方式标记的Solr文本字段应用不同的增强因子来实现这种排序。文本匹配在所有情况下都不区分大小写。

数据库、XML模式（XSD）和Solr表示共享一个通用的高级模式，因此信息存储分为三种方式：图像信息、通道信息和ROI/注释信息。这在图中以简化的方式表示。2起源信息是模式的重要组成部分。PhIS目前实现了一个实用的简单模型，涵盖图像/注释创建者、注释编辑器、图像和注释创建/最后编辑日期、来源或出版的存储库或资源（如果为图像提供）。

图2

PhIS模式。图像实体是核心元数据对象，存储通用的、不可变的元数据，例如成像过程和细节、数据源、信用和样本信息、基因型或样本制备技术。通道实体存储可视化信息，如标签和基因组信息（如表情图像）。ROI实体保存给定图像中的坐标和注释值

API提供JSON响应，这是现代API的标准，直接由UI使用，具有可读性的优点，也是最适合Solr-backed基础架构的。随着API越来越受欢迎，用户需要其他格式，可以评估和提供新的响应类型。用于创建注释和图像标记项目[20]的数据模型的方法已应用于PhIS。实现是用Java实现的，查询功能主要是通过Solr实现的。Solr建立在Lucene之上[19]，这是一个开源索引和搜索引擎。基于Lucene的技术为许多现有图像存储库提供了支持，例如，OMERO和耶鲁图像查找器都使用Lucene搜索图像。作者有使用Solr在IMPC门户上构建图像存储库的经验。Solr提供快速、灵活、健壮的开源搜索解决方案，并提供Solr云等扩展选项。通过各种各样的功能，Solr使我们能够用很少的资源构建丰富的搜索和导航体验。

空间标注

许多表型发生在特定的空间位置，可以使用解剖学（本体论）术语或通过映射到生物医学图谱来描述[20]. 目前，PhIS仅支持基于解剖的描述，而基于地图集的描述则面向未来版本。基于解剖学的描述更易于使用，但不太精确。

如果PhIS提交缺少空间描述，则可以从提供的表型术语推断出合适的解剖术语。例如，给定表型术语“白内障”，就可以推断出解剖学术语“眼睛”。这个推论依赖于君主倡议提供的桥梁本体论[21]. 推断出的空间注释是预先计算的，并存储在Solr中，以便用户查询。

用户界面

PhIS通过基于Python、Django、JavaScript、Asynchronous JavaScript（AJAX）、Bootstrap等标准技术构建的高度响应且易于使用的web界面提供其功能[22]和U形平面[23]. 可移植性、可重用性和响应性是GUI设计考虑的核心。

在PhIS的整个开发过程中形成性的评估会议用于确定需求并确定其优先级。这包括创建一系列任务，根据这些任务可以测试搜索功能的功能。此外，搜索功能也经历了小规模总结性评价。这方面的反馈已经集成到当前的beta版本中。注释工具的开发始于搜索功能之后，因此注释工具仍在经历一个形成性评估和开发的迭代过程。当注释工具成熟时，将进行全面的总结性评估，测试完整的工作流（搜索和注释）。

PhIS GUI有四个不同的元素，本节将按照用户在典型工作流中遇到它们的顺序对每个元素进行讨论。

登录页

到达时www.phenoimageshare.org用户会看到位于搜索框下方的PhIS存储库中保存的数据的可视化摘要。可视化摘要由三个饼图组成，它们共同量化和分类存储的图像类型。三维可视化包括成像方法、样本类型（突变型与野生型）和图像类型（表达型与表型）。单击其中一个图表中的块执行查询。例如，单击宏观检查块将显示所有具有元数据的图像，表明它们是宏观图像。

或者，用户可以使用搜索框查询PhIS。查询可以由自由文本、基因或等位基因符号、来自标准本体的解剖或表型术语组成。集成在搜索框中的查询建议功能为用户提供了从现有注释集预测的术语的下拉列表。搜索结果实时显示在专用页面上。

搜索界面

本页（见图。三)显示符合用户查询条件的图像列表，并提供筛选该列表或浏览该列表的功能。对于列表中的每个图像，将在缩略图旁边显示图像元数据的简要摘要。

图3

查询界面具有基于本体的搜索和刻面功能。表型搜索结果（异常表皮层基底形态）(一)按发育阶段（出生后）过滤(b条)共焦显微成像方法(c（c）). 使用facet的示例查询和帮助(d日)还提供了

为了减少查询返回的图像，用户可以应用一系列预定义的过滤器或分面搜索。过滤器和搜索都是基于面和元数据驱动的。嵌套复选框允许用户减少使用过滤器显示的图像，包括成像方法、阶段、种类和资源（即PhIS获取图像的在线资源）。分面搜索可用于解剖学、基因/等位基因和表型。如果用户在解剖面搜索框中搜索“心脏”，则只会显示原始查询中带有解剖注释的图像，其中包含术语“心脏”。过滤器和分面搜索可以结合起来提供强大的定制查询。

要查找感兴趣的图像，用户可以调整过滤器/搜索，也可以使用主搜索框（现在在菜单栏中）进行全新的查询。当用户在搜索结果中识别出感兴趣的图像时，单击该图像会在图像界面页面中显示更多信息。

图像界面

在图像界面中（参见图。4)单个图像与图像的一组更全面的元数据一起显示。所示元数据包括从来源（如基因型、表型和种源）获取的数据以及PhIS用户生成的注释。PhIS中包含的元数据是原始资源中可用数据的子集，因此PhIS提供了返回原始资源的链接，使用户可以进一步调查。

图4

详细视图，显示与其中一个图像在图所示的搜索中返回。2

可以以多种格式导出图像注释，并添加新格式。用户可以使用PhIS注释工具向该图像添加自己的注释。

注释界面

注释界面允许用户对图像进行语义注释。注释可以应用于整个图像或图像中的感兴趣区域。ROI由用户在图像上绘制矩形来指示。此矩形被视为注释的一部分，并存储在PhIS中以供稍后复制。创建注释时，用户可以选择通过BioPortal小部件获得的一系列本体术语[24]. 通过PhIS界面提交的所有注释都将显示在网站上，并可立即进行搜索。

目前注释工具仅支持低分辨率图像；然而，它的实现目标是通过OpenSeadragon显示高分辨率图像[25]. OpenSeadragon是一个可扩展的JavaScript库，提供高质量缩放功能，使PhIS能够支持高分辨率图像。因为它能很好地与OpenSeadragon一起工作，并且需要最少的扩展，FabricJS[26]提供在图像上绘制ROI的功能。其他可能的选项（例如，公告[27]或AnnotatorJS[28])被拒绝，因为他们对OpenSeadragon的支持在测试时还不够成熟。

图5显示了正在使用的注释接口的屏幕截图。

图5

编辑模式下的注释界面。上下文菜单(一)用户可以通过右键单击本体中的选定术语(b条). 用户将选定的本体术语附加到绘制的感兴趣区域(c（c）)

数据和本体

为了通过PhenoImageShare提供数据，希望向PhIS提交数据的资源以XML格式生成批提交。我们的数据发布版本已确定，当前版本列在页面右下角，链接到每个发布的更多详细信息。可以通过API以编程方式访问旧版本。数据源按照PhIS模式（XSD）为PhenoImageShare提供其数据的最新XML导出。生成XML将因导出的数据量而异，而在PhIS服务器上处理只需几分钟。然而，我们会发布数据，因此在出口准备就绪和数据实时发布之间可能会有几周的延迟。提交更新的XML导出的频率取决于数据提交者。然后，我们执行XML和语义验证，然后在索引之前进行数据充实。这包括向Solr索引添加同义词和祖先关系，从而改进语义搜索。语义验证的一些示例包括检查作为解剖注释提供的术语是否来自解剖本体，或者检查随本体id提供的标签是否匹配。本体策展人有时会更新首选标签，而数据库很难跟上。作为导入过程的一部分，我们选择最新的标签，并将旧标签作为同义词进行索引。如果本体术语已弃用，建议使用替换术语，我们将使用替换术语。为了实现数据的这种语义操作，我们广泛使用了OWL API[29]和麋鹿推理机[30]以预先计算关系，然后在Solr中对其进行索引。这种方法提供了比RDF/SPARQL更多的受限语义功能，但在语义和基于文本的搜索功能方面，它可以更快地设置并满足我们的使用需求。

数据

当前PhIS版本包含四个来源的数据，表中给出了更多详细信息1.

• TRACER数据库[31]包含对携带由睡美人转座子系统产生的转基因插入物的胚胎的成像。

  表1 PhenoImageShare数据

• 来自Wellcome Trust Sanger Institute的图片，作为KOMP2的一部分生成[32]关注单基因敲除。为这些数据提供了基因型、解剖和表型注释。

• EMAGE数据库提供胚胎基因表达图像。

• 虚拟飞行大脑（VFB）[33]. VFB数据集为跨物种整合提供了一个有趣的用途，但也为我们的解剖学报道增加了价值，其重点是成年果蝇大脑中的神经解剖学和基因表达。

本体论

为了增加语义值（即同义词、层次关系、本体交叉引用）并使集成成为可能，我们支持使用不同的本体。对于解剖学注释，我们使用MA、EMAP、EMAPA[34,35]和FBbt。对于跨物种整合，我们使用UBERON[36]以及君主倡议的桥梁文件。我们目前也有来自MP的表型术语[37]我们希望在未来的版本中为病理学和其他物种添加更多本体。其他对PhIS开发至关重要的本体是物种特定的发育阶段本体（Mmusdv、FBdv）和最初为细胞图像库开发的生物成像方法的Fbbi本体[38]. 近年来，构建和使用生物医学成像本体的努力有所增加。最近的一项调查对其中一些本体论和术语进行了回顾[39]我们也根据我们的需求对它们进行了评估。Fbbi对我们最初的使用卡有最好的条款覆盖率。BIM公司[40]例如，有大约100个术语（类），而Fbbi涵盖大约600个。然而，PhenoImageShare并没有绑定到任何一组本体，上面提到的本体仅仅是现有数据集中使用的本体。可以包括以OWL/OBO格式分发的任何本体。

因为我们集成了来自不同物种的数据，并用不同的本体进行了注释，所以在所使用的特定物种的本体中，无法使用通用的高级术语来显示为方面。为了克服这一点，我们使用了泛型本体，例如UBERON。例如，我们目前拥有的发展阶段术语多种多样，来自两个不同的本体，它们不直接兼容。我们利用交叉引用，从而能够将物种特定术语映射到泛型UBERON术语，然后使用泛型UBER术语过滤数据。筛选“胚胎期”（UBERON）将显示小鼠胚胎阶段的图像，例如。“泰勒舞台18”也包括其他物种的产前阶段图像，例如。“原肠期”飞行中，如果可用。空间推理部分描述了我们如何从表型术语推断解剖术语的示例。

讨论

利用使用本体提供的语义选项，PhIS能够提供更好的搜索体验以及简化的显示，例如，通过按顶级术语或一些更高级别的术语对筛选选项进行分组。通过API，也可以在幕后使用同样的方法。当搜索“心血管”时，最先出现的图像是直接注释有包含“心血管”的术语的图像。然后是带有心血管系统部分注释的图像，即“血管”、“心脏”。

目前，PhIS通过使用部分关系促进了基本的空间搜索。当查询特定结构时，将返回该结构的组件，例如，如果查询的是“大脑”，则还将返回用术语“间脑”注释的图像。如中所述[41]目前正在努力在PhIS的搜索功能中包含更多的空间关系。关系来源于生物空间本体[42]包括左边和右边。这些关系将使PhIS能够返回带有注释的图像，这些注释显示了与查询词相邻（紧邻右侧/左侧）的解剖结构。例如，搜索“脾脏”可能会返回带有“胃”注释的图像，因为胃正好位于脾脏的右侧。增加背侧/腹侧与头侧/尾侧的关系将提供更完整的相邻概念。与部分测试一样，结果的排序很重要，这需要进一步探索。使用空间关系的功能扩展到组织或结构类的情况，并支持根据类似组织关系进行查询，例如搜索“next-to-joint”查询关节附近的组织，而无需指定哪个关节。当然也有局限性，因此对“肌肉附近”的搜索不太可能足够具体而有用，但对空间搜索的扩展是强大的，并且是对PhIS标准搜索能力的补充。

名片

图像对于试图建立表型和表达模式本质的清晰图像的生物学家来说至关重要。这一清晰的图像对于研究人员来说至关重要，他们的目标是找到某些特定组织类型的实验标记，或产生关于基因功能、结构或某些特定解剖实体功能的假设。

这种图像数据越来越多地包含在海量图像数据集中，在这些数据集中很难进行搜索。PhenoImageShare为生物学家提供了简单、直观的方法，从海量图像数据集中查找表型和表达模式的图像，否则将很难进行搜索。单一界面允许从一系列生物相关起点跨多个数据集进行语义增强搜索。例如，研究人员可以搜索一个基因名称，以找到该基因的突变表型和表达模式的图像，然后将显示的图像集缩小到某些相关解剖结构类别中的图像，或具有某些特定成像模式的图像。或者他们可以使用解剖学术语进行搜索，然后使用其他解剖学术语或成像方式缩小搜索范围。通过本体进行语义丰富意味着用户不需要知道注释中使用的精确术语。例如，搜索骨骼会将带有术语肋骨注释的图像拉回来。

我们当前的图像使用卡是根据立即可用的数据开发的，是2D图像数据的示例，来自项目第一阶段指定的各种来源，并选择用于说明系统功能。

在注释方面，第一个用例是绘制基本的ROI形状，并能够用本体术语对其进行注释。

从图像提供商的角度来看，PhIS提供了几个好处。其中之一是一种简单的机制，可以上传图像注释并使其在线，易于访问和发现。PhIS的目标是创建一个中心源，用户可以从中搜索或导航到他们需要的表型图像。如果达到临界质量，这样的中心源将成为表型图像的go-to场所。由于PhIS链接到提供图像的底层资源，它可以大大提高许多图像资源的可发现性，从而增加这些资源的最终用户数量。此外，PhIS还为图像资源提供了注释图像的功能，无需开发或安装其他工具。查询API可以极大地简化特定项目网站的开发。

未来的工作

未来版本将支持的功能包括查询共享和书签、通过相似性发现图像、复杂查询生成器、指向参考地图集框架（如EMAP）的链接[17]，以RDF格式导出数据并进行分析。起源本体，如PROV-O[43]应该用于将源注释映射到RDF导出的本体定义的数据属性。注释工具将支持分层注释，支持3D图像注释和更多表示ROI和注释的形状。其他未来的基础设施计划包括将PhIS服务作为便携式部件提供，如BioJS提供的部件[44]用于包含在第三方工具中。

我们还旨在将近期支持的图像类型扩展到具有复杂细胞表型的大规模组织病理学图像（2D），以及作为威康资助的发育障碍解密模型的一部分捕获的3D数据[45]项目。大规模数据的扩展将与注释模型的扩展相结合，以允许将图像映射或注册到标准空间框架，例如爱丁堡老鼠地图集项目（EMAP）为发育中的老鼠胚胎提供的模型[16].

小鼠胚胎用例利用了丰富的基于图谱的时空框架，这将允许测试不同类型的空间注释。这些范围从当前实现的具有上述解剖术语的位置图像内关联（例如ROI）到标准2D/3D地图集上的完整图像映射。然后，可以使用映射数据推断图像数据的共位置（共配准），以及更有趣的其他空间关系，例如邻近性、生物方向、连接性和模式相似性。

数据和材料的可用性

PhIS中可用的数据可以通过web GUI或通过web服务编程访问。所有代码都是开源的，可从https://github.com/PhenoImageShare网站（后端基础结构代码）和https://github.com/ma-tech/FenoneImageShare（https://github.com/ma-tech/FenoneImageShare）（用户界面代码）。该代码是根据Apache 2.0许可证发布的。查询API可用并记录在www.phenoimageshare.org/data/rest/。PhenoImageShare网站位于www.phenoimageshare.org.

结论

PhenoImageShare平台为生物学家的编程访问和用户界面工具提供了底层基础设施，支持联合图像的查询和注释。它支持本体的使用，并在此基础上提供最佳的搜索体验和空间推理。为图像生成器和第三方发布一个支持本体论的注释工具，将允许IMPC等项目联合图像注释任务，并为注释者提供一个协作平台。查询API公开用于编程访问，因此可以很容易地想象针对PhIS API的开发，无论是为了高级查询选项还是为了在其他资源中进行集成。我们鼓励图像数据集的所有者和生成者通过PhIS公开其数据，并将其视为共享图像数据的可持续平台，这需要最少的磁盘投资，并支持图像数据共享的联邦模型。