斐济——生物图像分析的开源平台

摘要

介绍

许多原始生物数据是以图像的形式获取的。近年来，随着自动化显微镜技术的采用，图像数据的数量和复杂性增加到不使用计算机就无法提取信息的程度。因此，生物学家越来越依赖计算机科学家提出新的解决方案，并依赖软件来应用这些解决方案。从阿兰·图灵关于形态发生的开创性论文开始¹，通过开发高效的序列搜索算法²和计算全基因组组装^三计算机科学家对生物学研究产生了深远的影响。计算机图像分析以其最简单的形式克服了人类观察者的局限性和偏见。更重要的是，计算机对于处理在各种条件下对大量和各种生物样本进行高通量显微镜检查时产生的图像至关重要^4–6此外，单个完整小生物体的成像现在在二维、三维和跨时间的高分辨率上是可行的⁷，导致大量图像数据集远远超出主观观察可获得的范围^8,9对这两种类型的图像数据的分析需要计算机视觉技术来从许多重叠部分重建图像体积（配准）^10,11; 用于搜索生物相关特征（分割）¹²; 用于跨空间和时间跟踪相关对象（跟踪）^13,14; 并通过绘制解剖或细胞数字地图集来比较标本^15,16.

实现这些任务的算法已经开发用于城市街道视图等自然图像，并且必须适用于生物图像数据。算法的数学公式需要转移到生物学家可以访问的环境中。这种环境必须提供直观和全面的机制，将算法应用于生物数据，并以用户友好的方式可视化结果。与此同时，许多图像数据集的庞大规模要求算法运行速度快。这些需求由新兴的生物图像信息学跨学科领域解决，该领域将计算机视觉和其他图像处理方法应用于生物研究问题^17,18.

有几种商业（例如Imaris、Volocity、Amira）和开源（例如ImageJ¹⁹，细胞档案器²⁰，瓦a3D²¹、BioImageXD、Icy²²，克里姆²³等）生物图像分析平台。商业平台通常侧重于图像处理任务的易用性和广泛覆盖面，以相对缺乏经验的用户为目标。现有图像处理算法的基本细节几乎总是隐藏的，这不适合解决前沿研究问题。相反，这些细节在开源平台（如ImageJ）中是完全透明的，ImageJ的长期存在、广泛采用和可扩展插件架构使其成为来自广泛学科的科学家的首选工具。但ImageJ主要是由生物学家为生物学家开发的，其架构不遵循现代软件工程原理。这使得计算机科学家使用该平台向生物学家提供新的解决方案的吸引力降低。

为了解决ImageJ中的这一不足，我们启动了一个新的开源软件项目斐济（斐济就是ImageJ），该项目更新了ImageJ的基础架构，使研究人员能够专注于为生物图像分析开发创新的尖端解决方案的过程。斐济引进了功能强大的软件库，用于从算法发现到实用图像分析工具的快速转换。斐济可用的核心算法可以通过生物信息学家熟悉的广泛脚本语言加以利用，并进一步简化新生物基因解决方案的原型。最后，斐济提供了一个强大的分发系统，确保新算法尽快到达其广泛的用户群，并基于开发人员和用户之间的通信启动迭代优化。总之，斐济被设计成一个软件工程生态系统，计算机科学和生物研究团体可以在这里合作，将算法转化为解决生物研究问题的可用程序。

斐济如何增强ImageJ

ImageJ由NIH的Wayne Rasband创建¹⁹，并提供了在任意平台上的轻松安装和简单的用户界面。尽管它主要针对的是拥有最低计算机技能的研究人员，因为ImageJ的功能可以通过插件（可以单独安装以添加功能的软件组件）轻松扩展，ImageJ也对受过软件开发培训的研究人员具有吸引力。多年来，ImageJ插件的种类令人印象深刻，涉及生物图像分析的大多数领域(http://imagej.nih.gov/ij/).

斐济保持与ImageJ的兼容性，并以其他核心功能对其进行补充。斐济项目首先是为了支持更复杂的ImageJ插件之一TrakEM2的安装和维护而创建的，该插件为大型电子显微镜数据集的管理、注册、分割和注释提供了全面的解决方案（Cardona A等人，未发表的结果）。TrakEM2的复杂性和软件基础设施都超过了经典ImageJ提供的设施。随后，几个其他高级插件（4D查看器²⁴，SPIM注册²⁵、可训练细分等；看见补充表1)开始依赖斐济的现代软件工程实践，例如软件版本系统、包含第三方库、自动更新和直接编译。

先进的图像分析解决方案与ImageJ用户界面的简单和熟悉相结合，吸引了大量用户使用该平台。斐济是ImageJ的一个有效的开源发行版，其中包括各种各样的有组织的库，以及与生物研究相关的插件(补充表1)脚本语言和广泛的教程和文档。ImageJ中插件的过度增殖和冗余可能会导致难以确定适合特定生物问题的解决方案。斐济通过在插件菜单中提供按类别组织的插件精选来解决这个问题(补充图1).

斐济项目旨在为广泛的研究人员提供有用的功能，从编程不可知论的生物学家，到生物信息学家和软件工程师，再到专业的计算机视觉研究人员(图1a). 斐济通过将所有必需的组件捆绑到一个可在任何计算机平台上运行的独立软件包中，增强了ImageJ的易安装性。此外，编程技术娴熟的生物学家可以使用其许多熟悉的脚本语言来构建自定义图像处理管道。斐济为专业软件工程师提供源代码管理、算法的高性能实现和简单的全球部署。最后，斐济可以成为计算机视觉研究人员的有用工具，因为它捆绑了标准库，建立了到其他平台的桥梁（例如通过Miji插件的MATLAB），并为数据类型无关的通用算法的快速原型制作提供了便利。

在单独的窗口中打开

图1

斐济是ImageJ的高性能发行地

(一)斐济平台能够在与ImageJ相同的点击式界面中与多维图像数据交互。它简化了从计算机视觉研究人员的数学公式到软件工程师使用版本控制和算法库编写的功能程序的转换（ImgLib设计示意图）并允许生物信息学家使用脚本语言（脚本编辑器插件屏幕截图）构建强大的图像处理管道。(b条)斐济更新程序为向用户社区发布新算法开发提供了独特的机制。每次斐济推出时，它都会从德国德累斯顿的主服务器或其他更新站点下载可用的更新。斐济开发者社区批准的新插件立即交付给全世界数千斐济用户，或者可以通过用户启动的更新站点直接提供。

斐济的源代码托管在一个版本控制的源代码库（Git）中，供人们一步下载、修改和编译(http://fiji.sc/cgi-bin/gitweb.cgi). 任何人都可以访问一个特殊的“contrib”分支来发布他们的插件、库或脚本。审查成功后，代码被纳入斐济软件包系统，并通过集成的斐济更新程序立即发布给全球数千斐济用户(图1b). 这种机制提供了一种形式化的方式，可以向生物研究人员发布新的图像分析解决方案，同时还可以确保贡献代码的质量控制及其长期维护。研究小组可以按照简单的说明建立自己的更新站点并向社区提供新插件(http://fiji.sc/Adding_Update网站). 因此，用户可以选择从各种更新站点获得的插件集，从而形成适合其图像分析需要的自定义斐济安装(图1b).

斐济项目特别强调用户和开发人员之间的沟通。斐济插件通过活跃的Wiki广泛记录，代表斐济安装、维护、编程和使用的所有方面的权威指南(网址：http://fiji.sc和补充图2). 反馈和功能请求将发布到专用邮件列表中。斐济开发人员在网上积极讨论，斐济核心开发人员定期会面，进行被称为“黑客马拉松”的编码狂欢，他们在斐济源代码上合作。这些事件通常导致斐济代码库的显著改进和扩展，即所谓的“黑客马拉松效应”(补充视频1).

简言之，斐济侧重于使新的解决方案切实可行并立即将其提供给用户的过程。在下一节中，我们将讨论斐济的脚本语言如何使生物学家能够自己进行复杂的图像分析，以及斐济图书馆ImgLib如何简化抽象算法到可用程序的转换。

实现算法的脚本和ImgLib

生物图像数据的分析通常需要对许多图像依次应用多种算法。脚本使用一系列简单的编程命令（“脚本”）来定义一系列算法操作，然后将它们应用于图像集合。

简单的宏语言允许记录命令和构造基本程序，这使得脚本在ImageJ用户中很受欢迎。斐济通过支持广泛的脚本语言（Jython、Clojure、Javascript、JRuby、Beanshell）在该功能的基础上进行构建，在开源和商业生物成像平台上提供了最全面的编程工具选择。这些语言可以在不了解Java的情况下使用，与宏语言相比，它们提供了更高级的编程语法，同时为临时程序员保留了相对的简单性。

在斐济，通过使用适当的解释器插件（例如Jython解释器）将单个脚本命令交互式应用于打开的图像，可以快速测试这些命令。除了在当前图像上交互式执行命令之外，斐济还提供了一个脚本编辑器，可以用所有上述语言编写、调试、测试和运行任意复杂的脚本，还可以使用Java本身。使用“脚本编辑器”（Script Editor），用户可以用几行代码执行复杂的任务，而这些代码需要最少的编程知识。加载多通道三维图像堆栈、识别一个通道中的所有单元格并在4d查看器插件中可视化结果变得相对简单（16行代码）(图2a). 类似地，用户可以实现一个简单的任务，例如在多维图像中交换荧光通道，并使用脚本命令将其应用于目录中的大量图像，以进行文件操作(补充图3). 代码的细节并不重要（可在以下网址获得大量教程http://fiji.sc/wiki/index.php/Category:脚本)然而，需要注意的是，所有脚本语言都允许用户访问斐济广泛的算法库，这些算法库使用Java实现高级图像分析技术。因此，研究人员不需要精通Java编程，可以使用现有的脚本技能将复杂的算法应用于数据。脚本无缝地包含在斐济的菜单结构中，可以通过斐济更新程序公开发布。这些发布机制确保了有效性和长期生存能力，与MATLAB等封闭脚本环境相比，对生物学家来说更方便。

在单独的窗口中打开

图2

脚本和ImgLib

(一)一个简单的Jython脚本示例，它通过简单的脚本命令在斐济图书馆上实现复杂的分割和三维可视化绘图。任务是打开果蝇属在第一龄大脑中，皮层和神经胶质细胞被Nirvana-Gal4和UASmcd8GFP标记为绿色，表面胶质细胞被抗回购抗体标记为红色，所有细胞核被Sytox标记为蓝色。目标是使用高斯差分（DoG）检测器（第9行），应用细胞大小和标记强度的约束条件（第3行和第4行），自动计数红表面胶质细胞。通过从元数据中提取图像维度（第6行），这些约束表示为DoG sigma参数（第7行和第8行）。细胞计数打印在对话框中（第10行），随后细胞在4d查看器中显示为固定直径的红色球体，与原始三维图像的正交视图重叠（第13-16行）。(b–j)使用通用ImgLib构造实现的算法对图像进行操作，而与维数无关。该图显示了两个ImgLib算法的输出：最大稳定极值区域（MSER）和DoG。三维输入图像是秀丽线虫表达核标记的蠕虫。比例尺10μm。(小时). 堆栈中的切片用作2d输入图像。比例尺10μm。(e（电子）). 切片中的线段用作1d输入图像(b条). 一维、二维和三维DoG算法的结果显示在(c（c）), (如果)、和(我). 1d、2d和3d的MSER算法的结果如所示(d日), (克)、和(j个). 算法在1d上运行(c、 d日)，二维(f、 克)、和3d(i、 j个)输入而不更改单行代码（请参阅补充图4). 代表细胞核竞争分割假设的嵌套MSER区域是彩色编码的（绿色、红色、蓝色和洋红色）。

斐济项目的一个主要特点是ImgLib(图2b–j)²⁶是一个用于图像数据的类型、维度和存储无关表示的库，它支持以高性能的方式编写通用算法。在ImgLib中，图像处理算法只需实现一次，并且可以在不更改的情况下应用于大多数类型的图像。换言之，ImgLib使用户能够对任何图像应用复杂的图像处理算法，而不管图像有多少维（1d、2d、3d、2d+t、3d+t等）、底层数据类型是什么（8位、16位等）或图像是如何存储的（在内存中、分页到磁盘、通过网络分发）。

当将分割算法应用于共焦扫描时，我们证明了ImgLib的维度无关性秀丽线虫表达细胞核荧光标记的幼虫(图2b–j). 高斯（DoG）和最大稳定极值区域（MSER）的差异²⁷是两个受计算机视觉文献启发的blob检测算法示例，它们适用于检测生物图像中的细胞。DoG是通过减去图像的两个连续高斯卷积来计算的。DoG中的强度最大值和最小值分别表示亮斑和暗斑检测。MSER树提供了一个嵌套的blob分割假设层次，这在密集的细胞场中尤其相关。这两种算法都适用于一维曲线的处理(图2b–d)，2d图像切片(图2e–g)和三维图像体积(图2h–j). 使用ImgLib，只需一段简单的计算机代码(补充图4)能够在不做任何修改的情况下对任意尺寸的图像运行算法（DoG图2c、f、i和MSER图2d，g，j分别用于1d、2d、3d）。

ImgLib对于临时用户来说是不可见的，并且应该是不可见。它是一个“引擎盖下”的高级软件工程概念，使编程更容易。ImgLib为用户和计算机视觉研究人员提供了必要的抽象，可以将先进思想或算法的数学描述无缝地转换为简洁的代码，从而在大型生物图像上高效运行。将算法本质与实际实现分离的类似库在ITK/VTK等其他平台上也可用²⁸和VIGRA²⁹.

上面提到的两个脚本示例都使用ImgLib来完成由简单脚本命令引导的处理。ImageJ的宏语言或Java中的等效程序要复杂得多或不可能。这是由于脚本语言的简单性和ImgLib的维度、类型和存储策略独立性的结合。在下一节中，我们将展示Fiji、ImgLib和其他图书馆的协同作用如何将抽象算法转化为可用的生物图像分析应用程序。

协同作为设计原则

斐济越来越多的现代图像分析算法是斐济项目之间相互作用的产物(补充图5)使用计算机视觉算法支持正在进行的生物研究。我们简要概述了三种先进的图像处理管道，用于从瓷砖拼接多维图像(图3a-e)，重建块状连续切片透射电镜（ssTEM）镶嵌(图3f–j)用选择性平面照明显微镜（SPIM）重建长期、延时、多视角的发育记录(图3k–o). 斐济维基上可以找到更多项目和协同效应的例子(网址：http://fiji.sc)我们邀请编程技术娴熟的生物学家、对生物学感兴趣的专业开发人员和计算机视觉研究人员，用一种新的算法寻找应用程序，加入斐济运动，贡献新的方法、想法和插件。

在单独的窗口中打开

图3

斐济项目

(一–e（电子）)拼接插件，用于拼接三维共焦图像的全局最优配准。的源数据果蝇属一龄幼虫神经系统(一)使用具有全局优化的相位相关进行注册(b条)并在斐济4d查看器中可视化(c（c）). 四个标记神经元（在4d查看器中进行颜色编码(d日))使用手动分割插件（分割编辑器）进行分割，并测量其体积(e（电子）). (如果–j个)使用TrakEM2插件对大型ssTEM拼接进行全局优化重建。ssTEM马赛克的示意图，每个正方形是一个单独的图像块，独立的部分是彩色编码的(如果). (克)视频的屏幕截图，显示单个部分的全局优化进度。SIFT特征为青色，表示当前迭代中相应SIFT特性位移的残余误差用红线表示。(小时)双色叠加显示幼虫大脑整个半球的两个注册连续切片。比例尺10μm。(我)使用TrakEM2手动分割ssTEM数据集中单个截面的一小部分内的轴向剖面。每个配置文件都标有不同的颜色。比例尺0.5μm。(j个)用TrakEM2从注册数据的微观剪切中手动提取突触前伴侣数量和突触后位点之间的关系。(k个–哦)用于处理多视图SPIM数据的插件套件。(k个)多视图SPIM成像的示意图，显示了从不同角度采集的同一样本的三维堆叠。(我)多视点SPIM捕获全局优化研究进展果蝇属胚胎。相应的几何珠描述符根据其在优化器当前迭代中的残余位移进行着色。(米)12岁时产生的重建胚胎^第个（顶部）和13^第个（底部）核分裂循环在斐济的三维查看器中显示为三维渲染。比例尺50μm。(n个)His-YFP标记细胞核高斯分割差异的结果；与中的相同阶段(米). 每个细胞核都标有不同的颜色。(哦)12点核计数的量化^第个和13^第个胚胎中的核分裂如图所示(米)和(n个).

结论

长期以来，ImageJ一直是需要基本和高级图像分析的生物学家的首选工具。在ImageJ的生命周期中，显微镜的一次革命使典型图像大小增加了一个数量级，吞吐量增加了两个或更多数量级。斐济项目为生物学家提供了强大的工具，用于生成高级图像处理管道，通过脚本语言和功能丰富的库来处理大量大型图像，同时建立在ImageJ的简单性之上。

在过去两年里，斐济项目获得了显著的国际认可(图4a). 对斐济更新记录的分析表明，斐济在世界各地的每个主要学术研究中心都有使用(图4b). 斐济的下载次数和斐济维基的访问权限(图4a和补充图6)在过去几年中稳步增长，目前估计有2万用户。一些著名的科学机构使用斐济作为开源解决方案，以满足其研究人员的图像处理需求。随着社区的发展，新的项目和新的有才华的研究人员加入进来，扩大了生物学家处理图像数据的能力。

在单独的窗口中打开

图4

斐济使用情况

(一)一张图表显示了过去三年中每月斐济维基的独特访问者数量。(b条)世界地图上覆盖着计算机的地理位置，在一周内更新了斐济。

许多可用于斐济的图像分析解决方案是斐济独有的，在其他平台上没有可比的替代方案。斐济插件中实现的一些标准图像处理或可视化任务由其他平台（例如三维可视化（Vaa3D²¹)或可训练分段（CellProfiler²⁰)). 然而，在斐济，这些工具嵌入到一个大型插件生态系统中，可以通过公共基础设施进行交互，例如通过使用脚本语言将不同的图像处理步骤组装成复杂的管道。

对Java的依赖引发了这样一个问题：斐济是否能够在大型生物图像数据之上高效地处理计算密集型任务。确实，C/C++编程语言中仔细的算法实现有时会比等效的Java程序执行得更快。在其他情况下，Java优于C/C++（参见示例http://fiji.sc/Why_Java). 同样正确的是，专用实现通常会优于通用实现。上面描述的许多斐济旗舰项目处理大量TB级数据集，但在标准硬件上提供交互性能。Java的重要优点是易于在各种平台上安装，具有可移植性、稳定性和向后兼容性，使用C构建的包很难实现这些。因此，斐济在可用性、，性能和灵活性，因此它在生物图像分析领域占据着独特的地位，它可以协同补充其他工具，并提供独特和新颖的功能。

斐济不仅在源代码方面开放，而且在与其他平台的关系方面也开放。它旨在与其他生物图像分析软件进行通信和集成，这些软件在特定任务上表现优于斐济。这种集成的一个例子是MATLAB和ITK的接口，ImgLib可用于任何基于Java的平台（例如KNIME和ImageJ2）以及来自不同平台的开发人员参与以Fiji为中心的黑客马拉松（最后两次黑客马拉松由ImageJ2、CellProfiler、Micro-Manager、ITK、KNIME、Icy、BioImageXD和OMERO的代表参加）。最重要的是，未来，斐济将通过成为ImageJ2的面向应用的外层，重新连接其根(http://developer.imagej.net/)该项目旨在重新设计ImageJ的核心，以满足下一代生物学研究的需求。斐济将重点开发受生物研究项目需求启发的最先进插件，而ImageJ2将重点创建必要的基础设施，以可持续的方式原型化、实现、分发和部署新型算法解决方案。这两个项目共享一个共同的起点，即经典的ImageJ环境，并致力于共同交换代码和协调设计决策。通过将斐济旗舰插件和库（如斐济更新程序和ImgLib(补充图7)建立长期合作关系的基础，将ImageJ2核心的专业软件工程与斐济生物应用程序驱动插件开发相结合。

补充材料

致谢

参考文献