Orfeo工具箱：遥感图像的开源处理

Orfeo工具箱是一个用于最先进遥感的开源项目，包括快速图像查看器、可从命令行、Python或QGIS调用的应用程序以及功能强大的C++API。本文从遥感和软件工程这两个社区的角度介绍了Orfeo工具箱的旗舰功能。

经过10多年的发展和28个主要版本的发布，Orfeo工具箱已经从CNES昴宿星任务驱动的一个非常高分辨率的工具箱发展成为一个多传感器、多用途遥感工具箱。

由于其模块化的体系结构，OTB允许快速原型化，并涵盖了遥感图像处理的所有算法，从预处理到高级特征提取方法，允许从原始数据到增值产品。

以下是OTB功能的不完整列表：

• 读取、写入、转换、提取部分遥感数据，

• 正射校正、辐射定标、盘锐化等预处理，

• 常见的图像处理任务（阈值、傅立叶或小波变换等），

• 提取特征（辐射指数、纹理、形状等），

• 形态算子，

• 分割图像并将分割结果矢量化（在图像尺度上），

• 在有监督或无监督的情况下对图像进行分类，

• 基于对象的图像分析，

• 在地理信息系统中导出结果，并将其打印出来。

主要特点

核心OTB库是用C++基于Insight工具箱（ITK）[4]. ITK是一个用于医学成像的开源软件工具包，包括注册和分割。

作为ITK，OTB实现风格被称为泛型编程(C++模板）。这意味着代码是高效的，许多软件问题是在编译时发现的，而不是在程序执行期间的运行时发现的。它还可以处理不同类型的图像（不同的带数、尺寸、像素类型等）。

OTB算法涵盖了遥感图像从基本预处理到高性能分析所需的大量特征。OTB的使命是为地球观测图像信息提取管道提供一个基于通用、高性能C++库的免费软件端到端解决方案。除此之外，还可以构建应用程序和处理链，以满足从地面段处理链到单用户桌面应用程序的用户需求。

代码重用

遥感图像处理通常需要结合专用软件中的专用方法。OTB的思想是为这些软件库提供一个公共接口。

因此，OTB依赖于地理空间数据抽象库（GDAL）[5]支持光栅和矢量格式；OSIM用于几何传感器建模；libSVM[6]，打开CV[7]鲨鱼呢[8]用于机器学习；以及MuParser[9]例如高性能的数学表达式解析。

此外，OTB还试图跟踪有关最新进展的最新研究，并在算法发布后集成参考实现。例如形态轮廓、维数缩减方法（PCA、NA-PCA、ICA等）、线段检测器（LSD）[10]快速实现Haralick纹理和SURF关键点匹配。昴宿星图像的LSD算法的结果如图所示。1.

直线段探测器（LSD）在昴宿星泛锐化图像上的应用结果

全尺寸图像

为了最大限度地扩大用户范围，并确保OTB易于使用和安装，OTB背后的团队为所有主要平台维护和分发独立的二进制软件包：Windows、Linux和macosx。

社区

OTB从一开始就是作为一个协作的、社区的努力而创建的。由于许多开源项目有很多参与的方式，并不都需要编程能力：文档、bug报告和特性请求都非常有价值。

例如，文档一直是项目收集社区对开源软件支持的一种重要方式。此外，获取文档只是问题的一部分，同样重要的是文档的类型。OTB根据用户需要提供不同类型的文档：

• 软件指南[11]是一个包含约800页的综合指南，详细介绍了安装OTB的步骤，并描述了库的许多功能。大多数可用的课程都用真实遥感处理的结果进行了大量说明，

• OTB食谱[12]：专为非开发人员提供的OTB应用程序和Monteverdi指南。它包括对OTB应用程序和Monteverdi的简要介绍，然后是一组使用这两种工具执行遥感任务的方法，

• 教程：OTB网站还收集社区共享的免费培训材料[13].

2015年初，OTB成立了一个官方项目指导委员会（PSC），以提供高水平的指导和协调[14]. PSC为项目提供一个中心联系点，并仲裁争议。它也是项目的一个稳定的机构知识基础，并尽力让更多的开发者参与进来，并保证OTB保持开放和公司中立。

OTB-PSC的灵感来自于其他地理空间软件项目中类似的结构，比如GRASS-GIS[15]或者QGIS。

最后，OTB目前正处于OSGeo基金会的孵化阶段[16]. 在Orfeo工具箱社区中，我们尊重他人，遵守OSGeo行为准则[17]我们希望能够在2017年完成孵化过程。

Orfeo工具箱的设计既可以在用户的桌面上进行交互式计算，也可以在许多核心架构上进行太字节级的处理。这是通过一个模块化的软件体系结构实现的：所谓的OTB三明治如图所示。2.

Orfeo工具箱中的不同软件层：依赖关系、C++API、应用程序和GUI。a、 k.a.“OTB三明治”

全尺寸图像

OTB的核心是C++实现管道的API。这种核心处理模型支持多线程、流和消息传递。因此，所有应用程序和过滤器都可以处理图像并根据可用内存和CPU资源进行缩放。有了内存中应用程序链接（以最小化磁盘I/O）等附加特性，从开发机器移植代码并扩展到高性能集群通常是很简单的。

蒙特威尔第

Orfeo工具箱附带Monteverdi，一个用Qt和OpenGL编写的轻量级图像渲染和处理工具。Monteverdi利用了冰渲染引擎[18]，也可从Orfeo工具箱中获得，该工具箱提供：

• 使用GDAL overviews功能在非常大的数据集中进行平滑导航，

• 基于高级OpenGL功能（如浮点纹理和OpenGL着色语言）的局部和全局响应式渲染工具，如局部对比度增强或颜色映射（这项工作的灵感来自pvflip的作者）[19]),

• 多图像显示，任何图像的动态粗配准，其坐标参考系由Orfeo工具箱理解，其中包括地面投影和传感器几何图像。

Monteverdi是一个用于快速可视化处理结果的日常工具，可以在传感器几何体中显示图像。Monteverdi还使用应用程序促进处理，这将是下一节的重点。它并不打算取代更适合编辑、显示和关联不同地理信息源（栅格或矢量）的地理信息软件，如QGIS。

图三显示了一个使用Monteverdi可以获得的渲染类型的示例。

Monteverdi软件可视化面板显示具有局部半透明性的正射影像和具有喷射颜色映射的底层数字表面模型

全尺寸图像

OTB应用

这个跨平台、随时可用的OTB包附带了90多个应用程序。应用程序从底层公开现有的处理函数C++库，或将它们组合到高级管道中。这为许多复杂的遥感算法提供了直接的接口。

例如正射校正应用程序包括一组复杂的管道，可以访问许多用户可以轻松配置的校正功能和参数：输出地图投影、外部数字高程模型文件、插值模式，其他旗舰的OTB应用程序遵循类似的方法，并且设计为能够很好地协同工作。

例如，最近添加的一个新的基于像素的分类框架。这组新的应用程序阐明了训练和拟合分类模型所需的不同步骤。简而言之，它们是：在参考图像中选择要用于学习的样本（以及如何选择它们），从图像中提取像素值，并训练一个有监督的分类器（支持向量机、随机森林等）。这样，用户就可以控制分类管道的设计和调优的每个关键步骤。这是在不增加复杂度的情况下实现的，以保持快速成型能力和高性能。

应用程序的另一个重要设计特征在于其代码和用户界面的独立性。这是通过所谓的应用程序框架. 该框架允许为每个应用程序提供多个接口，而无需重复代码。

如今，OTB应用程序通过以下接口提供：

• 命令行，

• 基于Qt的GUI界面，

• Python用于高级编程和与NumPy数组的连接，

• Monteverdi用于交互式处理观看的图像，

• QGIS通过处理插件，

• 动物园项目[20]通过Web处理服务（WPS）。

下面是一个如何使用Python运行平滑应用程序的示例，在每次迭代中更改算法：

此外，OTB应用程序可以通过构建在QGIS处理框架之上的Python插件在QGIS中提供[21]使空间分析任务更高效、更容易完成。

两个附加的特性一起工作以减少多个接口之间的摩擦：将应用程序参数保存到XML文件中，以及将GUI参数自动转换为Bash以便于复制粘贴。

扩大规模

可用于桌面遥感的Orfeo工具箱应用程序将无缝扩展以处理更大的数据集。只要有可能，Orfeo工具箱中实现的算法都在执行分段处理，这意味着如果数据更大，则需要更长的时间来处理，并且内存预算不变。这种分段处理是Orfeo工具箱非常依赖的ITK处理管道的一个关键方面（在ITK世界中，分段处理有时被称为流式处理）。即使在流水线中组合了多个算法，这种能力也会保留下来。当一些算法没有明显的分段计算方法时，Orfeo工具箱也提供了这些方法的适应性版本，例如MeanShift分割[22]或大规模区域生长分割[23]通过图中所示的分段或分片计算处理，确保了稳定的结果。4.

在高分辨率光学图像上进行大尺度区域合并分割的结果

全尺寸图像

然而，不管数据大小如何，都能容纳内存预算只是问题的一部分。用户通常还希望利用现代CPU架构以及高性能计算基础设施（HPC），而Orfeo工具箱也会为他们做到这一点。只要可能，算法实现都是线程化的，主要使用OpenThreads[24]，即使代码的特定部分也将使用OpenMP[25]指令。Orfeo工具箱将无缝地使用CPU的所有核心。但是随着数据集变得越来越大，应用程序通常会转向HPC架构，共享许多具有共享高带宽存储的相似节点，Orfeo工具箱也可以做到这一点。它允许MPI[三]并行处理，这意味着整个管道将跨节点进行复制，这将产生一部分结果图像[26]. 使用这种功能的一个例子是对整个昴宿星图像（16亿像素）进行平移锐化。扩展到560个单线程节点，处理时间缩短到4.3分钟。

最后一个对扩展数据非常有用的功能是应用程序之间的内部管道连接。从几个应用程序构建一个处理链非常方便，并且可以很好地扩展。但中间数据必须写入磁盘，然后由下一个应用程序再次读取。如果不打算保留这些中间结果，这将导致不必要的I/O时间开销。在这种情况下，允许应用程序之间的内部应用程序连接。

除了将OTB集成到OSGeo4W、QGIS和Zoo等第三方工具之外，图书馆和应用程序也已成功地从研究活动转移到大规模生产地球观测衍生产品的操作环境中。

ESA Sentinel-2地面段

哨兵-2任务提供了一个系统的全球覆盖范围，具有高空间分辨率、高重访和从可见光到短波红外的广泛光谱带。因此，要处理的数据流相当大（每天压缩原始数据1.2万亿字节），需要设计具有高效图像处理能力的有效载荷数据地面段（PDG），以近实时的方式生产最终用户级1C产品（大气层顶部的正射校正数据）。为了开发PDGS的图像处理模块，欧洲航天局（ESA）选择OTB库作为仪器处理设备（IPF）模块的主要组件。更准确地说，OTB滤波器已用于所有辐射校正（去噪、缺陷像素检测和校正、质量掩模和TOA转换）和重采样操作。将检察官办公室纳入这一业务框架在质量和业绩方面都取得了成功。自2016年7月以来，所有可用的Sentinel 2数据都由OTB过滤器处理。此外，OTB库还用于任务执行中心（MPC）的一些校准和验证活动。

MACCS公司

在光学域反射范围内的空间光学遥感是研究陆地表面状态和演化的有力工具。然而，来自太空的光学观测受到大气的严重干扰：云、气体分子和气溶胶散射并吸收太阳发出的光或地球表面反射的光。因此，遥感图像时间序列的业务处理需要初步的校正步骤，如云的检测和大气效应的校正。这些任务在陆地表面上尤其困难，因为有两个主要问题：识别无云像素，然后分离地表和大气效应。云检测问题已经在其他地方得到了解决[27]不在本文的范围之内。

关于大气校正，必须考虑两个影响：

• 特别是对大气吸收谱带内的臭氧，特别是对大气吸收谱线有较强的吸收作用。在这些波段，气体吸收可以通过气象分析和简单的分析模型，如简化的大气校正模型（SMAC）进行精确的校正[28]或6S辐射传输模型[29],

• 空气分子和气溶胶的散射：大气中的散射被非常精确地模拟，并且可以被充分地解释，前提是大气的成分足够清楚。空气分子的情况就是这样，但困难在于对气溶胶特性的了解，这些特性在位置和时间上都是非常可变的。

通过对气溶胶光学厚度（AOT）和气溶胶模型的了解，利用辐射传输编码，可以校正气溶胶效应，并将卫星大气顶（TOA）反射转化为地面反射[30].

多时相大气校正和云屏蔽（MACCS）是一个处理链[31]它实现了所有这些步骤。它是在CNES设计的，操作系统完全是基于OTB开发的。

MACC用于法国Theia土地数据中心（Theia）[32]产生并近乎实时地分发在5个区域上采集的Sentinel-2数据米 k 米 ². 处理工作从法国开始，并在2016年底和2017年初逐步扩展到其他选定地区。

Theia OSO土地覆盖产品

对土地覆盖的详细和准确的了解对于许多科学和实际应用至关重要，因此，它被确定为一个重要的气候变量[33]. 这种准确的知识需要经常更新信息。

除了分发地表反射率产品外，法国Theia土地数据中心还设立了一个科学专门知识中心，其目的是利用Sentinel-2图像时间序列，实施一个可操作的全自动土地覆盖图制作系统。该产品将每年更新一次，将包含20个10米分辨率的专题课程。

开源系统[34]基于在研究中心开发的OTB，空间生物圈实验室（CESBIO）允许以一致和可复制的方式绘制这些类型的地图。实验分类和作业分类是大面积土地覆盖制图和监测的两种不同方法[35,36]. 前者侧重于新算法和模型的开发和性能测试，后者侧重于在预定义的时间表内开发和交付可靠的数据产品[37]. 该系统旨在通过评估新策略在作战图生成系统中的性能来填补这两种方法之间的差距。

2014年法国土地覆盖图如图所示。5.

2014年法国THEIA土地覆盖产品原型

全尺寸图像

该程序的目标是可移植到全球其他地区，并允许在命名和更新频率方面进行演变。为了实现这些目标，该方法的所有步骤都独立于制图术语或景观特征。尽管如此，该方法可以通过输入数据（地球观测、参考数据等）考虑到所有这些特征，但不需要为此修改工作流程。

地理信息促进可持续发展（GEOSUD）

生态系统、农业系统和领土的空间信息对于环境和农艺研究以及公共政策至关重要。GEOSUD旨在转让环境和领土管理的方法，并使科学界和公共行为者更容易获得空间信息[38]. 目前，这一访问由提供非常高分辨率遥感产品（RapidEye、Pléiades、Spot 6和7）的地理空间数据基础设施保证。它是通过使用开放地理空间联盟（OGC）的Web服务来实现的，这些服务用于数据访问、可视化和编目。实现ogcwebprocessingservice（WPS）标准的基础设施的引入扩展支持地理空间数据的交互式按需远程处理。为此，Orfeo工具箱已经部署在集群计算架构上，允许加速数据密集型进程。大量可用的OTB应用程序满足了广泛的需求，而不管用户的专业知识如何。

农业哨兵-2

根据地球观测数据发展更好的农业监测能力对于加强粮食生产信息和市场透明度至关重要。前文所述的全球农业哨兵2号任务具有最佳的区域监测能力。在这方面，欧洲航天局于2014年发射了“农业哨兵2号”[39]该项目旨在通过开发相关产品的开源处理链，为农业监测准备Sentinel-2数据的开发。这些处理器基于OTB应用程序框架和库，从Sentinel-2（和LandSat 8）高效生成2A级数据：

• 无云反射复合材料，

• 植被状况指标（LAI、NDVI和物候指标），

• 动态农田面具，

• 作物类型图。

在地区或国家范围内（参见图。6).

2016年3月，捷克共和国Sentinel-2农业项目制作的作物类型图和LAI图（in橙色冬季油菜黄色的冬季谷类食品灰色饲料作物）。完整的地图可以在[39]

全尺寸图像

作为OTB应用程序，Sentinel-2foragricultural处理器可以与其他标准的开源处理框架（如Sentinel application Platform，SNAP）接口[40].

在十年的生命中，Orfeo工具箱已经从一个C++只不过，VHR专用库是一个多功能工具包，可满足大多数遥感图像的需求。Orfeo工具箱现在是几个大型、可操作项目的一部分，同时仍然是实验室日常图像处理的首选工具，也是编写新算法和方法的良好环境。可伸缩性、多功能性和开放性是Orfeo工具箱的关键资产。

该软件不断发展，以提高性能，提供更多最先进的算法，并提供它们之间的最佳互操作性。Orfeo工具箱路线图是用户驱动的，其年轻的开放式项目指导委员会确保每个愿意参与的人都能得到同等的关注。在中短期内，下一个OTB版本将包括在应用程序框架中更好地集成非监督分类算法，以及改进Quantum GIS中应用程序的集成。最后，该项目将继续努力培养更多的贡献者。由于已经贡献了大约10个活动的远程模块，该项目正在取得进展。

作者要感谢所有为OTB开发做出贡献的人，bug报告的作者，bug修复和增强的作者，以及多年来一直致力于库的协调、文档和测试以及支持该项目的人。

作者的贡献

MG，JM，VP，JI，MS和RC都是OTB开发团队的成员，并撰写了手稿。所有作者都阅读并批准了最后的手稿。

相互竞争的利益

作者声明他们没有相互竞争的利益。

出版商说明

在斯普林格的管辖权地图上保持中立。

隶属关系

1. 法国图卢兹Edouard Belin大道18号，Cedex 09，Toulouse，邮编：31401

   曼努埃尔·格里宗内、朱利安·米歇尔、维克多·波贡和乔迪·英格拉达

2. 法国图卢兹罗氏上校大道13号，邮编：31401

   乔迪·英格拉达

3. 法国图卢兹Moulinais Brindejonc des Moulinais路5号，邮编：31500

   米卡埃尔·萨维纳德

4. 法国蒙特勒提尔街34号，邮编：09500

   雷米·克雷森

通讯作者

通信对象曼努埃尔·格里宗内.

开放存取本文根据Creative Commons Attribution 4.0国际许可条款分发(http://creativecommons.org/licenses/by/4.0/)，允许在任何媒体中不受限制地使用、分发和复制，前提是您对原始作者和来源给予适当的信任，提供到Creative Commons许可证的链接，并指明是否进行了更改。

转载和许可