采样理论信号处理数据分析。作者手稿;PMC 2022 5月10日提供。
以最终编辑形式发布为:
预防性维修识别码:PMC9090194型
NIHMSID公司:美国国家卫生研究院1747510
使用传输变换进行数据分析和机器学习的信号分类
,、和
李世英
弗吉尼亚生物医学工程大学成像与数据科学实验室
古斯塔沃·K·罗德
弗吉尼亚大学电气与计算机工程学院生物医学工程系图像与数据科学实验室
摘要
一组相对较新的基于传输的变换(CDT、R-CDT、LOT)在各种图像和数据处理任务中显示了它们的优势和巨大潜力,例如参数信号估计、分类、癌症检测等。因此,当这些变换被用作数据分析、信号处理或数据分类的工具时,有必要阐明一些数学特性来解释它们的成功。特别地,我们给出了由代数生成模型生成的各类信号通过传输变换转换为凸集的条件。当在变换域中查看时,类的这种凸化简化了分类和其他数据分析和处理问题。更具体地说,我们在代数生成模型框架下研究了这些变换的凸化能力的范围和限制。我们希望本文将作为这些转换的介绍,并鼓励数学家和其他研究人员进一步探索理论基础和算法工具,这将有助于理解这些转换的成功之处,并为进一步成功应用奠定基础。
关键词:凸性,传输变换,凸群,数据分析,分类,机器学习
1 介绍
最近,一组与最优运输数学关系密切的变换[17,11,4,34]用于表示信号、图像和数据。在这个框架中第页是一个归一化的非负函数,而它的变换是一个与最优交通图一致的函数。简而言之,转换函数的第页是将b变形为选定参考函数的传输图第页到第页这一总体思想导致了信号和图像数据的几种非线性变换的发展,包括累积分布变换(CDT)[24]、氡CDT[12]和线性最优运输(LOT)[35,14]转换。在传输变换领域,信号和图像分析以及机器学习中的许多问题都得到了成功而有效的解决[13]. 上述变换的核心是以数学上严格的方式捕捉信号振幅(或像素强度)沿自变量(通常是一维信号的时间或图像的空间)的运动(传输)。这种信号或图像强度的传输编码实现了许多有趣的应用,其中许多应用是其他更标准的技术无法实现的。基于传输的变换已成功应用于许多数据分析问题,包括参数信号估计[26](Rubaiyat等人,2020),信号和图像分类[24,12,14](Park等人,2017;Kolouri等人,2016;Koloui等人,16),湍流建模[6](艾默生等人,2020年),癌症检测[22,33](Ozolek等人,2014;Tosun等人,2015),车辆类型识别[8](Guan等人,2019)等[15](昆都等,2018)。虽然不是基于传输转换,但传输地图也被用于许多其他成功的数据分析应用中,例如[9,27,19,30,1,29].
在传输转换框架中,信号集(请参见(1)由非负函数组成。除零信号外,它们被归一化为-范数等于1。对于信号分析、处理或分类问题,信号通过模板信号的变形来建模。例如,笑脸图像第页小时个人的形象可以(近似地)被认为是中性脸的变形第页通过微分同构得到同一个体小时,请参阅.一类信号可以通过应用一组微分同构来生成到一个信号第页。从生成此类类的过程将被称为代数生成模型。这与机器学习中的统计生成模型不同,机器学习中假设数据是从潜在的条件概率分布生成的,目的是找到这种分布。相反,代数生成模型从模板和一组差分同构创建信号类,这些差分同态通过变形模板生成类(不使用关于类的概率假设)。在这种代数生成建模假设下,传输变换对应用特别有用。
使用传输变换自动建模微笑和中性面部表情之间的差异。左上角:中性课堂和微笑课堂的样本图片。右上角:数据描述和变换域中的线性分类器(红色线)。底部:假设变换是可逆的,则可以获得分类器的逆。如分类器线的逆变换所示,分类器由一个“平均”图像组成,而沿着判别线的不同方向(红色)表示一个人微笑的宽度。该技术能够通过提供一张“平均”脸来正确总结两个类之间的差异,当一个人沿着分类器线穿过时,脸会从中性变为微笑。
如果数据是通过传输类型现象形成的,则数据分析和机器学习方法在传输变换域中应用时效果最佳。例如,以建模笑脸图像与中性表情面部图像之间的差异为任务,如建立一个数学模型来自动识别这两类之间的差异仍然是一个具有挑战性的问题,而在原始图像域学习分类器是一项困难的任务。然而,笑脸是由中性脸的肌肉群运动(传输)形成的。因此,在传输变换域(LOT)中,这个问题变得简单,如所示两个基本类(微笑类和中性类)似乎聚集成两个不相交的凸集。因此,使用超平面分离定理(或Hahn-Banach分离定理)可以很容易地实现分类。此外,由于变换是可逆的,变换空间中的任何点都可以被反转(请参阅下面的警告),因此沿着估计的分类器线(即与变换域中的分离超平面正交的线)的任何点可以在图像空间中可视化。从线性分类器的倒数可以看出,该技术能够通过提供一张“平均”脸来正确总结两类之间的差异,当一个人沿着分类器线穿过时,脸会从中性变为微笑。利用基于传输的变换来执行形态测量操作的想法是在年首次引入的[35,2]其目标是将学习技术与基于传输的表示技术相结合,以解码给定数据集中的重要趋势。
与前面的示例一样,已经演示了[23,12]解决传输变换(CDT,R-CDT,LOT)域中的估计和检测(即分类)问题的主要优点之一是将信号和图像类渲染为凸的。该想法概述于.信号空间中的两类和将显示。它们由在自变量随机平移下观察到的分别包含“一个凹凸”和“两个凹凸“的信号组成。右侧面板显示了在传输转换域中表达的相同类。很明显,由于随后的流形(包含变换数据的几何结构)在本例中变为线性,变换1D信号集使问题更容易解决。此外,当训练数据集样本较少(例如,训练数据有限)时,可以使用生成模型在变换域中的凸性来更好地建模数据类。这是数据分类问题的一个重要属性,我们将在总结和开放性问题的结束语中对此概念进行扩展(第5节). 最近,Shifat-E-Rabbi等人[31],利用这些性质提出了一种用于图像分类的传输变换最近子空间方法。实证测试表明,该方法计算简单,不需要迭代调整超参数,在某些问题上可以与流行的神经网络类型分类器相媲美,只需很少的计算成本和较少的训练样本。
信号分类问题的示例。在本例中,类1由“一个凹凸”信号的随机平移组成,类2由“两个凹凸(two-bump)”信号的任意平移组成。
1.1. 运输转型概述。
数据分析和处理算法通常假设数据是如何生成的数学模型。例如,如果假设数据具有较大的平滑区域,则在小波变换域中使用阈值可以很好地实现数据压缩算法。类似地,当要处理的数据由包括传输在内的物理过程生成时,分析、合成、分类和其他算法往往在基于传输的转换域中工作得最好。这个关于数据集的数学模型就是所谓的代数生成模型,如下所述.
1.1.1. 代数生成模型.
在这个模型中,一个信号第页小时通过应用可微的一对一空间变换生成,到固定(但通常未知)模板第页通过,其中是一组微分同态J型小时是雅可比矩阵小时例如,当是一组转换,该设置对于建模时延估计和跟踪问题很有用[26]. 当H包括非线性变形时,它可用于模拟细胞内的质量(例如分子)浓度[2],人脑组织[15],湍流介质中的光子分布[25]、和其他[13,26]. 代数生成模型的完整数学规范见第2.3节.
1.1.2. 运输转型。
发出信号秒,其变换由最优运输图(参见。第2.1节)在信号之间秒以及选定的参考函数第页。以这种方式定义的转换产生了许多有趣的属性,当数据与上述代数生成模型一致时,这些属性有助于解决许多数据分析问题。特别是,如果手头的数据来自上述生成模型(在第2.3节),信号集将在变换空间中形成一个凸集。这对如下所述的估计和分类问题具有有用的影响。
1.2. 贡献。
新兴的基于传输的变换有助于解决某些估计、分类、数据处理和分析问题的能力与它们能够将数据表示为凸集的程度有关。因此,本手稿致力于阐明不同的基于传输的变换将代数生成模型生成的类转换为凸集的能力。更准确地说,我们指定了在变换域中使信号或图像类凸起的条件。
1.2.1. 一维生成模型的凸性条件。
我们描述了代数生成模型(一维)产生的一组信号在变换(CDT)域中变为凸的确切条件。具体来说,转换信号的集合,表示为,对所有人来说都是凸的第页当且仅当集合的变换微分同胚是凸的(参见。定理3.2和推论3.3). 此外,当是一个凸群,变换空间(参见。)可以划分为凸等价类。我们给出了凸群的各种例子并证明其中有无穷多个(参见。第3.1节).
表1。
符号 | 描述 |
---|
|
---|
第页,q个,第页 | 上的规范化函数 |
Ω第页 | 功能的支持第页 |
| 紧支撑非负规范化函数集 |
| 最佳运输图集到 |
| 一套C类1微分同态 |
| 的一个子组 |
| 上的平移和各向同性标度微分同胚群 |
| 由模板生成的信号类第页在diffeorphisms下 |
| CDT/LOT变换第页关于固定参考第页 |
| 变换后的信号类 |
| CDT/LOT变换操作符: |
| 变换空间 |
1.2.2. 多维生成模型的凸性条件和限制。
对于尺寸d日≥2,情况比案件复杂d日= 1. 对于这种情况,我们只提供了代数生成模型的一个充分条件在变换域中变为凸的。具体来说,如果集合变换的微分同态是满足为所有人以及所有人(参见。方程式(15)和),然后对于任何第页(参见。定理4.3).方程式(15)将被称为CDT的成分属性[24]. 何时d日≥2,如果我们要求为所有人保留第页然后我们证明H必须是平移和各向同性标度微分同胚的子集(参见。定理4.4). 然而,通过放宽对某些信号子集的合成要求,微分同态集这就保证了上述凸性结果可以展开。特别地,我们给出了维度2中的松弛(参见。第4.1节)其中一组,大于所有平移和各向同性标度微分同胚的集合(参见。备注4.9)如果感兴趣的数据符合更严格意义上的生成模型,则可以保证变换域中的凸性结果(参见。定理4.10).
1.2.3. 实际影响。
本文中的凸性结果对图像和信号处理有两个直接的实际意义。
第一个含义是简化分类问题,即存在一个线性分类器,可以在变换空间中完美地分离来自上述代数生成模型的不相交数据。例如,由只涉及翻译的简单模型生成的集合(参见例如。,)可以在信号域中具有复杂的几何结构,并且通常不可线性分离。与信号域中未知(通常相当复杂)的几何结构相比,变换域中的凸性保证了线性分类器的存在,该分类器将完美地分离数据类。虽然这份手稿没有规定在变换域中分离凸数据集的特定方法,但为此目的存在许多机器学习方法[10]; 特别是线性支持向量机[5],Fisher判别分析[7,3],线性logistic回归[16]可以使用一些流行的算法,这些算法的性能取决于数据在同一几何体上的统计分布方式。
作为第二个含义,变换信号类的集合是凸的这一特性允许我们解决许多有趣的估计问题。具体来说,这一特性为在传输变换域中设计线性最小二乘技术提供了必要条件,否则将需要非线性和非凸优化,因此很难求解。Rubaiyat等人[26]例如,假设测量信号通过位于有限线性子空间(尤其是一定程度的多项式空间)中的变换从目标信号变形,并在各种应用中获得快速准确的估计,例如时延和二次色散参数。
1.3. 纸张组织。
论文的其余部分组织如下。在第2节介绍了基于运输的变换、它们与最优运输理论的联系以及相关的生成模型。在第3节,凸化结果(3.1号提案,定理3.2以及一维生成模型的CDT示例。在第4节,我们提出了生成模型在维数上与LOT凸化有关的局限性d日≥ 2 (定理4.4)以及可能的放松,以减轻维度二的限制(定理4.10). 有关结果的更详细总结和开放性问题的讨论,请参见第5节.
2 序言、符号和模型假设
在本节中,我们定义了各种变换、它们的域、范围以及它们与最优运输理论的联系,并介绍了一个感兴趣的信号模型。
2.0.1. 信号和变换空间。
我们考虑的信号空间由紧支撑和规范化的非负勒贝格可测函数组成,即非零信号第页首先进行规范化以使其L(左)1-范数‖第页∥1= 1. 所有信号的空间形式上描述为
请注意,上述集合中的信号具有有限的矩,因为它们受到紧密支撑。自信号进入有L(左)1-范数等于1,有时将其视为概率密度函数是有用的。变换类属于函数集这些是中讨论的Monge运输问题的解决方案第2.1小节如下所示:
特别地,由所有其他非递减函数组成到.
2.1. 变换和蒙日问题。
最优运输的一般理论是一个深入而发达的领域,它始于蒙日的运输问题[17]. 这个问题的理论和解决方案经过了许多弯路,产生了一个一般的最优运输理论,该理论是由坎托罗维奇、布伦尼尔、维拉尼和许多其他人在过去的二百年中率先提出和发展的[11,4,34,28]. 有关最佳运输理论中关键概念的快速介绍,请参阅[32]索普。出于我们的目的,我们使用理论中最简单的结果之一来引入所需的变换。
给定一个固定的参考函数,转换属于是Monge最优运输问题的唯一解决方案:
总的来说T型这使得下面的推前关系成立:
对每个可测量集合保持不变B。在测度理论中(4)上面写得更简洁
哪里dμ第页=pdx,dμ第页=黑索今.何时T型是一个C类1微分同胚,上面的约束变成
哪里J型T型是雅可比矩阵T型.
信号空间假设下Monge问题解的存在唯一性本文是下面描述的著名布伦耶定理的一个特例。功能T型在里面方程式(5)可以解释为参考信号之间的质量保持映射第页(参考质量分布)和给定信号第页(质量分布描述为第页). 从这个角度来看,蒙日问题可以解释为找到将质量分布转化为另一个等质量分布的最佳运输图。
让和是映射元素的运算符到其上面描述的最佳运输图。根据以下假设,我们定义了函数的传输变换第页关于参考第页作为
定义2.1
(CDT、LOT和R-CDT)。
当d时≥ 2,称为线性最优传输(LOT)变换(尽管变换本身是非线性的)。
R-CDT由Radon变换和CDT变换组成.
备注2.2。
如上所述,在一维中,最优运输图是定义在特别是,给定,其CDT转换关于参考r可以通过以下关系等价地定义1
如果支持(第页)是区间,p在上是连续的支持(第页),然后
(8)
简化为
等效公式
(9)
可以通过积分得到方程式(6),将T替换为以及利用正在增加a.e.μ第页.
在信号空间的假设下,上述所有变换都是非线性的,也是内射的。μ第页。请参阅有关CDT的示例和参考第页是[0上的特征函数, 1].
CDT示例.左侧面板:参考功能第页(红色)、类高斯信号(黑色)和两个特征函数之和(蓝色)。右侧面板:类高斯函数的变换(黑色)和两个特征函数之和的变换(蓝色)。
中提供了各种空格和符号的摘要.
2.1.1. 与Wasserstein距离的关系。
给定两个概率测度μ和ν,它们之间的Wasserstein-2距离定义为
其中(μ,ν)这套措施具有μ和ν作为保证金[34]. 在一维情况下,可以表明CDT变换定义了从使用W公司2-变换空间的度量[24]. 特别地,对于任何然而,当d日≥2时,此嵌入属性通常不成立。欧几里得型距离称为之间的线性化最优运输(LOT)第页和q个什么时候d日≥2,已被证明在图像模式识别、识别和可视化问题中有用[35,14].
2.2. 最佳交通地图。
我们从布伦耶定理的一个特例开始(参见示例[4,28,34]以及其中的参考文献)。特别是,在[34]和定理1.48 in[28]我们有
定理2.3(布伦耶定理)。
让
.然后有一个独特的解决方案
(最多可设置μ第页-与r、p和成本函数相关的Monge运输问题
.相反,让
和
这样的话
.那么T对于上述函数的Monge问题是最优的
令人满意的
.
备注2.4。
布雷尼尔定理比上述版本更为普遍。具体地说,Brenier的一般定理描述了这样一种情况,即Monge问题中的r,p被两个概率测度μ,ν取代,这两个概率度量不一定具有相关的密度函数,并且其中|x个−年|2
替换为更通用的术语c(x、 年).
2.3. 代数生成模型。
在设计数据分析、处理或分类算法时,通常假设数据是如何生成的数学模型。例如,在图像的小波变换上工作良好的算法通常假设底层图像类由具有傅立叶变换的函数很好地建模,傅立叶变换很好地集中在频域的一些区域(例如,靠近原点)。以类似的方式,当要处理的数据由包含传输的物理进程生成时,处理算法与基于传输的转换一起工作得最好。代数生成模型与基于传输的变换相结合的示例在应用中得到了有效的应用,包括癌细胞与正常细胞的分类[2],人脑组织的模式分析[15],解码湍流介质中的光通信[25]、和其他[13,26].
与机器学习中通常使用的生成模型定义不同,代数模型假设一类函数由函数生成通过一种质量传递现象。尽管有无限多种运输方式第页形成由于缺乏与生成过程相关的其他信息,物理学中的最小作用原理通常会提供合理的解决方案。在这些情况下的最优交通图可用作生成模型,其中是的集合C类1-上的微分同态总之,用于生成建模的最佳交通图集为
给定一个函数(信号),一类函数(信号)是由一组微分同构的作用生成的在第页通过
哪里J型小时表示雅可比矩阵小时.不难检查这种生成模型的一个最简单的例子在.关于微分同态集的一个自然假设生成模型中使用的是它有一个组结构(参见[24]):
在合成下关闭。
.
如果,然后.
在这个生成模型中,集合具有不依赖于然而,在以下情况下也可以使用其他生成模型没有组结构,或其中取决于初始函数第页。实际上,有些应用程序更适合使用它有一个组结构,也有不需要组结构的情况。无假设的一般凸性结果成为一个小组也将在后面的章节中介绍。
三。 CDT和一维生成模型
在本节中,我们考虑一组作用于一维函数(信号)并产生函数类的变换。对于这种情况(11)成为
鉴于,和一个微分同胚和一个函数,一个新函数通过公式生成
哪个是(11)对于一维情况。让是一个固定的参考,用的转换如中所示(7).
根据上述定义,如果我们假设生成模型使用子组属于生成,则中的任何函数可以用作模板来生成通过传输差分同构即。,对于任何.
每个子组将生成的分区因此,原则上,生成模型中的组结构允许我们对图像(功能)进行分类,因此可以用于与分类相关的数据分析任务。
3.1号提案。
每个子组
划分集合
通过等价关系
由定义
q当且仅当
.
通常,如果变换集是凸的,则变换域中某些估计问题的解变得简单(例如线性最小二乘[26]). 此外,当两个不相交的生成类很容易分离时,此属性也可以使分类更容易[31]. 因此,其中一个主要目标是确定集合在什么条件下的转换是凸的。我们有以下定理。
定理3.2。
让
.然后
对于每个
当且仅当
是凸的.
推论3.3。
让
成为一个团队。然后
对于每个
当且仅当
是凸的.
显然本身就是一个凸群。因此,它可以分区成等价的凸类。两个等效类,如果supp(第页)和支持(q个)拓扑上不同(即非同胚)。的子组将进一步划分每个类甚至当生成模型是的子集,但不是的子组,这仍然是事实如果支持(第页)和supp(q个)在拓扑上是不同的。插图如所示,其中线性判别分析(LDA)[7]应用于变换域中的两个生成类及其对应的CDT。这两个信号类是用模板生成的(单点特征函数第页1和双通气特性函数第页2)如所示和一套系数有一定约束的500个随机生成的五次多项式2。可以从中看到转换后的信号类别和(右)比原始信号类分离得好得多和(左)。此外,正如我们上述理论所预测的那样,和确实是不相交的。CDT的这一特性使其非常适合于数据分析、处理和分类的许多应用。因此,我们的目标之一是了解.
两类信号及其CDT的LDA投影。左面板:从左上角信号生成的500个信号的LDA投影,左下角的信号分别是。右面板:每类500个信号的CDT变换的LDA投影。注意,这里的水平轴是虚拟轴,表示样本的计数指数(范围从1到500)。
两个生成类的模板和示例。右侧面板:信号一(蓝色),信号二(红色)。中间面板:由左面板中顶部信号的差分同态生成集生成的三个信号。右面板:由左面板中底部信号的不同强调的发电机组生成的三个信号。
3.1. 凸子群的示例.
请注意,并非每个子组是凸的,例如,由整数平移微分同胚生成的群即。,此外,还有一些与应用相关但可能不构成群的凸变换集,例如,二次多项式集。特别是,二次多项式的组成不是二次的,二次的多项式在然而,对于某些应用,要求变换在受限域中可逆就足够了[26]. 例如,二次多项式(f)(t吨)其中t吨表示当车辆不以恒定速度移动时,雷达运动估计问题中可能出现的时间,这对应于源信号和接收信号之间的传输变换。在这种情况下,(f)(t吨)仅当限制为正实线时才需要可逆。虽然二次多项式空间不是凸群,但对于固定的源信号,该模型可用于包括在源信号的时滞、线性和二次色散下接收信号的所有变化。然而,只要是凸的(参见。定理3.2). 此属性允许用户在以下情况下找到估算问题的快速实用解决方案是多项式空间[26]通过变换域中的简单线性最小二乘程序。另一方面,某些数据类(例如MNIST数据集)更适合使用集合建模具有集团结构。特别是,如果数据类中有任何信号可以像类中的任何其他模板一样成为一个好的模板,因此可以假设留在,表明确实是一个群体。凸子群的示例如下所示。
示例1。
{身份证件}是的凸子群.
{αId|α >0}是的凸子群它也是一个圆锥体。作为一个简单的例子,该组可用于模拟声学或雷达信号中的线性色散[26]. 让.所有平移函数的集合是但不是圆锥体。作为一个简单的例子,该组可用于建模信号类中的时间延迟[20]. 让.所有递增仿射函数的集合是
和一个圆锥体。该组可用于对信号类别中的时间延迟和线性色散进行建模[26]. 让
考虑一下这个集合
.然后
是的凸子群
.它也是一个圆锥体.
让Ω在中定义闭合区间然后是集合是的凸子群.
备注3.4。
让是的凸子群。那么不难看出,如果,然后是C1∩C类2
是的凸子群事实上,让{C类α|α∈一个}是一个凸子群族。如果,然后是的凸子群.
以下命题表明足够丰富。
提案3.5。
有无数不同的凸子群
.
通过检查命题3.5,我们得到以下推论。
推论3.6。
让我成为一个索引集.然后
备注3.7。
上述结果对于一维变换CDT和多维R-CDT变换是有用的。特别是,当信号类符合使用任何凸群的代数生成模型时
以上,定理3.2将保证信号类在变换域中是凸的。这种凸性以及信号及其变换之间的一对一对应关系可以促进数据分类和信号估计问题。特别是,信号域中不相交的数据类在变换域中保持不相交.
3.2、。的证据第3节.
3.2.1. 的证明定理3.2.
我们首先证明以下引理:
引理3.8。
让
,然后
哪里
表示相对于参考r的CDT.
证明。让、和是最佳的运输方式第页到p、 第页小时分别是。我们有明确的定义还有那个.使用众所周知的关系对于任何地图S、 T型事实上(因为两者小时和非递减)和相对于μ第页,我们得出的结论是。由此可见为所有人. □
假设是凸的。然后针对,且0≤α≤1,我们有
因此,是凸的。
对于相反的语句,假设是凸的,即。,为所有人.自对于每个,通过改变第页(例如,通过选择p作为第页)可以得出这样的结论为所有人. □
3.2.2. 的证明提案3.5.
让具有x个0≠x个1。选择这样的话(f)(x个0) =x个0,(f)(x个1) ≠x个0、和克(x个0) ≠x个0,克(x个1) =x个1.使用的符号(5)在示例中(1),我们得到但是类似地,但是.在不可数集上扩展前一个参数提供了一个不可数的集合的不同子群. □
4 多维批次和生成模型
在一维情况下对集合进行分区分成等价类(如命题(3.1))这对分类问题很有用。然而,与一维情况不同,方程式(14)一般来说不成立。因此,为了获得从集合的凸性如中所示定理3.2,我们需要找到条件这样对于给定的方程式
为所有人保留从而生成凸子集什么时候是凸的。
特别是我们有
定理4.1。
让
和成为一组。如果
(15)
为所有人保留、和是凸集,那么也是凸的。
因此,当是一个团队,我们有
定理4.2。
让
和成为一个团队。如果
(15)
为所有人保留、和是凸集,那么也是凸的。
如果方程式(15)就是抓住一盘为所有人,我们得到了定理3.2:
定理4.3。
让是这样的方程式(15)等待为所有人.然后
对于每个当且仅当是凸的。
请注意,与,不是的组d日≥ 2. 我们的下一个目标是找到这样的话都是凸的另一方面,有些组是例如,平移和各向同性标度的微分同态组。要看到这一点,让我们,并让小时−(x个):=αx+单位对一些人来说α >0和。对于,我们有对于某些凸函数ϕ第页.因此
看看这个,我们使用2.3以上的布伦耶定理的第二部分,并简单地注意到是凸函数的梯度。我们有以下定理。
定理4.4。
让d≥ 2和.如果有
方程式(15)为所有人保留,然后.
备注4.5。
注意,在前面的定理中,不需要是一个组。定理4.3给出了在其中都是凸的,何时方程式(15)持有。条件
(15)
被称为CDT的成分属性[24]对所有p和在一维情况下。最近,但在我们的手稿出现在arXiv上之后,Moosmüller等人也上传了[18]arXiv,其中他们同时得出了与定理4.1此外,作者提到的一个公开问题[18]本文解决了这一问题。具体来说,我们在定理4.4当维数为d时,所有p的合成属性都成立的最大集≥ 2是即平移和各向同性缩放的集合。
推论4.6。
让d≥ 2和是一个子组。如果有
方程式(15)为所有人保留,然后.
备注4.7。
定理4.4其推论表明,变换信号集的划分与一维情形相比,对凸集的约束要大得多。然而,通过允许条件
(15)
仅在的子集上保持可以扩大凸生成模型的集合。
4.1. 尺寸松弛d日= 2.
如中所述备注4.7,人们可以在(15)保持一个子集而不是所有。此组严格大于满足平等(15)。在本节中,我们将展示如何构造此类子集和组严格大于这样的话方程式(15)为所有人保留和.
定义4.8
(转换和PDF的限制集)。
哪里
.
备注4.9。
具有以下属性:
对于任何对于凸函数φ(x、 年) =(f)(x个+年) +克(x个−年).φ是上的凸函数根据f这个事实′,克′正在严格增加。
对于任何对于某些凸函数。要看到这一点,可以检查一下
哪里和对于我来说=1,2.自,都在严格地增加和.h的结论1
∘小时2= ∇某些凸函数的ψ从第i)部分和恒等式(18)以上。 对于任何,。为了看到这一点,直接计算得出
自f起′,克′正在严格增加对R(右),也是((f)′)−1(克′)−1,然后根据第一部分得出结论)。
根据前一句话的第i)部分是保守向量场(即。,小时= ∇ϕ对一些人来说C类1功能ϕ)因此是无旋的,因为+×小时= ∇ × ∇ϕ=0。显示了由一些f、 克它们是可逆的,其导数在[-5,5]上严格增加。
向量场小时在使用生成的网格[−2,2]×[−2.2]上(f)′(t吨) =t吨+ 0.1t吨2和克′ (t吨) =t吨.
根据第iii)部分备注4.9,我们有是一个组。从定义和Brenier的定理2.3,我们有事实上是某些凸函数的梯度,从第ii)部分备注4.9因此,对于任何,方程式(15)为所有人保留总之,我们有以下定理:
定理4.10。
对于任何
,我们有
对于任何
哪里
.
通过一个类似于定理3.3的论证,我们得到了以下推论定理4.10:
推论4.11。
让
成为一个团队。然后
对于任何
当且仅当
是凸的.
4.1.1. 的凸子群.
我们首先注意凸群二维平移和各向同性标度微分是。特别是,通过选择和哪里a>0和,我们可以得到.
实际上,我们可以构造通过明智的选择f、 克.
示例2。
让
和
通过直接计算,很容易看出形式为
反之亦然,其中一1,一个2
>0和等效地,,其中和.这并不难证明是在复合运算下的一个微分凸群。
4.2。的证据第4节.
4.2.1. 的证明定理4.4.
证明定理4.4依赖于将在本节末尾被证明的以下命题。通过该部分的其余部分,ϕ第页表示一个凸函数,使得ϕ第页是固定参考之间的最佳运输图第页和一个函数,其中
提案4.12。
让是中的凸函数这样,对于任何可以写为对于某些函数γ=γ(第页).然后∇2φ(x个) ≡αId日,我在哪里d日
是中的单位矩阵.
我们现在准备证明定理4.4.
的证明定理4.4.回顾一下,根据以下假设,对于任何以下内容适用
使用Brenier’s定理2.3在上述意义上,交通地图是最佳的(3)当且仅当它是凸函数的梯度。因此,存在凸函数这样的话和(注意,就像小时,小时−1也是最佳交通图)。特别是,我们有对于每个.签署人命题4.12,因此.因此,其中即。,,这也意味着.因此. □
4.2.2.的证明建议4.12.我们首先证明以下两个引理。
引理4.13。
让是中的两个函数.如果对于某些功能,然后是矩阵值函数和∇2必须通勤,即。,为所有人.
证明。
自φ, ϕ, γ根据Schwarz定理,它们的Hessian矩阵是连续的两次可微的2φ,Ş2ϕ,∇2γ都是对称的。它源自那个为所有人通过多元链式规则。由于两个实对称矩阵的乘积是对称的当且仅当它们交换时2φ(∇2ϕ(x个))和+2ϕ(x个)必须通勤。□
引理4.14。
让A成为矩阵,使AΔ = Δ某个对角矩阵的AΔ带有明显的对角线条目。那么A是对角矩阵。
证明。
让哪里δ我
≠ δj个无论何时我≠j个.自一个Δ = Δ一个,通过比较(i、 j个)-我们有两个入口
哪里一ij公司表示(i、 j个)-矩阵的第个条目一个.自δ我
≠ δj个,用于我≠j个,如下所示我≠j个,一ij公司= 0. □
引理4.15。
设D是中的对角矩阵使DM=某些矩阵M具有特征空间E的性质的MDλ=跨度{单位}这样u的所有项都是非零的。然后是D=αI,其中和我d日
是中的单位矩阵.
证明。自DM公司=医学博士,因此
因此杜∈E类λ(M(M))以及杜=αu对一些人来说自暗起E类λ(M(M)) = 1. 使用的所有条目单位为非零,并且比较杜和αu,一个人马上就会明白D类=αId日. □
如本节开头所述,ϕ第页将表示一个凸函数,使得ϕ第页是之间的最佳交通图第页和第页.
由引理4.13,我们有矩阵+2φ(∇2ϕ第页(x个))和+2ϕ第页(x个)必须每天通勤,对于每个为了证明这一主张,我们对第页首先,我们选择第页=第页(δ1,··,δd日)带有哪里δj个
>0用于j个= 1,· · ·,天特别是,哪里是参考。自ϕ第页是凸的和二次的,不难证明很容易看出和.签署人引理4.14,设置一个= ∇2φ(∇2ϕ第页(x个))和Δ=ϕ第页(x个),我们得出结论一个= ∇2φ(∇2ϕ第页(x个))是每个的对角线矩阵.自是令人惊讶的,因此是2φ(x个)对于每个。接下来,我们选择第页=第页(M(M))这样的话,其中M(M)是具有特征向量的常正定矩阵单位其条目为非零,其对应的特征空间具有维数1。使用对称矩阵的谱分解的简单构造表明M(M)存在。对于这些选择第页,φ
第页,我们有2ϕ第页(x个) =M(M)它是一个独立于x个再次说明,这并不难.因此+2(Mx公司)以及M(M)通勤。由于2(Mx公司)每一个都是对角线,使用引理4.15具有D类= ∇2φ(x个),我们有那个2φ(Mx公司) =βx个我,其中βx个是一个常数,取决于x个.自M(M)是可逆矩阵,它遵循以下规则:2φ(x个) =αx个我d日哪里αx个是一个常数,取决于x个.自对于我≠j个,我们有φ(x个1,...,x个d日) =F类1(x个1)+··+F类n个(x个d日)对于一些单变量函数F类1、…、Fd日.因此为所有人.如果遵循必须是相同的常量函数我= 1,...,d日还有那个αx个=α独立于x个,这意味着2φ(x个) ≡αId日对于一些常量α. □
5 总结和开放性问题
在本文中,我们着重强调并阐明了一组新兴的基于传输的信号变换的某些特性。更具体地说,我们已经证明,对于某些类型的信号和生成模型,前面讨论的传输变换能够使信号类在变换空间中呈现凸性。由于凸信号类使得估计和检测问题的解决方案更容易解决(例如,通过线性最小二乘或线性分类),因此该主题很重要。为了便于说明,让我们考虑一个由MNIST数据集中特定数字的随机平移和缩放组成的图像类。当训练集仅限于包含该数字的相对较小的变化(在本例中为小平移和缩放)时,可以使用变换域中训练样本的正线性组合来建模可用训练样本以外的数据类。通过这种方式,该框架可以扩展为包括与训练集中出现的小变化以及训练集中没有但可能出现在测试集中的较大变化相对应的数据。在这个意义上,变换的凸性允许我们在可用的训练数据之外推断模型。通常,取决于特定的模型假设(例如,生成模型中是否存在各向同性标度差异)采用有限训练数据的凸或正线性组合可能会产生对应数据类(在变换域中)的许多未观察到的数据。综上所述,如果两个不相交的数据类符合凸性条件和代数生成模型,则两个类中训练数据根据上述过程生成的数据将停留在变换域中的两个不交凸集中。
虽然这幅图还远未完成,但我们希望本文能为指导这些转换的有意义应用提供一个起点,并为深入了解何时以及如何应用这些转换打开大门。
5.1. 捐款清单。
更具体地说,我们通过公式将生成模型中的凸群结构与变换信号空间的凸分区联系起来(14),在一维情况下自然成立(参见引理3.8). 此外,我们给出了一维情形下微分同态凸群的例子,并证明了此类群的数量是无穷多的。
In维度d日≥2,我们表明验证公式的微分同胚(14)为所有人以及所有是的子组这是一组平移和各向同性标度微分同态。特别地生成变换后信号空间的凸分区.
此外,在维2中,我们展示了如何构造群大于这样的话(14)为所有人保留和第页在里面它是特别是生成的凸分区.英寸示例2通过明智的选择f、 克在建筑中(参见。定义4.8),凸子群给出了仿射变换集的性质。此外,矩阵集一个定义小时在里面构成对称正定矩阵集的交换凸子群。这种矩阵A要么是对应于各向同性标度的矩阵,要么是具有正特征值和特征向量的矩阵和总之,包括各向同性缩放、平移和方向拉伸的合成和.我们将更一般的组的构建留在产生的凸分区为以及作为未来研究课题的具体物理应用。
注意,只要成分属性(14)holds,凸性意味着.通过凸群划分在凸等价类中,有时不需要群结构。例如,如果信号类可以由特定模板生成第页在一组运输工具下,凸性保证了是凸的(不必是一个组)。相反,如果信号类中有任何信号可以是生成模板,不难看出一定是一个团队。该属性凸性通常使工程问题的直接实用解决方案成为可能,从而消除了对计算昂贵、非线性、非凸优化方法的需求[26,21].
5.2. 开放性问题。
在1D中缺少。更具体地说,可以问以下问题:
如果前一个问题的答案是肯定的,我们能给出更多凸子群的例子吗?我们能把子群刻画成几个具体的范畴吗?
对于每个组成套设备由中的凸形结构平铺.这个结构的几何形状是什么?
在多维空间中,使用公式很方便(14)为了得到与一维相似的凸性结果,这是不必要的。特别是,可以提出以下问题:
可以推导出从凸性没有公式(14)对所有人都是真实的? 模型上还有其他条件吗除此之外是凸的,因此是凸的吗?
有几个与维度2中的松弛有关的自然问题:
是否有更多有趣的子组示例与可能的应用程序有联系?
对于尺寸d>天>2,使用示例2作为指导,凸子群集是什么属于当我们将信号限制在?
上述讨论是在代数生成模型的框架下进行的使用单个模板第页和一个凸群微分同胚。事实上,在某些应用程序中为生成性建模考虑多个模板可能是合适的,或者不为为某些图像类建模时。我们将这些扩展留给未来的研究课题,并相信深入研究这些问题可能会带来更周到的工程建模、算法设计和新的有趣数学。
确认
这项工作得到了NIH奖R01 GM130825的支持。作者还要感谢黄龙秀、Soheil Kolouri、Armenak Petrosyan和Mohammad Shifat-E-Rabbi仔细阅读了我们的论文并提出了相关建议。
脚注
1请注意定义于(8)是有限的μ第页也就是说,但对某些人来说可能是+∞x个.
2选择多项式的系数,以便和全部在区间[0,1]内,请参阅从每个类中随机选择一些样本。
参与者信息
阿克拉姆·阿尔德鲁比,范德比尔特大学数学系。
李世英,弗吉尼亚生物医学工程大学成像与数据科学实验室。
古斯塔沃·K·罗德,弗吉尼亚大学电气与计算机工程学院生物医学工程系成像与数据科学实验室。
工具书类
[1]Arjovsky M、Chintala S和Bottou L。Wasserstein甘.arXiv预打印arXiv:1701.07875, 2017.[谷歌学者] [2]Basu S、Kolouri S和Rohde G。使用基于传输的形态计量学从显微图像中检测和显示细胞表型差异.程序。国家。阿卡德。科学。美国,111(9):3448–3453, 2014.[PMC免费文章][公共医学][谷歌学者] [3]Belhumeur PN、Hespanha JP和Kriegman DJ。特征脸与渔夫脸:基于类别特定线性投影的识别.IEEE模式分析和机器智能汇刊,19(7):711–720, 1997.[谷歌学者] [4]Brenier Y。向量值函数的极分解与单调重排.Commun公司。纯应用程序。数学,44(4):375–417, 1991.[谷歌学者] [5]Cortes C和Vapnik V。支持向量网络.机器。学习,20(3):273–297, 1995.[谷歌学者] [6]艾默生·TH和尼科尔斯·JM。根据最佳传输速度矢量拟合光学湍流的局部低维参数.模式识别字母,133:123–128, 2020.[谷歌学者] [7]费希尔RA。分类问题中多重测量的使用.优生学年鉴,7(2):179–188, 1936.[谷歌学者] [8]Guan S、Liao B、Du Y和Yin X。基于Radon-CDT混合传递学习的车型识别2019年IEEE第十届软件工程与服务科学国际会议(ICSESS),2019年第1-4页。[谷歌学者] [9]Haker S、Zhu L、Tannenbaum A和Angenent S。用于登记和翘曲的最佳质量运输.国际期刊计算。视觉,60(4):225–2402004年。[谷歌学者] [10]Hastie T、Tibshirani R和Friedman J。统计学习的要素:数据挖掘、推理和预测Springer科学与商业媒体,2009年。[谷歌学者] [11]坎托罗维奇(Kantorovich LV)。关于翻译质量(俄语),C R.Doklady.阿卡德。科学。苏联,37:199–201, 1942.[谷歌学者] [12]Kolouri S、Park S和Rohde G。Radon累积分布变换及其在图像分类中的应用.IEEE传输。图像处理,25(2):920–934, 2016.[PMC免费文章][公共医学][谷歌学者] [13]Kolouri S、Park SR、Thorpe M、Slepcev D和Rohde GK。最佳质量运输:信号处理和机器学习应用.IEEE信号处理杂志,34(4):43–59, 2017.[PMC免费文章][公共医学][谷歌学者] [14]Kolouri S、Tosun A、Ozolek J和Rohde G。图像数据集模式分析的连续线性最优传输方法.模式识别,51:453–462, 2016.[PMC免费文章][公共医学][谷歌学者] [15]Kundu S、Kolouri S、Erickson KI、Kramer AF、McAuley E和Rohde GK。使用基于传输的形态计量学从MRI中发现和可视化结构生物标记.神经影像,167:256–275, 2018.[PMC免费文章][公共医学][谷歌学者] [16]McCullagh P和Nelder JA。广义线性模型,体积37CRC出版社,1989年。[谷歌学者] [17]蒙格·G。梅莫尔(Muémoire sur la théorie des déblais et des remblais)1781年,皇家美术馆。[谷歌学者] [18]Moosmüller C和Cloninger A。线性最优传输嵌入:非线性问题的可证明快速wasserstein距离计算和分类, 2020.[谷歌学者] [19]Ni K、Bresson X、Chan T和Esedoglu S。基于局部直方图的wasserstein距离分割.国际计算机视觉杂志,84(1):97–111, 2009.[谷歌学者] [20]Nichols JM、Hutchinson MN、Menkart N、Cranch GA和Rohde GK。基于wasserstein距离最小化的时延估计.IEEE信号处理信件,26(6):908–912, 2019.[谷歌学者] [21]Nichols JM、Hutchinson MN、Menkart N、Cranch GA和Rohde GK。基于Wasserstein距离最小化的时延估计.信号处理信件,26(6):908–9122019年。[谷歌学者] [22]Ozolek J、Tosun A、Wang W、Chen C、Kolouri S、Basu S、Huang H和Rohde G。利用监督学习从核形态准确诊断甲状腺滤泡病变.医学图像。Anal公司,18(5):772–780, 2014.[PMC免费文章][公共医学][谷歌学者] [23]Park S、Cattell L、Nichols J、Watnik A、Doster T和Rohde G。基于传输模式识别的光通信涡旋模式解复用.选择。快递,26(4):4004–4022, 2018. [公共医学][谷歌学者] [24]Park S、Kolouri S、Kundu S和Rohde G。累积分布变换与线性模式分类.申请。计算。哈蒙。Anal公司, 2017.[谷歌学者] [25]Park SR、Cattell L、Nichols JM、Watnik A、Doster T和Rohde GK。基于传输模式识别的光通信涡旋模式解复用.光学快车,26(4):4004–4022, 2018. [公共医学][谷歌学者] [26]Rubaiyat AHM、Hallam KM、Nichols JM、Hutchinson MN、Li S和Rohde GK。基于累积分布变换的参数信号估计.IEEE信号处理汇刊,68:3312–3324, 2020.[PMC免费文章][公共医学][谷歌学者] [27]Rubner Y、Tomasi C和Guibas L。推土机距离作为图像检索的度量.IJCV公司,40(2):99–121, 2000.[谷歌学者] [28]Santambrogio F。应用数学家的最佳传输施普林格,2015年。[谷歌学者] [29]Schiebinger G、Shu J、Tabaka M、Cleary B、Subramanian V、Solomon A、Gould J、Liu S、Lin S、Berube P等。单细胞基因表达的最优转移分析确定了重编程的发展轨迹.单元格,176(4):928–943, 2019.[PMC免费文章][公共医学][谷歌学者] [30]沈J、瞿Y、张伟和于毅。用于领域适应的Wasserstein距离引导表征学习在2018年第三十二届AAAI人工智能会议上。[谷歌学者] [33]Tosun AB、Yergiyev O、Kolouri S、Silverman JF和Rohde GK。利用积液细胞学标本中间皮细胞的核结构检测恶性间皮瘤.细胞计量学A部分,87(4):326–333, 2015.[PMC免费文章][公共医学][谷歌学者] [34]维拉尼·C。最佳交通主题。第58号美国数学学会,2003年。[谷歌学者] [35]王伟、斯莱普切夫D、巴苏S、奥佐利克J和罗德G。一种用于量化和可视化图像集变化的线性最优运输框架.IJCV公司,101(2):254–269, 2013.[PMC免费文章][公共医学][谷歌学者]