×
HáQuang明

无限维高斯测度与高斯过程之间Wasserstein距离的熵正则化。 （英语） Zbl 1514.49024号

J.西奥。普罗巴伯。 36，编号1，201-296（2023）.
摘要：本文研究了无限维希尔伯特空间上2-Wasserstein距离的熵正则化公式，特别是在高斯背景下。我们首先给出了最小互信息性质，即互信息最小的希尔伯特空间上两个高斯测度的联合测度是联合高斯测度。这是高斯密度在欧氏空间上最大熵性质的无限维推广。然后，我们给出了Hilbert空间上最优熵输运方案、熵2-Wasserstein距离和两个高斯测度之间的Sinkhorn散度的闭式公式，以及一组高斯测度重心的不动点方程。我们的公式充分利用了熵公式的正则化方面，并且在单数的和中非奇异的设置。在无限维情况下，熵2-Wasserstein距离和Sinkhorn散度都是Fréchet可微的，而精确的2-Wassers tein距离是不可微的。我们的辛霍恩重心方程是新的，总是有一个独特的解。相反，熵2-Wasserstein距离的有限维重心方程不能推广到Hilbert空间设置。在再生核Hilbert空间中，我们的距离公式是根据相应的核Gram矩阵显式给出的，提供了核最大平均差和核2-Wasserstein距离之间的插值。

引用于2文件

MSC公司：

第49季度22 最佳运输
28C20个 无穷维空间中的集函数、测度和积分（维纳测度、高斯测度等）
60G15年 高斯过程
47B65个 正线性算子和有序算子

关键词：

瓦瑟斯坦距离;熵正则化;高斯测度;希尔伯特空间

软件：

Deep Adverserial正则化器
PDF格式BibTeX公司 XML格式引用
\textit{H.Q.Minh}，J.Theor。普罗巴伯。36，编号1，201--296（2023；Zbl 1514.49024）
全文： 内政部 arXiv公司

参考文献：

[1] 阿奎，M。；Carlier，G.，Wasserstein空间中的重心，SIAM J.Math。分析。，43, 2, 904-924 (2011) ·Zbl 1223.49045号
[2] 阿玛里，S。；卡拉基达，R。；Oizumi，M.，通过熵松弛传输问题连接Wasserstein距离和Kullback-Leibler散度的信息几何，Inf.Geom。，1, 1, 13-37 (2018) ·Zbl 1409.62020号
[3] Arsigny，V。；菲尔拉德，P。；佩内克，X。；Ayache，N.，扩散张量快速简单计算的对数核素度量，Magn。Reson公司。医学，56，2441-421（2006）
[4] Arsigny，V。；菲拉德，P。；佩内克，X。；Ayache，N.，《对称正定矩阵上新型向量空间结构的几何平均值》，SIAM J.Matrix Ana。应用。，29, 1, 328-347 (2007) ·Zbl 1144.47015号
[5] Baker，CR，高斯过程的互信息，SIAM J.Appl。数学。，19, 2, 451-458 (1970) ·Zbl 0207.50102号
[6] Baker，CR，联合度量和互协方差算子，Trans。美国数学。Soc.，186，273-289（1973）·Zbl 0304.28008号
[7] Baker，CR，无反馈高斯信道容量，Inf.Control，37，1，70-89（1978）·Zbl 0397.94010号
[8] del Barrio，E.，Loubes，J.M.：最佳运输中熵正则化的统计效应（2020年）。第十四期：2006.05199
[9] Bhatia，R.，矩阵分析（1997），柏林：施普林格出版社，柏林
[10] Bigot，J。；Cazelles，大肠杆菌。；Papadakis，N.，《Wasserstein空间中重心的惩罚》，SIAM J.Math。分析。，51, 3, 2261-2285 (2019) ·Zbl 1426.62110号
[11] Bogachev，V.，高斯测度（1998），普罗维登斯：美国数学学会，普罗维登斯·兹比尔0913.60035
[12] Borwein，J。；Lewis，A.，凸分析和非线性优化。CMS数学书籍（2000），德国：施普林格，德国·Zbl 0953.90001号
[13] JM Borwein；路易斯，AS；Nussbaum，RD，熵最小化，DAD问题，双随机核，J.Funct。分析。，123, 2, 264-307 (1994) ·Zbl 0815.15021号
[14] D.布朗。；O'Malley，M.，《关于正算子的n次根》，《美国数学》。周一。，87, 5, 380-382 (1980) ·Zbl 0443.47020号
[15] 查比，Z。；Moakher，M.，基于对数确定（α）-散度函数的厄米特正定矩阵平均值，线性代数应用。，436, 7, 1872-1889 (2012) ·Zbl 1236.15060号
[16] Ciccone，V.，Chen，Y.，Georgiou，T.T.，Pavon，M.：奇异协方差矩阵之间的正则传输（2020）。arxiv:2006.10000（2020）
[17] Cichocki，A。；克鲁塞斯，S。；Amari，Si，《重新审视对数决定发散：α-β和γ对数集发散》，《熵》，17，5，2988-3034（2015）·Zbl 1338.94034号
[18] 康格多，M。；Barachant，A。；Bhatia，R.，基于EEG的脑机接口的黎曼几何；《脑计算》是一本入门和一篇综述。接口，4，3，155-174（2017）
[19] Conway，J.，《函数分析课程》。《数学研究生课本》（2007），柏林：施普林格，柏林
[20] 盖，T。；Thomas，J.，《信息理论的要素》（1991），纽约：威利出版社，纽约·Zbl 0762.94001号
[21] Csiszár，I.，概率分布和最小化问题的I-发散几何，Ann.Probab。，3, 146-158 (1975) ·兹标0318.60013
[22] 库斯塔·阿尔贝托斯，J。；Matrán-Bea，C.公司。；Tuero-Diaz，A.，关于Hilbert空间中L2-Wasserstein度量的下限，J.Theor。概率。，9, 2, 263-283 (1996) ·Zbl 0870.60005号
[23] Cuturi，M.：《下沉距离：最佳运输的光速计算》。收录：Burges，C.J.C.，Bottou，L.，Welling，M.，Ghahramani，Z.，Weinberger，K.Q.，（编辑）《神经信息处理系统进展》，第26卷，第2292-2300页。Curran Associates，Inc.（2013年）
[24] 库图里，M。；Peyré，G.，计算最优运输，发现。Trends®马赫数。学习。，11, 5-6, 355-607 (2019)
[25] Da Prato，G.，《无限维分析导论》（2006），柏林：施普林格出版社，柏林·Zbl 1109.46001号
[26] Da Prato，G。；Zabczyk，J.，Hilbert空间中的二阶偏微分方程（2002），剑桥：剑桥大学出版社，剑桥·Zbl 1012.35001号
[27] 南卡罗来纳州迪马里诺。；Gerolin，A.，Schrödinger桥问题的最优运输方法和Sinkhorn算法的收敛性，J.Sci。计算。，85, 2, 1-28 (2020) ·Zbl 1478.49043号
[28] 道森特区；Landau，BV，多元正态分布之间的Fréchet距离，J.Multivar。分析。，12, 3, 450-455 (1982) ·兹比尔0501.62038
[29] 德莱顿，I。；科洛耶登科，A。；Zhou，D.，协方差矩阵的非核素统计，及其在扩散张量成像中的应用，Ann.Appl。统计，31102-1123（2009）·Zbl 1196.62063号
[30] Fan，K.，关于Weyl关于线性变换特征值的定理：II，Proc。国家。阿卡德。科学。美国，36，1，31（1950）·Zbl 0041.00602号
[31] Feldman，J.，《高斯过程的等效性和垂直度》，Pac。数学杂志。，8, 4, 699-708 (1958) ·Zbl 0084.13001号
[32] Feydy，J.、Séjourné，T.、Vialard，F.、Amari，S.、Trouve，A.、Peyré，G.：使用Sinkhorn发散在最优运输和MMD之间插值。摘自：第22届国际人工智能与统计会议，第2681-2690页（2019年）
[33] 富兰克林，J。；Lorenz，J.，关于多维矩阵的标度，线性代数应用。，114, 717-735 (1989) ·Zbl 0674.15001号
[34] 弗雷姆特，S。；斯坦内巴赫，J。；Horváth，L。；Kokoszka，P.，测试函数样本中协方差算子的相等性，Scand。J.Stat.，40，1，138-152（2013）·Zbl 1259.62031号
[35] Galichon，A.，Salanié，B.：权衡匹配：对竞争特征的显示偏好（2010）
[36] Gelbrich，M.，关于欧几里德空间和希尔伯特空间测度之间的L2 Wasserstein度量公式，数学。纳克里斯。，147, 1, 185-203 (1990) ·Zbl 0711.60003号
[37] Genevay，A.、Cuturi，M.、Peyré，G.、Bach，F.：大规模最优运输的随机优化。收录于：Lee，D.，Sugiyama，M.，Luxburg，U.，Guyon，I.，Garnett，R.（编辑）《神经信息处理系统进展》，第29卷，第3440-3448页。Curran Associates，Inc.（2016年）
[38] Genevay，A.、Peyre，G.、Cuturi，M.：学习具有Sinkhorn分歧的生成模型。摘自：国际人工智能与统计会议，第1608-1617页（2018年）
[39] Gerolin，A。；格罗西，J。；Gori-Gorgi，P.，严格相关电子问题熵正则化的动力学相关泛函，J.Chem。理论计算。，16, 1, 488-498 (2020)
[40] Gigli，N。；Tamanini，L.，Benamou-Brenier和（{R}{C}{D}^*（{K}，{N}）空间上熵代价的对偶公式，Probab。理论关联。菲尔德，176，1-34（2020）·Zbl 1432.49063号
[41] Gigli，N。；Tamanini，L.，（{RCD}^*（{K}，{N}）空间上的二阶微分公式，《欧洲数学杂志》。Soc.，23，5，1727-1795（2021）·Zbl 1478.53079号
[42] 吉文斯，CR；Shortt，RM，概率分布的一类Wasserstein度量，密歇根数学。J.，31，2，231-240（1984）·兹比尔0582.60002
[43] 戈伯格，I。；Krein，M.，线性非自伴算子理论导论（1978），普罗维登斯：美国数学学会，普罗维登斯
[44] 格雷顿，A。；博格沃特，KM；拉什，MJ；Schölkopf，B。；Smola，A.，《内核双样本测试》，J.Mach。学习。研究，13，25，723-773（2012）·Zbl 1283.62095号
[45] Hájek，J.，关于任何随机过程的正态分布的一个性质，捷克斯洛伐克。数学。J.，08，4，610-618（1958）·Zbl 0086.33503号
[46] Harandi，M.、Salzmann，M.和Porikli，F.：无限维协方差矩阵的Bregman发散。在：CVPR（2014）
[47] Janati，H.，Cuturi，M.，Gramfort，A.：《灰岩角重心》。ICML（2020年）
[48] 贾纳蒂，H。；Muzellec，B。；佩雷，G。；Cuturi，M.，（非平衡）高斯测度之间的熵最优传输具有闭合形式，即高级神经网络过程。系统。，33, 10468-10479 (2020)
[49] Jost，J.，《后现代分析》（1998），柏林：施普林格出版社，柏林·Zbl 0971.26001号
[50] 卡迪森，R。；Ringrose，J.，《算子代数理论基础》。第一卷：基础理论。《纯粹与应用数学》（1983），伦敦：学术出版社，伦敦·Zbl 0518.46046号
[51] 基塔尼，F。；Kosaki，H.，Schatten p-范数V的不等式，Publ。Res.Inst.数学。科学。，23, 2, 433-443 (1987) ·Zbl 0627.47002号
[52] Knott，M。；史密斯，CS，关于分布的最佳映射，J.Optim。理论应用。，43, 1, 39-49 (1984) ·兹比尔0519.60010
[53] Kum，S.，Duong，M.H.，Lim，Y.，Yun，S.：指数分布的重心惩罚。预打印时间https://arxiv.org/abs/2006.08743 (2020)
[54] Larotonda，G.，《非正曲率：Hilbert-Schmidt算子的几何方法》，Differ。几何。应用。，25, 679-700 (2007) ·Zbl 1141.22006年
[55] Léonard，C.，Schrödinger问题及其与最优运输的一些联系的调查，离散Contin。动态。系统。A、 34、4、1533-1574（2014）·Zbl 1277.49052号
[56] Lunz，S.，O.，Schönlieb，C.B.：反问题中的对抗正则化子。收录于：Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.、Garnett，R.（编辑）《神经信息处理系统进展》，第31卷，第8507-8516页。柯兰联合公司（2018）
[57] Mallasto，A.，Feragen，A.：从不确定曲线中学习：高斯过程的2-Wasserstein度量。在：Guyon，I.，Luxburg，U.V.，Bengio，S.，Wallach，H.，Fergus，R.，Vishwanathan，S.，Garnett，R.（编辑）《神经信息处理系统进展》，第30卷，第5660-5670页。Curran Associates，Inc.（2017年）
[58] Mallasto，A.，Gerolin，A.，Minh，H.：高斯测度之间的熵正则2-Wasserstein距离。地理信息。（2021）。doi:10.1007/s41884-021-00052-8·Zbl 1493.49048号
[59] 马萨罗托，V。；帕纳雷托斯，VM；Zemel，Y.，关于协方差算子和高斯过程最优传输的Procrustes度量，Sankhya A，81，1，172-213（2019）·Zbl 1420.60048号
[60] Minh，H.，Alpha-Procrustes正定算子之间的度量：Bures-Wasserstein和Log-Eucidean/Log-Hilbert-Schmidt度量的统一公式，线性代数应用。，636, 25-68 (2022) ·Zbl 1491.15037号
[61] Minh，H.Q.：无限维对数决定发散III：对数核素和对数希尔伯特-施密特发散。收录于：Ay，N.，Gibilisco，P.，Matúsh，F.（编辑）《信息几何及其应用》。2016年IGAIA IV。施普林格数学与统计学论文集，第252卷。查姆施普林格。(2018). doi:10.1007/978-3-319-97798-08·Zbl 1414.58006号
[62] Minh，H.：正定算子之间Bures-Wasserstein和Log-Eucidean/Log-Hilbert-Schmidt距离的统一公式。参加：国际信息几何科学会议。施普林格（2019）
[63] Minh，H.，正定Hilbert-Schmidt算子之间的无穷维Log-Deterrent发散，《积极性》，24，631-662（2020）·Zbl 1506.47063号
[64] Minh，H.，Hilbert空间上协方差算子和高斯测度之间的正则化分歧，J.Theor。概率。，34, 580-643 (2021) ·Zbl 1476.28015号
[65] Minh，H。；Murino，V.，《计算机视觉和机器学习中的协方差》，Synth。莱克特。计算。视觉。，7, 4, 1-170 (2017) ·Zbl 1380.68005号
[66] Minh，HQ，正定迹类算子之间的无穷维对数决定分歧，线性代数应用。，528, 331-383 (2017) ·Zbl 06950133号
[67] Minh，HQ，Alpha-Beta Log-正定迹类算子之间的判定分歧，Inf.Geom。，2, 2, 101-176 (2019) ·Zbl 1519.47040号
[68] Minh，总部；San Biagio，M。；Murino，V.，Hilbert空间上正定算子之间的Log-Hilbert-Schmidt度量，高级神经信息过程。系统：NIPS，27，388-396（2014）
[69] 奥尔金，I。；Pukelsheim，F.，具有给定离散矩阵的两个随机向量之间的距离，线性代数应用。，48, 257-263 (1982) ·Zbl 0527.60015号
[70] 帕纳雷托斯，V。；克劳斯，D。；Maddocks，J.，高斯随机函数的二阶比较和DNA小圆的几何，美国统计协会，105，490，670-682（2010）·Zbl 1392.62162号
[71] Patrini，G.、Berg，R.v.d.、Forre，P.、Carioni，M.、Bhargav，S.、Welling，M.，Genewein，T.、Nielsen，F.：Sinkhorn自动编码器。In:人工智能中的不确定性会议（2020）
[72] Pedersen，G.，《一些算子单调函数》，Proc。美国数学。《社会学杂志》，36，1，309-310（1972）·Zbl 0256.47019号
[73] 宾夕法尼亚州。；菲尔拉德，P。；Ayache，N.，《张量计算的黎曼框架》，国际计算机杂志。视觉。，66, 1, 41-66 (2006) ·Zbl 1287.53031号
[74] Petryshyn，W.，Hilbert空间中线性算子方程解的直接和迭代方法，Trans。美国数学。《社会学杂志》，105，136-175（1962）·Zbl 0106.09301号
[75] Peypouquet，J.，《规范空间中的凸优化：理论、方法和示例》（2015），柏林：施普林格出版社，柏林·Zbl 1322.90004号
[76] 皮戈利，D。；阿斯顿，J。；德莱顿，I。；Secchi，P.，协方差算子的距离和推断，Biometrika，101，2，409-422（2014）·Zbl 1452.62994号
[77] Rajput，理学学士；坎巴尼，S.，《高斯过程和高斯测度》，《数学年鉴》。Stat.，43，1944-1952（1972）·Zbl 0255.60004号
[78] A.拉姆达斯。；北卡罗来纳州特里洛斯。；Cuturi，M.，On Wasserstein，双样本检验和相关非参数检验家族，熵，19，2，47（2017）
[79] 里德，M。；Simon，B.，《现代数学物理方法：函数分析》（1975），伦敦：学术出版社，伦敦·Zbl 0308.47002号
[80] Ripani，L.：薛定谔问题及其与最优传输和函数不等式的联系。里昂1大学博士论文（2017）
[81] Ruschendorf，L.，迭代比例拟合程序的收敛性，Ann.Stat.，23，4，1160-1174（1995）·Zbl 0851.62038号
[82] 吕申多夫，L。；汤姆森，W.，关于薛定谔方程和i投影的注释，Stat.Probab。莱特。，17, 5, 369-375 (1993) ·Zbl 0780.60036号
[83] 吕申多夫，L。；汤姆森，W.，和空间的封闭性和广义薛定谔问题，理论概率。应用。，42, 3, 483-494 (1998) ·Zbl 0915.60007号
[84] Schrödinger，E.：Uber die umkehrung der naturgesetze。Verlag Akademie der wissenschaften in kommission bei Walter de Gruyter u，Company（1931年）
[85] Simon，B.，关于Hilbert空间算子无限行列式的注释，高等数学。，24, 244-273 (1977) ·Zbl 0353.47008号
[86] Sommerfeld，M.：有限空间上的Wasserstein距离：统计推断和算法。Georg-August-Universität Göttingen博士论文（2017）·Zbl 1392.62005年
[87] 斯坦瓦特，I。；Christmann，A.，《支持向量机》（2008），柏林：施普林格出版社，柏林·Zbl 1203.68171号
[88] Sun，H.，非紧集上RKHS的Mercer定理，J.Complex。，21, 3, 337-349 (2005) ·Zbl 1094.46021号
[89] Thanwerdas，Y.，Pennec，X.：对称正定矩阵上平衡度量的探索。摘自：国际信息几何科学会议，第484-493页。施普林格（2019）·Zbl 1458.53023号
[90] 托萨托，D。；斯佩拉，M。；克里斯塔尼，M。；Murino，V.，《在黎曼流形上刻画人类特征》。，TPAMI，35，8，1972-1984（2013）
[91] Tuzel，O。；Porikli，F。；Meer，P.，通过黎曼流形分类进行行人检测，IEEE Trans。模式分析。机器。智力。，30, 10, 1713-1727 (2008)
[92] 维拉尼，C.，最佳交通主题。普罗维登斯数学研究生课程（2016）：美国数学学会
[93] Zambrini，JC，随机变形研究计划（以几何力学为视角）。《随机分析：一系列讲座》，359-393（2015），柏林：施普林格，柏林·兹比尔1333.60009
[94] 张，Z。；王，M。；Nehorai，A.，再生核Hilbert空间中的最优传输：理论和应用，IEEE Trans。模式分析。机器。智力。，42, 1741-1754 (2020)
[95] 周，SK；Chellappa，R.，《从样本相似性到集合相似性：再生核Hilbert空间中的概率距离度量》，TPAMI，28，6，917-929（2006）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。