×
Jakob Zech公司;尤塞夫·马尔佐克

三角形运输的稀疏近似。一： 有限维情况。 （英语） Zbl 1507.49040号

施工。大约。 55，第3号，919-986（2022）.
摘要：对于（d）维立方体（[-1,1]^d）上具有解析密度的两个概率测度（rho）和（pi。结果表明，对于（d）inmathbb{N}，存在基于稀疏多项式展开式或深度ReLU神经网络的（T）的近似（tilde{T}），使得｛T｝_\sharp\rho\）和\（\pi\）呈指数递减。更准确地说，我们证明了神经网络的类型\（exp（-\betaN^{1/d}）\）（或\（\exp（-\betaN ^{1/（d+1）}））的误差界，其中\（N）是指包含\（tilde{T}）的ansatz空间的维数（或网络的大小）；距离的概念包括Hellinger距离、总变差距离、Wasserstein距离和Kullback-Leibler散度。我们的构造保证了（tilde{T}）是超立方体（[-1,1]^d）上的单调三角双射输运。类似的结果适用于逆输运（S=T^{-1}）。证明是建设性的，我们给出了一个明确的先验的对ansatz空间的描述，可用于数值实现。
第二部分见[提交人，同上，第55号，第3，987–1036（2022；Zbl 07538357号)].

引用于2文件

MSC公司：

第49季度22 最佳运输
49纳米45 最优控制中的逆问题
41A10号 多项式逼近
41A25型 收敛速度，近似度
41A46型 任意非线性表达式的逼近；宽度和熵
62D05型 抽样理论、抽样调查
32D05型 全态域
65日第15天 函数逼近算法
49公里45 随机性问题的最优性条件

关键词：

交通地图;全态域;不确定性量化;稀疏近似;神经网络;取样

引文：

Zbl 07538357号

软件：

DLMF公司;FFJORD公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Zech}和\textit{Y.Marzouk}，Constr。约55，编号3，919--986（2022；Zbl 1507.49040）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Berg，R.V.d.，Hasenclever，L.，Tomczak，J.M.，Welling，M.：Sylvester规范化变分推理流。arXiv预印arXiv:1803.05649（2018）
[2] Beskos，A。；Jasra，A。；法律，K。；马尔祖克，Y。；Zhou，Y.，《多维序贯蒙特卡罗与维度相关的类似信息建议》，SIAM/ASA J.Uncertain。数量。，6, 2, 762-786 (2018) ·兹比尔1395.82229
[3] Bieri，M.，Andreev，R.，Schwab，C.：椭圆SPDE的稀疏张量离散化。SIAM J.科学。计算表31（6），4281-4304（2009/2010）·Zbl 1205.35346号
[4] Bigoni，D.：TransportMaps图书馆，2016-2020年。http://transportmaps.mit.edu
[5] 布莱，DM；库克尔比尔，A。；McAuliffe，JD，《变量推断：统计学家评论》，《美国统计协会期刊》，第112、518、859-877页（2017年）
[6] 博加乔夫，VI；科尔斯尼科夫，AV；梅德韦杰夫，KV，《度量的三角变换》，Mat.Sb.，196，3，3-30（2005）·Zbl 1072.28010号
[7] Bonito，A.，DeVore，R.，Guignard，D.，Jantsch，P.，Petrova，G.：多变量各向异性分析函数的多项式近似。arXiv:1904.12105（2019）·Zbl 1462.41003号
[8] 布伦南，M。；比戈尼（D.Bigoni）。；O.扎姆。；斯潘蒂尼，A。；Marzouk，Y.，《利用结构开发惰性映射进行贪婪推断》，高级神经信息。过程。系统。，33, 8330-8342 (2020)
[9] Buchholz，A。；肖邦，N.，《通过准蒙特卡罗改进近似贝叶斯计算》，J.Compute。图表。统计人员。，28, 1, 205-219 (2019) ·Zbl 07499023号
[10] Chen，P.，Schwab，C.：用于快速贝叶斯估计和反演的自适应稀疏网格模型降阶。收录于：稀疏网格和应用——斯图加特2014年，第109卷《计算机科学工程讲义》，第1-27页。查姆施普林格（2016）·兹比尔1337.65012
[11] 切尼，E.：近似理论简介。国际纯数学和应用数学系列。麦格劳-希尔图书公司（1966）·Zbl 0161.25202号
[12] Chkifa，A.：高维稀疏多项式方法：在参数PDE中的应用。法国巴黎第06大学UPMC博士论文（2014）
[13] Chkifa，A。；科恩，A。；Schwab，C.，高维自适应稀疏多项式插值及其在参数偏微分方程中的应用，J.Found。计算。数学。，141601-633（2013年）·Zbl 1298.65022号
[14] 科恩，A。；施瓦布，Ch；Zech，J.，稳态Navier-Stokes方程的形状全形，SIAM J.数学。分析。，1720-1752年2月50日（2018年）·Zbl 1390.35227号
[15] Cotter，S.L.，Roberts，G.O.，Stuart，A.M.，White，D.：函数的MCMC方法：修改旧算法使其更快。统计科学。28, 424-446 (2013) ·Zbl 1331.62132号
[16] 崔，T。；法律，KJH；Marzouk，YM，Dimension-independent likelihood知悉MCMC，J.Compute。物理。，304, 109-137 (2016) ·Zbl 1349.65009号
[17] Dashti，M.，Stuart，A.M.：反问题的贝叶斯方法。参见：《不确定性量化手册》，第1、2、3卷，第311-428页。施普林格，商会（2017）
[18] Davis，P.，插值和近似。多佛数学图书（1975），纽约：多佛出版社，纽约·Zbl 0329.41010号
[19] Detommaso，G.，Cui，T.，Spantini，A.，Marzouk，Y.，Scheichl，R.：Stein变分牛顿法。摘自：《第32届神经信息处理系统国际会议论文集》，NIPS18，第9187-9197页，美国纽约州Red Hook，Curran Associates Inc（2018）
[20] Dick，J。；甘特纳，注册护士；勒吉亚，QT；Schwab，C.，贝叶斯PDE反演的高阶拟蒙特卡罗积分，计算。数学。申请。，77, 1, 144-172 (2019) ·Zbl 1442.62051号
[21] Dick，J。；LeGia，QT；Schwab，C.，全纯参数算子方程的高阶拟蒙特卡罗积分，SIAM J.Uncert。数量。，4, 1, 48-79 (2016) ·Zbl 1398.65031号
[22] 多尔戈夫，S。；Anaya-Izquierdo，K。；福克斯，C。；Scheichl，R.，张量列分解中多元概率分布的近似和抽样，统计计算。，30, 3, 603-625 (2020) ·Zbl 1436.62192号
[23] Duncan，A.，Nuesken，N.，Szpruch，L.：关于Stein变分梯度下降的几何。arXiv预印arXiv:1912.00894（2019）
[24] E、 W.，Wang，Q.：分析函数的深度神经网络近似的指数收敛性。科学。中国数学。61(10), 1733-1740 (2018) ·Zbl 1475.65007号
[25] 德克萨斯州El Moselhy；Marzouk，YM，贝叶斯推理与最优映射，J.Compute。物理。，231237815-7850（2012年）·Zbl 1318.62087号
[26] Finlay，C.，Jacobsen，J.-H.，Nurbekyan，L.，Oberman，A.M.：如何训练神经ODE。arXiv预打印arXiv:2002.02798（2020）
[27] 郭士纳，T。；Griebel，M.，《使用稀疏网格的数值积分》，Numer。算法，18，3-4，209-232（1998）·Zbl 0921.65022号
[28] 阿拉巴马州吉布斯；Su，FE，《关于选择和限定概率指标》，《国际统计评论》，70，3，419-435（2002）·兹比尔1217.62014
[29] Grathwohl，W.，Chen，R.T.Q.，Bettencourt，J.，Sutskever，I.，Duvenaud，D.：FFJORD：可扩展可逆生成模型的自由形式连续动力学。arXiv预印arXiv:1810.01367（2018）
[30] 格里贝尔，M。；Oettershagen，J.，关于解析函数的张量积近似，J.近似理论，207348-379（2016）·Zbl 1342.41036号
[31] Hervé，M.：无限维空间中的解析性。德格鲁伊特数学研究，第10卷。Walter de Gruyter&Co.，柏林（1989）·Zbl 0666.58008号
[32] 侯赛尼，B。；Nigam，N.，《贝叶斯反问题：指数尾先验》，SIAM/ASA J.《不确定性》。数量。，5, 1, 436-465 (2017) ·Zbl 1371.35349号
[33] Huang，C.-W.，Krueger，D.，Lacoste，A.，Courville，A.：神经自回归流。摘自：Dy，J.，Krause，A.（eds.）《第35届国际机器学习会议论文集》，《机器学习研究论文集》第80卷，第2078-2087页。PMLR，2018年7月10日至15日
[34] Jaini，P.，Selby，K.A.，Yu，Y.：平方和多项式流。In:ICML（2019）
[35] Kaipio，J.，Somersalo，E.：统计和计算逆问题。收录于：《应用数学科学》，第160卷。施普林格，纽约（2005）·Zbl 1068.65022号
[36] 科比泽夫，I。；普林斯，SJ；马萨诸塞州布鲁贝克，《规范化流：当前方法的介绍和回顾》，IEEE Trans。模式分析。机器。整数。，43，113964-79（2020）
[37] Kong，Z.，Chaudhuri，K.：一类规范化流模型的表达能力。收录：Chiappa，S.，Calandra，R.（编辑）。《第二十三届国际人工智能与统计会议论文集》，《机器学习研究论文集》第108卷，第3599-3609页。PMLR，2020年8月26-28日
[38] Latz，J.，关于贝叶斯反问题的适定性，SIAM/ASA J.不确定。数量。，8, 1, 451-482 (2020) ·Zbl 1437.49050号
[39] 李，B。；唐，S。；Yu，H.，用带整流功率单元的深度神经网络更好地逼近高维光滑函数，Commun。计算。物理。，27, 2, 379-411 (2019) ·Zbl 1474.65031号
[40] Liu，Q.：Stein变分梯度下降为梯度流。摘自：Guyon，I.、Luxburg，U.V.、Bengio，S.、Wallach，H.、Fergus，R.、Vishwanathan，S.和Garnett，R.（编辑）《神经信息处理系统进展》30，第3115-3123页。Curran Associates，Inc.（2017年）
[41] Liu，Q.，Wang，D.：Stein变分梯度下降：通用贝叶斯推理算法。收录：Lee，D.D.，Sugiyama，M.，Luxburg，U.V.，Guyon，I.，Garnett，R.（编辑）《神经信息处理系统进展》，第29卷，第2378-2386页。Curran Associates，Inc.（2016年）
[42] 卢，J。；Lu，Y。；Nolen，J.，Stein变分梯度下降的尺度极限：平均场状态，SIAM J.Math。分析。，51, 2, 648-671 (2019) ·Zbl 1417.35189号
[43] Lu，Y。；Lu，J.，用于表示概率分布的深度神经网络的通用近似定理，高级神经信息。过程。系统。，33, 3094-105 (2020)
[44] 马尔科夫，W。；Grossmann，J.，Uni ber Polynome，死于einem gegebenen Intervalle möglichst wenig von Null abweichen，数学。安，77，2，213-258（1916）
[45] Marzouk，Y.，Moselhy，T.，Parno，M.，Spantini，A.：通过测量传输采样：简介。参见：《不确定性量化手册》，第1、2、3卷，第785-825页。施普林格，商会（2017）
[46] Mhaskar，HN，多层前馈人工神经网络的近似特性，高级计算。数学。，1, 1, 61-80 (1993) ·Zbl 0824.41011号
[47] Morzfeld，M。；XT动力钳；Marzouk，YM，《MCMC定位：用局部结构采样高维后验分布》，J.Compute。物理。，380, 1-28 (2019) ·Zbl 1451.65011号
[48] Olver，F.W.J.，Lozier，D.W.，Boisvert，R.F.，Clark，C.W.（编辑）：NIST数学函数手册。美国商务部，国家标准与技术研究所，华盛顿特区；剑桥大学出版社，剑桥（2010）·Zbl 1198.00002号
[49] Opschoor，J.A.A.，Schwab，C.，Zech，J.：高维全纯映射的指数ReLU DNN表达。技术报告2019-35，瑞士苏黎世联邦理工学院应用数学研讨会（2019）·Zbl 1500.41008号
[50] 帕帕马卡里奥斯，G。；Nalisnick，E。；Rezende，DJ；穆罕默德，S。；Lakshminarayanan，B.，概率建模和推理的规范化流，J.Mach。学习。决议，22，1-64（2021年）·Zbl 07370574号
[51] Papamakarios，G.、Pavlakou，T.、Murray，I.：用于密度估计的掩蔽自回归流。arXiv预印arXiv:1705.07057（2017）
[52] 医学博士帕诺；Marzouk，YM，运输图加速马尔可夫链蒙特卡罗，SIAM/ASA J.不确定性。数量。，6, 2, 645-682 (2018) ·兹比尔1394.65004
[53] Ramsay，J.O.：估计光滑单调函数。J.R.统计社会服务。B统计方法。60(2), 365-375 (1998) ·Zbl 0909.62041号
[54] Rezende，D.，Mohamed，S.：规范化流的变分推理。收录于：Bach，F.，Blei，D.（eds.）《第32届国际机器学习会议论文集》，《机器学习研究论文集》第37卷，第1530-1538页，法国里尔，2015年7月7日至9日
[55] CP罗伯特；Casella，G.，Monte Carlo统计方法（统计学中的Springer文本）（2005），柏林：Springer，柏林
[56] Rosenblatt，M.，《关于多元变换的评论》，《数学年鉴》。统计人员。，23, 470-472 (1952) ·Zbl 0047.13104号
[57] 鲁道夫，D。；Sprungk，B.，关于预处理Crank-Nicolson metropolis算法的推广，Found。计算。数学。，18, 2, 309-343 (2018) ·Zbl 1391.60169号
[58] Sagiv，A.，《前推测量与不确定性量化应用之间的Wasserstein距离》，Commun。数学。科学。，18, 3, 707-724 (2020) ·Zbl 1457.60004号
[59] Santambrogio，F.：应用数学家的最佳传输，非线性微分方程及其应用进展第87卷。Birkhäuser/Springer，Cham（2015年）·Zbl 1401.49002号
[60] Scheichl，R。；斯图亚特，AM；Teckentrup，AL，《椭圆反问题中计算后验期望的准蒙特卡罗和多级蒙特卡罗方法》，SIAM/ASA J.不确定性。数量。，5, 1, 493-518 (2017) ·Zbl 1516.65118号
[61] Schillings，C.，Schwab，C.：贝叶斯反问题的稀疏自适应Smolyak象限。反向探测。29(6), 065011 (2013) ·Zbl 1278.65008号
[62] 席林斯，C。；Schwab，C.，计算贝叶斯反演中的标度极限，ESAIM数学。模型。数字。分析。，50, 6, 1825-1856 (2016) ·兹比尔1358.65013
[63] 席林斯，C。；斯普伦克，B。；Wacker，P.，关于贝叶斯反问题基于Laplace的蒙特卡罗方法的Laplace近似的收敛性和噪声级鲁棒性，Numer。数学。，145, 4, 915-971 (2020) ·Zbl 1446.65098号
[64] Schwab，C.，Stuart，A.M.：贝叶斯反问题的稀疏确定性近似。反向探测。28(4), 045003 (2012) ·Zbl 1236.62014年
[65] Spantini，A.，Baptista，R.，Marzouk，Y.：非线性集合滤波的耦合技术。arXiv预印本arXiv:1907.00389（2019）
[66] 斯潘蒂尼，A。；比戈尼（D.Bigoni）。；Marzouk，Y.，《通过低维耦合进行推断》，J.Mach。学习。第19、1、2639-2709号决议（2018年）·Zbl 1480.62114号
[67] Stuart，AM，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号
[68] Teshima，T。；石川一郎。；Tojo，K。；Oono，K。；池田，M。；Sugiyama，M.，基于耦合的可逆神经网络是通用微分同态逼近器，Adv.neural Inform。过程。系统。，33, 3362-73 (2020)
[69] Teshima，T.、Tojo，K.、Ikeda，M.、Ishikawa，I.、Oono，K.：神经常微分方程的通用逼近性质。arXiv预印本arXiv:2012.02414（2020）
[70] XT动力钳；Morzfeld，M。；Marzouk，YM，MALA-within-Gibbs采样器，用于稀疏条件结构的高维分布，SIAM J.Sci。计算。，42、3、A1765-A1788（2020）·Zbl 1444.62073号
[71] 维拉尼，C.：《最佳运输》，第338卷，《数学科学基本原理》。柏林施普林格出版社（2009）·Zbl 1156.53003号
[72] Wehenkel，A.，Louppe，G.：无约束单调神经网络。arXiv预印arXiv:1908.05164（2019）
[73] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94, 103-114 (2017) ·兹比尔1429.68260
[74] Yau，ST；张，L.，实单形积分点的上估计及其在奇异性理论中的应用，数学。Res.Lett.公司。，911-921年5月13日（2006年）·Zbl 1185.11062号
[75] Zech，J.：高维参数偏微分方程的稀疏网格近似。论文25683，苏黎世理工学院。doi:10.3929/ethz-b-000340651（2018）
[76] Zech，J.，Marzouk，Y.：三角运输的稀疏近似。第二部分：无限维情形。施工。大约doi:10.1007/s00365-022-09570-9（2022）
[77] Zech，J。；Schwab，C.，高维Smolyak求积的收敛速度，ESAIM数学。模型。数字。分析。，54, 4, 1259-1307 (2020) ·Zbl 07240638号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。