保罗·哈格曼;塞巴斯蒂安·纽梅尔 使用混合模型稳定可逆神经网络。 （英语） Zbl 07375643号 反向探测。 37，第8号，文章ID 085002，第23页（2021）. 摘要：本文分析了可逆神经网络的性质，为求解逆问题提供了一种方法。我们的重点是研究和控制相应逆网络的Lipschitz常数。如果没有这样的控制，数值模拟很容易出错，与传统方法相比，没有多少收获。幸运的是，我们的分析表明，将潜在分布从标准正态分布改为高斯混合模型可以解决Lipschitz常数爆炸的问题。事实上，数值模拟证实，这种改进可以显著提高多模式应用中的采样质量。 引用于6文件 理学硕士： 65-XX岁 数值分析 62至XX 统计 关键词：可逆神经网络;混合物模型;反问题;数值稳定性;多模态问题 软件：亚当;德利根;火炬差异;辉光;Wasserstein甘 PDF格式BibTeX公司 XML格式引用 \textit{P.Hagemann}和\textit{S.Neumayer}，逆问题。37，第8号，文章编号085002，23 p.（2021；Zbl 07375643） 全文： 内政部 arXiv公司 参考文献： [1] 阿德勒，J。；O.Øktem，《深度贝叶斯反演》（2018） [2] Ambrosio，L。；富斯科，N。；Pallara，D.，有界变差函数和自由不连续问题（2000），牛津：牛津大学出版社，牛津·兹比尔0957.49001 [3] Ambrosio，L。；Gigli，N。；Savaré，G.，度量空间和概率测度空间中的梯度流（2005），巴塞尔：Birkhäuser，巴塞尔·邮编1090.35002 [4] Ardizzone，L。；克鲁斯，J。；罗瑟，C。；Köthe，U.，用可逆神经网络分析逆问题（2019），ICLR [5] Ardizzone，L。；吕斯，C。；克鲁斯，J。；罗瑟，C。；Köthe，U.，用条件可逆神经网络引导图像生成（2019） [6] Bauer，H.，《概率论》（1996），柏林：de Gruyter&Co，柏林·Zbl 0868.60001号 [7] 贝尔曼，J。；Grathwohl，W。；陈仁堂。；Duvenaud，D。；Jacobsen，J-H，可逆剩余网络，573-582（2019），PMLR [8] 贝尔曼，J。；维科尔，P。；Wang，K-C；Grosse，R。；Jacobsen，J-H，《理解和缓解可逆神经网络中的爆炸性反转》（2020年） [9] 本吉奥，Y。；姚，L。；阿兰，G。；Vincent，P.，作为生成模型的广义去噪自动编码器，《神经信息处理系统的进展》，第26卷，899-907（2013），红钩：Curran Associates，红钩 [10] 陈，R.T Q。；Rubanova，Y。；Bettencourt，J。；Duvenaud，D.K.，《神经常微分方程》，《神经信息处理系统进展》，第31卷，6571-6583（2018），红钩：Curran Associates，红钩 [11] 组合，P.L。；Pesquet、J-C、Lipschitz关于由平均激活算子驱动的分层网络结构的证书（2019年） [12] Cornish，R。；卡特里尼，A。；Deligiannidis，G。；Doucet，A。；三、 高密度。；Singh，A.，用连续指数归一化流放松双射性约束，2133-2143（2020），PMLR [13] Dilokthanakul，N。；Mediano，P.A M。；加内洛，M。；李，M.C H。；Salimbeni，H。；阿鲁库马兰，K。；Shanahan，M.，使用高斯混合变分自编码器的深度无监督聚类（2017），ICLR [14] Dinh，L。；Sohl-Dickstein，J。；Bengio，S.，使用实际NVP估算密度（2017年），ICLR [15] Dinh，L。；Sohl-Dickstein，J。；帕斯卡努，R。；Larochelle，H.，深度混合模型的RAD方法（2019年），ICLR [16] 丰塞卡，I。；Leoni，G.，《变分微积分中的现代方法：L^p空间》（2007），纽约：施普林格，纽约·Zbl 1153.49001号 [17] Gamerman，D。；Lopes，H.，《马尔可夫链蒙特卡罗：贝叶斯推断的随机模拟》（2006），伦敦：泰勒和弗朗西斯出版社，伦敦·Zbl 1137.62011年 [18] Gaujac，B。；费格，I。；Barber，D.，具有Wasserstein距离的高斯混合模型（2018） [19] Gibbs，A.L。；Su，F.E.，《关于选择和限定概率指标》，《国际统计评论》，第70期，第419-435页（2002年）·Zbl 1217.62014年 ·doi:10.1111/j.1751-5823.002.tb00178.x [20] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络，神经信息处理系统进展》，第27卷，2672-2680（2014），红钩：Curran Associates，红钩 [21] 古克，H。；E.弗兰克。；普法林格，B。；Cree，M.J.，通过强制Lipschitz连续性对神经网络进行正则化（2018） [22] 格雷顿，A。；博格沃德，K.M。；Rasch，M.J。；Schölkopf，B。；Smola，A.，《内核双样本测试》，J.Mach。学习。研究，13723-773（2012）·Zbl 1283.62095号 ·doi:10.5555/2188385.218841043 [23] 古拉贾尼，I。；艾哈迈德·F。；阿尔乔夫斯基，M。；杜穆林，V。；A.Courville，《Wasserstein GANs改进培训》（2017年） [24] Gurumurthy，S。；Sarvadevabhatla，R.K。；Babu，R.V.，Deligan：针对不同和有限数据的生成性对抗网络（2017） [25] 哈桑纳萨布，M。；Hertrich，J。；Neumayer，S。；普隆卡，G。；塞泽尔，S。；Steidl，G.，Parseval近端神经网络，J.Fourier Ana。申请。，26, 59 (2020) ·Zbl 1489.68224号 ·doi:10.1007/s00041-020-09761-7 [26] 黄，C-W；克鲁格博士。；鳄鱼，A。；Courville，A.，《神经自回归流》，2078-2087（2018），PMLR [27] Jaini，P。；科比泽夫，I。；Yu，Y。；Brubaker，M.，Lipschitz三角流尾部（2020） [28] Jang，E。；顾S。；Poole，B.，《使用Gumbel-softmax进行分类重新参数化》（2017），ICLR [29] Kelz，R。；Widmer，G.，《利用可逆神经网络实现可解释的多音转录》，376-383（2019） [30] Khayatkhoei，M。；辛格，M.K。；Elgammal，A.，《生成性对抗网络的断开流形学习》，《神经信息处理系统进展》，第31卷，7343-7353（2018），红钩：Curran Associates，红钩 [31] Kingma，D.P。；Adam，J.B.，《随机优化方法》（2015） [32] Kingma，D.P。；Dhariwal，P.，Glow：具有可逆1×1卷积的生成流，《神经信息处理系统进展》，第31卷，10215-10224（2018），红钩：Curran Associates，红钩 [33] Kingma，D.P。；Welling，M.，《变分自动编码器简介》，Found。趋势马赫。学习。，12307-392（2019）·Zbl 1431.68002号 ·doi:10.1561/2200000056 [34] Klenke，A.，《概率论》（2008），柏林：施普林格出版社，柏林·Zbl 1146.60001号 [35] 克鲁斯，J。；Ardizzone，L。；罗瑟，C。；Köthe，U.，《反问题可逆体系结构基准测试》（2019年），ICML [36] Ksoll，V.F.，使用可逆神经网络从光度测定中确定恒星参数（2020年） [37] Lecun，Y。；博图，L。；本吉奥，Y。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，2278-2324（1998）·数字对象标识代码：10.1109/5.726791 [38] 路易索斯，C。；Welling，M.，变分贝叶斯神经网络的乘法归一化流，2218-2227（2017），PMLR [39] Maddison，C.J。；Mnih，A。；Teh，Y.W.，《具体分布：离散随机变量的连续松弛》（2017），ICLR [40] 米尔扎，M。；Osindero，S.，条件生成对抗网（2014） [41] Roberts，G.O。；Rosenthal，J.S.，通用状态空间马尔可夫链和MCMC算法，Probab。调查。，1, 20-71 (2004) ·Zbl 1189.60131号 ·doi:10.1214/15495780410000024 [42] Santambrogio，F.，《应用数学家的最佳交通》（2015），巴塞尔：Birkhäuser，巴塞尔·Zbl 1401.49002号 [43] Sriperumbudur，B.K。；格雷顿，A。；Fukumizu，K。；Schölkopf，B。；Lanckriet，G.，Hilbert空间嵌入和概率度量，J.Mach。学习。第1517-1561号决议（2010年）·Zbl 1242.60005号 ·数字对象标识代码：10.5555/1756006.1859901 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。