瓦伦丁·德博托利;阿格内斯·德索尔纽克斯;阿兰·杜尔姆斯;布鲁诺加勒恩;亚瑟·勒克莱尔 纹理合成的最大熵方法：理论与实践。 （英语） Zbl 1467.94014号 SIAM J.数学。数据科学。 3，编号1，52-82（2021）. 摘要：近年来，卷积神经网络技术在基于样本的图像合成中兴起。这些方法通常依赖于图像空间上某些变分公式的最小化，其中的极小值被假定为综合问题的解。在本文中，我们从理论和实验上研究了使用交替采样/最小化方案来处理这个问题的另一个框架。首先，我们使用信息几何的结果来评估我们的方法在期望的某些约束下产生了熵最大的概率测度。然后，我们转向对我们的方法的分析，并且我们使用马尔可夫链文献中的最新结果表明，即使在非凸设置中，其误差也可以显式地有界于多项式依赖于维数的常数。这包括通过可微神经网络定义约束的情况。最后，我们对模型进行了广泛的实验研究，包括与最新方法的比较。 MSC公司： 94甲17 信息的度量，熵 94A08型 信息与通信理论中的图像处理（压缩、重建等） 94A20型 信息与传播理论中的抽样理论 62B10型 信息理论主题的统计方面 62L20型 随机近似 62页99 统计学的应用 60J05型 一般状态空间上的离散马尔可夫过程 60J10型 马尔可夫链（离散状态空间上的离散时间马尔可夫过程） 60年22日 马尔可夫链中的计算方法 65二氧化碳 蒙特卡罗方法 65立方厘米 马尔可夫链的数值分析或方法 68单位10 图像处理的计算方法 68T07型 人工神经网络与深度学习 关键词：纹理合成;信息几何;最大熵;马尔可夫链;朗之万算法;卷积神经网络 软件：可操纵金字塔 PDF格式BibTeX公司 XML格式引用 \textit{V.De Bortoli}等人，SIAM J.数学。数据科学。3，编号1，52--82（2021；Zbl 1467.94014） 全文： 内政部 arXiv公司 参考文献： [1] S.Ahn、A.K.Balan和M.Welling，通过随机梯度Fisher评分进行贝叶斯后验抽样，第29届机器学习国际会议论文集，2012年，英国苏格兰爱丁堡，ICML。 [2] S.-i.Amari和H.Nagaoka，《信息几何方法》，原田大史译自1993年日语原文。数学。单声道。191，AMS，普罗维登斯，RI；牛津大学出版社，英国牛津，2000年·Zbl 0960.62005号 [3] J.T.Barron，连续可微指数线性单位，预印本，https://arxiv.org/abs/1704.07483, 2017. [4] M.Betancourt、S.Byrne、S.Livingstone和M.Girolma，《哈密尔顿蒙特卡罗的几何基础》，伯努利，23（2017），第2257-2298页·Zbl 1380.60070号 [5] J.Bruna和S.Mallat，多尺度稀疏微正则模型，预印本，https://arxiv.org/abs/1801.02013, 2018. ·Zbl 1426.62111号 [6] D.Cano和T.Minh，《使用分层线性变换的纹理合成》，《信号处理》，第15期（1988年），第131-148页。 [7] 陈华凤，郭立群，高安杰，在随机变化边界截断的Robbins-Monro算法的收敛性和鲁棒性，随机过程。申请。，27（1987），第217-231页·Zbl 0632.62082号 [8] I.Csiszar，\（I）-概率分布和最小化问题的散度几何，Ann.Probab。，3（1975年），第146-158页·兹标0318.60013 [9] I.Csiszar，Sanov性质，广义（I）-投影和条件极限定理，Ann.Probab。，12（1984年），第768-793页·Zbl 0544.60011号 [10] I.Csiszaír，Maxent，数学和信息理论，摘自《最大熵和贝叶斯方法》（Santa Fe，NM，1995），基金会。理论物理学。79，Kluwer学术出版社，荷兰多德雷赫特，1996年，第35-50页·兹比尔0886.62007 [11] A.S.Dalalyan，《采样与优化之间更进一步、更强的类比：朗之万蒙特卡罗和梯度下降》，预印本，https://arxiv.org/abs/1704.04752, 2017. [12] A.S.Dalalyan，平滑密度和对数曲线密度近似采样的理论保证，J.R.Stat.Soc.Ser。B统计方法。，79（2017），第651-676页·Zbl 1411.62030号 [13] V.De Bortoli、A.Desolneux、B.Galerne和A.Leclaire，纹理合成的宏观正则模型，收录于《计算机视觉中的尺度空间和变分方法》，J.Lellmann、M.Burger和J.Modersitzki编辑，Springer，Cham，2019年，第13-24页。 [14] V.De Bortoli和A.Durmus，《扩散的收敛及其离散化：从连续到离散过程》，预印本，https://arxiv.org/abs/1904.09808, 2019. [15] V.De Bortoli、A.Durmus、M.Pereyra和A.F.Vidal，《利用未调整的Langevin Monte Carlo进行高效随机优化》。应用于最大边际似然和经验贝叶斯估计，预印本，https://arxiv.org/abs/1906.12281, 2019. ·Zbl 1475.62026号 [16] R.Douc、E.Moulines、P.Priouret和P.Soulier，Markov Chains，Springer Ser。操作。Res.Financial Engrg.，查姆施普林格，2018年·Zbl 1429.60002号 [17] R.Duits、M.Felsberg、G.Granlund和B.ter Haar Romeny，使用从欧几里德运动群的可约表示构造的小波变换进行图像分析和重建，国际。J.计算。视觉。，72（2007），第79-102页。 [18] P.Dupuis和R.S.Ellis，大偏差理论的弱收敛方法，Wiley Ser。普罗巴伯。Stat.，John Wiley&Sons，纽约，1997年·Zbl 0904.60001号 [19] A.Durmus和E.Moulines，未调整Langevin算法的非渐近收敛性分析，Ann.应用。概率。，27（2017），第1551-1587页·Zbl 1377.65007号 [20] A.Durmus、G.O.Roberts、G.Vilmart和K.C.Zygalakis，基于快速朗之万的高维MCMC算法，Ann.Appl。概率。，27（2017），第2195-2237页·Zbl 1373.60053号 [21] A.Eberle，反射耦合和无凸性的Wasserstein收缩性，C.R.数学。阿卡德。科学。巴黎，349（2011），第1101-1104页，https://doi.org/10.1016/j.crma.2011.09.003。 ·Zbl 1229.60091号 [22] A.Eberle，《扩散的反射耦合和收缩速率》，Probab。理论相关领域，166（2016），第851-886页·Zbl 1367.60099号 [23] A.Eberle和M.B.Majka，一般状态空间上马氏链的定量收缩率，预印本，https://arxiv.org/abs/1808.07033, 2018. ·Zbl 1466.60137号 [24] A.A.Efros和W.T.Freeman，用于纹理合成和传输的图像绗缝，《第28届计算机图形和交互技术年会论文集》，SIGGRAPH 2001年，加利福尼亚州洛杉矶，2001年，第341-346页。 [25] A.A.Efros和T.K.Leung，通过非参数采样进行纹理合成，载于ICCV，1999年，第1033-1038页。 [26] A.Gagalowicz和S.D.Ma，三维场景自然纹理的模型驱动合成，《计算机与图形》，10（1986），第161-170页。 [27] B.Galerne、Y.Gousseau和J.Morel，《随机相位纹理：理论与合成》，IEEE Trans。图像处理。，20（2011），第257-267页·Zbl 1372.94086号 [28] B.Galerne、A.Leclaire和J.Rabin，基于斑块空间中半离散最优传输的纹理合成模型，SIAM J.Imaging Sci。，11（2018），第2456-2493页，https://doi.org/10.1137/18M1175781。 ·兹比尔1423.62121 [29] L.A.Gatys、A.S.Ecker和M.Bethge，《使用卷积神经网络的纹理合成》，载于《神经信息处理系统的进展》，第28期：神经信息处理体系年度会议，加拿大魁北克省蒙特利尔，2015年，第262-270页。 [30] M.Girolma和B.Calderhead，Riemann流形Langevin和Hamilton Monte Carlo方法，J.R.Stat.Soc.Ser。B统计方法。，73（2011），第123-214页，https://doi.org/10.1111/j.1467-9868.2010.00765.x。 ·Zbl 1411.62071号 [31] N.Gonthier、Y.Gousseau和S.Ladjal，《具有远程约束的高分辨率神经纹理合成》，预印本，https://arxiv.org/abs/2008.01808, 2020. [32] J.Han，K.Zhou，L.Wei，M.Gong，H.Bao，X.Zhang，B.Guo，通过离散优化快速基于示例的表面纹理合成，《可视化计算机》，22（2006），第918-925页。 [33] W.K.Hastings，《使用马尔可夫链的蒙特卡罗抽样方法及其应用》，《生物统计学》，57（1970），第97-109页·Zbl 0219.65008号 [34] D.J.Heeger和J.R.Bergen，基于金字塔的纹理分析/合成，《ICIP会议记录》，IEEE，华盛顿特区，1995年，第648-651页。 [35] P.Ishwar和P.Moulin，关于一般矩不等式约束下最大分布的存在性和特征，IEEE Trans。通知。《理论》，51（2005），第3322-3333页·Zbl 1310.94034号 [36] E.T.Jaynes，信息理论和统计力学，物理。修订版（2），106（1957），第620-630页·Zbl 0084.43701号 [37] N.Jetchev、U.Bergmann和R.Vollgraf，空间生成对抗网络纹理合成，预印本，https://arxiv.org/abs/1611.08207, 2016. [38] J.Johnson、A.Alahi和L.Fei-Fei，《实时风格传输和超分辨率的感知损失》，载于《第十四届欧洲计算机视觉会议论文集》，ECCV 2016，第二部分，荷兰阿姆斯特丹，2016年，第694-711页。 [39] P.Jupp和K.Mardia，关于最大熵原理的注释，Scand。J.统计。，10（1983年），第45-47页·Zbl 0507.62002号 [40] A.Kaspar、B.Neubert、D.Lischinski、M.Pauly和J.Kopf，自调整纹理优化，计算。图表。《论坛》，34（2015），第349-359页。 [41] V.Kwatra、I.A.Essa、A.F.Bobick和N.Kwastra，基于示例合成的纹理优化，ACM Trans。图表。，24（2005），第795-802页。 [42] V.Kwatra、A.Scho¨dl、I.A.Essa、G.Turk和A.F.Bobick，《图形切割纹理：使用图形切割的图像和视频合成》，ACM Trans。图表。，22（2003），第277-286页。 [43] E.Levina和P.J.Bickel，随机场的纹理合成和非参数重采样，Ann.Statist。，34（2006），第1751-1773页·Zbl 1246.62194号 [44] G.Liu、Y.Gousseau和G.Xia，通过卷积神经网络和频谱约束进行纹理合成，载于《第23届ICPR会议录》（墨西哥坎昆），IEEE，华盛顿特区，2016年，第3234-3239页。 [45] Y.Lu、S.Zhu和Y.N.Wu，使用CNN过滤器的学习框架模型，《第三十届AAAI人工智能会议论文集》，凤凰城，亚利桑那州，2016年，第1902-1910页。 [46] D.Luo和J.Wang，无一致耗散漂移扩散过程的（L^p）-Wasserstein距离的指数收敛性，数学。纳克里斯。，289（2016），第1909-1926页，https://doi.org/10.1002/mana.201500351。 ·Zbl 1350.60079号 [47] Y.-A.Ma、T.Chen和E.Fox，《随机梯度MCMC的完整配方》，载于《神经信息处理系统进展28：神经信息处理体系年度会议》，加拿大魁北克省莫雷尔，2015年，第2917-2925页。 [48] M.B.Majka、A.Mijatovicí和L.Szpruch，《无对数凹坑采样算法的非症状边界》，预印本，https://arxiv.org/abs/1808.07105, 2018. ·兹比尔1466.65008 [49] D.Mumford和A.Desolneux，模式理论：现实世界信号的随机分析，应用。数学。，A K Peters，Ltd.，马萨诸塞州纳蒂克，2010年·Zbl 1210.94002号 [50] R.M.Neal，使用哈密顿动力学的MCMC，《马尔可夫链蒙特卡罗手册》，Chapman&Hall/CRC Handb。国防部。《统计方法》，CRC，佛罗里达州博卡拉顿，2011年，第113-162页·Zbl 1229.65018号 [51] Y.Nesterov，凸优化入门讲座，应用。最佳方案。87，Kluwer学术出版社，马萨诸塞州波士顿，2004年·Zbl 1086.90045号 [52] E.Nijkamp、S.-C.Zhu和Y.N.Wu，《关于向基于能量的模型学习非冲突性短运行MCMC》，预印本，https://arxiv.org/abs/1904.09770v1, 2019. [53] S.Patterson和Y.W.Teh，概率单纯形上的随机梯度黎曼-朗之万动力学，《2013年神经信息处理系统进展》，NeurIPS，加州圣地亚哥，2013年，第3102-3110页。 [54] G.Peyreí，使用grouplet进行纹理合成，IEEE Trans。模式分析。机器。智力。，32（2010年），第733-746页。 [55] G.Poílya和G.Szego¨，分析中的问题和定理。一： 系列，积分学，函数论，重印1978年的英文译本，由多萝西·埃普里从德语翻译而成，经典数学。，施普林格出版社，柏林，1998年·邮编：1053.00002 [56] J.Portilla和E.P.Simoncelli，基于复小波系数联合统计的参数纹理模型，国际。J.计算。视觉。，40（2000），第49-70页·Zbl 1012.68698号 [57] L.Raad、A.Davy、A.Desolneux和J.-M.Morel，基于示例的纹理合成调查，预印本，https://arxiv.org/abs/1707.07184, 2017. ·Zbl 1425.94022号 [58] L.Raad、A.Desolneux和J.Morel，条件多尺度局部高斯纹理合成算法，J.Math。成像视觉。，56（2016），第260-279页·Zbl 1409.94504号 [59] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。统计人员。，22（1951年），第400-407页·Zbl 0054.05901号 [60] G.O.Roberts和R.L.Tweedie，Langevin分布及其离散近似的指数收敛性，Bernoulli，2（1996），第341-363页·兹比尔0870.60027 [61] K.Simonyan和A.Zisserman，用于大规模图像识别的非常深卷积网络，预印本，https://arxiv.org/abs/1409.1556, 2014. [62] U.Simsekli、R.Badeau、T.Cemgil和G.Richard，随机准Newton Langevin Monte Carlo，《第33届机器学习国际会议论文集》，纽约，2016年，第642-651页。 [63] F.Topsöe，《信息理论优化技术》，Kybernetika（布拉格），15（1979），第8-27页·Zbl 0399.94007号 [64] D.Ulyanov、V.Lebedev、A.Vedaldi和V.S.Lempitsky，《纹理网络：纹理和风格化图像的前馈合成》，载于《第三十三届国际机器学习会议论文集》，2016年，纽约州纽约市ICML，2016，第1349-1357页。 [65] D.Ulyanov、A.Vedaldi和V.S.Lempitsky，《改进的纹理网络：在前馈风格化和纹理合成中最大化质量和多样性》，载于《2017年IEEE计算机视觉和模式识别会议论文集》，2017年CVPR，夏威夷州檀香山，2017年，第4105-4113页。 [66] I.Ustyuzhaninov，W.Brendel，L.A.Gatys和M.Bethge，使用随机滤波器的浅卷积网络的纹理合成，预印本，https://arxiv.org/abs/1606.00021, 2016. [67] J.J.van Wijk，《用于数据可视化的斑点噪声纹理合成》，《SIGGRAPH 1991年会议录》，ACM，纽约，1991年，第309-318页。 [68] A.F.Vidal、V.De Bortoli、M.Pereyra和A.Durmus，《高维逆问题中正则化参数的最大似然估计：经验贝叶斯方法》，预印本，https://arxiv.org/abs/1911.11709, 2019. ·Zbl 1457.94011号 [69] M.Welling和Y.W.Teh，通过随机梯度Langevin动力学进行贝叶斯学习，《第28届机器学习国际会议论文集》（ICML-11），华盛顿州贝尔维尤，2011年，第681-688页。 [70] 吴永宁，朱思聪，刘晓霞，朱尔斯系综与框架模型的等价性，国际。J.计算。视觉。，38（2000），第247-265页·Zbl 1012.68692号 [71] 谢杰、鲁毅、朱淑、吴永宁，生成性ConvNet理论，载《第三十三届机器学习国际会议论文集》，2016年，纽约州纽约市，M.Balcan和K.Q.Weinberger主编，《JMLR研讨会和会议论文集48》，JMLR，2016，第2635-2644页。 [72] S.C.Zhu、Y.N.Wu和D.Mumford，《过滤器、随机场和最大熵（FRAME）：纹理建模的统一理论》，国际。J.计算。视觉。，27（1998），第107-126页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。