×
德雷夫斯，雅各布;恩里科·吉拉德;约格·吕克

生成模型的进化变分优化。 （英语） Zbl 07625174号

J.马赫。学习。物件。 23，第21号论文，51页（2022年）.
摘要：我们结合两种流行的优化方法来推导生成模型的学习算法：变分优化和进化算法。通过使用截断后验函数作为变分分布族，实现了具有离散潜在变量的生成模型的组合。截断后验函数的变分参数是潜在状态集。通过将这些状态解释为个体的基因组，并使用变分下界定义适应度，我们可以应用进化算法来实现变分循环。所使用的变分分布非常灵活，我们表明进化算法可以有效地优化变分界。此外，变分回路通常适用（“黑箱”），不需要分析推导。为了显示通用性，我们将该方法应用于三种生成模型（我们使用噪声或贝叶斯网、二进制稀疏编码和尖峰和板稀疏编码）。为了证明这种新的变分方法的有效性和效率，我们使用了图像去噪和修复的标准竞争基准。基准测试允许对广泛的方法进行定量比较，包括概率方法、深度确定性和生成性网络以及非局部图像处理方法。在“零快照”学习类别中（当只使用损坏的图像进行训练时），我们观察到进化变分算法在许多基准设置中显著提高了最新水平。对于一个著名的修复基准测试，我们还观察到所有类别算法的最新性能，尽管我们只对损坏的图像进行训练。总的来说，我们的调查强调了研究生成模型的优化方法以实现性能改进的重要性。

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

期望最大化;变分法;进化算法;稀疏编码;去噪;补漆

软件：

MemNet网站;噪音2无效;DnCNN公司;噪音2噪音;辉光
PDF格式BibTeX公司 XML格式引用
\textit{J.Drefs}等人，J.Mach。学习。第23号决议，第21号论文，51页（2022年；Zbl 07625174）
全文： arXiv公司 链接

参考文献：

[1] K.Ahmadi和E.Salari。使用进化稀疏编码技术的单图像超分辨率。IET图像处理，11（1）：13-212016。
[2] E.Angelino、M.J.Johnson和R.P.Adams。可伸缩贝叶斯推理模式。机器学习的基础和趋势，9（2-3）：119-2472016·Zbl 1364.68318号
[3] A.J.Bell和T.J.Sejnowski。自然场景的“独立组件”是边缘过滤器。视觉研究，37（23）：3327-381997。
[4] S.A.Bigdeli、G.Lin、T.Portenier、L.A.Dunbar和M.Zwicker。使用去噪密度估计学习生成模型。arXiv预印本arXiv:2001.027282020。
[5] D.M.Blei、A.Y.Ng和M.I.Jordan。潜在Dirichlet分配。机器学习研究杂志，3:993-10222003·Zbl 1112.68379号
[6] A.Bouchard-Cóté和M.I.Jordan。结构化平均场目标的优化。《人工智能不确定性会议》（UAI），第67-74页，2009年。
[7] H.C.Burger、C.J.Schuler和S.Harmeling。图像去噪：普通神经网络能与BM3D竞争吗？在IEEE计算机视觉和模式识别会议（CVPR）上，第2392-2399页。IEEE，2012年。
[8] 曹永杰、贾立良、陈永新、林南生、杨振中、张斌、刘振中、李晓霞和戴海华。计算机视觉中生成对抗网络的最新进展。IEEE Access，2018年。
[9] S.Chaudhury和H.Roy。全卷积网络能很好地解决一般的图像恢复问题吗？机器视觉应用国际会议（MVA），第254-257页，2017年。
[10] Y.Chen和T.Pock。可训练非线性反应扩散：快速有效图像恢复的灵活框架。IEEE模式分析和机器智能汇刊
[11] A.Creswell和A.A.Bharath。去噪对手自动编码器。IEEE神经网络和学习系统汇刊，30（4）：968-9842018。
[12] K.Dabov、A.Foi、V.Katkovnik和K.Egiazarian。稀疏3D变换域协同滤波的图像去噪。IEEE图像处理汇刊，16（8）：2080-20952007。
[13] Z.Dai和J.Lücke。自动文档清理-重建严重损坏的扫描文本的生成方法。IEEE模式分析和机器智能汇刊
[14] P.Dayan、G.E.Hinton、R.Neal和R.S.Zemel。亥姆霍兹机器。神经计算，7:889-9041995。
[15] L.Dinh、D.Krueger和Y.Bengio。NICE：非线性独立成分估计。arXiv预印本arXiv:1410.85162014。
[16] L.Dinh、J.Sohl-Dickstein和S.Bengio。使用实际NVP进行密度估计。2017年国际学习代表大会（ICLR）。
[17] W.Dong，P.Wang，W.Yin，G.Shi，F.Wu，X.Lu。用于图像恢复的先验驱动深度神经网络去噪。IEEE模式分析和机器智能汇刊（TPAMI），2019年。
[18] M.Elad和M.Aharon。通过学习词典的稀疏和冗余表示进行图像去噪。IEEE图像处理汇刊，15（12）：3736-37452006。
[19] G.Exarchakis和J.Lücke。离散稀疏编码。神经计算，29:2979-30132017。46 ·Zbl 1456.68175号
[20] J.M.Fadili和J.-L.Starck。稀疏表示和贝叶斯图像修复。2005年SPARS国际会议。
[21] P.Földiák。通过本地反希伯来学习形成稀疏表示。生物控制论，64:165-1701990。
[22] D.Forster和J.Lücke。集群可以与其集群进行亚线性扩展吗？GMM和k均值的可变EM加速度。国际人工智能与统计会议（AISTATS），第124-132页。PMLR，2018年。
[23] D.Forster、A.-S.Sheikh和J.Lücke。神经单纯子管：利用定向生成网络在少数标记的限制下学习。神经计算，30（8）：2113-21742018·兹比尔1472.68138
[24] Z.Ghahramani和M.I.Jordan。从不完整的数据中学习。1995年A.I.备忘录第1509号。
[25] D.E.Goldberg。搜索优化和机器学习中的遗传算法。Addison-Wesley，1989年·兹比尔0721.68056
[26] I.Goodfellow、A.C.Courville和Y.Bengio。使用尖峰和平板稀疏编码的大规模特征学习。2012年国际机器学习会议（ICML）。
[27] I.Goodfellow、J.Pouget-Abadie、M.Mirza、B.Xu、D.Warde-Farley、S.Ozair、A.Courville和Y.Bengio。生成对抗网。神经信息处理系统进展。2014
[28] S.Gu、L.Zhang、W.Zuo和X.Feng。加权核范数最小化及其在图像去噪中的应用。在IEEE计算机视觉和模式识别会议（CVPR）上，第2862-2869页。IEEE，2014年。
[29] E.Guiraud、J.Drefs和J.Lücke。进化期望最大化。2018年InGenetic and Evolutionary Computation Conference（GECCO）。
[30] M.R.Gupta和Y.Chen。EM算法的原理和应用。基础与趋势Rin信号处理，4（3）：223-2962011·Zbl 1294.62137号
[31] M.Haft、R.Hofman和V.Tresp。生成二进制代码。形式模式分析与应用，6:269-842004·Zbl 1422.68260号
[32] M.Henniges、G.Puertas、J.Bornschein、J.Eggert和J.Lücke。二进制稀疏编码。在潜在变量分析和信号分离国际会议（LVA/ICA）上，第450-57页。施普林格，2010年。
[33] F.Hirschberger、D.Forster和J.Lücke。用于大规模高效聚类的变分EM加速。IEEE模式分析和机器智能汇刊（TPAMI），2022年。doi:10.1109/TPAMI.2021.3133763。新闻界。
[34] P.O.霍耶。用非负稀疏编码建模感受野。神经计算，52-54:547-522003。
[35] E.R.Hruschka，R.J.Campello，A.A.Freitas，et al.聚类进化算法综述.系统、人与控制论的EEE事务，39（2）：133-1552009。
[36] C.-W.Huang、D.Krueger、A.Lacoste和A.Courville。神经自回归流。2018年国际机器学习会议（ICML）。
[37] M.C.Hughes和E.B.Sudderth。通过稀疏后验快速学习集群和主题。arXiv预印本arXiv:1609.07521016。
[38] A.Hyvärinen和P.Pajunen。非线性独立分量分析：存在性和唯一性结果。神经网络，12（3）：429-4391999。
[39] S.Iizuka、E.Simo-Serra和H.Ishikawa。全球和本地一致的图像完成。ACM图形交易（ToG），36（4）：1-142017年。
[40] A.Ilin和H.Valpola。后验近似形式对ICA模型变分学习的影响。《神经处理快报》，22（2）：183-2042005年。
[41] R.Imamura、T.Itasaka和M.Okuda。基于可分离图像先验的零炮高光谱图像去噪。2019年IEEE/CVF国际计算机视觉研讨会。
[42] V.Jain和S.Seung。基于卷积网络的自然图像去噪。神经信息处理系统进展，2009年。
[43] E.Jang。甘贝尔Softmax。GitHub存储库，2016.URLhttps://github.com/ericjang/口香糖-软糖。访问时间：2021-08-03。
[44] E.Jang、S.Gu和B.Poole。使用Gumbel-Softmax进行分类重新参数化。国际学习代表大会（ICLR），2017年。
[45] Y.Jernite、Y.Halpern和D.Sontag。使用四重奏测试发现噪音或网络中的隐藏变量。神经信息处理系统进展，2013年。
[46] M.Jordan、Z.Ghahramani、T.Jaakkola和L.Saul。图形模型的变分方法简介。机器学习，37:183-2331999·兹比尔0945.68164
[47] D.P.Kingma和P.Dhariwal。辉光：具有可逆1x1卷积的生成流。神经信息处理系统研究进展，2018年。
[48] D.P.Kingma和M.Welling。自动编码变异贝叶斯。2014年国际学习代表大会。
[49] D.P.Kingma、T.Salimans、R.Jozefowicz、X.Chen、I.Sutskever和M.Welling。用逆自回归流改进变分推理。神经信息处理系统进展，2016年。
[50] A.Krull、T.-O.Buchholz和F.Jug。Noise2Void-学习从单个噪声图像中去噪。IEEE计算机视觉和模式识别会议（CVPR），第2129-2137页，2019年。
[51] H.Lee、A.Battle、R.Raina和A.Ng。高效稀疏编码算法。神经信息处理系统进展，第20卷，第801-08页，2007年。
[52] J.Lehtinen、J.Munkberg、J.Hasselgren、S.Laine、T.Karras、M.Aittala和T.Aila。Noise2Noise:在没有干净数据的情况下学习图像恢复。国际机器学习会议
[53] 基于块的图像插值：算法与应用。图像处理中的局部和非局部近似国际研讨会，第1-6页，2008年。
[54] Y.Li、S.Liu、J.Yang和M.-H.Yang。生成面完成。在IEEE计算机视觉和模式识别会议（CVPR）上，第3911-3919页。IEEE，2017年。
[55] R.J.Little和D.B.Rubin。缺失数据的统计分析。概率统计威利级数。John Wiley&Sons，第1版，1987年·Zbl 0665.62004号
[56] I.Loshchilov和F.Hutter。深度神经网络超参数优化的CMA-ES。2016年，在国际学习代表大会（ICLR）研讨会上，第513-520页。
[57] J.Lücke。截断变分期望最大化。arXiv预印本，arXiv:11610.031132019。
[58] J.Lücke和J.Eggert。期望截断与生成模型训练中预选的益处。机器学习研究杂志，11:2855-9002010年·Zbl 1242.62010年
[59] J.Lücke和D.Forster。k均值作为高斯混合模型的变分EM近似。模式识别字母，125:349-3562019。
[60] J.Lücke和M.Sahani。非线性成分提取的最大原因。机器学习研究杂志，9:1227-672008·Zbl 1225.68198号
[61] J.Lücke和A.-S.Sheikh。稀疏编码的闭式EM及其在信源分离中的应用。潜在变量分析和信号分离国际会议
[62] J.Lücke、Z.Dai和G.Exarchakis。生成模型“黑箱”优化的截断变分采样。潜在变量分析和信号分离国际会议·Zbl 1246.01050号
[63] D.J.C.麦凯。变分自由能最小化中的局部极小、对称破缺和模型剪枝。推理小组，卡文迪什实验室，英国剑桥，2001年。
[64] D.J.C.麦凯。信息理论、推理和学习算法。剑桥大学出版社，2003年·Zbl 1055.94001号
[65] J.Mairal、M.Elad和G.Sapiro。彩色图像恢复的稀疏表示。IEEE图像处理汇刊，17（1）：53-692008·Zbl 1194.49041号
[66] J.Mairal、F.Bach、J.Ponce、G.Sapiro和A.Zisserman。图像恢复的非局部稀疏模型。2009年第25卷。
[67] S.Mohamed、K.Heller和Z.Ghahramani。评估贝叶斯和L1方法用于稀疏无监督学习。2012年国际机器学习会议（ICML）。
[68] K.P.墨菲。机器学习：概率的观点。麻省理工学院出版社，2012年·Zbl 1295.68003号
[69] J.W.Myers、K.B.Laskey和K.A.DeJong。使用进化算法从不完整数据中学习贝叶斯网络。InGenetic and Evolutionary Computation Conference（GECCO），1999年。
[70] R.Neal和G.Hinton。EM算法视图，用于证明增量、稀疏和其他变量的合理性。在M.I.Jordan，编辑，《图形模型学习》。Kluwer，1998年·Zbl 0916.62019号
[71] S.Oehmcke和O.Kramer。基于群体的神经网络训练的知识共享。2018年德国/奥地利人工智能联合会议，第258-269页。
[72] B.奥尔森和D.菲尔德。通过学习自然图像的稀疏代码，出现了简单的细胞感受野特性。《自然》，381:607-91996年。
[73] B.A.Olshausen和D.J.Field。基集过完备的稀疏编码：V1采用的策略？视觉研究，37（23）：3311-33251997。
[74] M.Opper和C.Archambeau。再论变分高斯近似。神经计算，21（3）：786-7922009·Zbl 1178.68450号
[75] M.Opper和O.Winther。期望一致的近似推断。机器学习研究杂志，6（12月）：2177-22042005·Zbl 1222.68278号
[76] Y.Park、C.Kim和G.Kim。可变拉普拉斯自动编码器。2019年国际机器学习会议（ICML），第5032-5041页。
[77] D.Pathak、P.Krahenbuhl、J.Donahue、T.Darrell和A.A.Efros。上下文编码器：通过内画进行特征学习。在IEEE计算机视觉和模式识别会议（CVPR）上，第2536-2544页。IEEE，2016年。
[78] F.Pernkopf和D.Bouchaffra。用于学习高斯混合模型的基于遗传的EM算法。IEEE模式分析和机器智能汇刊（TPAMI），27（8）：1344-13482005。
[79] M.Prakash、K.Alexander和F.Jug。卷积变分自编码器的完全无监督分集去噪。国际学习代表大会（ICLR），2021年。
[80] J.Prellberg和O.Kramer。大型神经网络的有限评价进化优化。2018年德国/奥地利人工智能联合会议，第270-283页。
[81] R.Ranganath、S.Gerrish和D.Blei。黑箱变分推理。2014年国际人工智能与统计会议（AISTATS），第814-822页。
[82] E.Real、S.Moore、A.Selle、S.Saxena、Y.L.Suematsu、J.Tan、Q.V.Le和A.Kurakin。图像分类器的大尺度演化。国际机器学习会议（ICML），第2902-2911页，2017年。
[83] D.J.Rezende和S.Mohamed。规范化流的变分推理。国际机器学习会议（ICML），2015年。
[84] D.J.Rezende、S.Mohamed和D.Wierstra。深度生成模型中的随机反向传播和近似推断。2014年国际机器学习会议（ICML）。
[85] S.Roth和M.J.Black。专家领域。国际计算机视觉杂志（IJCV），82（2）：2052009·Zbl 1477.68419号
[86] M.Rotmensch、Y.Halpern、A.Tlimat、S.Horn和D.Sontag。从电子病历中学习健康知识图表。《科学报告》，7（1）：59942017年。
[87] T.Salimans、J.Ho、X.Chen、S.Sidor和I.Sutskever。进化策略作为强化学习的可扩展替代方案。arXiv预印本arXiv:1703.038642017。
[88] L.K.Saul和M.I.Jordan。在难处理网络中开发可牵引子结构。神经信息处理系统进展，1995年。
[89] L.K.Saul、T.Jaakkola和M.I.Jordan。Sigmoid信念网络的平均场理论。人工智能研究杂志，4（1）：61-761996·Zbl 0900.68379号
[90] U.Schmidt、Q.Gao和S.Roth。低水平视觉中MRF的生成视角。在IEEE计算机视觉和模式识别会议（CVPR）上，第1751-1758页，2010年。
[91] M.西格。稀疏线性模型的贝叶斯推理与优化设计。机器学习研究杂志，9:759-8132008·兹比尔1225.68213
[92] J.G.Serra、M.Testa、R.Molina和A.K.Katsaggelos。使用快速变分推理的贝叶斯K-SVD。IEEE图像处理汇刊，26（7）：3344-33592017·Zbl 1409.94536号
[93] A.-S.Sheikh和J.Lücke。Spike and Slab稀疏编码的选择和采样。神经信息处理系统研究进展，2016。
[94] A.-S.Sheikh、J.A.Shelton和J.Lücke。一种用于尖峰和极板稀疏编码的截断EM方法。《机器学习研究杂志》，15:2653-26872014年·Zbl 1319.62054号
[95] A.-S.Sheikh、N.S.Harper、J.Drefs、Y.Singer、Z.Dai、R.E.Turner和J.Lücke。初级听觉皮层中的STRF来自于基于掩蔽的自然声音统计。PLOS计算
[96] J.A.Shelton、J.Bornschein、A.S.Sheikh、P.Berkes和J.Lücke。选择和样本-有效的神经推理和学习模型。神经信息处理系统进展，24:2618-262622011。
[97] J.A.Shelton、J.Gasthaus、Z.Dai、J.Lücke和A.Gretton。GP-Select：使用自适应子空间预选加速EM。神经计算，29（8）：2177-22022017·Zbl 1456.68166号
[98] A.Shocher、N.Cohen和M.Irani。使用深度内部学习的“零射”超分辨率。IEEE计算机视觉和模式识别会议（CVPR），第3118-3126页。IEEE，2018年。
[99] T.Singlian和M.Hauskrecht。噪声或成分分析及其在链路分析中的应用。机器学习研究杂志，7:2189-22132006·Zbl 1222.62066号
[100] K.O.Stanley和R.Miikkulainen。通过增强拓扑进化神经网络。进化计算，10（2）：99-1272002。
[101] C.Steinruecken、E.Smith、D.Janz、J.Lloyd和Z.Ghahramani。自动统计员。在自动机器学习中。斯普林格，2019年。
[102] M.Suganuma、S.Shirakawa和T.Nagao。设计卷积神经网络结构的遗传编程方法。InGenetic和进化计算会议
[103] J.Sun和M.F.Tappen。用于图像恢复的非局部马尔可夫随机场学习。2011年IEEE计算机视觉和模式识别会议（CVPR），第2745-2752页。
[104] Y.Tai、J.Yang、X.Liu和C.Xu。MemNet：用于图像恢复的持久存储网络。在IEEE国际计算机视觉会议（ICCV）上，第4539-4547页。IEEE，2017年。
[105] C.Tian、Y.Xu和W.Zuo。基于批重正化的深度CNN图像去噪。神经网络，121:461-4732020。
[106] G.Tian、Y.Xia、Y.Zhang和D.Feng。基于高斯混合模型的脑MR图像分割的混合遗传和变分期望最大化算法。IEEE事务
[107] M.K.Titsias和M.Lázaro Gredilla。多任务和多核学习中的尖峰和极板变分推理。神经信息处理系统进展，2011年。
[108] J.Tohka、E.Krestyannikov、I.D.Dinov、A.M.Graham、D.W.Shattuck、U.Ruotsalainen和A.W.Toga。神经成像中基于有限混合模型的体素分类的遗传算法。IEEE医学成像学报，26（5）：696-7112007。
[109] R.E.Turner和M.Sahani。时间序列模型的变分期望最大化的两个问题，第104-124页。剑桥大学出版社，2011年。
[110] D.Ulyanov、A.Vedaldi和V.Lempitsky。深度图像优先。2018年IEEE计算机视觉和模式识别会议（CVPR），第9446-9454页。
[111] J.H.van Hateren和A.van der Schaaf。与初级视觉皮层中的简单细胞相比，自然图像的独立成分过滤器。伦敦皇家学会会刊。B系列：
[112] E.Vértes和M.Sahani。深度生成模型的灵活而准确的推理和学习。神经信息处理系统研究进展，2018年。
[113] C.Yang、X.Lu、Z.Lin、E.Shechtman、O.Wang和H.Li。使用多尺度神经补片合成的高分辨率图像内画。在IEEE计算机视觉和模式识别会议（CVPR）中，第6721-6729页。IEEE，2017年。
[114] R.A.Yeh、C.Chen、T.Yian Lim、A.G.Schwing、M.Hasegawa-Johnson和M.N.Do。《深层生成模型的语义图像绘画》。在IEEE计算机视觉和模式识别会议（CVPR）中，第5485-5493页。IEEE，2017年。
[115] G.Yu、G.Sapiro和S.Mallat。用分段线性估计解决反问题：从高斯混合模型到结构稀疏性。IEEE图像处理汇刊，21（5）：2481-24992012·兹比尔1373.94471
[116] K.Zhang、W.Zuo、Y.Chen、D.Meng和L.Zhang。超越高斯去噪：深度CNN的剩余学习用于图像去噪。IEEE图像处理汇刊，26（7）：3142-31552017·Zbl 1409.94754号
[117] K.Zhang、W.Zuo和L.Zhang。FFDNet：基于CNN的图像去噪的快速灵活解决方案。IEEE图像处理汇刊，2018。
[118] M.Zhou、H.Chen、J.Paisley、L.Ren、G.Sapiro和L.Carin。稀疏图像表示的非参数贝叶斯字典学习。神经信息处理系统进展，2009年。
[119] M.Zhou、H.Chen、J.Paisley、L.Ren、L.Li、Z.Xing、D.Dunson、G.Sapiro和L.Carin。用于分析噪声和不完整图像的非参数贝叶斯字典学习。电气与电子工程师协会·Zbl 1373.62334号
[120] S.Zhu、G.Xu、Y.Cheng、X.Han和Z.Wang。BDGAN：使用生成对抗网络的图像盲去噪。InChinese Conference on Pattern Recognition and Computer Vision，第241-252页，2019年。
[121] D.Zoran和Y.Weiss。从自然图像块的学习模型到整体图像恢复。2011年IEEE国际计算机视觉会议（ICCV），第479-486页。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。