×

生成性对抗学习的便利无限维框架。 (英语) Zbl 07649364号

小结:近年来,生成性对抗网络(GAN)已经展示了令人印象深刻的实验结果,而为GAN培养统计学习理论的工作却寥寥无几。在这项工作中,我们提出了一个生成性对抗学习的无限维理论框架。我们假设基本测度的概率密度函数一致有界,(k)-次(alpha)-Hölder可微((C^{k,alpha}))并且一致有界远离零。在这些假设下,我们证明了Rosenblatt变换诱导了一个最优生成器,它可以在(C^{k,\alpha})-生成器的假设空间中实现。通过对鉴别器假设空间的一致定义,我们进一步证明了对抗性学习过程中生成器诱导的分布与数据生成分布之间的Jensen-Shannon散度收敛到零。在数据生成过程密度的某些规则性假设下,我们还提供了基于链接和集中的收敛速度。

MSC公司:

6220国集团 非参数推理的渐近性质
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] ACKLEY,D.H.、HINTON,G.E.和SEJNOWSKI,T.J.(1988年)。Boltzmann机器的一种学习算法连接主义模型及其启示:认知科学解读285-307. 美国Ablex出版公司。
[2] ARJOVSKY,M.、CHINTALA,S.和BOTTOU,L.(2017)。Wasserstein生成对抗网络。(D.PRECUP和Y.W.TEH编辑)。机器学习研究进展70 214-223. PMLR,澳大利亚悉尼国际监狱中心。
[3] BELOMESTNY,D.、MOULINES,E.、NAUMOV,A.、PUCHKIN,N.和SAMSONOV,S.(2021年)。GAN密度估计的收敛速度。 ·doi:10.48550/ARXIV.2102.00199
[4] BIAU,G.、CADRE,B.、SANGNIER,M.和TANIELIAN,U.(2020年)。GAN的一些理论性质。安。统计师。48 1539-1566. ·Zbl 1451.62107号 ·doi:10.1214/19-AOS1858
[5] BIAU,G.、SANGNIER,M.和TANIELIAN,U.(2020年)。对Wasserstein GANs的一些理论见解。
[6] BRENIER,Y.(1991)。向量值函数的极分解和单调重排。纯数学和应用数学交流44 375-417. ·Zbl 0738.46011号
[7] BROCK,A.、DONAHUE,J.和SIMONYAN,K.(2018年)。用于高保真自然图像合成的大规模GAN训练。CoRR公司abs/1809.11096。
[8] CHEN,M.、LIAO,W.、ZHA,H.和ZHAO,T.(2020)。生成对抗网络的分布近似和统计估计保证。arXiv预打印arXiv:2002.03938.
[9] DINH,L.、KRUEGER,D.和BENGIO,Y.(2014)。尼斯:非线性独立分量估计。arXiv预打印arXiv:1410.8516.
[10] DUNFORD,N.和SCHWARTZ,J.T.(1988年)。线性运算符。第一部分John Wiley&Sons,纽约。
[11] 弗格森,T.S.(1996)。大样本理论课程.查普曼和霍尔,博卡拉顿(佛罗里达州)·Zbl 0871.6202号
[12] GHAHRAMANI,Z.(2004)。无监督学习机器学习高级讲座:ML暑期学校2003,澳大利亚堪培拉,2003年2月2日至14日,德国图宾根,2003年8月4日至16日,修订讲座72-112. 柏林-海德堡施普林格·Zbl 1120.68434号 ·doi:10.1007/978-3-540-28650-95
[13] GILBARG,D.和TRUDINGER,N.S.(2001年)。二阶椭圆型偏微分方程柏林施普林格·Zbl 1042.35002号
[14] GINé,E.和NICKL,R.(2016)。无限维统计模型的数学基础40.美国剑桥大学出版社·Zbl 1358.62014号
[15] GOODFELLOW,I.、POUGET-ABADIE,J.、MIRZA,M.、XU,B.、WARDE-FARLEY,D.、OZAIR,S.、COURVILLE,A.和BENGIO,Y.(2014)。生成对抗网。神经信息处理系统的进展272672-2680. Curran Associates,蒙特利尔。
[16] 黑斯廷斯,W.K.(1970)。使用马尔可夫链的蒙特卡罗抽样方法及其应用。生物特征57 97-109. ·Zbl 0219.65008号
[17] JOE,H.(2014)。基于连接函数的依赖建模CRC按下·Zbl 1346.62001号
[18] KINGMA,D.P.、WELLING,M.等人(2019年)。变分自动编码器简介。基础和趋势®在机器学习中12 307-392.
[19] KOBYZEV,I.、PRINCE,S.J.和BRUBAKER,M.A.(2020年)。规范化流程:对当前方法的介绍和回顾。IEEE模式分析和机器智能事务43 3964-3979.
[20] KULLBACK,S.(1997)。信息论与统计学多佛出版社,米诺拉·兹比尔0897.62003
[21] LALA,S.、SHADY,M.、BELYAEVA,A.和LIU,M.(2018)。生成对抗性网络中模式崩溃的评估。高性能极限计算.
[22] LEDIG,C.、THEIS,L.、HUSZáR,F.、CABALLERO,J.、CUNNINGHAM,A.、ACOSTA,A.、AITKEN,A.、TEJANI,A.、TOTZ,J.,WANG,Z.等人(2017年)。使用生成对抗网络的真实感照片单图像超分辨率IEEE计算机视觉和模式识别会议记录4681-4690.
[23] MCDIARMID,C.(1989)。关于有界差分法.英寸1989年组合数学调查:第十二届英国组合数学会议邀请论文.伦敦数学学会讲座笔记系列148-188. 剑桥大学出版社·Zbl 0712.05012号 ·doi:10.1017/CBO9781107359949.008
[24] PETERSEN,P.和VOIGTLAENDER,F.(2018年)。使用深度ReLU神经网络优化逼近分段光滑函数。神经网络108 296-330. ·Zbl 1434.68516号
[25] PETERSEN,P.和VOIGTLAENDER,F.(2020年)。卷积神经网络和全连通网络逼近的等价性。美国数学学会会刊148 1567-1581. ·Zbl 07176144号
[26] RADFORD,A.、METZ,L.和CHINTALA,S.(2016)。基于深度卷积生成对抗网络的无监督表征学习。
[27] 罗森布拉特,M.(1952)。关于多元变换的备注。安。数学。统计23 470-472. ·Zbl 0047.13104号 ·doi:10.1214/aoms/1177729394
[28] RUDIN,W.(1976年)。数学分析原理纽约McGraw-Hill·Zbl 0346.26002号
[29] RUDIN,W.(1991)。功能分析纽约McGraw-Hill·Zbl 0867.46001号
[30] SHALEV-SHWARTZ,S.和BEN-DAVID,S.(2014)。理解机器学习:从理论到算法.美国剑桥大学出版社·Zbl 1305.68005号
[31] SHIRYAEV,A.N.(2016)。概率-1。斯普林格,纽约·兹比尔1390.60002
[32] SHUI,C.、CHEN,Q.、WEN,J.、ZHOU,F.、GAGNÉ,C.和WANG,B.(2020)。超越(H)-分歧:领域适应理论与詹森-沙农分歧。
[33] SINGH,S.、UPPAL,A.、LI,B.、LI、C.-L.、ZAHEER,M.和P奥斯·CZOS,B.(2018)。对抗损失下的非参数密度估计。神经信息处理系统研究进展(S.BENGIO、H.WALLACH、H.LAROCHELE、K.GRAUMAN、N.CESA-BIANCHI和R.GARNETT编辑)31 10225-10236。Curran Associates公司。
[34] TAYLOR,M.E.(2011年)。偏微分方程I.基本理论纽约州施普林格·Zbl 1206.35002号 ·doi:10.1007/978-1-4419-7055-8
[35] TESHIMA,T.、ISHIKAWA,I.、TOJO,K.、OONO,K.,IKEDA,M.和SUGIYAMA,M.(2020年)。基于耦合的可逆神经网络是一种通用的微分同态逼近器。神经信息处理系统研究进展33 3362-3373.
[36] UPPAL,A.,SINGH,S.和P奥斯,B.(2020年)。Besov IPM损耗下GAN的非参数密度估计和收敛速度。
[37] VAN DER VAART,A.W.和WELLNER,J.A.(1996)。弱收敛与经验过程纽约州施普林格·Zbl 0862.60002号 ·数字对象标识代码:10.1007/978-1-4757-2545-2
[38] VAN HANDEL,R.(2016)。高维概率.APC 550课堂讲稿普林斯顿大学。
[39] VILLANI,C.(2009年)。最佳运输:新旧338.施普林格。
[40] YAROTSKY,D.(2017)。深度ReLU网络近似的误差界。神经网络94 103-114. ·Zbl 1429.68260号
[41] YAROTSKY,D.(2018年)。神经网络对不变映射的通用逼近。CoRR公司abs/1804.10306。
[42] ZHU,J.、PARK,T.、ISOLA,P.和EFROS,A.A.(2017年)。使用循环一致对手网络进行未配对图像到图像的转换。2017 IEEE国际计算机视觉会议(ICCV)2242-2251. ·doi:10.1109/ICCV.2017.244
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。