唐荣;杨云 对抗损失下未知子流形的最小最大分布率估计。 （英语） Zbl 07732748号 《美国统计年鉴》。 51，第3期，1282-1308（2023）. 摘要：基于低维结构的高维数据的统计推断最近吸引了很多关注。在机器学习中，深度生成建模方法通过从底层分布创建新样本来隐式估计复杂对象的分布，并在生成合成真实感图像和文本方面取得了巨大成功。这些方法中的一个关键步骤是提取潜在特征或表示（编码），这些特征或表示可用于准确重建原始数据（解码）。换句话说，低维流形结构被隐式假设并用于分布建模和估计。为了理解低维流形结构在生成建模中的好处，我们构建了一个通用的minimax框架，用于对抗损失下未知子流形的分布估计，并对目标分布和流形进行了适当的光滑性假设。所建立的最小最大速率阐明了各种问题特征（包括数据的固有维数、目标分布和流形的平滑度）如何影响高维分布估计的基本极限。为了证明极小极大上界，我们构造了一个基于混合局部拟合生成模型的估计器，该估计器由微分几何中的单位分解技术驱动，对于覆盖底层数据流形不允许全局参数化的情况是必要的。我们还提出了一种数据驱动的自适应估计器，该估计器可以在一个对数因子内同时获得大量分布类的最优速率。 引用于1文件 MSC公司： 62C20个 统计决策理论中的Minimax过程 62G07年 密度估算 62G05型 非参数估计 关键词：对抗训练;生成模型;分布估计;歧管;最小最大速率;单位分割 软件：Wasserstein甘;iWGAN网络 PDF格式BibTeX公司 XML格式引用 \textit{R.Tang}和\textit{Y.Yang}，Ann.Stat.51，No.3，1282--1308（2023；Zbl 07732748） 全文： 内政部 arXiv公司 链接 参考文献： [1] Aamari，E.和Levrard，C.（2019）。流形、切空间和曲率估计的非渐近速率。安。统计师。47 177-204. ·Zbl 1419.62130号 ·doi:10.1214/18-AOS1685 [2] ARJOVSKY，M.和BOTTOU，L.（2017）。面向生成性对抗网络训练的原则方法。ArXiv预印本。可从ArXiv:1701.04862获得。 [3] ARJOVSKY，M.、CHINTALA，S.和BOTTOU，L.（2017）。甘·瓦瑟斯坦（Wasserstein GAN）。ArXiv预印本。可从ArXiv:1701.07875获得。 [4] AYDIN，O.U.，TAHA，A.A.，HILBERT，A.，KHALIL，A.A.、GALINOVIC，I.、FIEBACH，J.B.、FREY，D.和MADAI，V.I.（2021年）。关于使用平均Hausdorff距离进行分割性能评估：用于排名时的隐藏错误。欧洲无线电。支出。 [5] BERENFELD，C.和HOFFMANN，M.（2021）。未知子流形上的密度估计。电子。J.统计。15 2179-2223·Zbl 1471.62564号 ·doi:10.1214/21-ejs1826 [6] BIAU，G.、CADRE，B.、SANGNIER，M.和TANIELIAN，U.（2020年）。GAN的一些理论性质。安。统计师。48 1539-1566. ·Zbl 1451.62107号 ·doi:10.1214/19-AOS1858 [7] Bickel，P.J.和Li，B.（2007年）。未知流形上的局部多项式回归。在复杂数据集与反问题.数理统计研究所讲义专题系列54 177-186. 俄亥俄州比奇伍德IMS。 ·doi:10.1214/0749217070000148 [8] BIŃKOWSKI，M.、SUTHERLAND，D.J.、ARBEL，M.和GRETTON，A.（2018年）。揭开mmd gans的神秘面纱。ArXiv预印本。可从ArXiv:1801.01401获得。 [9] Caffarelli，L.A.（1996年）。凸势映射的边界正则性。二、。数学年鉴. (2) 144 453-496. ·Zbl 0916.35016号 ·doi:10.2307/2118564 [10] Caillerie，C.、Chazal，F.、Dedecker，J.和Michel，B.（2011年）。Wasserstein度量和几何推断的反褶积。电子。J.统计。5 1394-1423. ·Zbl 1274.62363号 ·doi:10.1214/11-EJS646 [11] CAMASTRA，F.和VINCIARELLI，A.（2002年）。用基于分形的方法估计数据的内在维数。IEEE传输。模式分析。机器。智力。24 1404-1407. [12] CARTER，K.M.、RAICH，R.和HERO，A.O.III（2010年）。局部内禀维数估计及其应用。IEEE传输。信号处理。58 650-663. ·Zbl 1392.94122号 ·doi:10.1109/TSP.2009.2031722 [13] CHAE，M.、KIM，D.、KIM、Y.和LIN，L.（2023）。使用深度生成模型对奇异分布进行非参数估计的似然方法。J.马赫。学习。物件。24第77号论文。 [14] 陈毅、高清和王旭（2022）。推理瓦瑟斯坦生成性对抗网络。J.R.统计社会服务。B.统计方法。84 83-113. ·Zbl 07593405号 ·doi:10.1111/rssb.12476 [15] CORNEA，O.，LUPTON，G.，OPREA，J.和TANRé，D.（2003）。Lusternik-Schnirelmann类别.数学调查和专著103.阿默尔。数学。意大利普罗维登斯足球俱乐部·doi:10.1090/surv/103 [16] DIVOL，V.（2022）。流形上的测度估计：一种最优传输方法。普罗巴伯。理论相关领域183 581-647. ·Zbl 07529635号 ·doi:10.1007/s00440-022-01118-z [17] DO CARMO，M.P.（1992年）。黎曼几何.数学:理论与应用Birkhäuser，Inc.，马萨诸塞州波士顿·Zbl 0752.53001号 ·doi:10.1007/9781-4757-2201-7 [18] Evans，L.C.（2010年）。偏微分方程，第2版。数学研究生课程19.艾默尔。数学。佛罗里达州普罗维登斯Soc·Zbl 1194.35001号 ·doi:10.1090/gsm/019 [19] Fan，J.和Li，R.（2001）。通过非洞穴惩罚似然的变量选择及其预言性质。J.Amer。统计师。协会。96 1348-1360. ·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [20] FARAHMAND，A.M.、SZEPESVáRI，C.和AUDIBERT，J.-Y.（2007年）。显式自适应维度估计。在会议记录24第十届国际机器学习会议265-272. [21] 福克斯·R·H（1941）。关于Lusternik-Schnirelmann类别。数学年鉴（2）42 333-370·doi:10.2307/1968905 [22] GENOVESE，C.R.、PERONE-PACIFICO，M.、VERDINELLI，I.和WASSERMAN，L.（2012）。Minimax流形估计。J.马赫。学习。物件。13 1263-1291. ·Zbl 1283.62112号 [23] GENOVESE，C.R.、PERONE-PACIFICO，M.、VERDINELLI，I.和WASSERMAN，L.（2012）。Hausdorff损失下的流形估计和奇异反褶积。安。统计师。40 941-963. ·Zbl 1274.62237号 ·doi:10.1214/12-AOS994 [24] GOODFELLOW，I.、POUGET-ABADIE，J.、MIRZA，M.、XU，B.、WARDE-FARLEY，D.、OZAIR，S.、COURVILLE，A.和BENGIO，Y.（2020年）。生成性对抗网络。Commun公司。ACM公司63 139-144. [25] GRETTON，A.、BORGWARDT，K.M.、RASCH，M.J.、SCHLKOPF，B.和SMOLA，A.（2012）。内核双样本测试。J.马赫。学习。物件。13 723-773·Zbl 1283.62095号 [26] KINGMA，D.P.和WELLING，M.（2013）。自动编码变分贝叶斯。ArXiv预印本。可从ArXiv:1312.6114获得。 [27] KNOP，S.、SPUREK，P.、TABOR，J.、PODOLAK，I.、MAZUR，M.和JASTRZĘBSKI，S.（2020年）。克莱默·沃尔德自动编码器。J.马赫。学习。物件。21第164号文件·Zbl 1525.68114号 [28] LEE，J.M.（2013）。平滑歧管。在平滑流形简介1-31. 斯普林格·Zbl 1258.53002号 [29] LEPSKII，O.V.（1991）。高斯白噪声中的自适应估计问题。理论问题。申请。35 454-466·Zbl 0745.62083号 [30] LEVINA，E.和BICKEL，P.（2004年）。内禀维数的最大似然估计。高级神经信息处理。系统。17 [31] LI，C.-L.，CHANG，W.-C.，CHENG，Y.，YANG，Y.和P Oc CZOS，B.（2017）。Mmd gan：深入理解力矩匹配网络。高级神经信息处理。系统。30 [32] LI，Y.、SWERSKY，K.和ZEMEL，R.（2015）。生成力矩匹配网络。在机器学习国际会议1718-1727. PMLR。 [33] 梁涛（2021）。生成性对手网络学习分布的能力。J.马赫。学习。物件。22第228号文件·Zbl 07626743号 [34] LITTLE，A.V.、LEE，J.、JUNG，Y.-M.和MAGGIONI，M.（2009年）。用多尺度奇异值分解估计高维含噪低维流形样本的固有维数。2009年IEEE/SP标准15第十届统计信号处理讲习班85-88. IEEE出版社，纽约。 [35] LOADER，C.（2006）。局部回归和可能性Springer科学与商业媒体。 [36] LUI，Y.M.（2012）。计算机视觉矩阵流形的进展。图像可视性。计算。30 380-388. [37] MROUEH，Y.、LI，C.-L.、SERCU，T.、RAJ，A.和CHENG，Y.（2017）。索博列夫·甘恩。ArXiv预印本。可从ArXiv:1711.04894获得。 [38] MüLLER，A.（1997年）。积分概率度量及其函数生成类。申请中的预付款。普罗巴伯。29 429-443. ·Zbl 0890.60011号 ·doi:10.2307/1428011 [39] NILES-WEED，J.和BERTHET，Q.（2022）。Wasserstein距离中平滑密度的Minimax估计。安。统计师。50 1519-1540. ·Zbl 07547940号 ·doi:10.1214/21-aos2161 [40] OZAKIN，A.和GRAY，A.（2009年）。子流形密度估计。在神经信息处理系统研究进展（Y.Bengio、D.Schuurmans、J.Lafferty、C.Williams和A.Culotta编辑）22。Curran Associates，Red Hook公司。 [41] Santambrogio，F.（2015）。应用数学家的最佳传输:变分法、偏微分方程和建模.非线性微分方程及其应用进展87.Birkhäuser/Springer，查姆·Zbl 1401.49002号 ·doi:10.1007/978-3-319-20828-2 [42] SINGH，S.、LI，B.、LI、C.-L.、ZAHEER，M.和P奥斯，B.（2018）。对抗损失下的非参数密度估计。高级神经信息处理。系统。31 [43] STONE，M.H.（1948年）。广义Weierstrass逼近定理。数学。美格。21 167-184. ·doi:10.2307/3029750 [44] TANG，R.和YANG，Y.（2023）。补充“对抗损失下未知子流形的最小最大分布率估计”https://doi.org/10.1214/23-AOS2291SUPP网站 ·Zbl 07732748号 [45] TERRADOT，L.、DURNELL，N.、LI，M.、LI.，M.，ORY，J.、LABIGNE，A.、LEGRAIN，P.、COLLAND，F.和WAKSMAN，G.（2004年）。幽门螺杆菌蛋白相互作用图中蛋白质复合物的生化特征：复合物形成策略和IV型分泌系统中新相互作用的证据。分子细胞。蛋白质组学3 809-819. [46] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B58 267-288. ·Zbl 0850.62538号 [47] TOLSTIKHIN，I.、BOUSQUET，O.、GELLY，S.和SCHOELKOPF，B.（2017）。Wasserstein自动编码器。ArXiv预印本。可从ArXiv:1711.01558获得。 [48] TOLSTIKHIN，I.、SRIPERUMBUDUR，B.K.和MUANDET，K.（2017年）。核平均嵌入的极小极大估计。J.马赫。学习。物件。18第86号论文·Zbl 1441.62148号 [49] Tsybakov，A.B.（2009年）。非参数估计简介.统计学中的斯普林格系列纽约州施普林格·Zbl 1176.62032号 ·文件编号：10.1007/b13794 [50] UPPAL，A.、SINGH，S.和PóCZOS，B.（2019）。Besov ipm损失下gans的非参数密度估计和收敛速度。高级神经信息处理。系统。32 [51] VILLANI，C.（2009年）。最佳运输:旧的和新的施普林格-柏林-海德堡，柏林，海德堡·Zbl 1156.53003号 [52] Wainwright，M.J.（2019年）。高维统计:非共鸣观点.剑桥统计与概率数学系列48.剑桥大学出版社，剑桥·Zbl 1457.62011年 ·doi:10.1017/9781108627771 [53] Yang，Y.和Barron，A.（1999）。最小最大收敛速度的信息论确定。安。统计师。27 1564-1599. ·Zbl 0978.62008号 ·doi:10.1214/aos/1017939142 [54] Yang，Y.和Dunson，D.B.（2016）。贝叶斯流形回归。安。统计师。44 876-905. ·Zbl 1341.62196号 ·doi:10.1214/15-AOS1390 [55] YOU，Z.-H.，LEI，Y.-K.，GUI，J.，HUANG，D.-S.和ZHOU，X.（2010）。使用流形嵌入从高通量实验数据评估和预测蛋白质相互作用。生物信息学26 2744-2751。 [56] Yu，B.（1997）。阿苏德、法诺和勒康。在Lucien Le Cam的节日423-435. 纽约州施普林格。 [57] Zhang，C.-H.（2010）。极小极大凹惩罚下的几乎无偏变量选择。安。统计师。38 894-942. ·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [58] ZHAO，S.、SONG，J.和ERMON，S.（2018）。InfoVAE：信息最大化变分自动编码器。ArXiv预印本。可从ArXiv:1706.02262获得 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。