克里斯蒂安·费尔斯安格;迈克尔·格里贝尔 基于稀疏网格的主流形学习。 （英语） Zbl 1171.65054号 计算 85，第4期，267-299页（2009年）. 摘要：我们处理从高维数据构造低维流形的问题，这是数据挖掘、机器学习和统计学中的一项重要任务。这里，我们将主流形视为正则化、非线性经验量化误差泛函的最小值。对于离散化，我们在潜在参数空间中使用稀疏网格方法。这种方法在一定程度上避免了传统网格（如GTM方法）的尺寸灾难。出现的非线性问题通过类似于期望最大化算法的下降方法来解决。我们提出了我们的稀疏网格主流形方法，讨论了它的性质，并报告了一维、二维和三维模型问题的数值实验结果。 引用于6文件 MSC公司： 65K10码 数值优化和变分技术 49J05型 单自变量自由问题的存在性理论 49平方米25 最优控制中的离散逼近 关键词：经验量化误差函数;稀疏网格法;下降法;EM算法;主流形方法;数值实验 软件：GTM公司 PDF格式BibTeX公司 XML格式引用 \textit{C.Feuersänger}和\textit{M.Griebel}，《计算》85，第4期，267--299（2009；Zbl 1171.65054） 全文： 内政部 参考文献： [1] http://www.cse.msu.edu/\（\sim\）lawhiu/流形/ [2] 网址：http://www.cs.ubc.ca/\（\sim\）mwill/dimreduct.htm [3] 网址：http://www.iro.umontreal.ca/\（\sim\）kegl/research/pcurves/implications/index.html [4] Aronzaijn N（1950）再生核理论。泛美数学Soc 68:337–404·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7 [5] Babenko K（1960）用三角多项式逼近一类多变量周期函数。苏联数学Dokl 1:672-675。Dokl的俄文原件。阿卡德。Nauk SSSR，132（1960），第982-985页·Zbl 0102.05301号 [6] Balder R（1994）《自适应Verfahren füR elliptische和抛物线微分方程》。慕尼黑理工大学论文 [7] Balder R，Zenger C（1996）稀疏网格上多维实亥姆霍兹方程的解。SIAM科学委员会杂志17:631–646·Zbl 0855.65111号 ·doi:10.1137/S1064827593247035 [8] Banks D，Olszewski R（1997）估算局部维度。摘自：美国统计学会统计计算组会议记录 [9] Bishop C，James G（1993）使用双能伽马密度计和神经网络分析多相流。Nucl Instrum方法物理研究A327:580–593 [10] Bishop C、Svensen M、Williams C（1998）GTM：生成性地形图。神经计算10（2）：215–234·doi:10.1162/08997669830017953 [11] Bishop C、Svensen M、Williams C（1998）生成性地形图的开发。神经计算21:203-224·Zbl 0936.68091号 ·doi:10.1016/S0925-2312（98）00043-5 [12] Bonk T（1994）Ein rekursiver Algorithmus zur adaptived numerischen Quadratur mehrdimensionaler Funktitonen。慕尼黑工业大学信息研究所论文 [13] Broomhead D，King G（1986）从实验数据中提取定性动力学。物理D 20:217·兹比尔0603.58040 ·doi:10.1016/0167-2789（86）90031-X [14] Broomhead D，Kirby M（2000）降维新方法：理论和算法。SIAM应用数学杂志60（6）：2114–2142·Zbl 1038.65013号 ·doi:10.1137/S0036139998338583 [15] Bruske J，Summer G（1998）用最优拓扑保持映射进行内在维数估计。IEEE Trans-Pattern Ana Mach Intel 20（5）：572–575·doi:10.1109/34.682189 [16] Bungartz H-J（1992）使用分层基和稀疏网格的自适应泊松解算器。In：线性代数中的迭代方法。阿姆斯特丹爱思唯尔出版社，第293–310页·Zbl 0785.65109号 [17] Bungartz H-J，Griebel M（1999）关于有界混合导数空间求解泊松方程复杂性的一个注记。J复杂性15:167–199·Zbl 0954.65078号 ·doi:10.1006/jcom.1999.0499 [18] Bungartz H-J，Griebel M（2004）《稀疏网格》。第13幕：1–121·Zbl 1118.65388号 ·doi:10.1017/S0962492904000182 [19] Chang K，Ghosh J（2001）概率主曲面的统一模型。IEEE Trans-Pattern Ana Mach Intel 23（1）：22–41·doi:10.1109/34.899944 [20] Chang K，Ghosh J（2005）概率主曲面分类器。收录：Wang L，Jin Y（编辑）FSKD 2005。LNAI，第3614卷，第1236–1244页 [21] Carreira-Perpina M（1997）《降维技术综述》。技术报告CS-96-09。谢菲尔德大学计算机科学系 [22] Delicado P（2001）《主要曲线和曲面的另一种观察》。多变量分析杂志77（1）：84–116·Zbl 1033.62048号 ·文件编号：10.1006/jmva.2000.1917 [23] Delvos F，Schempp W（1989）插值和逼近中的布尔方法。皮特曼数学研究笔记，第230卷。朗曼科技公司，哈洛·兹伯利0698.41032 [24] Dempster A，Laird N，Rubin D（1977）通过EM算法从不完整数据中获得最大似然。罗伊统计学会J Roy Stat Soc B 39（1）：1–38·Zbl 0364.62022号 [25] Der R，Steinmetz U，Balzuweit G（1998）非线性主成分分析。莱比锡大学信息研究所技术报告 [26] DeVore R，Konyagin S，Temlyakov V（1998）双曲小波近似。Constr约14:1–26·Zbl 0895.41016号 ·doi:10.1007/s003659900060 [27] Dong D，McAvoy T（1995）基于主曲线和神经网络的非线性主成分分析。计算机化学工程20（1）：65–78·doi:10.1016/0098-1354（95）00003-K [28] Evgeniou T、Pontil M、Poggio T（2000）正则化网络和支持向量机。高级计算数学13:1–50·Zbl 0939.68098号 ·doi:10.1023/A:1018946025316 [29] Feuersänger C（2005）Dünngitterverfahren für hochdimensionale elliptische partialle Differentialgleichungen。波恩大学数值模拟研究所文凭 [30] Garcke J，Griebel M（2000）关于用稀疏网格组合技术计算强磁场和电场中氢和氦的本征问题。计算物理杂志165:694–716·Zbl 0979.65101号 ·doi:10.1006/jcph.2000.6627 [31] Garcke J，Hegland M（2006）使用梯度惩罚和组合技术拟合多维数据。摘自：HPSC会议记录。越南河内·Zbl 1166.65004号 [32] Gerstner T，Griebel M（1998）使用稀疏网格的数值积分。数字算法18:209–232·Zbl 0921.65022号 ·doi:10.1023/A:1019129717644 [33] Gerstner T，Griebel M（2003）维度自适应张量积求积。计算71（1）：65–87·Zbl 1030.65015号 ·doi:10.1007/s00607-003-0015-5 [34] Gordon W（1971）二元和多元插值与逼近的混合函数方法。SIAM J数字分析8:158–177·Zbl 0237.41008号 ·doi:10.1137/0708019 [35] Griebel M（2006）高维问题的稀疏网格和相关近似方案。收录于：Pardo L、Pinkus A、Suli E、Todd MJ（eds）计算数学基础会议论文集（FoCM05），西班牙桑坦德（2005），计算数学基础。LMS，第331卷，剑桥大学出版社，剑桥·Zbl 1106.65332号 [36] Griebel M（1998）基于有限差分的椭圆偏微分方程的自适应稀疏网格多级方法。计算61（2）：151–179·Zbl 0918.65078号 ·doi:10.1007/BF02684411 [37] Griebel M，Knapek S（2000）优化张量积近似空间。Constr约16（4）：525–540·Zbl 0969.65107号 ·doi:10.1007/s0036500100 [38] Griebel M，Oswald P（1994）关于稀疏网格离散的可加性Schwarz预条件。数字数学66:449–464·Zbl 0791.65019号 ·doi:10.1007/BF01385707 [39] Griebel M，Oswald P（1995）各向异性问题的张量积型子空间分裂和多层迭代方法。高级计算数学4:171–206·Zbl 0826.65099号 ·doi:10.1007/BF02123478 [40] Griebel M、Zenger C、Zimmer S（1993）《全网格和稀疏网格问题的多级高斯-赛德尔算法》。计算50:127–148·Zbl 0771.65084号 ·doi:10.1007/BF02238610 [41] Hastie T（1984）《主要曲线和曲面》。斯坦福大学博士论文 [42] Hastie T、Stuetzle W（1989）《主要曲线》。美国统计协会杂志84（406）：502–516·兹比尔0679.62048 ·doi:10.2307/2289936 [43] 霍X，倪X，史密斯A（2006）基于流形的学习方法调查。在：企业数据挖掘，新兴非参数方法，第1章。纽约州施普林格 [44] Jamshidi AA，Kirby MJ（2007）高维域上非线性函数逼近的黑箱算法。SIAM科学计算杂志29（3）：941–963·Zbl 1141.65332号 ·数字对象标识代码：10.1137/050646457 [45] Jollife I（1986）主成分分析。纽约州施普林格·Zbl 0613.62075号 [46] Jost J（1994）《微分几何与最小代数》。海德堡施普林格·Zbl 0797.53001号 [47] Kégl B（1999）《主要曲线：学习、设计和应用》。加拿大康考迪亚大学博士论文 [48] Kégl B，Krzyzak A，Linder T，Zeger K（2000）主曲线的学习和设计。IEEE Trans-Pattern Ana Mach Intel 22（3）：281–297·doi:10.1109/34.841759 [49] Kimmelsdorf G，Wahba G（1971）关于Tchebycheffian样条函数的一些结果。数学分析应用杂志33:82–95·Zbl 0201.39702号 ·doi:10.1016/0022-247X（71）90184-3 [50] Kirby M（2001）《几何数据分析：降维和模式研究的经验方法》。纽约威利·Zbl 1008.68116号 [51] Kramer M（1991）使用自联想神经网络的非线性主成分分析。AIChE期刊37:233–243·doi:10.1002/aic.690370209 [52] Minka T（2001）PCA维度的自动选择。收录：Leen T、Dietterich T、Tresp V（eds）《神经信息处理系统进展》，第13卷。麻省理工学院出版社，剑桥，第598-604页 [53] Owen A（2004）《准蒙特卡罗的多维变分》。斯坦福大学统计系2004-02技术报告·Zbl 1266.26024号 [54] Press W、Flannery B、Teukolsky S、Vetterling W（1992），剑桥大学出版社，剑桥·Zbl 0778.65003号 [55] Paskov S（1993）光滑函数多元积分的平均情况复杂度。J复杂性9（2）：291–312·Zbl 0781.65017号 ·doi:10.1006/jcom.1993.1019 [56] Sandilya S，Kulkarni S（2000）《有界转弯的主曲线》。IEEE Trans-Inf理论48（10）：2789–2793·Zbl 1062.62506号 ·doi:10.1109/TIT.2002.802614 [57] Schwab C，Todor R（2003）随机椭圆问题的稀疏有限元-高阶矩。计算71:43–63·Zbl 1044.65006号 ·doi:10.1007/s00607-003-0024-4 [58] Schölkopf B，Smola A（2002）《使用内核学习》。麻省理工学院出版社，剑桥·Zbl 1019.68094号 [59] Schölkopf B，Herbrich R，Smola A，Williamson R（2001）广义表示定理。技术报告200-81，NeuroCOLT 2000。收录于：COLT’2001年会议记录。人工智能课堂讲稿。海德堡施普林格·Zbl 0992.68088号 [60] Smola A，Mika S，Schölkopf B，Williamson R（2001）正则主流形。J Mach学习研究1：179–209·兹比尔1005.68137 ·doi:10.1162/15324430152748227 [61] Smolyak S（1963）某些函数类张量积的求积和插值公式。苏联数学系。4:240–243. [俄文原件，Dokl.Akad.Nauk SSSR，148:1042–1045]·Zbl 0202.39901号 [62] 采取F（1981）检测湍流中的奇怪吸引子。包含：动力系统和湍流。Rand D，Young L（编辑）数学课堂笔记。纽约州施普林格，第366页·Zbl 0513.58032号 [63] Tibshirani R（1992）重新审视了主要曲线。统计计算2:183–190·doi:10.1007/BF01889678 [64] Wahba G（1990）观测数据的样条模型。费城工业和应用数学学会（SIAM）CBMS-NSF应用数学区域会议系列第59卷·Zbl 0813.62001号 [65] Whitney H（1936）可微流形。数学年鉴37:645–680·doi:10.2307/1968482 [66] Zenger C（1991）《稀疏网格》。In：Hackbusch W（ed）偏微分方程的并行算法。NNFM，第31卷，维埃格，布伦瑞克/威斯巴登 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。