×
亚历山大·库列舍夫;亚历山大·伯恩斯坦

未知输入流形上的非线性多输出回归。 （英语） Zbl 1386.68133号

安。数学。Artif公司。智力。 81，编号1-2，209-240（2017）.
摘要：考虑未知平滑函数，该函数将高维输入映射到多维输出，其定义域是嵌入环境高维输入空间中的未知低维输入流形。给定由“输入-输出”对组成的训练数据集，输入流形问题的回归就是估计未知函数及其雅可比矩阵，以及估计输入流形。通过将高维输入变换为低维特征，将初始回归问题归结为特征空间上的某种回归问题。本文提出了一种新的几何激励方法来解决这两个相关的回归问题。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62G08号 非参数回归和分位数回归
62H25个 因子分析和主成分；对应分析
68吨10 模式识别、语音识别

关键词：

流形学习;流形上的回归;特征空间回归;流形估计;降维

软件：

伊斯兰解放军;达奇;ElemStatLearn（电子状态学习）;PRMLT公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Kuleshov}和\textit{A.Bernstein}，Ann.数学。Artif公司。智力。81，编号1-2209-240（2017；兹bl 1386.68133）
全文： DOI程序

参考文献：

[1] Vapnik，V.：统计学习理论。约翰·威利，纽约（1998）·Zbl 0935.62007号
[2] Hastie，T.、Tibshirani，R.、Friedman，J.：《统计学习的要素：数据挖掘、推断和预测》，第2版。施普林格，纽约（2009）·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7
[3] James，G.，Witten，D.，Hastie，T.，Tibshirani，R.：统计学习导论及其在R.Springer统计文本中的应用。施普林格，纽约（2013）·Zbl 1281.62147号
[4] Bishop，C.M.：模式识别和机器学习。斯普林格，海德堡（2007）·Zbl 1107.68072号
[5] Deng，L.，Yu，D.：《深度学习：方法与应用》。NOW出版社，波士顿（2014）·Zbl 1315.68208号
[6] Breiman，L.：随机森林。机器。学习。45(1), 5-32 (2001) ·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[7] Friedman，J.H.：贪婪函数近似：梯度提升机。《Ann.Stat.29》（5），1189-1232（2001）·Zbl 1043.62034号 ·doi:10.1214/aos/1013203451
[8] Rasmussen，C.E.，Williams，C.：机器学习的高斯过程。麻省理工学院出版社，剑桥（2006）·兹比尔1177.68165
[9] Loader，C.：局部回归和可能性。纽约施普林格出版社（1999年）·Zbl 0929.62046号
[10] 伯恩斯坦，AV；美联社Kuleshov；亚诺维奇；Gammerman，A.（编辑）；Vovk，V.（编辑）；Papadopoulos，H.（编辑），回归任务中的流形学习，414-423（2015），海德堡
[11] Burnaev，E.，Vovk，V.：共形岭回归的效率。JMLR W&，CP 35，605-622（2014）
[12] Burnaev，E.，Panov，M.，Zaytsev，A.：基于贝叶斯正则化的非平稳高斯过程的回归。J.社区。Technol公司。电子。61 (6), 661-671 (2016) ·doi:10.1134/S1064226916060061
[13] 伯纳耶夫，E。；Nazarov，I.，《保形核岭回归》，45-52（2016），美国
[14] Polyak，B.T.：优化简介。数学和工程翻译系列。优化软件公司出版部，纽约（1987）
[15] Bertsekas，D.P.：非线性规划，第二版。马萨诸塞州贝尔蒙特，雅典娜科学（1999）·Zbl 1015.90077号
[16] Nesterov，Y.：凸优化入门讲座。Kluwer，波士顿（2004）·Zbl 1086.90045号 ·doi:10.1007/978-1-4419-8853-9
[17] Wang，G.，Gary Shan，S.：支持工程设计优化的元建模技术综述。J.机械。设计。129(3), 370-381 (2007) ·数字对象标识代码：10.1115/1.2429697
[18] Forrester，A.I.J.、Sobester，A.、Keane，A.J.：通过代理建模进行工程设计。实用指南。威利，纽约（2008）·doi:10.1002/9780470770801
[19] Kuleshov，A.P.，Bernstein，A.V.：复杂植物自适应模型中的认知技术。信息控制。问题。制造13（1），1441-1452（2009）·Zbl 1165.62009号
[20] Stone，C.J.：非参数估计的最佳收敛速度。Ann.Stat.81348-1360（1980）·Zbl 0451.62033号 ·doi:10.1214/aos/1176345206
[21] Stone，C.J.：非参数回归的最佳全局收敛速度。Ann.Stat.10，1040-1053（1982）·Zbl 0511.62048号 ·doi:10.1214/aos/1176345969
[22] 拉贾拉姆，D。；长裤，RS；Rodrigues，H.（编辑），《使用基于替代设计优化的翼型优化改进方法》，147-152（2015），伦敦
[23] 伯恩斯坦，A。；Kuleshov，A。；斯维里登科，Y。；Vyshinsky，V.，《设计技术的快速空气动力学模型》（2007）
[24] 朱，F。；秦，N。；伯纳耶夫，EV；伯恩斯坦，AV；谢尔诺瓦，SS；Poloni，C.（编辑），三种几何参数化方法的比较及其对空气动力学优化的影响，758-772（2011），意大利
[25] 胡，J。；田，J。；Yang，L.，fMRI数据的功能特征嵌入空间映射（2006）
[26] Shen，X.，Meyer，F.G.：使用扩散图分析与事件相关的fMRI数据。计算机科学讲义，第3565/2005卷，医学成像信息处理，第652-663页。施普林格，柏林/海德堡（2005）
[27] 蒂里昂，B。；Faugeras，O.，fMRI数据的非线性降维：拉普拉斯嵌入方法，372-375（2004），出版商
[28] 蒂里昂，B。；Faugeras，O.，fMRI数据集的低维嵌入（2008）
[29] Mannfold，P.，Wirestam，R.，Nilsson，M.，Stáhlberg，F.，Olsrud，J.：使用局部线性嵌入降低fMRI时间序列数据的维数。Magn.公司。决议。马特。物理。，《生物医学》23（5），327-338（2010）·doi:10.1007/s10334-010-0204-0
[30] Gerber，S.、Tasdizena，T.、Fletcher，P.T.、Joshia，S.和Whitaker，R.：关于大脑图像空间的多种结构。计算机科学讲义，第5761卷，医学图像计算和计算机辅助干预，第305-312页。斯普林格，海德堡（2009）
[31] Gerber，S.、Tasdizena，T.、Fletcher，P.T.、Joshia，S.和Whitaker，R.：脑人口分析的流形建模。医学图像分析。14(5), 643-653 (2010) ·doi:10.1016/j.media.2010.05.008
[32] Fletcher，PT，黎曼流形上的大地测量回归（2011）
[33] Fletcher，P.T.：测地回归和黎曼流形上的最小二乘理论。国际期刊计算。视觉。105(2), 171-185 (2013) ·Zbl 1304.62092号 ·doi:10.1007/s11263-012-0591-y
[34] Banerjee，M.、Chakraborty，R.、Ofori，E.、Vaillancourt，D.、Vemuri，B.C.：黎曼流形上的非线性回归及其在神经图像分析中的应用。计算机科学讲义，第9349卷，医学图像计算和计算机辅助干预，第一部分，第719-727页。斯普林格，海德堡（2015）
[35] Marcus，D.S.，Wang，T.H.等：OASIS：年轻、中年、非骨水泥和痴呆老年人的横断面mri数据。J.认知。神经科学。19 (9), 1498-1507 (2007) ·doi:10.1162/jocn.2007.19.9.1498
[36] Seung，H.S.，Lee，D.D.：感知的多种方式。《科学》290（5500），2268-2269（2000）·doi:10.1126/science.290.5500.2268
[37] 霍，X。；镍，X。；阿拉斯加州史密斯；Liao，T.W（编辑）；Triantaphyllou，E.（编辑），《基于流形的学习方法调查》，691-745（2007），新加坡
[38] 马寅、傅寅主编：流形学习理论与应用。CRC出版社，伦敦（2011）·Zbl 0511.62048号
[39] Bernstein，A.V.，Kuleshov，A.P.：数据分析中的低维数据表示。收录人：EI Gayar，N.、Schwenker，F.、Suen，C（编辑）ANNPR 2014。LNCS，第8774卷，第47-58页。斯普林格，海德堡（2014）·Zbl 1088.62053号
[40] Kuleshov，A.P.，Bernstein，A.V.：数据挖掘任务中的流形学习。收录：Perner，P（编辑）MLDM 2014。LNCS，第8556卷，第119-133页。斯普林格，海德堡（2014）
[41] Pelletier，B.：闭黎曼流形上的非参数回归估计。J.《非参数统计》第18（1）页，第57-67页（2006年）·Zbl 1088.62053号 ·doi:10.1080/10485250500504828
[42] Loubes，J.-M.，Pelletier，B.：黎曼流形上基于核的分类器。统计与决定26（1），35-51（2008）·Zbl 1418.62161号 ·doi:10.1524/stand.2008.0911
[43] Steinke，F.，Hein，M.，Schölkopf，B.：一般黎曼流形之间的非参数回归。SIAM J.成像科学。3（3），527-563（2010）·Zbl 1195.41011号 ·doi:10.1137/080744189
[44] Levina，E.，Bickel，P.J.：内在维度的最大似然估计。收录：Saul，L.，Weiss，Y.，Bottou，L（eds.）《神经信息处理系统进展》，第17卷，第777-784页。麻省理工学院出版社，剑桥（2005）
[45] Fan，M.，Qiao，H.，Zhang，B.：通过切割球来估计流形的本征维数。模式识别。42, 780-787 (2009) ·Zbl 1162.68405号 ·doi:10.1016/j.patcog.2008.09.016
[46] 范，M。；顾，N。；乔·H。；Zhang，B.，通过主成分分析对数据进行内在维度估计，1-8（2010）
[47] Rozza，A。；伦巴第，G。；罗莎，M。；Casiraghi，E。；坎帕德利，P。；Maino，G.（编辑）；Foresti，G.（编辑），IDEA：内在尺寸估计算法，433-442（2011），海德堡
[48] Campadelli，P.，Casiraghi，E.，Ceruti，C.，Rozza，A.：内在维度估计：相关技术和基准框架。《工程中的数学问题》2015年第卷，文章ID 759567，第1-21页（2015）·Zbl 1395.68244号
[49] 班纳吉，M。；查克拉波蒂，R。；Ofori，E。；奥肯，理学硕士；维兰库尔，D。；Vemuri，BC，流形值数据的非线性回归技术及其在医学图像分析中的应用（2016）
[50] Hinkle，J。；穆拉利德兰，P。；Fletcher，PT，黎曼流形上的多项式回归（2012）
[51] Liu，G.，Lin，Z.，Yu，Y.：输出流形上的多输出回归。模式识别。42(11), 2737-2743 (2009) ·兹比尔1175.68376 ·doi:10.1016/j.patcog.2009.05.001
[52] Shi，X.，Styner，M.，Lieberman，J.，Ibrahim，J.G.，Lin，W.，Zhu，H.：流形值数据的内在回归模型。J.Amer。美国统计协会5762（1），192-199（2009）
[53] 金，HJ；本德林，BB；等。，黎曼流形上的多元一般线性模型（MGLM）及其在扩散加权图像统计分析中的应用（2014）
[54] Kim，H.J.，Adluru，N.等人：黎曼流形的正则相关分析及其应用。《计算机科学讲义》，第8690卷，计算机视觉-ECCV 2014，第251-267页。斯普林格，海德堡（2014）
[55] Bickel，P.，Li，B.：未知流形上的局部多项式回归。IMS课堂讲稿——专题丛书，第54卷《复杂数据集和反问题：层析成像网络及其以外》，第177-186页（2007年）
[56] Aswani，A.，Bickel，P.，Tomlin，C.：流形上的回归：外部导数的估计。Ann.Stat.39（1），48-81（2011）·Zbl 1209.62063号 ·doi:10.1214/10-AOS823
[57] Cheng，M.-Y.，Wu，H.-T.：流形上的局部线性回归及其几何解释。《美国统计协会期刊》108（504），1421-1434（2013）·Zbl 1426.62402号 ·doi:10.1080/01621459.2013.827984
[58] Yang，Y。；Dunson，DB，贝叶斯流形回归（2014）
[59] 艾因贝克，J。；Evers，L.，主流形上的局部回归（2010）
[60] Niyogi，P.，Smale，S.，Weinberger，S.：从随机样本中发现具有高置信度的子流形的同源性。离散计算。地理。39, 419-441 (2008) ·Zbl 1148.68048号 ·doi:10.1007/s00454-008-9053-2
[61] Pennec，X.，《黎曼流形的概率和统计：几何测量的基本工具》（1999）
[62] Yanovich，Y.U.：流形上局部采样的渐近性质。数学杂志。Stat.12（3），157-175（2016）·doi:10.3844/jmssp.2016.157.175
[63] Adragni，K.P.，Cook，R.D.：回归中的充分降维和预测。菲尔·菲洛斯。事务处理。R.Soc.A数学。物理学。工程科学。367(1906), 4385-4405 (2009) ·Zbl 1185.62109号 ·doi:10.1098/rsta.2009.0110
[64] Lee，K.-Y.，Li，B.，Chiaromonte，F.：非线性充分降维的一般理论：公式和估计。Ann.Stat.41（1），221-249（2013）·Zbl 1347.62018年 ·doi:10.1214/12-AOS1071
[65] Chen，J.，Deng，S.-J.，Huo，X.：通过流形学习进行电价曲线建模和预测。IEEE传输。电力系统。23（3），877-888（2008）·doi:10.1109/TPWRS.2008.926091
[66] 李，JA；Verleysen，M。；Saeys，Y.（编辑），基于k元邻域的维度缩减质量评估，21-35（2008），比利时
[67] Lee，J.A.，Verleysen，M.：降维质量评估：基于等级的标准。神经计算72（7-9），1431-1443（2009）·doi:10.1016/j.neucom.2008.12.017
[68] 伯恩斯坦，AV；Kuleshov，美联社，通过切丛流形学习进行基于数据的流形重建（2014）
[69] Freedman，D.：从样本中对流形进行有效的单纯形重构。IEEE传输。模式分析。机器。智力。24(10), 1349-1357 (2002) ·doi:10.1109/TPAMI.2002.1039206
[70] Levin，D.：与网格无关的曲面插值。摘自：Hamann，Brunnett，Mueller（编辑）数学与可视化系列，科学可视化的几何建模，第1部分，第37-49页。施普林格，柏林，海德堡（2003）
[71] Kolluri，R.，Shewchuk，J.R.，O'Brien，J.F.：从噪声点云重建光谱表面2004年欧洲制图/ACM SIGGRAPH几何处理研讨会论文集（SGP’04），第11-21页。ACM出版社，纽约（2004）
[72] Boissonnat，J.-D.，Ghosh，A.：利用切向Delaunay复合体重建流形。离散计算。地理。51(1), 221-267 (2014) ·Zbl 1312.68209号 ·doi:10.1007/s00454-013-9557-2
[73] Karygianni，S.，Frossard，P.：基于切线的流形近似与局部线性模型。信号处理。104, 232-247 (2014) ·doi:10.1016/j.sigpro.2014.03.047
[74] Canas，G.D.，Poggio，T.，Rosasco，L.：使用K-Means和K-Flats arXiv的学习流形：1209.1121v4[cs.LG]，2013年2月19日，第1-19页（2013）·Zbl 1418.62161号
[75] Jollie，T.：主成分分析。斯普林格，纽约（2002）·Zbl 1011.62064号
[76] Kramer，M.：使用自联想神经网络的非线性主成分分析。AIChE J 37（2），233-243（1991）·doi:10.1002/aic.690370209
[77] Hinton，G.E.，Salakhutdinov，R.R.：用神经网络降低数据的维数。《科学》313（5786），504-507（2006）·Zbl 1226.68083号 ·doi:10.1126/science.1127647
[78] Saul，L.K.，Roweis，S.T.：通过局部线性嵌入降低非线性维数。《科学》2902323-2326（2000）·doi:10.1126/science.290.5500.2323
[79] Saul，L.K.，Roweis，S.T.：全局思考，局部拟合：低维流形的无监督学习。J.马赫。学习。第4号决议，119-155（2003年）·Zbl 1093.68089号
[80] Zhang，Z.，Zha，H.：主流形和通过局部切线空间对齐的非线性降维。SIAM J.科学。计算。26(1), 313-338 (2005) ·Zbl 1077.65042号 ·doi:10.1137/S1064827502419154
[81] Bernstein，A.V.，Kuleshov，A.P.：通过Grassmann和Stiefel特征映射arXiv:12122.6031v1的切线束流形学习[cs.LG]，2012年12月，第1-25页（2012）
[82] Kuleshov，A.，Bernstein，A.，Yanovich，Y.U.：流形估计中的渐近最优方法。收录于：Márkus，L.，Prokaj，V.（编辑）《第29届欧洲统计学家会议摘要》（EMS-2003），匈牙利布达佩斯，2013年7月20日至25日，第325页（2013）·Zbl 1226.68083号
[83] Law，M.H.C.，Jain，A.K.：数据流的非线性流形学习。In：Berry，M.，Dayal，U.，Kamath，C.，Skillcorn，D（编辑）第4届SIAM国际数据挖掘会议记录，Like Buena Vista，Florida，USA，33-44（2004）·Zbl 1077.65042号
[84] Law，M.H.C.，Jain，A.K.：通过流形学习进行增量非线性降维。IEEE传输。模式分析。机器。智力。28(3), 377-391 (2006) ·doi:10.1109/TPAMI.2006.56
[85] Gao，X.，Jiye Liang，J.：用于等距数据嵌入的改进增量非线性降维。信息处理。莱特。115(4), 492-501 (2015) ·Zbl 1312.68166号 ·doi:10.1016/j.ipl.2014.12.004
[86] Kouropteva，O.、Okun，O.和Pietikäinen，M.：增量局部线性嵌入算法。收录于：Kalviainen，H.等人（编辑）2005年第14届斯堪的纳维亚图像分析会议，LNCS，第3540卷，第521-530页。斯普林格·弗拉格，柏林，海德堡（2005）·Zbl 1077.68800号
[87] Kouropteva，O.、Okun，O.和Pietikäinen，M.：增量局部线性嵌入。模式识别。38(10), 1764-1767 (2005) ·Zbl 1077.68800号 ·doi:10.1016/j.patcog.2005.04.006
[88] Schuon，S.，Ðurković，M.，Diepold，K.，Scheurele，J.，Markward，S.：CoTeSys第一届技术系统认知国际研讨会（2008年10月6-8日）的真正增量局部线性嵌入会议记录，德国慕尼黑，第5页（2008年）
[89] Jia，P.，Yin，J.，Huang，X.，Hu，D.：通过保留数据点之间的相邻信息来增量拉普拉斯特征映射。模式识别。莱特。30(16), 1457-1463 (2009) ·doi:10.1016/j.patrec.2009.08.005
[90] Liu，X.，Yin，J.，Feng，Z.，Dong，J.：通过切线空间对齐的增量流形学习。Schwenker，F.，Marinai，S.（编辑）ANNPR 2006，LNAI，第4087卷，第107-121页。斯普林格·弗拉格。柏林，海德堡（2006）·Zbl 1007.68152号
[91] Abdel-Mannan，O.，Ben Hamza，A.，Youssef，A.：《2007年加拿大电气和计算机工程会议论文集》（CCECE 2007），2007年4月22日至26日，温哥华，第1329-1332页。IEEE（2007）
[92] Han，Z.，Meng，D.-Y.，Xu，Z.-B.，Gu，N.-N.：增量对齐流形学习。J.计算。科学。Technol公司。26(1), 153-165 (2011) ·doi:10.1007/s11390-011-9422-9
[93] Chao Tan，C.，Guan，J.：一种基于增量谱分解的新流形学习算法。参见：Zhou，S.，Zhang，S.、Karypis，G（eds.）第八届高级数据挖掘与应用国际会议（ADMA），中国南京，2012年12月15日至18日，LNCS，第7713卷，第149-160页。施普林格·弗拉格，柏林，海德堡（2012）·Zbl 1043.62034号
[94] Kuleshov，A.，Bernstein，A.：低维数据表示的增量构建。收录人：Schwenker，F.、EI Gayar，N.、Abbas，H.M.、Trentin，E（编辑）ANNPR 2016。LNCS，第9896卷，第55-67页。斯普林格，海德堡（2016）
[95] Golub，G.H.，Van Loan，C.F.：矩阵计算，第3版。约翰·霍普金斯大学出版社，马里兰州巴尔的摩（1996）·Zbl 0865.65009号
[96] Bernstein，A.V.，Kuleshov，A.P.：流形学习：概括能力和切线邻近性。国际期刊软件。工程师通知。7(3), 359-390 (2013)
[97] Jost，J.：黎曼几何与几何分析，第6版。斯普林格·弗拉格，柏林，海德堡（2011）·Zbl 1227.53001号
[98] Lee，J.M.：数学流形和微分几何研究生课程，第107卷。美国数学学会，普罗维登斯（2009）·Zbl 1190.58001号
[99] Perrault-Joncas，D.，Meilé，M.：非线性降维：黎曼度量估计和几何恢复问题arXiv:1305.7255v1[stat.ML]，2013年5月30日，第1-25页（2013）
[100] Kuleshov，A.P.，Bernstein，A.V.：流形估计的扩展回归。人工智能课堂讲稿，第9653卷，保角和概率预测及其应用，第208-228页。斯普林格，海德堡（2016）
[101] Singer，A.，Wu，H.-T.：向量扩散图和连接拉普拉斯。Commun公司。纯粹。申请。数学。65(8), 1067-1144 (2012) ·Zbl 1320.68146号 ·doi:10.1002/cpa.21395
[102] Tyagi，H.，Vural，E.，Frossard，P.：黎曼流形arXiv:1208.1065v2光滑嵌入的切线空间估计[stat.CO]，2013年5月17日，第1-35页（2013）·Zbl 1311.94019号
[103] Kaslovsky，D.N.，Meyer，F.G.：切向空间扰动的非症状分析。Inf.Inf.J.IMA 3（2），134-187（2014）·Zbl 1309.62106号
[104] Hamm，J.：Lee，Daniel D.：格拉斯曼判别分析：基于子空间学习的统一观点第25届机器学习国际会议论文集（ICML 2008），第376-383页（2008）
[105] Wolf，L.，Shashua，A.：使用核主角学习集合。J.马赫。学习。第4号决议，913-931（2003年）·Zbl 1098.68679号
[106] Cormen，T.，Leiserson，C.，Rivest，R.，Stein，C.：算法导论。麻省理工学院出版社，剑桥（2001）·Zbl 1047.68161号
[107] Fredman，M.，Tarjan，R.E.：斐波那契堆及其在改进网络优化算法中的应用。J.协会计算。机器。34(3), 596-615 (1987) ·兹比尔1412.68048 ·doi:10.1145/28869.28874
[108] Bernstein，A.V.，Kuleshov，A.P.，Yanovich，Y.A.：《国际IEEE数据科学与高级分析会议论文集》（DSAA 2015），第1-9页。美国皮斯卡塔韦IEEE计算机协会（2015）
[109] Trefethen，法律公告，Bau，D.III：数字。线性代数。SIAM，费城（1997）·Zbl 0874.65013号
[110] Wasserman，L.：《所有非参数统计》。《统计中的斯普林格文本》，柏林（2007）·Zbl 1099.62029号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。