×

通过分段逆回归进行在线充分降维。 (英语) Zbl 1475.68263号

切片逆回归是处理高维数据集的一种有效方法。其思想是用少量线性组合替换协变量,这些线性组合包含足够的预测信息。现有的切片逆回归研究大多集中在批学习设置上,无法处理训练样本以顺序方式出现的流式设置。在本文中,作者建议以在线方式实现分段逆回归。具体来说,他们首先构造切片逆回归核矩阵的在线估计,然后进行在线奇异值分解。然后,作者开发了在线学习者的理论收敛特性,并报告了数值结果,以验证他们的方法的有效性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62G08号 非参数回归和分位数回归
62小时12分 多元分析中的估计
62H25个 因子分析和主成分;对应分析
68周27 在线算法;流式算法

软件:

e1071号
PDF格式BibTeX公司 XML格式引用
全文: 链接

参考文献:

[1] Raman Arora、Andrew Cotter、Karen Livescu和Nathan Srebro。PCA和PLS的随机优化。第50届Allerton通信、控制和计算会议,第861-868页。IEEE,2012年。
[2] Raman Arora、Andy Cotter和Nati Srebro。带帽味精PCA的随机优化。《神经信息处理系统进展》,第1815-1823页,2013年。
[3] 安德烈亚斯·阿尔特米奥(Andreas Artemiou)和李冰(Bing Li)。关于主成分和回归:一种自然现象的统计解释。《中国统计》,第1557-1565页,2009年·Zbl 1191.62106号
[4] Akshay Balsubramani、Sanjoy Dasgupta和Yoav Freund。增量PCA的快速收敛。《神经信息处理系统进展》,第3174-3182页,2013年。
[5] Bernard Bercu、Thi Mong Ngoc Nguyen和Jerome Saracco。关于递归分段逆回归方法相关的递归nadaraya-watson估计的渐近行为。统计,49(3):660-6792015·Zbl 1367.62111号
[6] 莱昂博图。在线学习和随机近似。剑桥大学出版社,英国剑桥,1998年。
[7] 奥利维尔·博斯克(Olivier Bousquet)和L´eon Bottou。大规模学习的权衡。《神经信息处理系统进展》,第161-168页,2008年。
[8] 克里斯托斯·布蒂迪斯、丹·加伯、佐哈尔·卡宁和爱多·利伯蒂。在线主成分分析。第二十届ACM-SIAM离散算法年会论文集,第887-901页。SIAM,2015年·Zbl 1373.62291号
[9] 贝诺特香槟。基于一阶摄动的数据协方差矩阵自适应特征分解。IEEE信号处理汇刊,42(10):2758-27701994。
[10] Marie Chavent、Stéephane Girard、Vanessa Kuentz-Simonet、Benoit Liquit、Thi Mong Ngoc Nguyen和J´erˆome Saracco。数据流的分段逆回归方法。计算统计学,29(5):1129-11522014·Zbl 1306.65040号
[11] R丹尼斯·库克。回归图形:通过图形研究回归的想法,第482卷。John Wiley&Sons,2009年·Zbl 0903.62001
[12] R Dennis Cook和Sanford Weisberg。Li,K.C.关于切片逆回归降维的讨论。美国统计协会杂志,86(414):328-3321991·Zbl 1353.62037号
[13] 唐纳德·L·费斯克。准马蒂亚莱斯。美国数学学会学报,120(3):369-3891965·Zbl 0133.40303号
[14] 阿南特·赫格德(Anant Hegde)、何塞·C·普林西比(Jose C Principe)、德尼兹·埃尔多姆(Deniz Erdogmus)、乌穆特·奥泽特姆(Umut Ozertem)、亚杜兰达纳·纳·拉奥(Yadunandana N Rao)和赫曼斯·佩。基于扰动的特征向量更新用于在线主成分分析和典型相关分析。信号、图像和视频技术VLSI信号处理系统杂志,45(1-2):85-952006。
[15] 加藤敏雄。线性算子的微扰理论,第132卷。施普林格科学与商业媒体,2013年·Zbl 0148.12601号
[16] Harold Joseph Kushner和Dean S Clark。约束和非约束系统的随机逼近方法,第26卷。施普林格科学与商业媒体,2012年·Zbl 0381.60004号
[17] 雷云文(Yunwen Lei)、石磊(Lei Shi)和郭正楚(Zheng-Chu Guo)。非正规在线学习算法的收敛性。机器学习研究杂志,18(1):6269-63012017·Zbl 1467.68226号
[18] 李兵。《充分降维:方法与应用》,中国铁道大学出版社,2018年·Zbl 1408.62011号
[19] 李冰和王少丽。关于降维的方向回归。《美国统计协会杂志》,102(479):997-1008,2007年·Zbl 1469.62300号
[20] 李克肖(Ker-Chau Li)。降维切片逆回归。《美国统计协会杂志》,86(414):316-3271991年·Zbl 0742.62044号
[21] 李伟华、岳亨利、塞尔吉奥·瓦莱·塞万提斯和S·乔·秦。自适应过程监控的递归PCA。过程控制杂志,10(5):471-4862000。
[22] 马彦元和朱丽萍。降维的半参数方法。《美国统计协会杂志》,107(497):168-1792012年·兹比尔1261.62037
[23] 马彦元和朱丽萍。关于降维的综述。《国际统计评论》,81(1):134-1502013·Zbl 1416.62220号
[24] 朱利安·迈拉尔(Julien Mairal)、弗朗西斯·巴赫(Francis Bach)、让·庞斯(Jean Ponce)和吉列尔莫·萨皮罗(Guillermo Sapiro)。矩阵分解和稀疏编码的在线学习。《机器学习研究杂志》,11期(1月):19-601010·Zbl 1242.62087号
[25] David Meyer、Evgenia Dimitriadou、Kurt Hornik、Andreas Weingessel和Friedrich Leisch。e1071:TU Wien概率论小组统计系的其他职能部门(原名:e1071)。R软件包版本1.6-8。2017
[26] Ioannis Mitliagkas、Constantine Caramanis和Pratek Jain。内存有限,流式PCA。《神经信息处理系统进展》,第2886-28942013页。
[27] 聂嘉忠、科特洛夫斯基(Wojciech Kotlowski)和沃穆特(Manfred K.Warmuth)。在线PCA与最佳遗憾。机器学习研究杂志,17(173):1-492016·Zbl 1392.68360号
[28] Erkki Oja和Juha Karhunen。随机矩阵期望的特征向量和特征值的随机逼近。数学分析与应用杂志,106(1):69-841985·Zbl 0583.62077号
[29] 奥哈德·沙米尔。PCA随机梯度下降的收敛性。2016年国际机器学习会议,第257-265页。
[30] 罗宾·西布森。多维尺度稳健性研究:经典尺度的摄动分析。英国皇家统计学会杂志。B系列(方法学),第217-229页,1979年·Zbl 0413.62046号
[31] 皮埃尔·塔雷斯和袁尧。在线学习作为正则化路径的随机近似:最优性和近似收敛。IEEE信息理论汇刊,60(9):5716-57352014·Zbl 1360.62192号
[32] Manfred K Warmuth和Dima Kuzmin。具有遗憾边界的随机在线PCA算法在维度上是对数的。机器学习研究杂志,9(10月):2287-2322008·Zbl 1225.68273号
[33] 夏英村、汤豪威尔、李伟强和朱丽欣。降维空间的一种自适应估计。英国皇家统计学会杂志:B辑(统计方法),64(3):363-4102002·Zbl 1091.62028号
[34] 林晓。正则化随机学习和在线优化的双重平均方法。机器学习研究杂志,11(10月):2543-25962010·Zbl 1242.62011年
[35] 杨文卓和徐欢。流稀疏主成分分析。2015年,机器学习国际会议,第494-503页。
[36] 叶志深和罗伯特·魏斯。使用引导程序选择一种新的降维方法。《美国统计协会杂志》,98(464):968-9792003·Zbl 1045.62034号
[37] 朱立平、朱立兴和冯正辉。通过累积切片估计降低回归中的维数。美国统计协会杂志,105(492):1455-14662010·Zbl 1388.62121号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。