×
高、超;加伯，丹;内森·斯雷布罗;王佳蕾;王伟然

随机典型相关分析。 （英语） Zbl 1446.62158号

J.马赫。学习。物件。 20，第167号论文，46页（2019年）.
摘要：我们研究了典型相关分析（CCA）的样本复杂性，即估计总体典型相关和方向所需的样本数，最大误差为任意小。通过对数据分布的温和假设，我们表明，为了在适当定义的估计标准方向和总体解之间的对齐度量中实现（ε）-次优，我们可以使用（N（ε，δ，γ））样本精确求解经验目标，其中是白化互协方差矩阵的奇异值间隙，并且（1/gamma）是自协方差矩阵条件数的上界。此外，通过抽取相同水平的样本，用随机优化算法近似求解经验目标，可以达到相同的学习精度；该算法基于移位和反转幂迭代，只需处理\（mathcal{O}\left（\log\frac{1}{\epsilon}\right）\）通路的数据集。最后，我们表明，给定典型相关性的估计值，通过只处理一次数据，移位和反转幂迭代的流式版本在相同的样本复杂度水平下实现了相同的学习精度。

引用于2文件

MSC公司：

62H20个 关联度量（相关性、典型相关性等）
62L20型 随机近似
68T05型 人工智能中的学习和自适应系统

关键词：

典型相关分析;样本复杂性;移位和反转预处理;流式CCA
PDF格式BibTeX公司 XML格式引用
\textit{C.Gao}等人，J.Mach。学习。第20号决议，第167号论文，46页（2019年；Zbl 1446.62158）
全文： arXiv公司 链接

参考文献：

[1] Zeyuan Allen-Zhu和Yuanzhi Li。懒惰SVD：SVD分解更快，但没有痛苦。神经信息处理系统研究进展，2016。
[2] Zheyuan Allen-Zhu和Yuanzhi Li。快速CCA和广义特征分解的双加速方法。InProc.公司。2017年国际机器学习会议。
[3] Raman Arora、Andy Cotter、Karen Livescu和Nati Srebro。PCA和PLS的随机优化。2012年第50届Allerton通信、控制和计算年会。
[4] Raman Arora、Teodor V.Marinov、Poorya Mianjy和Nathan Srebro。典型相关分析的随机近似。神经信息处理系统研究进展，2017年。
[5] 桑吉夫·阿罗拉（Sanjeev Arora）、萨蒂什·拉奥（Satish Rao）和乌梅什·瓦齐拉尼（Umesh Vazirani）。扩展流、几何嵌入和图形分区。美国医学会杂志，（2），2009年·Zbl 1325.68255号
[6] 弗朗西斯·巴赫和迈克尔·乔丹。典型相关分析的概率解释。《688号技术报告》，加州大学伯克利分校统计系，2005年4月21日。
[7] 马库斯·卡尔森。矩阵平方根和矩阵模的摄动理论。arXiv:1810.01464[math.FA]，2018年10月2日。
[8] 陈梦洁、高超、赵仁和周哈里森。通过精确调整迭代阈值实现稀疏CCA。arXiv:1311.6186[math.ST]，2013年11月24日·Zbl 1432.62161号
[9] 陈哲慧（Zhehui Chen）、杨林芳（Lin F.Yang）、李克力（Chris J.Li）和赵拓（Tuo Zhao）。去掉凸性以实现更高效和可扩展的在线多视图学习。InProc.公司。2017年国际机器学习会议。
[10] Chandler Davis和W.M.Kahan。特征向量的微扰旋转III.SIAM数值分析杂志，7（1）：1-461970·Zbl 0198.47201号
[11] 罗伊·弗罗斯蒂格（Roy Frostig）、荣格（Rong Ge）、沙姆·M·卡卡德（Sham M.Kakade）和亚伦·西德福德（Aaron Sidford）。与经验风险最小化者单程竞争。学习理论会议（COLT），第728-763页，2015年。
[12] Kenji Fukumizu、Francis R.Bach和Arthur Gretton。核正则相关分析的统计一致性。机器学习研究杂志，8:361-3832007年2月·Zbl 1222.62063号
[13] 高超、马宗明和周哈里森。稀疏CCA：自适应估计和计算障碍。《统计年鉴》，45（5）：2074-21011017·Zbl 1421.62073号
[14] Dan Garber和Elad Hazan。通过凸优化实现快速简单的PCA。arXiv:1509.05647[math.OC]，2015年11月25日·Zbl 1342.65142号
[15] 丹·加伯（Dan Garber）、伊拉德·哈赞（Elad Hazan）、奇金（Chi Jin）、沙姆·卡卡德（Sham M.Kakade）、卡梅隆·马斯科（Cameron Musco）、普拉内斯·内特拉帕利（Praneeth Netrapalli）和亚伦·西德福德。通过移位和反转预处理快速计算特征向量。InProc.公司。2016年国际机器学习会议。
[16] 荣戈、池进、沙姆·M·卡卡德、普拉尼斯·内特拉帕利和亚伦·西德福德。大规模广义特征向量计算和典型相关分析的高效算法。InProc.公司。2016年国际机器学习会议。
[17] 埃卡特·盖克勒。关于逐点矩阵乘积和中值定理。《线性代数及其应用》，35:183-1911981·Zbl 0452.15022号
[18] Gene H.Golub和Charles F.van Loan。矩阵计算。约翰·霍普金斯大学出版社，1996年·Zbl 0865.65009号
[19] 罗杰·霍恩和查尔斯·约翰逊。矩阵分析。剑桥大学出版社，1986年·Zbl 0576.15001号
[20] 罗杰·霍恩和查尔斯·约翰逊。矩阵分析主题。剑桥大学出版社，1991年·Zbl 0729.15001号
[21] 哈罗德·霍特林。两组变量之间的关系。《生物特征》，28（3/4）：321-3771936·Zbl 0015.40705号
[22] 丹尼尔·徐（Daniel Hsu）、沈卡德（Sham Kakade）和张彤（Tong Zhang）。二次型次高斯随机向量的尾部不等式。电子。Commun公司。概率。，17(52):1-6, 2012. ·Zbl 1309.60017号
[23] Rie Johnson和Tong Zhang。使用预测方差减少加速随机梯度下降。神经信息处理系统进展，2013年。
[24] 林洪洲（Hongzhou Lin）、朱利安·迈拉尔（Julien Mairal）和扎伊德·哈查伊（Zaid Harchaoui）。一级优化通用催化剂。《神经信息处理系统研究进展》，2015年·Zbl 1469.68101号
[25] 陆一超和院长P.Foster。用迭代最小二乘法进行大规模典型相关分析。神经信息处理系统研究进展，2014年。
[26] 庄马、陆一超和福斯特院长。利用可扩展的典型相关分析在大型数据集中发现线性结构。InProc.公司。2015年国际机器学习会议。
[27] 罗伊·马蒂亚斯。矩阵平方根的界及其在特征向量摄动中的应用。SIAM J.矩阵分析。和应用程序。，18(4):861-867, 1997. ·Zbl 0913.15015号
[28] 尤瑟夫·萨阿德。大型特征值问题的数值方法。曼彻斯特大学出版社，1992年·Zbl 1242.65068号
[29] 尼基尔·斯利瓦斯塔瓦（Nikhil Srivastava）和罗曼·弗什宁（Roman Vershynin）。具有2+ε矩的分布的协方差估计。概率年鉴，41（5）：3081-31112013·Zbl 1293.62121号
[30] 罗曼·弗什宁。压缩感知：理论与应用，随机矩阵非症状分析导论。剑桥大学出版社，2012年。
[31] 王伟然和凯伦·利维斯库。大尺度近似核典型相关分析。InProc.公司。2016年国际学习代表大会。
[32] 王伟然、王佳蕾、丹·加伯和内森·斯雷布罗。典型相关分析的全局收敛随机优化。神经信息处理系统进展，2016年·Zbl 1446.62158号
[33] 林晓和童章。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。