我们研究线性回归正则变量、低秩近似和典型相关分析的矩阵绘制方法。我们的主要关注点是素描技术，它保留了正则化问题的目标函数值，这是一个很大程度上尚未探索的领域。我们在一个相当广泛的环境中研究正则化，并在广泛使用的脊正则化技术的特定背景下研究正则化；对于后者，当应用于这些问题中的每一个时，我们显示了算法资源边界，其中统计维度出现在前面边界中秩出现的位置。统计维数总是小于秩，并且随着正则化量的增加而减小。特别地，我们对岭低阶近似问题以及更一般设置下的正则化低阶逼近问题显示了这一点，其中正则化函数满足一些非常一般的条件（主要是正交变换下的不变性）。 矩阵 回归 低阶近似 正规化 典型相关分析 27:1-27:22 普通纸张 哈伊姆 艾夫龙 哈伊姆·艾夫伦 肯尼思·L·。 克拉克森 肯尼思·克拉克森 大卫·P·。 伍德拉夫 大卫·P·伍德拉夫 10.4230/LIPIcs公司。约2017年7月 尼尔·艾隆和伯纳德·夏泽尔。近似最近邻和快速johnson-lindenstrauss变换。在2006年ACM计算理论研讨会上。 亚历山大·安多尼（Alexandr Andoni）和胡伊·L·阮（Huy L.Nguyen）。流模型中矩阵的特征值。《第二十四届ACM-SIAM离散算法年度研讨会论文集》，第1729-1737页。工业和应用数学学会，2013年。 Haim Avron、Christos Boutsidis、Sivan Toledo和Anastasios Zouzias。典型相关分析的有效降维。SIAM科学计算杂志，36（5）：S111-S1312014。网址：http://dx.doi.org/10.1137/130919222。 http://dx.doi.org/10.1137/130919222 Haim Avron、Kenneth L.Clarkson和David P.Woodruff。使用草图和预处理实现更快的核岭回归。CoRR，abs/1611.03222016年。网址：http://arxiv.org/abs/1611.03220。 http://arxiv.org/abs/1611.03220 A.Björck和G.H.Golub。计算线性子空间之间角度的数值方法。计算数学，27（123）：579-5941973。 Jean Bourgain、Sjoerd Dirksen和Jelani Nelson。欧氏空间稀疏降维的统一理论。2015年6月14日至17日，美国俄勒冈州波特兰市STOC 2015第47届年度ACM计算机理论研讨会论文集，第499-508页。 C.Boutsidis和A.Gittens。通过子采样随机哈达玛变换改进矩阵算法。ArXiv电子版，2012年3月。网址：http://arxiv.org/abs/1204.0062。 http://arxiv.org/abs/1204.0062 里卡多·卡布拉尔（Ricardo Cabral）、费尔南多·德拉托雷（Fernando De la Torre）、乔·普科斯泰拉（Joáo P Costeira）和亚历山大·贝纳迪诺（Alexandre Bernardino）。统一核范数和双线性分解方法用于低秩矩阵分解。计算机视觉（ICCV），2013 IEEE国际会议，第2488-2495页。IEEE，2013年。 陈守元、刘洋、刘米歇尔、欧文·金和张胜宇。岭回归的快速相对误差近似算法。2015年第31届人工智能不确定性会议。 肯尼思·克拉克森（Kenneth L.Clarkson）和大卫·伍德拉夫（David P.Woodruff）。输入稀疏时间的低秩逼近和回归。STOC，2013年。完整版本位于http://arxiv.org/abs/1207.6365。 M.B.Cohen、S.Elder、C.Musco、C.Musco和M.Persu。k-Means聚类和低秩近似的降维。ArXiv电子版，2014年10月。网址：http://arxiv.org/abs/1410.6801。 http://arxiv.org/abs/1410.6801 迈克尔·B·科恩。利用迹不等式进行近紧不经意子空间嵌入。2016年1月10日至12日，美国弗吉尼亚州阿灵顿，2016年SODA，第二十七届ACM-SIAM离散算法年会论文集，第278-287页。 Michael B.Cohen、Jelani Nelson和David P.Woodruff。关于稳定秩的最佳近似矩阵乘积。CoRR，abs/1507.022682015年。 P.Drineas、M.W.Mahoney和S.Muthukrishnan。𝓁⁄回归的采样算法和应用。2006年第17届ACM-SIAM离散算法研讨会论文集，第1127-1136页。 P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.Sarlos。更快的最小二乘法近似，技术报告，arXiv:0710.14352007。网址：http://www.citebase.org/abstract？id=oai:arXiv.org:0710.1435。 http://www.citebase.org/abstract？id=oai:arXiv.org:0710.1435 彼得罗斯·德里尼亚斯（Petros Drineas）、迈克尔·W·马奥尼（Michael W.Mahoney）、马利克·马格顿·伊斯梅尔（Malik Magdon-Ismail）和大卫·P·伍德拉夫（David P.Woodruff）。矩阵一致性和统计杠杆的快速近似。2012年6月26日至7月1日，英国苏格兰爱丁堡，第29届国际机器学习会议记录，2012年ICML。 Ahmed El Alaoui和Michael W.Mahoney。具有统计保证的快速随机核方法。统计，1050:22014。 R.Frostig、R.Ge、S.M.Kakade和A.Sidford。《在一次成功中与经验风险最小化者竞争》，ArXiv电子版，2014年12月。出现在COLT 2015中。网址：http://arxiv.org/abs/1412.6606。 http://arxiv.org/abs/1412.6606 R.Frostig、R.Ge、S.M.Kakade和A.Sidford。非规则化：近似接近点和快速随机算法，用于经验风险最小化。在2015年国际机器学习会议（ICML）上。 特雷弗·哈斯蒂（Trevor Hastie）、罗伯特·蒂比什拉尼（Robert Tibshirani）和杰罗姆·弗里德曼（Jerome Friedman）。统计学习的要素。施普林格，2013年。 Lu Yichao、Paramveer Dhillon、Dean P Foster和Lyle Ungar。通过子抽样随机阿达玛变换实现更快的岭回归。《神经信息处理系统进展》，第369-377页，2013年。 迈克尔·马奥尼（Michael W.Mahoney）。矩阵和数据的随机算法。已找到。趋势马赫数。学习。，3（2）:123-2242011年2月。网址：http://dx.doi.org/10.1561/220000035。 http://dx.doi.org/10.1561/22000035 孟祥瑞和迈克尔·马奥尼。输入-稀疏时间中的低维子空间嵌入及其在稳健线性回归中的应用。STOC，第91-100页，2013年。 Jelani Nelson和Huy L.Nguyen。OSNAP：通过稀疏子空间嵌入实现更快的数值线性代数算法。在FOCS中，第117-126页，2013年。 默特·皮兰奇（Mert Pilanci）和马丁·温赖特（Martin J.Wainwright）。具有尖锐保证的凸程序的随机草图。CoRR，abs/1404.7203，2014年。网址：http://arxiv.org/abs/1404.7203。 http://arxiv.org/abs/1404.7203 T.Sarlós。通过随机投影改进了大型矩阵的近似算法。2006年IEEE计算机科学基础研讨会（FOCS）。 内森·斯雷布罗和阿迪·什莱布曼。等级、跟踪形式和最大形式。学习理论，第545-560页。斯普林格，2005年。 乔尔·特罗普（Joel Tropp）。改进了次采样随机哈达玛变换的分析。高级自适应。数据分析。，特刊，“数据和图像的稀疏表示”，2011年。 M.Udell、C.Horn、R.Zadeh和S.Boyd。http://arxiv.org/abs/1410.0342。ArXiv电子版，2014年10月。 http://arxiv.org/abs/1410.0342 大卫·P·伍德拉夫。草图作为数值线性代数的工具。理论计算机科学基础与趋势®，10（1-2）：1-1572014。网址：http://dx.doi.org/10.1561/0400000060。 http://dx.doi.org/10.1561/0400000060 杨继燕、孟祥瑞和马奥尼。在并行和分布式环境中实现随机矩阵算法。IEEE会议记录，104（1）：58-922016年1月。网址：http://dx.doi.org/10.109/JPROC.2015.2494219。 http://dx.doi.org/10.109/JPROC.2015.2494219 Y.Yang、M.Pilanci和M.J.Wainwright。内核随机草图：快速最佳非参数回归。ArXiv电子版，2015年1月。网址：http://arxiv.org/abs/1501.06195。 网址：http://arxiv.org/abs/11501.06195 院长Foster Yichao Lu、Paramveer Dhillon和Lyle Ungar。通过子抽样随机阿达玛变换实现更快的岭回归。神经信息处理系统（NIPS）会议记录，2013年。 Creative Commons Attribution 3.0未出口许可证 https://creativecommons.org/licenses/by/3.0/legalcode