×
哈伊姆·艾夫伦;肯尼思·克拉克森。;伍德拉夫（David P.Woodruff）。

正则化数据拟合的更清晰边界。 （英语） Zbl 1471.62408号

Jansen，Klaus（编辑）等，近似、随机化和组合优化。算法和技术。2017年8月16日至18日，美国加利福尼亚州伯克利市，第20届国际研讨会，大约2017年，第21届国际研讨会。诉讼程序。Wadern：达格斯图尔宫——莱布尼茨Zentrum für Informatik。LIPIcs–莱布尼茨国际程序。通知。81，第27条，第22页（2017年）。
摘要：我们研究了线性回归正则化变量的矩阵绘制方法、低秩近似和正则相关分析。我们的主要关注点是素描技术，它保留了正则化问题的目标函数值，这是一个很大程度上尚未探索的领域。我们在一个相当广泛的环境中研究正则化，并在广泛使用的脊正则化技术的特定背景下研究正则化；对于后者，当应用于这些问题中的每一个时，我们显示了算法资源边界，其中统计维度出现在前面边界中秩出现的位置。统计维数总是小于秩，并且随着正则化量的增加而减小。特别地，对于脊低阶逼近问题（min_{Y，X}\VertYX-A\Vert^2_F+\lambda\VertY-F+\lambda\vertX\Vert_2_F），其中（Y\In\mathbb{R}^{n\times k}）和（X\In\mathbb{R}^{k\ times d}），我们给出了需要（O（mathrm{nnz}（A））+widetilde{O}（（n+d）\varepsilon^{-1}k\最小值\{k，\varepsilon^{-1}\mathrm{sd}_\lambda（Y^*）+\mathrm{poly}（\mathrm{sd}_\lambda（Y^*）\varepsilon^{-1}）\）时间，其中\（s_\lambda[Y^*]\leq k \）是\（Y^*\）的统计维数，\（Y*\）是最佳\（Y\），\（varepsilen\）是错误参数，\（mathrm{nnz}（A）\）是_（A\）的非零项目数。这比以前的工作更快，即使在\（\lambda=0\）时也是如此。我们也在更一般的环境中研究正则化。例如，我们获得了低阶近似问题（\min_{X，Y}\VertYX-A\Vert^2_F+F（Y，X））的基于草图的算法，其中F（\cdot，\cdot）是满足一些非常一般条件（主要是正交变换下的不变性）的正则化函数。
关于整个系列，请参见[Zbl 1372.68012号].

引用于5文件

理学硕士：

62J05型 线性回归；混合模型
62甲12 多元分析中的估计
62H20个 关联度量（相关性、典型相关性等）
65英尺55英寸 低阶矩阵逼近的数值方法；矩阵压缩
68T05型 人工智能中的学习和自适应系统

关键词：

矩阵;回归，回归;低阶近似;正规化;典型相关分析;统计学习

软件：

低等级模型;皮格尔姆
PDF格式BibTeX公司 XML格式引用
\textit{H.Avron}等人，LIPIcs——莱布尼茨国际程序。通知。81，第27条，22 p.（2017；Zbl 1471.62408）
全文： 内政部 arXiv公司

参考文献：

[1] Nir Ailon和Bernard Chazelle。近似最近邻和快速johnson-lindenstrauss变换。在2006年ACM计算理论研讨会上·兹比尔1301.68232
[2] 亚历山大·安多尼（Alexandr Andoni）和胡伊·L·阮（Huy L.Nguyen）。流模型中矩阵的特征值。第二十四届ACM-SIAM离散算法年会论文集，第1729-1737页。工业和应用数学学会，2013年·Zbl 1422.68335号
[3] Haim Avron、Christos Boutsidis、Sivan Toledo和Anastasios Zouzias。典型相关分析的有效维数缩减。SIAM科学计算杂志，36（5）：S111-S1312014。doi:10.137/130919222·Zbl 1307.65015号 ·doi:10.1137/130919222
[4] Haim Avron、Kenneth L.Clarkson和David P.Woodruff。使用草图和预处理实现更快的核岭回归。CoRR，abs/1611.03222016年。网址：http://arxiv。org/abs/1611.03220·Zbl 1379.65008号
[5] A.Björck和G.H.Golub。计算线性子空间之间角度的数值方法。计算数学，27（123）：579-5941973·Zbl 0282.65031号
[6] Jean Bourgain、Sjoerd Dirksen和Jelani Nelson。欧氏空间稀疏降维的统一理论。2015年6月14日至17日，美国俄勒冈州波特兰市STOC 2015第47届年度ACM计算机理论研讨会论文集，第499-508页·Zbl 1321.68431号
[7] C.Boutsidis和A.Gittens。通过子采样随机哈达玛变换改进矩阵算法。ArXiv电子版，2012年3月。arXiv:1204.0062。
[8] 里卡多·卡布拉尔（Ricardo Cabral）、费尔南多·德拉托雷（Fernando De la Torre）、乔·普科斯泰拉（Joáo P Costeira）和亚历山大·贝纳迪诺（Alexandre Bernardino）。统一核范数和双线性因子分解方法用于低秩矩阵分解。计算机视觉（ICCV），2013 IEEE国际会议，第2488-2495页。IEEE，2013年。
[9] 陈守元、刘洋、刘米歇尔、欧文·金和张胜宇。岭回归的快速相对误差近似算法。在2015年第31届人工智能不确定性大会上。
[10] 肯尼思·克拉克森（Kenneth L.Clarkson）和大卫·伍德拉夫（David P.Woodruff）。输入稀疏时间的低秩逼近和回归。STOC，2013年。完整版本位于http://arxiv.org/abs/1207.6365。 ·Zbl 1293.65069号
[11] M.B.Cohen、S.Elder、C.Musco、C.Mu斯科和M.Persu。k-Means聚类和低秩近似的降维。ArXiv电子版，2014年10月。arXiv:14100.6801。
[12] 迈克尔·科恩。利用迹不等式进行近紧不经意子空间嵌入。2016年1月10日至12日，美国弗吉尼亚州阿灵顿，2016年SODA，第二十七届ACM-SIAM离散算法年会论文集，第278-287页·兹比尔1415.65106
[13] Michael B.Cohen、Jelani Nelson和David P.Woodruff。关于稳定秩的最佳近似矩阵乘积。CoRR，abs/1507.022682015年·Zbl 1404.65032号
[14] P.Drineas、M.W.Mahoney和S.Muthukrishnan。2个回归和应用的采样算法。2006年第17届ACM-SIAM离散算法研讨会论文集，第1127-1136页·Zbl 1194.62010年
[15] P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.Sarlos。快速最小二乘ap-proximation，技术报告，arXiv:0710.14352007。网址：http://www.citebase.org/抽象？id=oai:arXiv.org:0710.1435·Zbl 1218.65037号
[16] 彼得罗斯·德里尼亚斯（Petros Drineas）、迈克尔·W·马奥尼（Michael W.Mahoney）、马利克·马格顿·伊斯梅尔（Malik Magdon-Ismail）和大卫·P·伍德拉夫（David P.Woodruff）。矩阵一致性和统计杠杆的快速近似。2012年6月26日至7月1日，英国苏格兰爱丁堡，第29届国际机器学习会议记录，2012年ICML。
[17] Ahmed El Alaoui和Michael W.Mahoney。具有统计保证的快速随机核方法。统计，1050:22014。
[18] R.Frostig、R.Ge、S.M.Kakade和A.Sidford。《在一次成功中与经验风险最小化者竞争》，ArXiv电子版，2014年12月。出现在COLT 2015中。arXiv:1412.6606。
[19] R.Frostig、R.Ge、S.M.Kakade和A.Sidford。非规则化：近似接近点和快速随机算法，用于经验风险最小化。在2015年国际机器学习会议（ICML）上。
[20] 特雷弗·哈斯蒂（Trevor Hastie）、罗伯特·蒂比什拉尼（Robert Tibshirani）和杰罗姆·弗里德曼（Jerome Friedman）。《统计学习的要素》（The Elements of Statistical Learn-ing），施普林格出版社，2013年·Zbl 0973.62007号
[21] Lu Yichao、Paramveer Dhillon、Dean P Foster和Lyle Ungar。通过子抽样随机阿达玛变换实现更快的岭回归。《神经信息处理系统进展》，第369-377页，2013年。
[22] 迈克尔·马奥尼（Michael W.Mahoney）。矩阵和数据的随机算法。已找到。趋势马赫。学习。，3（2）:123-2242011年2月。doi:10.1561/22000035·Zbl 1232.68173号 ·数字对象标识代码：10.1561/22000035
[23] 孟祥瑞和迈克尔·马奥尼。输入-稀疏时间中的低维子空间嵌入及其在稳健线性回归中的应用。在STOC中，第91-1002013页·Zbl 1293.68150号
[24] Jelani Nelson和Huy L.Nguyen。OSNAP：通过稀疏子空间嵌入实现更快的数值线性代数算法。在FOCS中，第117-126页，2013年。
[25] 默特·皮兰奇（Mert Pilanci）和马丁·温赖特（Martin J.Wainwright）。具有严格保证的凸程序的随机草图。CoRR，abs/1404.7203，2014年。网址：http://arxiv.org/abs/1404.7203。 ·Zbl 1359.90097号
[26] T.Sarlós。通过随机投影改进了大型矩阵的近似算法。2006年IEEE计算机科学基础研讨会（FOCS）。
[27] 内森·斯雷布罗和阿迪·什莱布曼。等级、跟踪形式和最大形式。学习理论，第545-560页。斯普林格，2005年·Zbl 1137.68563号
[28] 乔尔·特罗普（Joel Tropp）。改进了次采样随机哈达玛变换的分析。高级自适应。数据分析。，特刊，“数据和图像的稀疏表示”，2011年·Zbl 1232.15029号
[29] M.Udell、C.Horn、R.Zadeh和S.Boyd。广义低秩模型。ArXiv电子版，2014年10月。arXiv:1410.0342。
[30] 大卫·P·伍德拉夫。作为数字线性代数工具的素描。理论计算机科学基础与趋势®，10（1-2）：1-1572014。doi:10.1561/0400000060·Zbl 1316.65046号 ·doi:10.1561/0400000600
[31] 杨继燕、孟祥瑞和马奥尼。在并行和分布式环境中实现随机矩阵算法。IEEE会议记录，104（1）：58-922016年1月。doi:10.1109/JPROC.2015.2494219·doi:10.1109/JPROC.2015.2494219
[32] Y.Yang、M.Pilanci和M.J.Wainwright。内核随机草图：快速最佳非参数回归。ArXiv电子版，2015年1月。arXiv:1501.06195。
[33] 院长Foster Yichao Lu、Paramveer Dhillon和Lyle Ungar。通过子抽样随机阿达玛变换实现更快的岭回归。神经信息处理系统（NIPS）会议记录，2013年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。