文件Open Access徽标

正则化数据拟合的更清晰界限

作者 哈伊姆·艾夫伦, 肯尼思·克拉克森, 大卫·P·伍德拉夫



PDF格式
缩略图PDF

文件

LIPIcs公司。大约2017年7月27日pdf
  • 文件大小:0.55 MB
  • 22页

文件标识符

作者详细信息

哈伊姆·艾夫伦
肯尼思·克拉克森
大卫·P·伍德拉夫

引用为获取BibTex

Haim Avron、Kenneth L.Clarkson和David P.Woodruff。正则化数据拟合的更清晰界限。在近似、随机化和组合优化中。算法和技术(APPROX/RANDOM 2017)。莱布尼茨国际信息学论文集(LIPIcs),第81卷,第27:1-27:22页,达格斯图尔-莱布尼兹-泽特鲁姆信息学院(2017)
https://doi.org/10.4230/LIPIcs.APPROX-RANDOM.2017.27

摘要

我们研究线性回归正则变量、低秩近似和典型相关分析的矩阵绘制方法。我们的主要关注点是素描技术,它保留了正则化问题的目标函数值,这是一个很大程度上尚未探索的领域。我们在一个相当广泛的环境中研究正则化,并在广泛使用的脊正则化技术的特定背景下研究正则化;对于后者,当应用于这些问题中的每一个时,我们显示了算法资源边界,其中统计维度出现在前面边界中秩出现的位置。统计维数总是小于秩,并且随着正则化量的增加而减小。特别地,我们对岭低阶近似问题以及更一般设置下的正则化低阶逼近问题显示了这一点,其中正则化函数满足一些非常一般的条件(主要是正交变换下的不变性)。
关键词
  • 矩阵
  • 回归
  • 低阶近似
  • 正规化
  • 典型相关分析

韵律学

工具书类

  1. 尼尔·艾隆和伯纳德·夏泽尔。近似最近邻和快速johnson-lindenstrauss变换。在2006年ACM计算理论研讨会上。谷歌学者
  2. Alexandr Andoni和Huy L.Nguyen。流模型中矩阵的特征值。第二十四届ACM-SIAM离散算法年会论文集,1729-1737页。工业和应用数学学会,2013年。谷歌学者
  3. Haim Avron、Christos Boutsidis、Sivan Toledo和Anastasios Zouzias。典型相关分析的有效降维。SIAM科学计算杂志,36(5):S111-S1312014。网址:http://dx.doi.org/10.1137/130919222.
  4. Haim Avron、Kenneth L.Clarkson和David P.Woodruff。使用草图和预处理实现更快的核岭回归。CoRR,abs/1611.03222016年。网址:http://arxiv.org/abs/1611.03220.
  5. A.Björck和G.H.Golub。计算线性子空间之间角度的数值方法。计算数学,27(123):579-5941973。谷歌学者
  6. Jean Bourgain、Sjoerd Dirksen和Jelani Nelson。欧氏空间稀疏降维的统一理论。2015年6月14日至17日,美国俄勒冈州波特兰市STOC 2015第47届年度ACM计算机理论研讨会论文集,第499-508页。谷歌学者
  7. C.Boutsidis和A.Gittens。通过子采样随机哈达玛变换改进矩阵算法。ArXiv电子版,2012年3月。网址:http://arxiv.org/abs/1204.0062.
  8. 里卡多·卡布拉尔(Ricardo Cabral)、费尔南多·德拉托雷(Fernando De la Torre)、乔·普科斯泰拉(Joáo P Costeira)和亚历山大·贝纳迪诺(Alexandre Bernardino)。统一核范数和双线性分解方法用于低秩矩阵分解。计算机视觉(ICCV),2013 IEEE国际会议,第2488-2495页。IEEE,2013年。谷歌学者
  9. 陈守元、刘洋、刘米歇尔、欧文·金和张胜宇。岭回归的快速相对误差近似算法。2015年第31届人工智能不确定性会议。谷歌学者
  10. 肯尼思·克拉克森(Kenneth L.Clarkson)和大卫·伍德拉夫(David P.Woodruff)。输入稀疏时间的低秩逼近和回归。STOC,2013年。完整版本位于http://arxiv.org/abs/1207.6365。谷歌学者
  11. M.B.Cohen、S.Elder、C.Musco、C.Mu斯科和M.Persu。k-Means聚类和低秩近似的降维。ArXiv电子版,2014年10月。网址:http://arxiv.org/abs/1410.6801.
  12. 迈克尔·B·科恩。通过迹不等式进行的几乎紧密的不经意子空间嵌入。2016年1月10日至12日,美国弗吉尼亚州阿灵顿,2016年SODA,第二十七届ACM-SIAM离散算法年会论文集,第278-287页。谷歌学者
  13. Michael B.Cohen、Jelani Nelson和David P.Woodruff。关于稳定秩的最佳近似矩阵乘积。CoRR,abs/1507.022682015年。谷歌学者
  14. P.Drineas、M.W.Mahoney和S.Muthukrishnan。𝓁⁄回归的采样算法和应用。《第17届ACM-SIAM离散算法年度研讨会论文集》,第1127-1136页,2006年。谷歌学者
  15. P.Drineas、M.W.Mahoney、S.Muthukrishnan和T.Sarlos。更快的最小二乘近似,技术报告,arXiv:0710.14352007。网址:http://www.citebase.org/abstract?id=oai:arXiv.org:0710.1435.
  16. 彼得罗斯·德里尼亚斯(Petros Drineas)、迈克尔·W·马奥尼(Michael W.Mahoney)、马利克·马格顿·伊斯梅尔(Malik Magdon-Ismail)和大卫·P·伍德拉夫(David P.Woodruff)。矩阵一致性和统计杠杆的快速近似。2012年6月26日至7月1日,英国苏格兰爱丁堡,第29届国际机器学习会议记录,2012年ICML。谷歌学者
  17. Ahmed El Alaoui和Michael W.Mahoney。具有统计保证的快速随机核方法。统计,1050:22014。谷歌学者
  18. R.Frostig、R.Ge、S.M.Kakade和A.Sidford。《在一次成功中与经验风险最小化者竞争》,ArXiv电子版,2014年12月。出现在COLT 2015中。网址:http://arxiv.org/abs/1412.6606.
  19. R.Frostig、R.Ge、S.M.Kakade和A.Sidford。非规则化:近似接近点和快速随机算法,用于经验风险最小化。在2015年国际机器学习会议(ICML)上。谷歌学者
  20. 特雷弗·哈斯蒂(Trevor Hastie)、罗伯特·蒂比什拉尼(Robert Tibshirani)和杰罗姆·弗里德曼(Jerome Friedman)。统计学习的要素。施普林格,2013年。谷歌学者
  21. 陆一超、帕拉米尔·迪伦、院长P·福斯特和莱尔·昂加。通过子抽样随机阿达玛变换实现更快的岭回归。《神经信息处理系统进展》,第369-377页,2013年。谷歌学者
  22. 迈克尔·马奥尼(Michael W.Mahoney)。矩阵和数据的随机算法。已找到。趋势马赫数。学习。,3(2):123-2242011年2月。网址:http://dx.doi.org/10.1561/22000035.
  23. 孟祥瑞和迈克尔·马奥尼。输入-稀疏时间中的低维子空间嵌入及其在稳健线性回归中的应用。STOC,第91-100页,2013年。谷歌学者
  24. Jelani Nelson和Huy L.Nguyen。OSNAP:通过稀疏子空间嵌入实现更快的数值线性代数算法。在FOCS中,第117-1262013页。谷歌学者
  25. Mert Pilanci和Martin J.Wainwright。具有严格保证的凸程序的随机草图。CoRR,abs/1404.7203,2014年。网址:http://arxiv.org/abs/1404.7203.
  26. T.Sarlós。通过随机投影改进了大型矩阵的近似算法。2006年IEEE计算机科学基础研讨会(FOCS)。谷歌学者
  27. Nathan Srebro和Adi Shraibman。等级、跟踪形式和最大形式。学习理论,第545-560页。斯普林格,2005年。谷歌学者
  28. 乔尔·特罗普(Joel Tropp)。改进了次采样随机哈达玛变换的分析。高级自适应。数据分析。,特刊,“数据和图像的稀疏表示”,2011年。谷歌学者
  29. M.Udell、C.Horn、R.Zadeh和S.Boyd。http://arxiv.org/abs/1410.0342ArXiv电子版,2014年10月。
  30. 大卫·P·伍德拉夫。作为数字线性代数工具的素描。理论计算机科学基础与趋势®,10(1-2):1-1572014。网址:http://dx.doi.org/10.1561/0400000060.
  31. 杨继燕、孟祥瑞和马奥尼。在并行和分布式环境中实现随机矩阵算法。IEEE会议记录,104(1):58-922016年1月。网址:http://dx.doi.org/10.109/JPROC.2015.2494219.
  32. Y.Yang、M.Pilanci和M.J.Wainwright。内核随机草图:快速最佳非参数回归。ArXiv电子版,2015年1月。网址:http://arxiv.org/abs/1501.06195.
  33. 院长Foster Yichao Lu、Paramveer Dhillon和Lyle Ungar。通过子抽样随机阿达玛变换实现更快的岭回归。神经信息处理系统(NIPS)会议记录,2013年。谷歌学者
问题/备注/反馈
X(X)

Dagstuhl出版社反馈


感谢您的反馈!

已提交反馈

无法发送消息

请稍后再试或发送电子邮件