文件Open Access徽标

拒绝学习不当

作者 Pravesh K.Kothari公司, 罗伊·利夫尼



PDF格式
缩略图PDF

文件

文件标识符

作者详细信息

Pravesh K.Kothari公司
罗伊·利夫尼

引用为获取BibTex

Pravesh K.Kothari和Roi Livni。拒绝学习不当。第九届理论计算机科学创新大会(ITCS 2018)。莱布尼茨国际信息学论文集(LIPIcs),第94卷,第55:1-55:10页,达格斯图尔-莱布尼兹-泽特鲁姆信息学研究所(2018)
https://doi.org/10.4230/LIPIcs.ITCS.2018.55

摘要

学习布尔值函数类的样本复杂性正是由其Rademacher复杂性表征的。然而,这与有效的不可知论学习的样本复杂性关系不大。我们引入了反驳复杂性,这是布尔概念类的Rademacher复杂性的一种自然计算模拟,并表明它准确表征了有效不可知学习的样本复杂性。非正式地,C类的反驳复杂性是有效区分标签与C(结构)某些成员的评估相关的情况和标签是i.i.d.Rademacher随机变量(噪声)的情况所需的最小示例-标签对数。这种关系的简单方向在Daniely和合著者的错误PAC学习下限的最新框架中被隐含使用,这与驳斥随机约束满足问题的难度有关。我们的工作可以被视为将不可知论学习和他们作品中隐含的反驳之间的关系明确地等效起来。在最近的一项独立研究中,Salil Vadhan发现在可实现(即无噪音)情况下,反驳和PAC学习之间存在类似的关系。
关键词
  • 学习理论
  • 计算学习

韵律学

工具书类

  1. 莎拉·艾伦、瑞安·奥唐纳和大卫·维特默。如何反驳随机CSP。2015年IEEE第56届计算机科学基础年度研讨会-FOCS 2015,第689-708页。IEEE计算机协会,加利福尼亚州洛斯阿拉米托斯,2015年。谷歌学者
  2. 波阿斯·巴拉克和安库尔·莫伊特拉。张量预测、雷达码复杂度和随机3异或。CoRR,abs/1501.065212015年。谷歌学者
  3. Peter L.Bartlett和Shahar Mendelson。Rademacher和高斯复杂性:风险边界和结构结果。机器学习研究杂志,3:463-482002。网址:http://www.jmlr.org/papers/v3/bartlett02a.html.
  4. 昆汀·伯赛特(Quentin Berthet)和菲利普·里格利特(Philippe Rigollet)。稀疏PCA的计算下限。CoRR,abs/1304.0828,2013年。谷歌学者
  5. 文卡特·钱德拉塞卡兰和迈克尔·乔丹。通过凸松弛进行计算和统计权衡。《美国国家科学院院刊》,110(13):E1181-E11902013。网址:http://dx.doi.org/10.1073/pnas.1302293110.
  6. 阿米特·丹尼尔(Amit Daniely)。复杂性理论对学习半空间的限制。Daniel Wichs和Yishay Mansour编辑,《第48届ACM SIGACT计算机理论研讨会论文集》,STOC 2016,美国马萨诸塞州剑桥,2016年6月18日至21日,第105-117页。ACM,2016年。网址:http://dx.doi.org/10.1145/2897518.2897520.
  7. 阿米特·丹尼尔(Amit Daniely)、纳蒂·利尼尔(Nati Linial)和谢·沙列夫·施瓦茨(Shai Shalev-Shwartz)。在稀疏向量上学习半空间时,更多数据可以加快训练时间。在NIPS中,第145-153页,2013年。谷歌学者
  8. 阿米特·丹尼尔(Amit Daniely)、纳蒂·利尼尔(Nati Linial)和谢·沙列夫·施瓦茨(Shai Shalev-Shwartz)。从平均案例复杂性到不当学习复杂性。在STOC中,第441-448页。ACM,2014年。谷歌学者
  9. 阿米特·丹尼尔(Amit Daniely)、纳蒂·利尼尔(Nati Linial)和谢·沙列夫·施瓦茨(Shai Shalev-Shwartz)。从平均案例复杂性到不当学习复杂性。第四十六届ACM计算理论研讨会论文集,第441-448页。ACM,2014年。谷歌学者
  10. 阿米特·丹尼尔和谢·沙列夫·施瓦茨。复杂性理论对学习dnf的限制。在COLT中,第815-830页,2016年。谷歌学者
  11. 斯科特·迪凯特(Scott E.Decatur)、奥德·戈尔德雷奇(Oded Goldreich)和达娜·罗恩(Dana Ron)。计算样本复杂性。SIAM J.计算。,29(3):854-879, 1999.谷歌学者
  12. 乌列尔·菲戈。平均案例复杂度和近似复杂度之间的关系。2002年5月19日至21日,加拿大魁北克省蒙特利尔市,第34届美国计算机学会计算机理论年会会议记录,编辑John H.Reif,第534-543页。ACM,2002年。网址:http://dx.doi.org/10.1145/509907.509985.
  13. 乌列尔·菲戈。拒绝平滑3cnf公式。在FOCS中,第407-417页。IEEE计算机协会,2007年。谷歌学者
  14. 维塔利·费尔德曼。特定于分发的不可知增强。Andrew Chi Chih Yao,编辑,《计算机科学创新-ICS 2010》,清华大学,中国北京,2010年1月5-7日。会议记录,第241-250页。清华大学出版社,2010年。网址:http://conference.its.tsinghua.edu.cn/ICS2010/content/papers/20.html.
  15. Yoav Freund和Robert E Schapire。在线学习的决策理论推广及其在助推中的应用。在欧洲计算学习理论会议上,第23-37页。斯普林格,1995年。谷歌学者
  16. 奥德·戈德雷奇(Oded Goldreich)、沙菲·戈德瓦瑟(Shafi Goldwasser)和达娜·罗恩(Dana Ron)。属性测试及其与学习和近似的联系。美国医学杂志,45(4):653-750,1998年。谷歌学者
  17. 亚当·卡莱和瓦伦·卡纳德。基于潜力的不可知增强。Yoshua Bengio、Dale Schuurmans、John D.Lafferty、Christopher K.I.Williams和Aron Culotta,编辑,《神经信息处理系统进展》22:2009年第23届神经信息处理体系年会。2009年12月7日至10日在加拿大不列颠哥伦比亚省温哥华举行的会议记录。,第880-888页。Curran Associates,Inc.,2009年。网址:http://papers.nips.cc/paper/3676-potential-based-agnostic-boosting.
  18. Adam Tauman Kalai、Adam R.Klivans、Yishay Mansour和Rocco A.Servedio。不可知地学习半空间。SIAM J.计算。,37(6):1777-1805, 2008. 网址:http://dx.doi.org/10.1137/060649057.
  19. Daniel M.Kane、Adam R.Klivans和Raghu Meka。学习对数压缩密度下的半空间:多项式近似和矩匹配。Shai Shalev-Shwartz和Ingo Steinwart,编辑,COLT 2013-第26届学习理论年会,2013年6月12日至14日,美国新泽西州普林斯顿大学,JMLR研讨会和会议记录第30卷,第522-545页。JMLR.org,2013年。网址:http://jmlr.org/proceedings/papers/v30/Kane13.html.
  20. 亚当·克莱文斯(Adam R.Klivans)、瑞安·奥唐纳(Ryan O'Donnell)和洛科·A·塞韦迪奥(Rocco A.Servedio)。通过高斯曲面学习几何概念。第49届IEEE计算机科学基础年会,2008年10月25-28日,美国宾夕法尼亚州费城,FOCS 2008,第541-550页。IEEE计算机学会,2008年。网址:http://dx.doi.org/10.109/FOCS.2008.64.
  21. Leonard Pitt和Leslie G.Valiant。从示例中学习的计算限制。美国医学杂志,35(4):965-9841988。谷歌学者
  22. Prasad Raghavendra、Satish Rao和Tselil Schramm。强烈驳斥低于谱阈值的随机csp。CoRR,abs/1605.000582016年。谷歌学者
  23. 罗伯特·夏皮雷(Robert E.Schapire)。学习能力薄弱的原因。机器学习,5:197-2271990。网址:http://dx.doi.org/10.1007/BF00116037.
  24. Shai Shalev-Shwartz、Ohad Shamir和Eran Tromer。使用更多数据加快训练时间。Neil D.Lawrence和Mark A.Girolma,编辑,《第十五届国际人工智能与统计会议记录》,AISTATS 2012,加那利群岛拉帕尔马,2012年4月21日至23日,JMLR记录第22卷,第1019-1027页。JMLR.org,2012年。网址:http://jmlr.csail.mit.edu/proceedings/papers/v22/shalev-shwartz12.html.
  25. 萨利尔·瓦丹。关于学习与反驳。学习理论会议,第1835-1848页,2017年。谷歌学者
问题/备注/反馈
X(X)

Dagstuhl出版社反馈


感谢您的反馈!

已提交反馈

无法发送消息

请稍后再试或发送电子邮件