通过反驳进行不当学习 学习布尔值函数类的样本复杂性正是由其Rademacher复杂性表征的。然而,这与有效的不可知论学习的样本复杂性关系不大。我们引入了反驳复杂性,这是布尔概念类的Rademacher复杂性的一种自然计算模拟,并表明它准确表征了有效不可知学习的样本复杂性。非正式地,C类的反驳复杂性是有效区分标签与C(结构)某些成员的评估相关的情况和标签是i.i.d.Rademacher随机变量(噪声)的情况所需的最小示例-标签对数。这种关系的简单方向在Daniely和合著者的错误PAC学习下限的最新框架中被隐含使用,这与驳斥随机约束满足问题的难度有关。我们的工作可以被视为使不可知论学习和他们工作中隐含的反驳之间的关系明确等价。在最近的一项独立研究中,Salil Vadhan发现在可实现(即无噪音)情况下,反驳和PAC学习之间存在类似的关系。 学习理论 计算学习 55:1-55:10 普通纸张 Pravesh K。 科塔里 Pravesh K.Kothari公司 Roi公司 利夫尼 罗伊·利夫尼 10.4230/LIPIcs公司。2018年5月 莎拉·艾伦、瑞安·奥唐纳和大卫·维特默。如何反驳随机CSP。2015年IEEE第56届计算机科学基础年度研讨会-FOCS 2015,第689-708页。IEEE计算机协会,加利福尼亚州洛斯阿拉米托斯,2015年。 波阿斯·巴拉克和安库尔·莫伊特拉。张量预测、雷达复杂度和随机3异或。CoRR,abs/1501.065212015年。 Peter L.Bartlett和Shahar Mendelson。Rademacher和高斯复杂性:风险边界和结构结果。机器学习研究杂志,3:463-482002。网址:http://www.jmlr.org/papers/v3/bartlett02a.html。 http://www.jmlr.org/papers/v3/bartlett02a.html 昆汀·伯赛特(Quentin Berthet)和菲利普·里格利特(Philippe Rigollet)。稀疏PCA的计算下限。CoRR,abs/1304.0828,2013年。 文卡特·钱德拉塞卡兰和迈克尔·乔丹。通过凸松弛进行计算和统计权衡。美国国家科学院院刊,110(13):E1181-E119012013。网址:http://dx.doi.org/10.1073/pnas.1302293110。 http://dx.doi.org/10.1073/pnas.1302293110 阿米特·丹尼尔(Amit Daniely)。复杂性理论对学习半空间的限制。Daniel Wichs和Yishay Mansour编辑,《第48届ACM SIGACT计算机理论研讨会论文集》,STOC 2016,美国马萨诸塞州剑桥,2016年6月18日至21日,第105-117页。ACM,2016年。网址:http://dx.doi.org/10.1145/2897518.2897520。 http://dx.doi.org/10.1145/2897518.2897520 阿米特·丹尼尔(Amit Daniely)、纳蒂·利尼尔(Nati Linial)和谢·沙列夫·施瓦茨(Shai Shalev-Shwartz)。在稀疏向量上学习半空间时,更多数据可以加快训练时间。在NIPS中,第145-153页,2013年。 阿米特·丹尼尔(Amit Daniely)、纳蒂·利尼尔(Nati Linial)和谢·沙列夫·施瓦茨(Shai Shalev-Shwartz)。从平均案例复杂性到不当学习复杂性。在STOC中,第441-448页。ACM,2014年。 阿米特·丹尼尔(Amit Daniely)、纳蒂·利尼尔(Nati Linial)和谢·沙列夫·施瓦茨(Shai Shalev-Shwartz)。从平均案例复杂性到不当学习复杂性。第四十六届ACM计算理论研讨会论文集,第441-448页。ACM,2014年。 阿米特·丹尼尔和谢·沙列夫·施瓦茨。复杂性理论对学习dnf的限制。在COLT中,第815-830页,2016年。 斯科特·迪凯特(Scott E.Decatur)、奥德·戈尔德雷奇(Oded Goldreich)和达娜·罗恩(Dana Ron)。计算样本复杂性。SIAM J.计算。,29(3):854-879, 1999. 乌列尔·菲戈。平均案例复杂度和近似复杂度之间的关系。在John H.Reif,编辑,《第34届ACM计算理论年度研讨会论文集》,2002年5月19-21日,加拿大魁北克省蒙特利尔,第534-543页。ACM,2002年。网址:http://dx.doi.org/10.1145/509907.509985。 http://dx.doi.org/10.1145/509907.509985 乌列尔·菲戈。拒绝平滑3cnf公式。在FOCS中,第407-417页。IEEE计算机学会,2007年。 维塔利·费尔德曼。特定于分销的不可知论助推。2010年1月5日至7日,中国北京清华大学,《计算机科学创新-ICS 2010》编辑Andrew Chi-Chih Yao。会议记录,第241-250页。清华大学出版社,2010年。网址:http://conference.its.tsinghua.edu.cn/ICS2010/content/papers/20.html。 http://conference.its.tsinghua.edu.cn/ICS2010/content/papers/20.html Yoav Freund和Robert E Schapire。在线学习的决策理论推广及其在助推中的应用。在欧洲计算学习理论会议上,第23-37页。斯普林格,1995年。 奥德·戈德雷奇(Oded Goldreich)、沙菲·戈德瓦瑟(Shafi Goldwasser)和达娜·罗恩(Dana Ron)。属性测试及其与学习和近似的联系。美国医学杂志,45(4):653-750,1998年。 亚当·卡莱和瓦伦·卡纳德。基于潜力的不可知增强。Yoshua Bengio、Dale Schuurmans、John D.Lafferty、Christopher K.I.Williams和Aron Culotta,编辑,《神经信息处理系统进展》22:2009年第23届神经信息处理体系年会。2009年12月7日至10日在加拿大不列颠哥伦比亚省温哥华举行的会议记录。,第880-888页。Curran Associates,Inc.,2009年。网址:http://papers.nips.cc/paper/3676-potential-based-agnostic-boosting。 http://papers.nips.cc/paper/3676-potential-based-agnostic-boosting Adam Tauman Kalai、Adam R.Klivans、Yishay Mansour和Rocco A.Servedio。不可知地学习半空间。SIAM J.计算。,37(6):1777-1805, 2008. 网址:http://dx.doi.org/10.1137/060649057。 http://dx.doi.org/10.1137/060649057 Daniel M.Kane、Adam R.Klivans和Raghu Meka。学习对数压缩密度下的半空间:多项式近似和矩匹配。Shai Shalev Shwartz和Ingo Steinwart,编辑,COLT 2013-第26届学习理论年会,2013年6月12日至14日,美国新泽西州普林斯顿大学,JMLR研讨会和会议论文集第30卷,第522-545页。JMLR.org,2013年。网址:http://jmlr.org/proceedings/papers/v30/Kane13.html。 http://jmlr.org/proceedings/papers/v30/Kane13.html 亚当·克莱文斯(Adam R.Klivans)、瑞安·奥唐纳(Ryan O'Donnell)和洛科·A·塞韦迪奥(Rocco A.Servedio)。通过高斯曲面学习几何概念。在第49届IEEE计算机科学基础年度研讨会上,FOCS 2008,2008年10月25-28日,美国宾夕法尼亚州费城,第541-550页。IEEE计算机学会,2008年。网址:http://dx.doi.org/10.109/FOCS.2008.64。 http://dx.doi.org/10.109/FOCS.2008.64 莱昂纳德·皮特和莱斯利·瓦利安特。从示例中学习的计算限制。美国医学杂志,35(4):965-9841988。 Prasad Raghavendra、Satish Rao和Tselil Schramm。强烈驳斥低于光谱阈值的随机csp。CoRR,abs/1605.000582016年。 罗伯特·夏皮雷(Robert E.Schapire)。弱可学性的力量。机器学习,5:197-2271990。网址:http://dx.doi.org/10.1007/BF00116037。 http://dx.doi.org/10.1007/BF00116037 Shai Shalev-Shwartz、Ohad Shamir和Eran Tromer。使用更多数据加快训练时间。Neil D.Lawrence和Mark A.Girolma,编辑,《第十五届国际人工智能与统计会议记录》,AISTATS 2012,加那利群岛拉帕尔马,2012年4月21日至23日,JMLR记录第22卷,第1019-1027页。JMLR.org,2012年。网址:http://jmlr.csail.mit.edu/proceedings/papers/v22/shalev-shwartz12.html。 http://jmlr.csail.mit.edu/proceedings/papers/v22/shalev-shwartz12.html 萨利尔·瓦丹。关于学习与反驳。学习理论会议,第1835-1848页,2017年。 Creative Commons Attribution 3.0未出口许可证 https://creativecommons.org/licenses/by/3.0/legalcode