跳到主要内容
10.1145/2897518.2897520acm会议文章/章节视图摘要出版物页面斯托克会议记录会议集合
研究论文

学习半空间的复杂性理论局限

出版:2016年6月19日出版历史

摘要

我们研究了Q^nX{-1,1}上由固定但未知分布D定义的不可知学习半空间问题。我们将Err_H(D)定义为D的半空间分类器的最小误差。能够访问D的学习者必须返回一个假设,该假设的误差与Err_H(D)相比较小。

使用最近开发的Daniely、Linial和Shalev-Shwartz方法,我们证明了在随机K-XOR公式难以(强烈)反驳的情况下,学习结果的困难性。我们证明,即使在保证Err_H(D)<=eta(任意小常数eta>0)以及D在布尔立方体中得到支持的情况下,也没有有效的学习算法具有非平凡的最坏情况性能。也就是说,即使在这些有利的条件下,对于每一个c>0,也很难返回一个误差<=1/2-n^{-c}的假设。特别是,没有一种有效的算法可以实现恒定的近似比。在更强的假设下(K可以是n中的多项式),对于任意小的nu>0,我们可以取eta=2^{-log^{1-nu}(n)}。这些结果大大改善了先前已知的结果,这些结果只显示了精确学习的难度。

工具书类

  1. M.Alekhnovich(阿列克诺维奇)。更多平均情况与近似复杂性。2003年,《计算机科学基础》。诉讼程序。第44届IEEE年会,第298-307页。IEEE,2003年。谷歌学者谷歌学者数字图书馆数字图书馆
  2. M.Alekhnovich、S.Arora和I.Tourlakis。向强非逼近性发展导致了lovász-schrijver层次结构。在第三十七届ACM计算理论研讨会的会议记录中,第294-303页。ACM,2005年。谷歌学者谷歌学者数字图书馆数字图书馆
  3. S.Allen、R.O'Donnell和D.Witmer。如何反驳随机csp?FOCS,2015年。谷歌学者谷歌学者数字图书馆数字图书馆
  4. E.Amaldi和V.Kann。线性系统中最小化非零变量或未满足关系的逼近性。理论计算机科学,209(1):237–2601998。谷歌学者谷歌学者数字图书馆数字图书馆
  5. E.Amaldi和V.Kann。线性系统中最小化非零变量或未满足关系的逼近性。1998年,理论计算机科学。谷歌学者谷歌学者数字图书馆数字图书馆
  6. B.Applebaum、B.Barak和A.Wigderson。不同假设下的公钥加密。STOC,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  7. B.阿普勒鲍姆、B.巴拉克和D.肖。基于最坏情况假设的学习下限。《计算机科学基础》,2008年。FOCS’08年。IEEE第49届IEEE年会,第211-220页。IEEE,2008年。谷歌学者谷歌学者数字图书馆数字图书馆
  8. S.Arora、L.Babai、J.Stern和Z.Sweedyk。格、代码和线性方程组中近似最优的难易程度。《计算机科学基础》,1993年。诉讼程序。,第34届年度研讨会,第724-733页。IEEE,1993年。谷歌学者谷歌学者数字图书馆数字图书馆
  9. J.Aspnes、R.Beigel、M.Furst和S.Rudich。投票多项式的表达能力。组合数学,14(2):135–1481994。谷歌学者谷歌学者交叉引用交叉引用
  10. P.Awasthi、M.-F.Balcan和P.Long。有效学习带噪声线性分离器的定位能力。在STOC,2014年。谷歌学者谷歌学者交叉引用交叉引用
  11. B.Barak、G.Kindler和D.Steurer。关于平均情形和广义约束满足的半定松弛的最优性。ITCS编辑R.D.Kleinberg,第197-214页,2013年。谷歌学者谷歌学者数字图书馆数字图书馆
  12. B.巴拉克和A.莫伊特拉。张量预测、雷达复杂度和随机3异或。在Arxiv预印本Arxiv:1501.06521 v22015中。谷歌学者谷歌学者
  13. P.Beame、R.Karp、T.Pitassi和M.Saks。随机k-cnf公式不可满足性证明的复杂性。在第三十届ACM计算理论研讨会的会议记录中,第561-571页。ACM,1998年。谷歌学者谷歌学者数字图书馆数字图书馆
  14. P.Beame和T.Pitassi。简化并改进了分辨率下限。《计算机科学基础》,1996年。诉讼程序。,第37届年度研讨会,第274–282页。IEEE,1996年。谷歌学者谷歌学者数字图书馆数字图书馆
  15. R.Beigel、N.Reingold和D.Spielman。感知器反击。《复杂性理论会议的结构》,1991年,第六届年会论文集,第286-291页。电气与电子工程师协会。谷歌学者谷歌学者
  16. S.Ben-David、N.Eiron和P.Long。关于协议近似最大化的困难。在JCSS,2003年。谷歌学者谷歌学者数字图书馆数字图书馆
  17. S.Ben-David、D.Loker、N.Srebro和K.Sridharan。使用替代凸损失最小化误分类率。ICML,2012年。谷歌学者谷歌学者
  18. E.本·萨森。证明复杂性的扩展。在希伯来大学。Citeser,2001年。谷歌学者谷歌学者
  19. E.Ben-Sasson和A.Wigderson。简短的证明是狭义的,一种简化的a’Tresolution。在第三十一届ACM计算机理论年会的会议记录中,第517-526页。ACM,1999年。谷歌学者谷歌学者数字图书馆数字图书馆
  20. E.Blais、R.O'Donnell和K.Wimmer。任意乘积分布下的多项式回归。在COLT,2008年。谷歌学者谷歌学者
  21. A.Blum、M.Furst、J.Jackson、M.Kearns、Y.Mansour和S.Rudich。弱学习dnf和利用傅里叶分析表征统计查询学习。第二十六届ACM计算理论研讨会论文集,第253-262页。ACM,1994年。谷歌学者谷歌学者数字图书馆数字图书馆
  22. A.Blum、A.Kalai和H.Wasserman。容错学习、奇偶问题和统计查询模型。美国医学会杂志(JACM),50(4):506–5192003。谷歌学者谷歌学者数字图书馆数字图书馆
  23. N.Bshouty和L.Burroughs。最大化协议和合作学习。2006年,《理论计算机科学》。谷歌学者谷歌学者数字图书馆数字图书馆
  24. J.Buresh-Openheim、N.Galesi、S.Hoory、A.Magen和T.Pitassi。切割平面程序的秩界和完整性缺口。2003年,《计算机科学基础》。诉讼程序。第44届IEEE年会,第318-327页。IEEE,2003年。谷歌学者谷歌学者数字图书馆数字图书馆
  25. A.Coja-Oghlan、C.Cooper和A.Frieze。一个有效的稀疏正则性概念。SIAM离散数学杂志,23(4):2000–20342010。谷歌学者谷歌学者交叉引用交叉引用
  26. A.Coja-Oghlan、A.Goerdt和A.Lanka。随机k-sat的强反驳启发式。在逼近、随机化和组合优化中。算法和技术,第310-321页。斯普林格,2004年。谷歌学者谷歌学者
  27. C.Cortes和V.Vapnik。支持向量网络。机器学习,20(3):273–2971995年9月。谷歌学者谷歌学者数字图书馆数字图书馆
  28. N.克里斯蒂亚尼尼和J.肖-泰勒。支持向量机简介。剑桥大学出版社,2000年。谷歌学者谷歌学者数字图书馆数字图书馆
  29. N.克里斯蒂亚尼尼和J.肖-泰勒。模式分析的核心方法。剑桥大学出版社,2004年。谷歌学者谷歌学者数字图书馆数字图书馆
  30. A.丹尼尔。不可知论学习半空间的pta。COLT,2015年。谷歌学者谷歌学者
  31. A.Daniely、N.Linial和S.Shalev-Shwartz。在稀疏向量上学习半空间时,更多数据可以加快训练时间。NIPS,2013年。谷歌学者谷歌学者
  32. A.Daniely、N.Linial和S.Shalev-Shwartz。使用广义线性方法学习半空间的复杂性。COLT,2014年。谷歌学者谷歌学者
  33. A.Daniely、N.Linial和S.Shalev-Shwartz。从平均案例复杂性到不当学习复杂性。STOC,2014年。谷歌学者谷歌学者数字图书馆数字图书馆
  34. A.Daniely和S.Shalev Shwartz。复杂性理论对学习dnf的限制。在Arxiv预印本Arxiv:1404.3378 v12014中。谷歌学者谷歌学者
  35. M.Davis、G.Logemann和D.Loveland。用于理论证明的机器程序。ACM通讯,5(7):394–3971962。谷歌学者谷歌学者数字图书馆数字图书馆
  36. U.菲戈。平均案例复杂度和近似复杂度之间的关系。第三十届ACM计算机理论研讨会论文集,第534-543页。ACM,2002年。谷歌学者谷歌学者数字图书馆数字图书馆
  37. U.Feige和E.Ofek。大型随机3cnf公式的容易反驳的子公式。在Automata中,语言和编程,第519-530页。斯普林格,2004年。谷歌学者谷歌学者
  38. V.Feldman、P.Gopalan、S.Khot和A.Ponnuswami。学习有噪奇偶校验和半空间的新结果。2006年第47届IEEE计算机科学基础年会论文集。谷歌学者谷歌学者数字图书馆数字图书馆
  39. V.Feldman、W.Perkins和S.Vempala。关于随机可满足问题的复杂性。STOC,2015年。谷歌学者谷歌学者数字图书馆数字图书馆
  40. Y.Freund和R.Schapire。在线学习的决策理论推广及其在助推中的应用。在EUROCOLT中,第23-37页。Springer-Verlag,1995年。谷歌学者谷歌学者数字图书馆数字图书馆
  41. V.Guruswami和P.Raghavendra。带噪声学习半空间的困难。《第47届计算机科学基础会议论文集》(FOCS),2006年。谷歌学者谷歌学者数字图书馆数字图书馆
  42. A.哈肯。难以解决的问题。理论计算机科学,39:297-3081985。谷歌学者谷歌学者交叉引用交叉引用
  43. J.H˚astad公司。一些最佳不可接近性结果。美国医学会杂志(JACM),48(4):798–8592001。谷歌学者谷歌学者数字图书馆数字图书馆
  44. A.Kalai、A.Klivans、Y.Mansour和R.Servedio。不可知地学习半空间。2005年,《第46届计算机科学基础会议论文集》。谷歌学者谷歌学者数字图书馆数字图书馆
  45. A.T.Kalai、A.R.Klivans、Y.Mansour和R.A.Servedio。不可知地学习半空间。SIAM计算机杂志,37(6):1777–18052008。谷歌学者谷歌学者数字图书馆数字图书馆
  46. R.M.卡普。组合问题之间的可还原性。R.E.Miller和J.W.Thatcher主编,《计算机计算的复杂性》,第85-103页。Plenum出版社,1972年。谷歌学者谷歌学者
  47. M.卡恩斯。从统计查询中进行高效的噪声容忍学习。STOC,第392-401页,1993年。谷歌学者谷歌学者数字图书馆数字图书馆
  48. M.Kearns和M.Li.在恶意错误中学习。SIAM计算机杂志,22(4):807–8371993年8月。谷歌学者谷歌学者数字图书馆数字图书馆
  49. M.Kearns和L.G.Valiant。学习布尔公式和有限自动机的密码限制。在STOC中,第433-444页,1989年5月。谷歌学者谷歌学者数字图书馆数字图书馆
  50. A.Klivan和P.Kothari。在高斯空间中嵌入困难的学习问题。2014年,随机。谷歌学者谷歌学者
  51. A.R.Klivans和A.A.Shertov。学习半空间交集的密码学难度。FOCS,2006年。谷歌学者谷歌学者数字图书馆数字图书馆
  52. N.Linial和Z.Luria.Chernoff不等式——一个非常基本的证明。Arxiv预印本Arxiv:1403.7739 v2014。谷歌学者谷歌学者
  53. P.Long和R.Servedio。学习带有更多恶意噪声的大边缘半空间。NIPS,2011年。谷歌学者谷歌学者
  54. L.Pitt和L.Valiant。从示例中学习的计算限制。计算机协会杂志,35(4):965–9841988年10月。谷歌学者谷歌学者数字图书馆数字图书馆
  55. F.罗森布拉特。感知器:大脑中信息存储和组织的概率模型。《心理评论》,65:386–4071958年。(转载于《神经计算》(麻省理工学院出版社,1988年)。)。谷歌学者谷歌学者数字图书馆数字图书馆
  56. F.罗森布拉特。神经动力学原理。斯巴达,纽约,1962年。谷歌学者谷歌学者
  57. R.夏皮雷。弱可学性的力量。在FOCS中,第28-33页,1989年10月。谷歌学者谷歌学者数字图书馆数字图书馆
  58. R.E.Schapire和Y.Freund。推进:基础和算法。麻省理工学院出版社,2012年。谷歌学者谷歌学者交叉引用交叉引用
  59. G.斯科内贝克。某些k-csp的线性水平lasserr下限。《计算机科学基础》,2008年。聚焦2008。IEEE第49届IEEE年会,第593-602页。IEEE,2008年。谷歌学者谷歌学者数字图书馆数字图书馆
  60. B.Schölkopf和A.J.Smola。使用内核学习:支持向量机、正则化、优化及其他。麻省理工学院出版社,2002年。谷歌学者谷歌学者数字图书馆数字图书馆
  61. V.N.Vapnik。统计学习理论。威利,1998年。谷歌学者谷歌学者数字图书馆数字图书馆

索引术语

  1. 学习半空间的复杂性理论局限

    建议

    评论

    登录选项

    检查您是否可以通过登录凭据或您的机构访问本文。

    登录

    完全访问权限

    • 发布于

      封面图片ACM会议
      STOC’16:第四十八届ACM计算理论年会论文集
      2016年6月
      1141页
      国际标准图书编号:9781450341325
      内政部:10.1145/2897518

      版权所有©2016 ACM

      如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。向请求权限[电子邮件保护]

      出版商

      计算机协会

      美国纽约州纽约市

      出版历史

      • 出版:2016年6月19日

      权限

      请求有关此文章的权限。

      请求权限

      检查更新

      限定符

      • 研究论文

      接受率

      总体验收率1,469属于4,586提交文件,32%

      即将召开的会议

      STOC’24
      第56届ACM计算理论年会(STOC 2024)
      2024年6月24日至28日
      温哥华,不列颠哥伦比亚省,加拿大

    PDF格式

    以PDF文件查看或下载。

    PDF格式

    电子阅读器

    使用eReader联机查看。

    电子阅读器