文章

免费访问

样本压缩的几何方法

作者:

本杰明·I.P。鲁宾斯坦,

J.海姆鲁宾斯坦作者信息和声明

机器学习研究杂志,体积13,问题1

页1221-1261

出版:2012年4月1日出版历史

PDF格式电子阅读器发布者网站

摘要

四分之一世纪以来，Littlestone&Warmuth的样本压缩猜想一直没有得到解决。虽然可以压缩最大类（满足Sauer引理且相等的概念类），但一般概念类的压缩可以简化为压缩最大类。两种有前途的方法是：将最大类嵌入到最大类中，至多多项式增加到VC维，以及通过操作几何表示进行压缩。本文通过对有限极大类的系统研究，给出了后一种方法的正结果和第一种方法的负结果。双曲空间中超平面的简单排列表示最大类，推广了相应的欧几里德结果。我们证明了在这种排列上扫掠一个泛型超平面形成了一个大小为VC维的无标记压缩方案，并且对应于剥离单包含图的特殊情况，从而解决了Kuzmin&Warmuth最近的一个猜想。在球空间或欧氏空间中，建立了有限极大类与分段线性超平面的某些排列之间的双射。最后，我们证明了R中对应于PL-超平面排列的d-最大类^d日具有与a同胚的立方体复合体d日-球，或具有边界的流形的等价复数。主要结果是PL排列可以被移动超平面扫掠到未标记的d日-压缩任何有限极大类，形成Kuzmin&Warmuth猜想的剥离格式。一个必然结果是d日-最大类不能嵌入到任何VC-维度的最大类中d+k，对于任何常数k个PL扫描的构造涉及单包含图上的Pachner移动，对应于超平面在d日其他超平面。这将众所周知的帕奇纳三角形运动扩展到立方体复合体。

工具书类

[1]

N.阿龙。关于向量集的密度。离散数学, 46(2):199-202, 1983.

[2]

S.Ben-David和A.Litman。Vapnik-Chervonenkis类的组合可变性及其在样本压缩方案中的应用。离散应用数学, 86(1):3-25, 1998.

[3]

A.Blumer、A.Ehrenfeucht、D.Haussler和M.K.Warmuth。可学习性和Vapnik Chervonenkis维度。美国医学会杂志, 36(4):929-965, 1989.

[4]

R.M.达德利。一些Vapnik-Chervonenkis类的结构。编辑L.M.Le Cam和R.A.Olshen，伯克利纪念杰里·内曼会议记录第二卷，第495-507页。华兹华斯，1985年。

[5]

H.埃德尔斯布伦纳。组合几何中的算法，第10卷，共EATCS理论计算机科学专著施普林格出版社，1987年。

[6]

S.弗洛伊德。空间学习和Vapnik-Chervonenkis维度。技术报告TR-89-061，ICSI，加州大学伯克利分校，1989年。

[7]

P.弗兰克尔。关于有限集的迹。组合理论杂志（A）, 34(1):41-45, 1983.

[8]

M.弗里德曼。四维流形的拓扑。微分几何杂志, 17: 357-454, 1982.

[9]

B.Gärtner和E.Welzl。Vapnik-Chervonenkis维数和（伪）超平面排列。离散和计算几何, 12:399-432, 1994.

[10]

D.豪斯勒。布尔子集的球形包装数n个-具有有界Vapnik-Chervonenkis维数的立方体。组合理论杂志（A）, 69:217-232, 1995.

[11]

D.Haussler、N.Littlestone和M.K.Warmuth。在随机绘制的点上预测{0,1}函数。信息与计算, 115(2):284-293, 1994.

[12]

L.Hellerstein，2006年6月28日。个人通讯。

[13]

D.Helmbold、R.Sloan和M.K.Warmuth。学习整数格。SIAM计算机杂志, 21(2):240-266, 1992.

[14]

D.Kuzmin和M.K.Warmuth。最大类的无标签压缩方案。机器学习研究杂志2007年9月8日：2047-2081。

[15]

N.Littestone和M.K.Warmuth。关联数据压缩和可学习性。未发表的手稿网址：http://www.cse.ucsc.edu/~manfred/pubs/lrnk-olivier.pdf，1986年。

[16]

M.Marchand和J.Shawe-Taylor。决策列表机器。在神经信息处理系统的进展15，第921-928页，2003年。

[17]

B.马祖。关于一些可压缩4-流形的注记。数学年刊, 73:221-228, 1961.

[18]

T.内伦。线性预测问题的稀疏解纽约大学博士论文，2006年。

[19]

尤·帕奇纳。Konstruktionsmethoden und das kombinatorische Homöomorphieproblem für Triangulationen kompakter半线性系Mannigfaltigkeiten。（德国）{紧半线性流形三角剖分的构造方法和组合同胚问题}。汉堡大学Abhandlungen aus dem Mathematischen研讨会, 57:69-86, 1987.

[20]

G.佩雷尔曼。某些3流形上Ricci流解的有限消光时间，2002。http://arXiv.org/math.DG/021159v1。

[21]

J·G·拉特克利夫。双曲流形的基础Springer-Verlag，1994年。

[22]

C.Rourke和B.Sanderson。分段线性拓扑简介Springer-Verlag出版社，1982年。

[23]

B.I.P.Rubinstein和J.H.Rubintein。最大类的几何和拓扑表示及其在样本压缩中的应用。在第21届学习理论年会论文集（COLT’08），第299-310页，2008年。

[24]

B.I.P.Rubinstein、P.L.Bartlett和J.H.Rubintein。转移、一元错误界限和紧密的多类预期风险界限。在神经信息处理系统的进展19，第1193-1200页，2007年。

[25]

B.I.P.Rubinstein、P.L.Bartlett和J.H.Rubintein。移位：一包含错误边界和样本压缩。计算机与系统科学杂志：2006年学习理论专刊, 75(1):37-59, 2009.

[26]

N.绍尔。关于集合族的密度。组合理论杂志（A）, 13:145-147, 1972.

[27]

S.谢拉。一个组合问题；无限语言中模型和理论的稳定性和顺序。太平洋数学杂志, 41(1):247-261, 1972.

[28]

S.Smale公司。大于4维的广义Poincaré猜想。数学年刊, 74:391-406, 1961.

[29]

V.N.Vapnik和A.Y.Chervonenkis。关于事件相对频率与其概率的一致收敛性。概率论及其应用, 16(2):264-280, 1971.

[30]

U.von Luxburg、O.Bousquet和B.Schölkopf。支持向量模型选择的压缩方法。机器学习研究杂志, 5:293-323, 2004.

[31]

M.K.Warmuth。压缩到VC维度的多个点。在第十六届学习理论年会论文集, 2003.

[32]

E.韦尔兹尔。完整的射程空间。未发表的笔记，1987年。

引用人

大卫·O莫兰SYehudayoff甲(2016)通过压缩透镜进行统计学习第30届神经信息处理系统国际会议论文集10.5555/3157382.3157410(2792-2800)在线发布日期：2016年12月5日
https://dl.acm.org/doi/10.5555/3157382.3157410
莫兰·SYehudayoff甲(2016)VC类的样本压缩方案美国医学会杂志10.1145/289049063:3(1-10)在线发布日期：2016年6月17日
https://dl.acm.org/doi/10.1145/2890490
达恩斯特M亲吻T西蒙·H齐勒斯S(2016)订单压缩方案理论计算机科学2016年10月10日/j.tcs.2015.10.038620：C(73-90)在线发布日期：2016年3月21日
https://dl.acm.org/doi/10.1016/j.tcs.2015.10.038
显示更多引用者

索引术语

样本压缩的几何方法
1. 计算方法
  1. 机器学习
2. 信息系统
  1. 数据管理系统
    1. 数据结构
      1. 数据布局
        数据压缩
  2. 信息系统应用
    1. 决策支持系统
      1. 专家系统

建议

样本压缩的几何方法

Littlestone和Warmuth的样本压缩猜想已经有四分之一个世纪没有得到解决。虽然最大类（满足Sauer引理且相等的概念类）可以被压缩，但一般概念类的压缩可以减少到。。。
多面体圆锥的内禀体积：一个组合的观点

凸锥内禀体积理论最近在凸优化和压缩传感等领域得到了显著的应用。本文对内禀体积组合理论进行了较全面的阐述。。。
Bruhat阶、光滑Schubert变种和超平面排列

本文的目的是将旗流形中的舒伯特变种与超平面排列联系起来。对于置换，我们构造了一个特定的图形超平面排列。我们证明了这种排列区域的母函数。。。

评论

信息和贡献者

问询处

发布于

封面图片机器学习研究杂志

机器学习研究杂志第13卷第1期

2012年1月

3712页

国际标准编号：1532-4435

EISSN公司：1533-7928

出版商

JMLR.org网站

出版历史

出版：2012年4月1日

在JMLR中发布体积13,问题1

作者标记

限定符

第条

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

5
引文总数
查看引文
102
总下载次数

下载次数（过去12个月）25
下载次数（最近6周）7

反映截至2024年9月22日的下载量

其他指标

查看作者指标

引文

引用人

大卫·O莫兰·SYehudayoff甲(2016)通过压缩透镜进行统计学习第30届神经信息处理系统国际会议论文集10.5555/3157382.3157410(2792-2800)在线发布日期：2016年12月5日
https://dl.acm.org/doi/10.5555/3157382.3157410
莫兰·SYehudayoff甲(2016)VC类的示例压缩方案美国医学会杂志10.1145/289049063:3(1-10)在线发布日期：2016年6月17日
https://dl.acm.org/doi/10.1145/2890490
达恩斯特M亲吻T西蒙·H齐勒斯S(2016)订单压缩方案理论计算机科学2016年10月10日/j.tcs.2015.10.038620：C(73-90)在线发布日期：2016年3月21日
https://dl.acm.org/doi/10.1016/j.tcs.2015.10.038
莫兰·SWarmuth M公司(2016)极值类的标记压缩方案算法学习理论/会议录10.1007/978-3-319-46379-7_3(34-49)在线发布日期：2016年10月19日
https://dl.acm.org/doi/10.1007/978-3-319-46379-7_3
约翰逊H(2014)一些新的最大VC类信息处理信件2016年10月10日/j.ipl.2014.01.006114:6(294-298)在线发布日期：2014年6月1日
https://dl.acm.org/doi/10.1016/j.ipl.2014.01.006

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

媒体

数字

其他

桌子

查看问题目录