近最优羊群

尼克·哈维、萨米拉·萨马迪
第27届学习理论会议记录，PMLR 35:1165-11822014年。

摘要

羊群算法是机器学习社区最近感兴趣的一种算法，其动机是在马尔可夫随机场中进行推理。它解决了以下采样问题：给定一个平均值为μ的集合\mathcalX⊂\mathbbR^d，从\mathcalX构造一个无限的点序列，使得对于每t≥1，该序列中前t个点的平均值位于μ的欧几里得距离O（1/t）内。经典的Perceptron有界性定理表明，尽管O（1/t）符号抑制的因子在d中是指数的，但这种结果实际上适用于许多算法。因此，要为采样问题建立一个非平凡的结果，必须仔细分析O（1/t）误差界抑制的因子。本文研究了采样问题可以达到的最佳误差。对Herding算法的已知分析给出了一个误差界，该误差界取决于mathcalX的几何性质，但即使在有利的条件下，这个误差界也线性地依赖于d。我们提出了一种新的多项式时间算法，该算法解决了误差为O\ left（\sqrtd\log^2.5|mathcalX|/t\ right）的采样问题假设\mathcalX是有限的。我们的算法基于文本差异理论中的最新算法结果。我们还证明了采样问题的任何算法都必须有误差Ω（\sqrtd/t）。这意味着我们的算法在对数因子范围内是最优的。

引用本文

BibTeX公司
@会议记录{pmlr-v35-harvey14，title={近最优羊群}，author={哈维、尼克和萨马迪、萨米拉}，booktitle={第27届学习理论会议论文集}，页数={1165--1182}，年份={2014}，editor={Balcan、Maria Florina和Feldman、Vitaly和Szepesvári、Csaba}，体积={35}，series={机器学习研究论文集}，address={西班牙巴塞罗那}，月={13--15日}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v35/harvey14.pdf},url={https://proceedings.mlr.press/v35/harvey14.html},抽象={Herding是机器学习界最近感兴趣的一种算法，由马尔可夫随机场中的推理驱动。它解决了以下抽样问题：给定一个平均值为μ的集\mathcalX⊂\mathbbR^d，从\mathcal X构造一个无限点序列，这样，对于每t≥1，该序列中第一个t点的平均值ce位于μ的欧氏距离O（1/t）内。经典的Perceptron有界性定理表明，尽管O（1/t）符号抑制的因子在d中是指数的，但这种结果实际上适用于许多算法。因此，要为采样问题建立一个非平凡的结果，必须仔细分析O（1/t）误差界抑制的因子。本文研究了采样问题所能达到的最佳误差。对Herding算法的已知分析给出了一个误差界，该误差界取决于mathcalX的几何性质，但即使在有利的条件下，这个误差界也线性地依赖于d。我们提出了一种新的多项式时间算法，该算法解决了误差为O\ left（\sqrtd\log^2.5|mathcalX|/t\ right）的采样问题假设\mathcalX是有限的。我们的算法基于文本差异理论中的最新算法结果。我们还证明了采样问题的任何算法都必须有误差Ω（\sqrtd/t）。这意味着我们的算法在对数因子范围内是最优的。}}
尾注
%0会议论文%T近最优羊群%尼克·哈维%萨米拉·萨马迪%第27届学习理论会议论文集%C机器学习研究进展%2014年D月%E玛丽亚·弗洛里娜·巴尔坎%E维塔利·费尔德曼%E Csaba Szepesvári%F pmlr-v35-harvey14型%我PMLR%电话1165--1182%单位https://proceedings.mlr.press/v35/harve14.html%35伏%X Herding是机器学习社区最近感兴趣的一种算法，其动机是在马尔可夫随机场中进行推理。它解决了以下采样问题：给定一个平均值为μ的集\mathcalX⊂\mathbbR^d，从\mathcal X构造一个无限的点序列，使得对于每t≥1，该序列中第一个t点的平均值位于μ的欧氏距离O（1/t）内。经典的Perceptron有界性定理表明，尽管O（1/t）符号抑制的因子在d中是指数的，但这种结果实际上适用于许多算法。因此，要为采样问题建立一个非平凡的结果，必须仔细分析O（1/t）误差界抑制的因子。本文研究了采样问题可以达到的最佳误差。对Herding算法的已知分析给出了一个误差界，该误差界取决于mathcalX的几何性质，但即使在有利的条件下，这个误差界也线性地依赖于d。我们提出了一种新的多项式时间算法，该算法解决了误差为O\ left（\sqrtd\log^2.5|mathcalX|/t\ right）的采样问题假设\mathcalX是有限的。我们的算法基于文本差异理论中的最新算法结果。我们还证明了采样问题的任何算法都必须有误差Ω（\sqrtd/t）。这意味着我们的算法在对数因子范围内是最优的。
RIS公司
TY-CPAPER公司TI-近最优放牧澳大利亚——尼克·哈维非盟-萨米拉·萨马迪BT-第27届学习理论会议记录DA-2014/05/29ED-玛丽亚·弗洛里娜·巴尔坎ED-维塔利·费尔德曼ED-Csaba SzepesváriID-pmlr-v35-harvey14PB-PMLRDP-机器学习研究进展VL-35第1165页欧洲药典-1182第一层-http://proceedings.mlr.press/v35/harvey14.pdfUR-（欧元）https://proceedings.mlr.press/v35/harvey14.htmlAB-Herding是机器学习社区中最近感兴趣的一种算法，其动机是在马尔可夫随机场中进行推理。它解决了以下采样问题：给定一个平均值为μ的集\mathcalX⊂\mathbbR^d，从\mathcal X构造一个无限的点序列，使得对于每t≥1，该序列中第一个t点的平均值位于μ的欧氏距离O（1/t）内。经典的Perceptron有界性定理表明，尽管O（1/t）符号抑制的因子在d中是指数的，但这种结果实际上适用于许多算法。因此，要为采样问题建立一个非平凡的结果，必须仔细分析O（1/t）误差界抑制的因子。本文研究了采样问题可以达到的最佳误差。对Herding算法的已知分析给出了一个误差界，该误差界取决于mathcalX的几何性质，但即使在有利的条件下，这个误差界也线性地依赖于d。我们提出了一种新的多项式时间算法，该算法解决了误差为O\ left（\sqrtd\log^2.5|mathcalX|/t\ right）的采样问题假设\mathcalX是有限的。我们的算法基于文本差异理论中的最新算法结果。我们还证明了采样问题的任何算法都必须有误差Ω（\sqrtd/t）。这意味着我们的算法在对数因子范围内是最优的。急诊室-
阿帕
Harvey，N.和Samadi，S.（2014年）。近最优放牧。第27届学习理论会议记录，英寸机器学习研究进展35:1165-1182网址：https://proceedings.mlr.press/v35/harvey14.html。

相关材料