具有随机梯度的无投影在线优化：从凸性到子模性

Lin Chen、Christopher Harshaw、Hamed Hassani、Amin Karbasi
第35届机器学习国际会议论文集，PMLR 80:814-8232018年。

摘要

在线优化已经成为解决计算约束和部分信息下大规模问题的成功框架。当前的在线凸优化方法需要在每一步进行投影或精确的梯度计算，这两种方法对于大规模应用来说都可能非常昂贵。同时，在机器学习社区中，非凸优化的趋势越来越明显，并且需要在线方法。连续DR-子模函数具有自然递减的收益条件，最近被提出作为一类可以有效优化的非凸函数。虽然引入了在线方法，但它们也存在类似的问题。在这项工作中，我们提出了Meta-Frank-Wolfe，这是第一个使用随机梯度估计的在线无投影算法。该算法依赖于每轮梯度的仔细采样，并实现凸和连续子模块优化的最优$O（\sqrt{T}）$对抗遗憾界。我们还提出了One-Shot-Frank-Wolfe算法，这是一种更简单的算法，它只需要在每一轮中进行一次随机梯度估计，就凸连续子模块优化问题获得了$O（T^{2/3}）$随机后悔界。我们应用我们的方法为在线离散子模块最大化开发了一个新的“提升”框架，并在各种实验中发现它们优于当前最先进的技术。

引用本文

BibTeX公司
@会议记录{pmlr-v80-chen18c，title={带随机梯度的无投影在线优化：从凸到子模}，作者＝{Chen，Lin和Harshaw，Christopher和Hassani，Hamed和Karbasi，Amin}，booktitle={第35届机器学习国际会议论文集}，页数={814--823}，年份={2018年}，editor={Dy，Jennifer和Krause，Andreas}，体积＝{80}，series={机器学习研究论文集}，月={7月10日至15日}，publisher={PMLR}，pdf={http://proceedings.mlr.press/v80/chen18c/chen18c.pdf},url={https://proceedings.mlr.press/v80/chen18c.html},抽象={在线优化是在计算约束和部分信息下解决大规模问题的一个成功框架。当前的在线凸优化方法需要在每一步进行投影或精确的梯度计算，这两种方法对于大规模应用来说都可能非常昂贵。同时随着时间的推移，机器学习社区中非凸优化的趋势越来越明显，对在线方法的需求也越来越大。连续DR-子模函数具有自然递减的收益条件，最近被提出作为一类可以有效优化的非凸函数。虽然引入了在线方法，但它们也存在类似的问题。在这项工作中，我们提出了Meta-Frank-Wolfe，这是第一个使用随机梯度估计的在线无投影算法。该算法依赖于每轮梯度的仔细采样，并实现凸和连续子模块优化的最优$O（\sqrt{T}）$对抗遗憾界。我们还提出了One-Shot-Frank-Wolfe算法，这是一种更简单的算法，它只需要在每一轮中进行一次随机梯度估计，就凸连续子模块优化问题获得了$O（T^{2/3}）$随机后悔界。我们应用我们的方法开发了一个新的“提升”框架，用于在线离散子模最大化，并在各种实验中发现它们优于当前最先进的技术}
尾注
%0会议论文%具有随机梯度的无T投影在线优化：从凸性到子模%阿林晨%克里斯托弗·哈肖%哈米德·哈萨尼%阿明·卡巴西%第35届机器学习国际会议论文集%C机器学习研究进展%2018年D月%E詹妮弗·戴伊%E安德烈亚斯·克劳斯%F pmlr-v80-chen18c型%我PMLR%电话814--823%U型https://proceedings.mlr.press/v80/chen18c.html%80伏%X在线优化是在计算约束和部分信息下解决大规模问题的成功框架。当前的在线凸优化方法需要在每一步进行投影或精确的梯度计算，这两种方法对于大规模应用来说都可能非常昂贵。同时，在机器学习社区中，非凸优化的趋势越来越明显，并且需要在线方法。连续DR-子模函数具有自然递减的收益条件，最近被提出作为一类可以有效优化的非凸函数。虽然引入了在线方法，但它们也存在类似的问题。在这项工作中，我们提出了Meta-Frank-Wolfe，这是第一个使用随机梯度估计的在线无投影算法。该算法依赖于每轮梯度的仔细采样，并实现凸和连续子模块优化的最优$O（\sqrt{T}）$对抗遗憾界。我们还提出了One-Shot-Frank-Wolfe算法，这是一种更简单的算法，它只需要在每一轮中进行一次随机梯度估计，就凸连续子模块优化问题获得了$O（T^{2/3}）$随机后悔界。我们应用我们的方法为在线离散子模块最大化开发了一个新的“提升”框架，并在各种实验中发现它们优于当前最先进的技术。
亚太地区
Chen，L.、Harshaw，C.、Hassani，H.和Karbasi，A.（2018年）。具有随机梯度的无投影在线优化：从凸性到子模性。第35届机器学习国际会议论文集，英寸机器学习研究进展80:814-823可从https://proceedings.mlr.press/v80/chen18c.html。

相关材料