随机凸优化中从低概率到高置信度

Damek Davis、Dmitriy Drusvyatskiy、Lin Xiao、Junyu Zhang。

年份:2021年,数量:22,版本:49,页码:1−38


摘要

随机凸优化中的标准结果限定了算法生成期望函数值较小的点所需的样本数。更精细的高概率保证很少,通常要么依赖于轻尾噪声假设,要么表现出更差的样本复杂性。在这项工作中,我们证明了强凸问题的一类广泛的随机优化算法可以用高置信界进行扩充,但开销代价仅为置信水平的对数和条件数的多对数。我们提出的程序称为proxBoost,它是基本的,基于两个众所周知的成分:稳健的距离估计和近点方法。我们讨论了基于经验风险最小化的流(在线)算法和离线算法的后果。

PDF格式 BibTeX公司