具有期望约束的随机凸优化的数据有效可行水平集方法
Qihang Lin、Selvaprabu Nadarajah、Negar Soheili、Tianbao Yang; 21(143):1−45, 2020.
摘要
统计和机器学习、商业和工程中都会遇到带有期望约束的随机凸优化问题（SOEC）。SOEC目标和约束包含针对复杂分布或大型数据集定义的期望，当使用精确函数及其梯度的算法求解时，会导致较高的计算复杂性。最近的随机一阶方法在处理SOEC时显示出较低的计算复杂度，但仅在收敛时保证了近可行性和近最优性。因此，当启发式终止时，由于理论收敛标准高度保守，这些方法可能会返回高度不可行的解，这种情况经常发生。这个问题限制了在SOEC约束编码实现需求的几个应用程序中使用一阶方法。我们为SOEC设计了一种随机可行水平集方法（SFLS），该方法复杂度低，收敛前强调可行性。具体来说，我们的水平集方法通过调用一个新的一阶预言机来解决根查找问题，该预言机通过扩展镜像下降和在线验证技术来计算水平集函数的随机上界。我们建立了SFLS在每个寻根迭代中保持高概率可行解，并且与最先进的确定性可行水平集和随机次梯度方法相比，具有良好的复杂性。三种不同应用的数值实验突出了SFLS如何找到具有较小优化间隙且比前一种方法复杂度更低的可行解。
[腹肌]
[pdf格式][围兜]
