摘要
研究了多元凸回归函数的非参数最小二乘估计(LSE)。LSE是一个具有O(n²)线性约束的二次规划的解(n是样本量),对于大型问题很难计算。利用问题特定结构,我们提出了一个基于增广拉格朗日方法的可扩展算法框架来计算LSE。我们提出了一种新的方法来获得拟合(分段仿射)凸LSE的光滑凸逼近,并给出了逼近质量的形式界。当样本数与预测器维数相比不太大时,我们提出了一种正则化方案——Lipschitz凸回归,其中我们约束了次梯度的范数,并研究了所得LSE的收敛速度。我们的算法框架简单灵活,可以很容易地适应处理变量:估计一个非递减/非递增凸/凹(有或没有Lipschitz界)函数。我们对所提出算法的可扩展性进行了数值研究,在某些情况下,与n=500的非自助内部点求解器相比,我们的建议在运行时提高了10000倍以上。关键词:增广拉格朗日法;Lipschitz凸回归;非参数最小二乘估计;可伸缩二次规划;光滑凸回归
引用
Mazumder,Rahul等人“多元凸回归及其变体的计算框架”。《美国统计协会杂志》(2018年1月):1-14©2018美国统计协会
版本:原稿