摘要
我们提出了PNKH-B,一种投影Newton-Krylov方法,用于迭代求解具有边界约束的大规模优化问题。PNKH-B适用于函数和梯度评估昂贵的情况,并且(近似)Hessian只能通过矩阵向量乘积获得。这在大规模参数估计、机器学习和图像处理中是常见的情况。在每次迭代中,PNKH-B使用(近似)Hessian的低阶近似值来确定搜索方向并构造投影线搜索中使用的度量。该度量的关键特征是它与Krylov子空间上Hessian的低阶近似的一致性。这使得PNKH-B类似于预测的可变度量方法。我们提出了一种内点法来有效地解决二次投影问题。由于内点法有效地利用了低阶结构,其计算成本仅与变量数成线性关系,只增加了微不足道的计算时间。我们还对PNKH-B的变体进行了实验,这些变体将活动集的估计纳入了Hessian近似。我们证明了在标准假设下全局收敛到一个平稳点。通过三个由参数估计、机器学习和图像重建驱动的数值实验,我们表明,在PNKH-B中一致使用Hessian度量会导致快速收敛,尤其是在前几次迭代中。我们在以下位置提供MATLAB实现https://github.com/EmoryMLIP/PNKH-B。