PNKH-B公司 swMATH ID: 40451 软件作者: Kan,Kelvin;Fung、Samy Wu;拉斯·鲁索托 描述: PNKH-B:用于大规模有界约束优化的投影Newton-Krylov方法。我们提出了PNKH-B,一种投影Newton-Krylov方法,用于迭代求解具有边界约束的大规模优化问题。PNKH-B适用于函数和梯度评估昂贵的情况,并且(近似)Hessian只能通过矩阵向量乘积获得。这在大规模参数估计、机器学习和图像处理中是常见的情况。在每次迭代中,PNKH-B使用(近似)Hessian的低阶近似值来确定搜索方向并构造投影线搜索中使用的度量。度量的关键特征是它与Krylov子空间上Hessian的低秩近似的一致性。这使得PNKH-B类似于预测的可变度量方法。我们提出了一种内点法来有效地解决二次投影问题。由于内点法有效地利用了低阶结构,其计算成本仅与变量数成线性关系,只增加了微不足道的计算时间。我们还对PNKH-B的变体进行了实验,这些变体将活动集的估计纳入了Hessian近似。在标准假设下,我们证明了全局收敛到一个稳定点。通过三个由参数估计、机器学习和图像重建驱动的数值实验,我们表明,在PNKH-B中一致使用Hessian度量会导致快速收敛,尤其是在前几次迭代中。我们在url中提供了MATLAB实现{https://github.com/EmoryMLIP/PNKH-B}. 主页: https://arxiv.org/abs/2005.13639 源代码: https://github.com/EmoryMLIP/PNKH-B 依赖项: Matlab语言 关键词: 有界约束优化;投影Newton-Krylov方法;大规模优化;机器学习;参数估计 相关软件: ADMM-Softmax软件;ODL公司;Deep Adverserial正则化器;LoDoPaB-CT公司;相位提升;亚当;PyTorch公司;github;ISTA-Net公司;电子静态学习;阿里斯塔;火炬差异;掌中宽带;Wasserstein甘;OT流量;熵SGD;t-SNE公司;IR工具;AIR工具;正则化工具 引用于: 4文件 标准条款 1出版物描述软件,包括1出版物在zbMATH中 年份 PNKH-B:用于大规模有界约束优化的投影Newton-Krylov方法。 Zbl 07418126号凯文·坎;冯萨米·吴;拉斯·鲁索托 2021 全部的 前5名12位作者引用 三 冯萨米·吴 2 霍华德·希顿 2 尹沃涛 1 阿维夫·吉巴利 1 Kan,Kelvin K。 1 Lin、Alex Tong 1 娄亦菲 1 詹姆斯·杰拉德·纳吉 1 斯坦利·乔尔·奥斯尔 1 拉斯·鲁索托 1 陶敏 1 王超 4篇连载文章中引用 1 SIAM科学计算杂志 1 SIAM成像科学杂志 1 SIAM数据科学数学杂志 1 科学与工程不动点理论与算法 全部的 前5名在8个字段中引用 三 数值分析(65-XX) 2 计算机科学(68至XX) 2 生物学和其他自然科学(92-XX) 1 算子理论(47-XX) 1 变分法与最优控制;最优化(49至XX) 1 一般拓扑结构(54至XX) 1 运筹学、数学规划(90-XX) 1 信息与通信理论、电路(94-XX) 按年份列出的引文