马尔科·博雷斯塔;托马索·科伦坡;阿尔贝托·德·桑蒂斯;斯特凡诺·卢西迪 梯度近似的混合有限差分格式。 （英语） Zbl 1500.90068号 J.优化。理论应用。 194，编号1，1-24（2022）. 作者专注于定义函数梯度的近似版本的线性泛函。这些泛函通常用于处理目标函数梯度的计算代价高昂或目标函数值受某些噪声影响的优化问题。这些泛函最近被认为是通过方向空间中函数变化的期望值来估计目标函数的梯度。然后，通过在积分域中适当（随机）选择样本方向的样本平均值来近似估计期望值。这样，近似误差的特征是样本平均估计值的统计特性，通常是其方差。因此，虽然可以用函数求值的数量来表示误差方差的有用且有吸引力的界限，但对于单个实验的误差来说，没有什么可以说是相当大的。这项工作的目的是推导近似梯度的线性泛函的近似方案，在无噪声数据的情况下，其近似误差可以用确定性的观点来表征。前面提到的线性泛函不再被认为是方向空间上的期望值，而是被认为是高斯核对目标函数的滤波导数。通过使用这种新方法，提出了一种基于不同步长中心有限差分的适当线性组合的梯度估计，并计算了不依赖于所考虑的点的特定样本的确定界。另一方面，在噪声环境下，该方法的估计误差方差严格小于中心差分格式的估计误差。在一组具有重要基准的测试函数上进行的数值实验令人鼓舞，与文献中常用的一些方法相比，显示出良好的性能，在噪声环境中也如此。审核人：Paulo Mbunga（基尔） MSC公司： 90立方 非线性规划 90摄氏52度 减少梯度类型的方法 65千5 数值数学规划方法 关键词：梯度近似;过滤导数;无导数优化 软件：轨道 PDF格式BibTeX公司 XML格式引用 \textit{M.Boresta}等人，J.Optim。理论应用。194，编号1，1-24（2022；兹bl 1500.90068） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] 阿特金森，KE，《数值分析导论》（2008），纽约：威利出版社，纽约 [2] Balasubramanian，K.，Ghadimi，S.：零阶非凸随机优化：处理约束、高维和鞍点。计算数学基础第1-42页（2021年） [3] Berahas，A.S.，Cao，L.，Choromanski，K.，Scheinberg，K.：在无导数优化中，线性插值比高斯平滑提供更好的梯度。arXiv预印arXiv:1905.13043（2019） [4] Berahas，A.S.，Cao，L.，Choromanski，K.，Scheinberg，K.：无导数优化中梯度近似的理论和经验比较。计算数学基础，第1-54页（2021年）·Zbl 1493.90233号 [5] Boyd，JP，Chebyshev和Fourier谱方法（2001），柏林：Springer，柏林·Zbl 0994.65128号 [6] 连接器，AR；Scheinberg，K。；维森特，LN，无导数优化中插值集的几何，数学。程序。，111, 1-2, 141-172 (2008) ·Zbl 1163.90022号 [7] Cramér，H.，《统计的数学方法》（1999），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0985.62001号 [8] Fazel，M.，Ge，R.，Kakade，S.，Mesbahi，M.：线性二次调节器政策梯度方法的全局收敛性。摘自：机器学习国际会议，第1467-1476页。PMLR（2018） [9] Flaxman，A.D.，Kalai，A.T.，McMahan，H.B.：强盗设置中的在线凸优化：无梯度的梯度下降。arXiv:0408.007（2004）·Zbl 1297.90117号 [10] Gel'fand，I.M.，Shilov，G.E.：广义函数，第2卷：基本函数和广义函数空间，第261卷。美国数学学会（2016） [11] 科尔达，TG；刘易斯，RM；Torczon，V.，《直接搜索优化：一些经典和现代方法的新视角》，SIAM Rev.，45，3，385-482（2003）·Zbl 1059.90146号 ·doi:10.1137/S003614450242889 [12] Larson，J。；Menickelly，M。；Wild，SM，无导数优化方法，Acta Numer。，28, 287-404 (2019) ·Zbl 1461.65169号 ·doi:10.1017/S0962492919000060 [13] 内斯特罗夫，Y。；Spokoiny，V.，凸函数的随机无梯度最小化，Found。计算。数学。，17527-566（2017）·Zbl 1380.90220号 ·doi:10.1007/s10208-015-9296-2 [14] Nocedal，J.，Wright，S.J.：序列二次规划。数字。最佳方案。第529-562页（2006年） [15] Polyak，BT，《优化导论》（1987），纽约：公司，出版部，纽约·Zbl 0708.90083号 [16] Salimans，T.、Ho，J.、Chen，X.、Sidor，S.、Sutskever，I.：进化策略作为强化学习的可扩展替代方案。arXiv预印arXiv:1703.03864（2017） [17] Schittkowski，K.，《非线性编程代码的更多测试示例》（2012），柏林：施普林格出版社，柏林·Zbl 0658.90060号 [18] Shi，H.J.M.，Xuan，M.Q.，Oztoprak，F.，Nocedal，J.：基于有限差分近似的无导数优化方法的数值性能。arXiv预打印arXiv:2102.09762（2021） [19] 野生，山猫；瑞吉斯，RG；Shoemaker，CA，《Orbit:通过信任区域中的径向基函数插值进行优化》，SIAM J.Sci。计算。，30, 6, 3197-3219 (2008) ·Zbl 1178.65065号 ·数字对象标识代码：10.1137/070691814 [20] Ziemer，WP，《弱可微函数：Sobolev空间和有界变分函数》（2012），柏林：施普林格出版社，柏林·Zbl 0692.46022号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。