×

具有自适应步长的下降方向随机逼近算法。 (英语) Zbl 1438.62151号

摘要:提出了一种新的自适应步长的随机逼近算法,用于解决噪声环境中的无约束极小化问题。新的自适应步长方案使用固定数量的先前噪声函数值的有序统计作为接受好步长和拒绝坏步长的标准。该方案允许算法以更大的步长移动,并避免与(1/k)成比例的步长,因为预计较大的步长将提高性能。针对一般下降方向,定义了一种新的自适应算法。建立了几乎确定的收敛性。在一组标准测试问题上测试了新算法的性能,并与相关算法进行了比较。数值结果支持理论预期,并验证了算法的效率,无论选择的搜索方向和噪声水平如何。文中还给出了机器学习中出现的问题的数值结果。使用实际数据集考虑线性回归问题。结果表明,该算法是可行的。

MSC公司:

62L20型 随机近似
90立方厘米 随机规划
62J05型 线性回归;混合模型
PDF格式BibTeX公司 XML格式引用
全文: 内政部