×

线性预测因子的指数梯度与梯度下降。 (英语) Zbl 0872.68158号

总结:我们考虑了两种基于线性模型的在线预测算法。这些算法是众所周知的梯度下降(GD)算法和一种新算法,我们称之为(text{EG}^\pm)。它们都使用简单的更新来维护权重向量。对于GD算法,更新基于减去预测平方误差的梯度。\(\text{EG}^\pm\)算法使用因子指数中的梯度分量,这些因子用于乘法更新权重向量。我们给出了\(\text{EG}^\pm\)的最坏情况损失界限,并将其与GD算法的已知界限进行了比较。界限表明,算法的损失通常是不可比较的,但如果只有输入的几个分量与预测相关,则(\text{EG}^\pm)的损失要小得多。我们进行的实验表明,在简单的人工数据上,我们的最坏情况上限已经很紧了。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接