日尔基·基维宁;曼弗雷德·沃穆特。 线性预测因子的指数梯度与梯度下降。 (英语) Zbl 0872.68158号 Inf.计算。 132,第1期,1-63页(1997年). 总结:我们考虑了两种基于线性模型的在线预测算法。这些算法是众所周知的梯度下降(GD)算法和一种新算法,我们称之为(text{EG}^\pm)。它们都使用简单的更新来维护权重向量。对于GD算法,更新基于减去预测平方误差的梯度。\(\text{EG}^\pm\)算法使用因子指数中的梯度分量,这些因子用于乘法更新权重向量。我们给出了\(\text{EG}^\pm\)的最坏情况损失界限,并将其与GD算法的已知界限进行了比较。界限表明,算法的损失通常是不可比较的,但如果只有输入的几个分量与预测相关,则(\text{EG}^\pm)的损失要小得多。我们进行的实验表明,在简单的人工数据上,我们的最坏情况上限已经很紧了。 引用于57文件 MSC公司: 68T05型 人工智能中的学习和自适应系统 关键词:梯度下降算法;\(\text{EG}^\pm\)算法 PDF格式BibTeX公司 XML格式引用 \textit{J.Kivinen}和\textit{M.K.Warmuth},Inf.Compute。132,第1号,1--63(1997;Zbl 0872.68158) 全文: 内政部 链接