当参数空间具有某种潜在结构时，函数的普通梯度并不代表其最陡峭的方向，而自然梯度则代表其最陡的方向。信息几何用于计算感知器参数空间、矩阵空间（用于盲源分离）和线性动力系统空间（用于盲源反褶积）中的自然梯度。分析了自然梯度在线学习的动力学行为，并证明了其Fisher有效性，这意味着它具有与参数的最优批估计渐近相同的性能。这表明，在多层感知器的反向传播学习算法中出现的平台现象，在使用自然梯度时可能会消失或不那么严重。提出并分析了一种自适应更新学习速率的方法。

问题部分：
第条
此内容仅以PDF格式提供。
©1998麻省理工学院
1998
您当前无权访问此内容。