×
吕建成;易、张;Tan，K.K。

Oja PCA学习算法在非零逼近自适应学习率下的全局收敛性。 （英语） Zbl 1178.68439号

西奥。计算。科学。 367，第3期，286-307（2006）.
摘要：为了保证Oja主成分分析（PCA）学习算法的全局收敛性，提出了一种非零逼近的自适应学习速率。Oja的PCA学习算法的大多数现有自适应学习率都需要随着学习步长的增加而接近零。然而，由于计算取舍限制和跟踪要求，这在许多应用中并不实用。提出的自适应学习率克服了这一缺点。学习速率收敛到一个正常数，因此随着学习步长的增加，进化速率也随之增加。这与接近零的学习率不同，学习率大大降低了收敛速度，并且随着时间的推移，收敛速度越来越慢。通过研究等效确定性离散时间（DDT）系统的收敛性，详细地给出了Oja算法在所提出的学习率下全局收敛的严格数学证明。进行了大量仿真，以说明和验证所推导的理论。仿真结果表明，这种自适应学习速率更适合Oja的PCA算法用于在线学习。

引用于6文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68瓦05 非数值算法

关键词：

主成分分析;Oja的PCA学习算法;全球收敛;确定性离散时间系统
PDF格式BibTeX公司 XML格式引用
\textit{J.C.Lv}等人，Theor。计算。科学。367，第3号，286--307（2006；Zbl 1178.68439）
全文： 内政部

参考文献：

[1] 阿巴斯，H.M。；Fahmy，M.M.，Karhunen-Loeve变换的神经模型及其在自适应图像压缩中的应用，IEE Proc-一、 140、2、135-143（1993）
[2] Anisse，T。；Gianalvo，C.，反对小成分分析神经元的收敛，IEEE Trans。神经网络，10，1207-210（1999）
[3] Bannour，S。；Azimi-Sadjadi，R.，使用递归最小二乘学习提取主成分，IEEE Trans。神经网络，6，2，457-469（1995）
[4] Chatterjee，C.，第一主特征向量计算的自适应算法，神经网络，18，2，145-159（2005）·Zbl 1076.65034号
[5] 查特吉，C。；康，Z。；Roychowdhury，V.P.，自适应PCA加速收敛算法，IEEE Trans。神经网络，11，2，338-355（2000）
[6] 查特吉，C。；Roychowdhury，V.P。；Chong，E.P.，关于主成分分析算法的相对收敛性，IEEE Trans。神经网络，9，2，319-329（1998）
[7] Chen，T。；华，Y。；Yan，W.，用于主成分提取的Oja子空间算法的全局收敛性，IEEE Trans。神经网络，9，1，58-67（1998）
[8] 陈，H。；Liu，R.W.，用于自适应特征提取的在线无监督学习机，IEEE Trans。电路系统-II：模拟数字信号处理。，41, 2, 87-98 (1994)
[9] Cichocki，A。；Kasprzak，W。；Skarbek，W.，部分数据主成分分析的自适应学习算法，控制论系统，21010-1019（1996）
[10] 西兰西酮，G。；西兰西酮，M。；Hérault，J。；Huffel，S.V.，用于小成分分析的MCA EXIN神经元，IEEE Trans。神经网络，13，1，160-186（2002）
[11] Haykin，S.，《神经网络，综合基金会》（2002年），普伦蒂斯·霍尔公司：普伦蒂斯霍尔公司，新泽西州恩格尔伍德克利夫斯
[12] 霍尼克，K。；Kuan，C.M.，局部特征提取算法的收敛性分析，神经网络，5，229-240（1992）
[13] Jankovic，M.V.，一种新的简单OH神经元模型，作为一种生物可信的主成分分析仪，IEEE Trans。神经网络，14，4853-859（2003）
[14] Kung，S。；Diamantaras，K。；Taur，J.，自适应主成分提取（APEX）和应用，IEEE Trans。信号处理。，42, 5, 1202-1217 (1994)
[15] Möller，R。；Könies，A.，耦合主成分分析，IEEE Trans。神经网络，15，1，214-222（2004）
[16] Oja，E.，作为主成分分析仪的简化神经元模式，J.Math。《生物学》，第15期，第167-273页（1982年）·Zbl 0488.92012号
[17] Oja，E.，主成分、次成分和线性神经网络，神经网络，5927-935（1992）
[18] Oja，E。；Karhunen，J.，关于随机矩阵的特征向量和期望特征值的随机逼近，J.Math。分析。申请。，106, 1, 69-84 (1985) ·Zbl 0583.62077号
[19] 欧阳，S。；包，Z。；Liao，G.S.，用于主成分分析的稳健递归最小二乘学习算法，IEEE Trans。神经网络，11，1，215-221（2000）
[20] 桑格，T.D.，单层线性前馈神经网络中的最优无监督学习，神经网络，2459-473（1989）
[21] 拉斯维加斯，J.M。；Zufiria，P.J.，谱分析的广义神经网络：动力学和Liapunov函数，神经网络，17，2，233-245（2004）·Zbl 1121.68398号
[22] Weingessel，A。；Hornik，K.，局部PCA算法，IEEE Trans。神经网络，11，5，1242-1250（2000）
[23] Yan，W.Y。；赫尔姆克，美国。；Moore，J.B.，神经网络Oja流的全局分析，IEEE Trans。神经网络，5，4674-683（1994）
[24] Yi，Z。；Tan，K.K.，递归神经网络的收敛分析（2004），Kluwer学术出版社：Kluwer-学术出版社Dordrecht·Zbl 1079.68091号
[25] Yi，Z。；Ye，M。；Lv，J.C。；Tan，K.K.，Oja PCA学习算法的确定性离散时间系统的收敛性分析，IEEE Trans。神经网络，16，6，1318-1328（2005）
[26] 余，W。；波兹尼亚克，A.S。；Li，X.，用于非线性系统在线辨识的乘法器动态神经网络，国际。J.Control，74、18、1859-1864（2001）·Zbl 1016.93019号
[27] Zhang，Q.，关于PCA学习算法的离散时间动力学，神经计算，55761-769（2003）
[28] 张，Q。；Bao，Z.，计算与正定矩阵最大特征值相关的特征向量的动力学系统，IEEE Trans。神经网络，6790-791（1995）
[29] 张，Q。；Leund，Y.W.，单位Oja算法的能量函数，IEEE Trans。神经网络，61291-1293（1995）
[30] 张，Q。；Leund，Y.W.，一类用于主成分分析和次成分分析的学习算法，IEEE Trans。神经网络，11，2，529-533（2000）
[31] Zufiria，P.J.，《关于基本希伯来神经网络节点的离散时间动态》，IEEE Trans。神经网络，13，6，1342-1352（2002）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。