×
张炳杰;刘玉松;曹金德;吴淑君;王健

基于Wirter演算框架的全复共轭梯度神经网络：确定性收敛及其应用。 （英语） Zbl 1434.68485号

神经网络。 115, 50-64 (2019).
摘要：共轭梯度法因其记忆要求低、收敛速度快而被证明是一种有效的神经网络训练策略。本文提出了一种利用Wirter微分算子训练全复值网络模型的有效共轭梯度法。采用了两种方法来提高培训绩效。一种是通过设计一个微调共轭系数，在训练过程中构造一个足够的下降方向。另一种技术是在每次迭代中寻求最佳学习速率，而不是使用广义Armijo搜索确定的固定常数。此外，我们严格证明了它的弱收敛和强收敛结果，即目标函数相对于权重的梯度范数随着迭代次数的增加而接近零，并且权重序列趋于最优点。为了验证该方法的有效性和合理性，对典型的回归和分类问题进行了四个仿真。

引用于3文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
92B20型 生物研究、人工生命和相关主题中的神经网络

关键词：

复值神经网络;共轭梯度;Armijo搜索;Wirter演算;汇聚

软件：

OPTIMA公司
PDF格式BibTeX公司 XML格式引用
\textit{B.Zhang}等人，神经网络。115、50-64（2019年；Zbl 1434.68485）
全文： 内政部

参考文献：

[1] Aizenberg，I.，具有多值神经元的复杂值神经网络（2011），海德堡：施普林格·Zbl 1267.68174号
[2] 阿明，M.F。；Murase，K.，用于实际值分类问题的单层复合值神经网络，神经计算，72，4-6，945-955（2009）
[3] Bartholomew-Biggs，M.（工程应用非线性优化方法.工程应用非线性最优化方法，Springer优化及其应用（2008））·Zbl 1167.90001号
[4] Brandwood，D.H.，复梯度算子及其在自适应阵列理论中的应用，IEE Proceedings H-Microwaves，Optics and Antennas，130，11-16（1983）
[5] Cha，I。；Kassam，S.A.，使用自适应复数径向基函数网络的信道均衡，IEEE通信选定领域杂志，13，122-131（1995）
[6] 查克拉波蒂，R。；Pal，N.R.，《使用控制冗余的神经框架进行特征选择》，IEEE神经网络和学习系统汇刊，26，1，35-50（2015）
[7] 陈，S。；X.洪。；Khalaf，E。；Alsaadi，F.E。；Harris，C.J.，复值b样条神经网络及其在hammerstein通信系统迭代频域决策反馈均衡中的应用，（2016年神经网络国际联合会议（2016）），4097-4104
[8] Dong，X.L。；刘洪伟。；Li，X.L。；何玉斌。；Liu，Z.X.，大型无约束问题的修正非单调Hestenes-Stiefel型共轭梯度方法，数值泛函分析与优化，38，39-50（2016）·Zbl 1362.90341号
[9] Dong，X.L。；杨晓明。；黄义勇，带armijo搜索的新共轭梯度法的全局收敛性，河南师范大学学报，43，6，25-29（2015）·Zbl 1349.90778号
[10] 芬克，O。；Zio，E。；Weidmann，U.，用复杂值神经网络预测部件可靠性和退化程度，可靠性工程与系统安全，121198-206（2014）
[11] 弗莱彻，R。；Reeves，C.M.，《共轭梯度函数最小化》，《计算机杂志》，第7期，第149-154页（1964年）·Zbl 0132.11701号
[12] Goodband，J.H。；哈斯，O.C.L。；Mills，J.A.，IGRT在线预测的神经网络方法比较，医学物理，351113-1122（2008）
[13] M.T.哈根。；Demuth，H.B。；Beale，M.H.，神经网络设计（1996），PWS出版社：波士顿PWS出版社
[14] Hestenes，M.R。；Stiefel，E.L.，求解线性系统的共轭梯度法（1952），国家标准局：华盛顿国家标准局·兹比尔0048.09901
[15] Kim，T。；Adali，T.，完全复杂多层感知器的近似，神经计算，151641-1666（2003）·Zbl 1085.68631号
[16] Kreutz-Delgado，K.，《复梯度算子与CR-calculus》，数学，1-74（2009）
[17] 李，H。；Adali，T.，《使用非线性函数的复值自适应信号处理》，EURASIP《信号处理进展杂志》，1-9（2008）·Zbl 1184.94113号
[18] 李，M。；黄，G。；萨拉昌德兰，P。；Sundararajan，N.，《完全复杂极限学习机器》，神经计算，68，306-314（2005）
[19] 李振康。；Zhao，X.H.，基于Bp人工神经网络的无传感器自由空间光学通信波前校正，光学通信，385，219-228（2017）
[20] Liu，Y.S。；黄，H。；黄，T.W。；Qian，X.S.，一种改进的最大扩散算法及其在复值RBF神经网络中的应用，神经计算，216261-267（2016）
[21] 刘，H。；Li，X.Y.，一种改进的hs共轭梯度法，（2011年多媒体技术国际会议（2011）），5699-5702
[22] Lu，C.N。；Wu，H.T。；Vemuri，S.，基于神经网络的短期负荷预测，IEEE电力系统汇刊，8，1，336-342（2002）
[23] 马古拉斯，G.D。；弗拉哈提斯，M.N。；Androulakis，G.S.，可变步长的有效反向传播训练，神经网络，10，69-82（1997）
[24] Mandic，D.P。；Goh，S.L.，《复值非线性自适应滤波器：非圆性、广泛线性和神经模型》（2009），威利·Zbl 1165.94301号
[25] Nait-Charif，H.，模式分类应用中的复杂值神经网络容错，（2010年第二届WRI全球智能系统大会，第3卷（2010）），154-157
[26] 李约瑟，T.，《视觉复杂分析》，《美国数学月刊》，105，195-196（1998）
[27] Nitta，T.，将反向传播算法扩展到复数，神经网络，101391-1415（1997）
[28] Nitta，T.，使用单个复值神经元解决异或问题和对称性检测，神经网络，16，1101-1105（2003）
[29] Nocedal，J。；Wright，S.J.，数值优化（2006），Springer:Springer New York·Zbl 1104.65059号
[30] Novey，M.P.，《使用非线性函数的复杂ica》，IEEE信号处理汇刊，56，9，4536-4544（2008）·兹比尔139094068
[31] 奥尔特加，J.M。；Rheinboldt，W.C.，多变量非线性方程的迭代解，工业和应用数学学会，25347-380（1970）·Zbl 0241.65046号
[32] Papalexopoulos，公元。；Hao，S.Y。；Peng，T.M.，EMS基于神经网络的负荷预测模型的实现，IEEE电力系统交易，1956-1962年9月（1994）
[33] Polak，E。；Ribiere，G.，《共轭方向收敛性注释》，《法国信息与经济评论》，第16期，第35-43页（1969年）·Zbl 0174.48001号
[34] Polyak，B.T.，极值问题中的共轭梯度法，苏联计算数学和数学物理，9，94-112（1969）·Zbl 0229.49023号
[35] Popa，C.A.，复杂值神经网络的标度共轭梯度学习，智能系统与计算进展，378，221-233（2015）
[36] Saini，L.M。；Soni，M.K.，使用共轭梯度法基于人工神经网络的峰值负荷预测，IEEE电力系统汇刊，17907-912（2002）
[37] Savitha，R。；苏雷什，S。；Sundararajan，N.，全复值径向基函数神经网络中的元认知学习，神经计算，241297-1328（2012）
[38] Savitha，R。；苏雷什，S。；Sundararajan，N.，基于投影的快速学习全复值松弛神经网络，IEEE神经网络和学习系统汇刊，24，4，529-541（2013）
[39] 孙庆云。；Liu，X.H.，一种新的具有广义armijo步长规则的三项共轭梯度法的全局收敛性结果，《数值数学》，26，25-36（2004）·Zbl 1495.65037号
[40] Tanaka，G.，《复杂值神经网络：进展与应用》，IEEE计算智能杂志，8，2，77-79（2013）·Zbl 1388.68009号
[41] UCI机器学习库。访问时间：2018年。[在线]。可用：http://archive.ics.uci.edu/ml/；UCI机器学习库。访问时间：2018年。[在线]。可用：http://archive.ics.uci.edu/ml/
[42] Van，D.B.A.，《复梯度与黑森》，IEE视觉、图像与信号处理进展，141380-383（1994）
[43] 万，Z。；胡，C。；Yang，Z.，基于改进线搜索、离散和连续动力系统的非凸优化问题的谱PRP共轭梯度法。B系列，16，1157-1169（2017）·Zbl 1229.90209号
[44] Wang，美联社。；Chen，Z.，改进的HS共轭梯度法在wolfe型线搜索下的全局收敛性，安徽大学学报，2150-156（2015）
[45] Wang，J。；Wu，W。；Zurada，J.M.，前馈神经网络共轭梯度法的确定收敛性，神经计算，742368-2376（2011）
[46] Wang，J。；Yang，G.L。；张伯杰。；孙志强。；Liu，Y.S。；Wang，J.C.，Caputo型分数阶复值神经网络的收敛性分析，IEEE Access，514560-14571（2017）
[47] Wang，J。；张伯杰。；孙志强。；郝伟新（Hao，W.X.）。；Sun，Q.Y.，一种用于前馈神经网络有效训练的新共轭梯度法，神经计算，275308-316（2018）
[48] 王，B。；朱秋霞，半马尔可夫切换随机系统的稳定性分析，自动机，94,72-80（2018）·Zbl 1400.93325号
[49] Wirtinger，W.，Zur formalen theory der funktionen von mehr komplexen veränderlichen，Mathematicsche Annalen，97357-375（1927年）
[50] 夏，Y。；杰夫斯，B。；M.M.V.赫尔。；普林西比，J.C。；Mandic，D.P.，用于复杂非圆信号非线性自适应滤波的增强回波状态网络，IEEE神经网络汇刊，22，74-83（2011）
[51] 谢磊，基于BP神经网络的热负荷预测模型——马尔科夫模型，神经计算与应用，107，296-300（2017）
[52] 徐博士。；张，H.S。；Mandic，D.P.，全复值神经网络增强算法的收敛性分析，神经网络，69，44-50（2015）·Zbl 1401.68271号
[53] 袁，G。；Wei，Z.，非光滑凸优化问题的非单调线搜索修正PRP共轭梯度算法，应用数学与计算杂志，51397-412（2016）·Zbl 1352.65159号
[54] 张，H.S。；刘晓东。；徐博士。；张毅，基于维特纳演算的全复杂反向传播算法的收敛性分析，认知神经动力学，8，3，261-266（2014）
[55] 张，S.C。；Xia，Y.S.，求解复杂二次规划问题的两种快速复值算法，IEEE控制论汇刊，46，12，2837-2847（2016）
[56] 张，S.C。；Xia，Y.S.，用复值迭代法求解复变量实函数的非线性优化问题，IEEE控制论汇刊，48，1，277-287（2018）
[57] 张，H.S。；徐博士。；Zhang，Y.，带动量和惩罚的分裂复数反向传播算法的有界性和收敛性，神经处理函（2014）
[58] 张，H.S。；张，C。；Wu，W.，复值神经网络批分解-复反向传播算法的收敛性，《自然与社会中的离散动力学》，1-16（2009）·Zbl 1183.68513号
[59] 赵振中。；徐庆生。；贾明平，基于改进的混合蛙跳算法的BP神经网络及其在轴承早期故障诊断中的应用，神经计算与应用，27，375-385（2016）
[60] 朱庆霞，带lvy噪声的随机时滞微分方程的稳定性分析，《系统与控制快报》，11862-68（2018）·Zbl 1402.93260号
[61] 朱庆霞。；Wang，H.，具有未知控制系数和未知输出函数的随机前馈系统的输出反馈镇定，Automatica，87，166-175（2018）·Zbl 1378.93141号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。