×
郑三鹏;冯仁忠

一般径向基函数神经网络的一种可变投影方法。 （英语） Zbl 07701091号

申请。数学。计算。 451，文章ID 128009，17 p.（2023）。
变量投影（VP）方法是求解可分离非线性最小二乘（SNLLS）问题的一种经典而有效的方法。通过最小化误差平方和（SSE）来训练只有一个输出神经元的径向基函数神经网络（RBFNN）是一个SNLLS问题，因此将经典的VP方法应用于RBFNN。然而，单输出径向基函数神经网络（ORBFNN）只是RBFNN的一种类型，因此本文提出了一种新的无输出神经元数目限制的广义径向基函数网络（GRBFNN，general radial Bases function neural network）的VP方法。新的VP方法将GRBFNN的SSE最小化问题转化为低维优化问题。我们从理论上证明了低维问题目标函数的驻点集与原目标函数的驻点集等价。此外，维数越低，对新问题初始点的猜测就越少。数值实验表明，在相同的算法下，最小化新目标函数收敛于较少的迭代次数，与最小化原始目标函数相比，训练误差和测试误差都较小。

MSC公司：

90立方厘米 数学编程
65Dxx日 数值近似和计算几何（主要是算法）
65Kxx美元 数学规划、优化和变分技术的数值方法

关键词：

径向基函数神经网络;径向基函数最小二乘;可分离非线性最小二乘;可变投影;形状参数

软件：

UCI-毫升;NEWUOA公司;Matlab公司;格沃
PDF格式BibTeX公司 XML格式引用
\textit{S.Zheng}和\textit{R.Feng}，应用。数学。计算。451，文章ID 128009，17 p.（2023；Zbl 07701091）
全文： 内政部

参考文献：

[1] Park，J。；Sandberg，I.W.，使用径向基函数网络的通用近似，神经计算。，3, 2, 246-257 (1991)
[2] 乔，J。；李，F。；杨，C。；李伟（Li，W.）。；Gu，K.，基于距离集中免疫算法的自组织RBF神经网络，IEEE/CAA J.Autom。罪。，7, 1, 276-291 (2020)
[3] Han，H。；马，M。；乔，J.，RBF神经网络的加速梯度算法，神经计算，441237-247（2021）
[4] Han，H。；周，W。；乔，J。；Feng，G.，一类非线性系统的直接自建神经控制器设计，IEEE Trans。神经网络。学习。系统。，26, 6, 1312-1322 (2015)
[5] 施，X。；Cheng，Y。；尹，C。；黄，X。；钟，S.，不确定非线性系统的RBF神经网络自适应反推动态表面控制方法设计，神经计算，330490-503（2019）
[6] Han，M。；Xi，J.，用于模式识别的径向基感知器神经网络的高效聚类，模式识别。，2005年10月37日至1967年（2004年）
[7] 阿德赫，A。；科尔马利，A。；Golilarz，N.A.，《使用具有新训练算法和实用功能的RBF神经网络进行控制图模式识别》，ISA Trans。，79, 202-216 (2018)
[8] 杨，Z。；穆尔谢德，M。；刘凯。；Xu，X。；Feng，S.，用于短期太阳能发电预测的新型竞争群优化RBF神经网络模型，神经计算，397415-421（2020）
[9] 韩，Y。；风扇，C。；耿，Z。；马，B。；聪，D。；Chen，K。；Yu，B.，使用新型RBF神经网络集成亲和传播的节能建筑围护结构，能源，209，118414（2020）
[10] Golub，G.H。；Pereyra，V.，变量分离的伪逆和非线性最小二乘问题的微分，SIAM J.Numer。分析。，10, 413-432 (1973) ·Zbl 0258.65045号
[11] Luh，L.-T.，形状参数之谜III，应用。计算。哈蒙。分析。，40, 1, 186-199 (2016) ·Zbl 1334.65029号
[12] 冯·R。；Duan，J.，基于RBF插值的高精度有限差分及其在求解微分方程中的应用，J.Sci。计算。，76, 3, 1785-1812 (2018) ·Zbl 1410.65416号
[13] 卡沃雷托，R。；德罗西，A。；Mukhametzhanov，M.S。；谢尔盖耶夫，Y.D.，关于使用单变量全局优化方法搜索径向基函数中的形状参数，J.global Optim。，79, 2, 305-327 (2021) ·Zbl 1470.65012号
[14] 郑S。；冯·R。；Huang，A.，基于径向基函数的最小二乘近似的最佳形状参数，数学，8，11（2020）
[15] 甘，M。；Peng，H.，基于RBF网络的非线性时间序列状态相关自回归模型的稳定性分析，应用。软计算。，12, 1, 174-181 (2012)
[16] 甘，M。；李海霞。；Peng，H.，RBF-ARX模型有效估计的变量投影方法，IEEE Trans。赛博。，45, 3, 462-471 (2015)
[17] 甘，M。；Philip Chen，C.L。；Chen，L。；Zhang，C.Y.，利用RBF-AR模型对非线性时间序列的可解释性和预测能力，国际期刊系统。科学。，47, 8, 1868-1876 (2016) ·Zbl 1335.62132号
[18] 贾伟。；赵，D。；丁，L.，一种基于偏最小二乘和遗传算法的优化RBF神经网络算法，用于小样本分类，应用。软计算。，48373-384（2016）
[19] Ali Etemad，S。；Arya，A.，使用RBF神经网络对人类运动中的风格和情感进行分类和翻译，神经计算，129585-595（2014）
[20] 图像特征检测与描述
[21] Wong，Y。；KahPhooi，S。；Ang，L.-M.，用于人脸识别的带增量学习的径向基函数神经网络，IEEE Trans。系统。人类网络。B部分（控制论），41，41940-949（2011）
[22] 西蒙·G。；Morabito，F.C.，基于RBFNN的导电板孔识别系统，IEEE Trans。神经网络。，12, 6, 1445-1454 (2001)
[23] 霍尔格，W.，《分散数据近似》，剑桥应用和计算数学专著（2004），剑桥大学出版社
[24] Fasshauer，G.E.，《使用Matlab的无网格近似方法》（2007），《世界科学》·Zbl 1123.65001号
[25] 法绍尔，G.E。；Zhang，J.G.，关于为RBF近似选择“最佳”形状参数，Numer。算法，45，1-4，345-368（2007）·Zbl 1127.65009号
[26] Kaufman，L.，解可分离非线性最小二乘问题的变量投影法，BIT，15，1，49-57（1975）·Zbl 0307.65019号
[27] Ruano，A.E.B。；琼斯，D.I。；Fleming，P.J.，神经网络控制器学习问题的新公式，[1991]第30届IEEE决策与控制会议论文集，第1卷，865-866（1991）
[28] Golub，G。；Pereyra，V.，可分离非线性最小二乘法：变量投影法及其应用，逆问题。，19、2、R1-R26（2003）·Zbl 1022.65014号
[29] 刘，X。；Yuan，Y.，关于可分离非线性最小二乘问题，J.Compute。数学。，26, 3, 390-403 (2008) ·Zbl 1174.65021号
[30] O’Leary，D。；Rust，B.，非线性最小二乘问题的变量投影，计算。最佳方案。申请。，54, 3, 579-593 (2013) ·兹比尔1271.90055
[31] Powell，M.J.D.，《无导数无约束优化的NEWUOA软件》，255-297（2006），Springer US:Springer US Boston，MA·Zbl 1108.90005号
[32] Powell，M.J.D.，《无导数最小化NEWUOA的发展》，IMA J.Numer。分析。，28, 4, 649-664 (2008) ·Zbl 1154.65049号
[33] 肯尼迪，J。；Eberhart，R.，粒子群优化，ICNN’95国际神经网络会议论文集，第4卷，1942-1948（1995）
[34] 斯托恩，R。；Price，K.，《差分进化——连续空间上全局优化的一种简单有效的启发式算法》，J.global Optim。，11, 4, 341-359 (1997) ·Zbl 0888.90135号
[35] 米尔贾利利，S。；米尔贾利利，S.M。；Lewis，A.，灰狼优化器，高级工程师软件。，69, 46-61 (2014)
[36] Nocedal，J。；Wright，S.J.，数值优化，斯普林格运筹学和金融工程系列（2006），斯普林格，纽约·Zbl 1104.65059号
[37] Sun，W。；Yuan，Y.-x.，优化理论与方法（2006），Springer:Springer Boston，MA·邮编1129.90002
[38] Beck，A.，《非线性优化导论》（2014），工业和应用数学学会：工业和应用数学家学会，宾夕法尼亚州费城·Zbl 1320.90001号
[39] 甘，M。；Chen，C.L.P。；Chen，G.-Y。；Chen，L.，关于可分离非线性最小二乘问题的一些分离算法，IEEE Trans。赛博。，48, 10, 2866-2874 (2018)
[40] Chen，G.-Y。；甘，M。；王，S。；Chen，C.L.P.，《可分离非线性最小二乘问题算法的见解》，IEEE Trans。图像处理。，30, 1207-1218 (2021)
[41] 神经网络
[42] Han，H.-G。；卢·W。；Hou，Y。；乔，J.-F.，基于PSO的自适应自组织RBF神经网络，IEEE Trans。神经网络。学习。系统。，29, 1, 104-117 (2018)
[43] 胡，Y。；你，J.J。；Liu，J.N.K。；He，T.，基于特征向量的RBFNN快速训练方案中心选择，信息科学。，428, 62-75 (2018)
[44] He，H。；罗，D。；Lee，W。；张，Z。；曹毅。；Lu，T.，基于红外图像特征和RBFNN的非接触式绝缘子污秽等级检测方法，IEEE Trans。Ind.申请。，55, 3, 2455-2463 (2019)
[45] Al-Batah，M.S。；Mat Isa，N.A。；Zamli，K.Z。；Azili，K.A.，用于训练混合多层感知器（HMLP）网络的改进递归最小二乘算法，Appl。软计算。，10, 1, 236-244 (2010)
[46] 谢涛。；Yu，H。；休利特，J。；Rozycki，P。；Wilamowski，B.，训练径向基函数网络的快速高效二阶方法，IEEE Trans。神经网络。学习。系统。，23, 4, 609-619 (2012)
[47] Huang，G.-B。；萨拉昌德兰，P。；Sundararajan，N.，用于函数逼近的广义增长和修剪RBF（GGAP-RBF）神经网络，IEEE Trans。神经网络。，16, 1, 57-67 (2005)
[48] 甘，M。；彭，H。；Dong，X.-p.，非线性时间序列预测用RBF网络结构和参数优化的混合算法，应用。数学。型号。，36, 7, 2911-2919 (2012) ·兹比尔1252.62090
[49] 陈，H。；龚，Y。；Hong，X.，可调RBF网络在线建模，IEEE Trans。赛博。，43, 3, 935-947 (2013)
[50] D.Dua，C.Graff，UCI机器学习库，2017年。
[51] Lampariello，F。；Sciandone，M.，用于模式识别的RBF神经网络的有效训练，IEEE Trans。神经网络。，12, 5, 1235-1242 (2001)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。