×
尹法良;李伟国;张凯;王健;尼基尔·R·帕尔。

伪逆与迭代投影：新的学习方法及其在广泛学习系统中的应用。 （英语） Zbl 07752515号

信息科学。 649，文章ID 119648，20 p.（2023）.
摘要：广义学习系统（BLS）以其简洁的结构和基于伪逆岭回归逼近的高效增量学习而受到广泛关注。然而，由于大型矩阵的逆运算，BLS在处理复杂问题和训练大型网络时，面临着昂贵的计算成本和高内存使用率。已经有一些尝试解决此问题。在这项工作中，我们试图通过最先进的随机迭代最小二乘解算器来提高计算效率。首先，我们改进了随机扩展Kaczmarz（REK）的迭代方式，然后提出了无伪逆的迭代投影学习训练BLS。迭代投影学习适用于离线和在线学习场景，可以通过增量学习调整模型结构。由于其期望最小范数的线性收敛性，所得到的模型有望在不需要额外正则化过程的情况下具有更好的泛化能力。我们的模型在增量学习过程中保持了稳定的性能。此外，我们提出了一种带离散算子的进化双层规划（EBP）方法来代替网格搜索，以进一步优化网络结构的超参数。数值实验表明，与基于伪逆和网格搜索的方法相比，该方法可以提高效率、鲁棒性和泛化能力。

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

广泛的学习系统;增量学习;卡兹马茨法;最小二乘估计;超参数优化

软件：

JStatCom公司;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{F.Yin}等人，《信息科学》。649，文章ID 119648，20 p.（2023；Zbl 07752515）
全文： 内政部

参考文献：

[1] Chen，C.L.P。；Liu，Z.，《广泛学习系统：无需深层架构的高效增量学习系统》，IEEE神经网络和学习系统汇刊，29，1，10-24（2018）
[2] 陈，C.L.P。；刘，Z。；Feng，S.，广义学习系统的通用逼近能力及其结构变化，IEEE神经网络和学习系统汇刊，30，4，1191-1204（2019）
[3] 刘，D。；巴尔迪，S。；于伟（Yu，W.）。；曹，J。；Huang，W.，《通过广泛学习结构训练交通预测员：基准研究》，IEEE系统、人与控制论汇刊：系统，52，2，749-758（2022）
[4] Pao，Y。；Takefuji，Y.，《功能链接网络计算：理论、系统架构和功能》，《计算机》，25，5，76-79（1992）
[5] Pao，Y.-H。；公园，G.-H。；Sobajic，D.J.，随机向量函数链网络的学习和泛化特征，神经计算，6，2，163-180（1994）
[6] 伊格尔尼克，B。；Yoh-Han，P.，自适应函数逼近和函数链接网络中基函数的随机选择，IEEE神经网络学报，6，6，1320-1329（1995）
[7] 龚，X。；张，T。；Chen，C.L.P。；Liu，Z.，《广义学习系统研究综述：算法、理论和应用》，IEEE控制论汇刊，99，2021，1-29（2021）
[8] Wu，S。；Wang，J。；Sun，H。；张凯。；Pal，N.R.，广义学习系统的分数近似，IEEE控制论汇刊，1-14（2022）
[9] Zhang，L.，《广义学习系统的分析与变体》，IEEE系统、人与控制论汇刊：系统，992020，1-11（2020）
[10] 刘，D。；巴尔迪，S。；于伟（Yu，W.）。；Chen，C.L.P.，具有增量特征的广义学习的混合递归实现，IEEE神经网络和学习系统汇刊，33，4，1650-1662（2022）
[11] F.Yang，“基于CNN的广泛学习系统”，2018年IEEE第四届计算机与通信国际会议（ICCC），2018年12月7日至10日，第2105-2109页，10.1109/CompComm.2018.8780984。
[12] 冯（Q.Feng）。；刘，Z。；Chen，C.L.P.，用于高维数据表示学习的广度和深度神经网络，信息科学，599，127-146（2022）
[13] 徐，M。；Han，M。；Chen，C.L.P。；Qiu，T.，用于时间序列预测的递归广义学习系统，IEEE控制论汇刊，50，41405-1417（2020）
[14] Feng，S。；Chen，C.L.P.，《模糊广义学习系统：回归和分类的新型神经模糊模型》，IEEE控制论汇刊，50，2，414-424（2020）
[15] Feng，S。；陈，C.L.P。；徐，L。；Liu，Z.，《模糊广义学习系统的精确性与复杂性权衡》，IEEE模糊系统汇刊，992020，1（2020）
[16] 胡，X。；魏，X。；高，Y。；刘，H。；朱，L.，变分期望最大化关注广义学习系统，信息科学，608597-612（2022）
[17] 风扇，W。；Si、Y。；杨伟（Yang，W.）。；Sun，M.，针对不平衡心跳分类的特定类别加权广义学习系统，信息科学，610，525-548（2022）
[18] 刘，L。；蔡，L。；刘，T。；Philip Chen，C.L。；Tang，X.，Cauchy正则化广义学习系统用于噪声数据回归，信息科学，603210-221（2022）
[19] Jin，J.等人。；李毅。；Yang，T。；赵，L。；Duan，J。；Philip Chen，C.L.，区分群体-部分性约束的视觉识别广义学习系统，信息科学，576800-818（2021）
[20] Kaczmarz，S.，Angenäherte Auflsung von Systemen Linearer Gleichungen，《科学与通讯国际公报》，35，355-357（1937）·Zbl 0017.31703号
[21] 戈登，R。；Bender，R。；Herman，G.T.，三维电子显微镜和X射线摄影的代数重建技术（ART），理论生物学杂志，29，3，471-481（1970）
[22] Herman，G.T.，《计算机层析成像基础：投影图像重建》（2009），施普林格-弗拉格：施普林格-Dordrecht出版社，荷兰·Zbl 1280.92002年
[23] Herman，G.T。；Meyer，L.B.，代数重建技术可实现高效计算（正电子发射断层成像应用），IEEE医学成像学报，12，3，600-609（1993）
[24] Feichtinger，H。；岑克，C。；Mayer，M。；施泰尔，H。；Strohmer，T.，使用有限余维仿射子空间的POCS方法的新变体，应用于不规则采样，Proc。SPIE:视觉通信和图像处理，1992年11月1日，1992年，299-310（1818）
[25] 斯特罗默，T。；Vershynin，R.，《指数收敛的随机Kaczmarz算法》，《傅里叶分析与应用杂志》，第15、2、262页（2008年）·Zbl 1169.68052号
[26] Zouzias，A。；Freris，N.，《解最小二乘的随机扩展Kaczmarz》，SIAM矩阵分析与应用杂志，34，2，773-793（2012）·Zbl 1273.65053号
[27] Leonides，C.T.，《控制与动态系统V18：理论与应用进展》（2012），爱思唯尔：荷兰阿姆斯特丹
[28] Ben-Israel，A。；Greville，T.，《广义逆：理论与应用》（1974），威利出版社，美国纽约州威利出版社·Zbl 0305.15001号
[29] 甘，M。；Zhu，H.T。；陈，G.Y。；Chen，C.L.P.，广义学习系统加权广义交叉验证正则化，IEEE控制论汇刊，992020，1-9（2020）
[30] Jin，J。；刘，Z。；Chen，C.L.P.，“用于图像识别的判别图正则化广义学习系统”，《科学中国》，信息科学，61，11，第112209页，（2018）
[31] Jin，J。；Philip Chen，C.L.，《不确定数据建模的正则化稳健广义学习系统》，神经计算，32258-69（2018）
[32] 马，A。；Needell，D。；Ramdas，A.，随机扩展Gauss-Seidel和Kaczmarz方法的收敛性，SIAM矩阵分析与应用杂志，36，4，1590-1604（2015）·兹比尔1327.65112
[33] Needell，D.，噪声线性系统的随机Kaczmarz解算器，BIT数值数学，50，2395-403（2010）·Zbl 1195.65038号
[34] Dumitrescu，B.，《关于随机扩展Kaczmarz算法与坐标下降的关系》，BIT数值数学，55，4，1005-1015（2015）·Zbl 1332.65056号
[35] 王，X。；张，B。；Wang，J。；张凯。；Jin，Y.，“基于集群的竞争性粒子群优化算法与稀疏截断算子用于多目标优化”，《群，进化计算》，71，第101083页，（2022）
[36] 王，X。；张凯。；Wang，J。；Jin，Y.，一种用于大规模多目标优化的具有强凸稀疏算子的增强竞争群优化算法，IEEE进化计算汇刊，26，5，859-871（2022）
[37] P.K.V.Storn R M.“差分进化——一种简单有效的连续空间全局优化自适应方案”，国际计算机科学研究所，技术报告，美国伯克利，TR95-012。1995
[38] 价格，S.R.M.K.V。；Lampinen，J.A.，《差异进化：全局优化的实用方法》（自然计算系列）（2005），（Springer-Verlag）：（Springer-Verla格）美国纽约
[39] A.亚松森和D.纽曼。“加州大学欧文分校机器学习知识库”，加利福尼亚大学欧文信息与计算机科学学院。http://archive.ics.uci.edu/ml/index.php（2021年访问）。
[40] J.Alcala-Fedez、A.Fernández、J.Luengo、J.Derrac和S.GarcíA，“KEEL数据挖掘软件工具：数据集存储库，算法和实验分析框架的集成”，多值逻辑与软计算，第17卷，第255-287页，2011年1月1日。
[41] C.L.P.CHEN、Z.Liu、S.Feng和J.Jin。“广泛的学习系统。”https://broadlearning.ai/download_code（网址：https://broadlearning.ai/dowsnload_ccode）/（2021年访问）。
[42] Takagi，T。；Sugeno，M.，系统的模糊识别及其在建模和控制中的应用，IEEE系统、人和控制论汇刊，第SMC-15卷，第1期，116-132（1985）·Zbl 0576.93021号
[43] P.Angelov和R.Yager，“使用非参数先行项和相对数据密度的简化模糊规则系统”，2011年4月11日至15日，2011年IEEE进化和自适应智能系统研讨会，第62-69页，10.1109/EAIS.2011.5945926。
[44] Wang，J。；Chang，Q。；高，T。；张凯。；Pal，N.R.，Takagi-Sugeno模糊神经网络的敏感性分析，信息科学，582725-749（2022）
[45] 薛，G。；Chang，Q。；Wang，J。；张凯。；Pal，N.R.，一种集成特征选择和规则提取的自适应神经模糊系统，用于高维分类问题，IEEE模糊系统汇刊，31，7，2167-2181（2023）
[46] 薛，G。；Wang，J。；袁，B。；Dai，C.，“DG-ALETSK：同时进行特征选择和规则提取的高维模糊方法”，IEEE模糊系统汇刊，1-15（2023）
[47] 薛，G。；Wang，J。；张，B。；袁，B。；Dai，C.，用于同时特征选择和规则提取的基于双门组的Takagi-Sugeno-Kang（DG-TSK）模糊系统，模糊集与系统，469，第108627页，（2023）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。