×

遗传算法在确定单隐层人工神经网络权重系数中的适用性。 (俄语。英文摘要) Zbl 07823376号

摘要:在人工神经网络的训练中,一个核心问题是与权重系数伪随机初始化相关的权重系数的初始初始化和调整。本文描述了一种基本的遗传算法,以及使用该算法确定权重系数的方法。还提出了一种确定权重系数的组合方法,该方法在第一阶段使用遗传算法进行初始初始化,在第二阶段使用随机梯度下降,本文提出的方法在多个直接传播的人工神经网络上进行了测试,用于对真实数据和合成数据进行二进制分类的各种任务,以及对来自数据库MNIST数据的图像上的手写数字进行明确的多类分类。人工神经网络是基于科尔莫戈洛夫·阿诺德定理构建的。本文对两种确定权重系数的方法进行了比较分析——使用遗传算法和梯度下降法。根据对比分析的结果,可以得出结论,遗传算法既可以作为人工神经网络初始初始化的算法,也可以作为调整权重系数的算法,用于确定权重系数。

MSC公司:

68T99型 人工智能

软件:

RMS公司
PDF格式BibTeX公司 XML格式引用
全文: 内政部 MNR公司

参考文献:

[1] Galkin V.A.、Gavrilenko T.V.、Smorodinov A.D.,“Nekotorye aspekty approksimatsii i interpolyatsii funktsii iskusstvenymi neironymi setyami”,Vestnik KRAUNTs。菲兹-瑙基,38:1(2022),54-73·Zbl 1515.65044号 ·doi:10.26117/2079-6641-2022-38-1-54-73
[2] Holland J.H.,《自然和人工系统的适应:生物学、控制和人工智能应用的介绍性分析》,麻省理工学院出版社,剑桥,1992年
[3] Goldberg D.,搜索、优化和机器学习中的遗传算法,马萨诸塞州Addison-Wesley,1989年·Zbl 0721.68056号
[4] Sholle F.,Glubokoe obuchenie na Python,Piter,SPb,2018年,400页。
[5] Zakharov I.V.,Shushakov A.O.,Zykova S.S.,“基于遗传算法装置的异构信息计算机系统结构的选择”,Intellektualnye tekhnologii na transporte,2022,no.3(31),46-51·doi:10.24412/2413-2527-2022-331-46-51
[6] Bedin D.A.,Ivanov A.G.,“Ispolzovanie geneticheskogo algoritma dlya opredeleniya parameterov-mnogogipoteznogo algoritma-vosstanovleniya traektorii-vozdushnogo-sudna”,XXVI Sankt-Peterburgskaya mezhdunarodnaya-konferentsiya-po integirovannym navigationym sismam,Sbornik materialov,Sankt-Peterburg,27-29 maya 2019 goda,“Kontsern”桑科特-佩特堡“Elektropribor”Tsentralnyi nauchno-issledovatelskii学院,2019年,87-90年
[7] Alkhussain A.Kh.,“Simmetrichnyi algoritm shifrovaniya s pomoschyu geneticheskogo algoritma i generatorov psevdosluchainykh sike”,Estestvennye i tekhnicheskie nauki,2015,第7(85)号,75-81
[8] Stefanyuk V.L.,Alkhussain A.Kh.,“Kriptografiya s simmetrichnym klyuchom s ispolzovaniem geneticheskogo algoritma”,KII-2014,Chetyrnadtsataya natsionalnaya konferentsiya po iskusstvennomu intellektu s mezhdunarodynym uchastiem,V.1,RIT《奇科拉》,哈萨克斯坦,2014,267-275
[9] Trokoz D.A.,“Algoritm mashinnogo obucheniya shirokikh neironnykh setei s ispolzovaniem algebry giperrazmernykh-dvoichnykh vektorov i geneticheskikh algoritmov”,Yuzhno-Sibirskii nauchnyi vestnik,2020年,第6期(34),148-154
[10] Nair V.,Hinton G.E.,“校正线性单元改善受限Boltzmann机器”,第27届国际机器学习会议。,美国Omnipress,2010,807-814
[11] Andrew L.Maas,Awni Y.Hannun,Andrew Y.Ng.,“整流器非线性改善神经网络声学模型”,Proc。ICML,30:1(2013)
[12] Tielman、Tijmen和Hinton,Geoffrey,讲座6.5-rmsprop:用梯度最近大小的运行平均值除以梯度,课程:机器学习的神经网络,2012年
[13] Kolmogorov A.N.,“O predstavelenii nepreryvnykh funktsii neskolkikh peremennykhv vide superpozitsii neprerivnykh funktsii odnogo peremonenogo i slozheniya”,Dokl。AN SSSR,114:5(1957),953-956
[14] Klambauer G.、Unterthiner T.、Mayr A.、Hochreiter S.,“自我规范化神经网络”,《神经信息处理系统进展》,2017年第30期,arXiv:170602515k
[15] 德约克·阿内·克利夫特;Unterthiner,Thomas Hochreiter,《指数线性单位快速准确的深度网络学习》,2015年,arXiv:1511.07289
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。