研究论文

开放式访问

SPENSER：卷积尖峰神经网络的神经进化方法

作者:

恩里克布兰基纽,

努诺卢伦索、和

埃内斯托科斯塔作者信息和声明

GECCO’23伴侣：遗传和进化计算伴侣会议记录

2023年7月

页2115-2122

https://doi.org/10.1145/3583133.3596399

出版:2023年7月24日出版历史记录

PDF格式电子阅读器

摘要

尖峰神经网络（SNN）由于其能量效率和生物合理性，最近引起了人们的兴趣。然而，SNN的性能仍然落后于传统的人工神经网络（ANN），因为对于SNN的最佳学习算法还没有达成共识。最佳性能的SNN是基于ANN到SNN的转换或通过代理梯度利用基于尖峰的反向传播进行学习。最近的研究重点是开发和测试不同的学习策略，以及手动架构和参数调整。神经进化（NE）已被证明是一种成功的自动设计ANN和调整参数的方法，但其在SNN中的应用仍处于早期阶段。DENSER是一个用于自动设计和参数化ANN的NE框架，基于遗传算法（GA）和结构化语法进化（SGE）的原理。本文提出了一种基于DENSER的SNN生成NE框架SPENSER，用于MNIST和Fashion-MNIST数据集上的图像分类。SPENSER生成具有竞争力的网络，测试准确率分别为99.42%和91.65%。

工具书类

[1]

菲利佩·阿桑桑奥、努诺·卢伦索、佩努萨尔·马查多和伯纳黛特·里贝罗。2019.DENSER：深度进化网络结构表示。遗传编程与进化机器20, 1 (2019), 5--35.

数字图书馆

[2]

菲利佩·阿桑桑奥、努诺·卢伦索、伯纳黛特·里贝罗和佩努萨尔·马查多。2021.快速传感器：快速深层进化网络结构表示。软件X14 (2021), 100694.

[3]

托马斯·巴克和汉斯·鲍尔·施维费尔。1993。参数优化进化算法概述。进化计算1, 1 (1993), 1--23.

[4]

Alejandro Baldominos、Yago Saez和Pedro Isasi。2020年。关于神经网络的自动化进化设计：过去、现在和未来。神经计算与应用32 (2020), 519--545.

[5]

Sander M Bohte、Joost N Kok和Han La Poutre。2002.尖峰神经元的时间编码网络中的错误反向传播。神经计算48, 1--4 (2002), 17--37.

[6]

程翔、郝云哲、徐嘉明和徐波。2021.LISNN：改进带有横向交互的尖峰神经网络，以实现稳健的目标识别。在第二十届国际人工智能联合会议论文集。1519--1525.

[7]

石匡登和石谷。2021年。传统人工神经网络到尖峰神经网络的优化转换。在学习代表国际会议。

[8]

彼得·迪尔和马修·库克。2015.使用峰值时间依赖性可塑性进行数字识别的无监督学习。计算神经科学前沿9 (2015), 99.

[9]

Sangya Dutta、Vinay Kumar、Aditya Shukla、Nihar R Mohapatra和Udayan Ganguly。2017.浮体MOSFET中通过充放电动力学的泄漏集成和激发神经元。科学报告7, 1 (2017), 8257.

[10]

丹尼尔·埃尔布雷希特和凯瑟琳·舒曼。2020年。使用合成模式生成网络的尖峰神经网络的神经进化。在2020年神经形态系统国际会议（ICONS 2020）美国纽约州纽约市计算机协会，1-5。

[11]

Jason K.Eshraghian、Max Ward、Emre Neftci、Xinxin Wang、Gregor Lenz、Girish Dwivedi、Mohammed Bennamoun、Doo Seok Jeong和Wei D.Lu.2022。利用深度学习的经验教训训练峰值神经网络。arXiv:2109.12894[cs]。

[12]

魏芳、于兆飞、陈艳琪、蒂莫塞·马斯奎利埃、黄铁军和田永红。2021.合并可学习的膜时间常数以增强尖峰神经网络的学习。在IEEE/CVF计算机视觉国际会议论文集。2661--2671.

[13]

A.L.Hodgkin和A.F.Huxley。膜电流的定量描述及其在神经传导和兴奋中的应用。生理学杂志117、4（1952年8月）、500-544。

[14]

David H Hubel和Torsten N Wiesel。1962.猫视觉皮层的感受野、双眼交互和功能结构。生理学杂志160, 1 (1962), 106.

[15]

Dongsung Huh和Terrence J Sejnowski。2018年，峰值神经网络的梯度下降。神经信息处理系统研究进展31 (2018).

[16]

埃里克·亨斯伯格（Eric Hunsberger）和克里斯·埃利亚史密斯（Chris Eliasmith）。2015年，利用LIF神经元建立深部网络。arXiv预打印arXiv:1510.08829(2015).

[17]

尤金·米奇科维奇（Eugene M Izhikevich）。2003.尖峰神经元的简单模型。IEEE神经网络汇刊14, 6 (2003), 1569--1572.

数字图书馆

[18]

江春明和张艺蕾。2023.KLIF：用于调节替代梯度斜率和膜电位的优化尖峰神经元单元。arXiv预打印arXiv:2302.09238(2023).

[19]

Youngeun Kim、Yuhang Li、Hyongseob Park、Yeshwanth Venkatesha和Priyadarshini Panda。2022.尖峰神经网络的神经架构搜索。arXiv:2201.10355[cs，eess]。

[20]

Katarzyna Kozdon和Peter Bentley。2018.使用Hebbian学习的Spiking神经网络训练参数的演变。在2018年ALIFE：2018年人工生命大会。麻省理工学院出版社，276-283。

[21]

Alex Krizhevsky、Geoffrey Hinton等人，2009年。从微小图像中学习多层特征。(2009).

[22]

路易斯·拉皮克。1907.重新研究激发电势下的量子化。生理与病理杂志9 (1907), 620--635.

[23]

Yann LeCun、Yoshua Bengio和Geoffrey Hinton。2015年，深度学习。自然521, 7553 (2015), 436--444.

[24]

Yann LeCun、Leon Bottou、Yoshua Bengio和Patrick Haffner。1998年，基于梯度的学习应用于文档识别。程序。美国电气工程师协会86, 11 (1998), 2278--2324.

[25]

Eimantas Lediunuskas、Julius Ruseckas、Alfonsas Juršñnas和Giedrius Buračas。2020年。训练深度峰值神经网络。arXiv预打印arXiv:2006.04436(2020).

[26]

Lyle Long和Guoliang Fang。2010年，《尖峰神经网络生物合理性神经元模型综述》。在美国汽车协会Infotech@航空航天 2010.美国航空航天研究所，佐治亚州亚特兰大。

[27]

努诺·卢伦索、菲利佩·阿桑桑奥、弗朗西斯科·佩雷拉、埃内斯托·科斯塔和佩努萨尔·马查多。2018年。结构化语法演变：动态方法。在语法演变手册。施普林格，137-161。

[28]

努诺·卢伦索、弗朗西斯科·佩雷拉和埃内斯托·科斯塔。2015.SGE：语法演变的结构化表示。在人工进化国际会议施普林格，136-148。

[29]

Sen Lu和Abhronil Sengupta。2022.神经进化引导的混合尖峰神经网络训练。神经科学前沿16（2022年4月），838523。

[30]

G.López-Vázquez、M.Ornelas-Rodriguez、A.Espinal、J.A.Soria-Alcaraz、A.Rojas-Domínguez、H.J.Puga-Soberanes、J.M.Carpio和H.Rostro-Gonzalez。2019.用于解决监督分类问题的进化尖峰神经网络。计算智能与神经科学2019年（2019年3月），e4182639。出版商：欣达维。

[31]

沃尔夫冈·马斯。1997年，尖峰神经元网络：第三代神经网络模型。神经网络10，9（1997年12月），1659-1671。

[32]

Byunggook Na、Jisoo Mok、Seongsik Park、Dongjin Lee、Hyeokjun Choe和Sungroh Yoon。2022.AutoSNN：迈向能效尖峰神经网络。在第39届机器学习国际会议论文集。PMLR，16253--16269。

[33]

Emre O Neftci、Hesham Mostafa和Friedemann Zenke。2019.峰值神经网络中的替代梯度学习：将基于梯度的优化能力引入峰值神经网络。IEEE信号处理杂志36, 6 (2019), 51--63.

[34]

Joao D Nunes、Marcelo Carvalho、Diogo Carneiro和Jaime S Cardoso。2022.峰值神经网络：一项调查。IEEE接入10 (2022), 60738--60764.

[35]

David Patterson、Joseph Gonzalez、Quoc Le、Chen Liang、Lluis-Mikel Munguia、Daniel Rothchild、David So、Maud Texier和Jeff Dean。2021.碳排放和大型神经网络培训。arXiv预打印arXiv:2104.10350(2021).

[36]

Bodo Rueckauer、Iulia Alexandra Lungu、Yuhuang Hu、Michael Pfeiffer和Shih-Chii Liu。2017.将连续值深层网络转换为有效的事件驱动网络，用于图像分类。神经科学前沿11 (2017), 682.

[37]

凯瑟琳·舒曼（Catherine D Schuman）、J帕克·米切尔（J Parker Mitchell）、罗伯特·巴顿（Robert M Patton）、托马斯·波托克（Thomas E Potok）和詹姆斯·普朗克（James S Plank）。2020年。神经形态系统的进化优化。在神经启发计算元素研讨会论文集。1--9.

数字图书馆

[38]

Sumit B Shrestha和Garrick Orchard。2018.杀手：及时重新分配尖峰层错误。神经信息处理系统研究进展31 (2018).

[39]

S.N.Sivanandam和S.N.Deepa。2007遗传算法导论。

[40]

Kenneth O Stanley、David B D’Ambrosio和Jason Gauci。2009.用于进化大规模神经网络的超立方体编码。人工生命15, 2 (2009), 185--212.

[41]

保罗·维尔博斯（Paul J Werbos）。1990.通过时间的反向传播：它做什么和如何做。程序。美国电气工程师协会78, 10 (1990), 1550--1560.

[42]

Han Xiao、Kashif Rasul和Roland Vollgraf。2017.Fashion-mnist：一个用于基准机器学习算法的新型图像数据集。arXiv预打印arXiv:1708.07747(2017).

[43]

张文瑞和李鹏，2019年。用于训练深度递归尖峰神经网络的尖峰训练级反向传播。神经信息处理系统研究进展32 (2019).

索引术语

SPENSER：卷积尖峰神经网络的神经进化方法
1. 计算方法
  1. 人工智能
    1. 计算机视觉
  2. 机器学习
    1. 机器学习方法
      1. 神经网络
2. 计算理论
  1. 算法的设计和分析
    1. 数学优化
      1. 离散优化
        随机搜索启发式优化
        进化算法
  2. 形式语言与自动机理论
    1. 语法和上下文无关语言

建议

受突触逆行信号启发的人工神经网络中的稀疏脉冲和突发脉冲

大脑中普遍存在动作电位爆发和活动稀疏的现象。尽管这些活动模式的功能尚待了解，但预计它们在信息处理中发挥着关键作用。此外。。。
阅读更多信息
具有顶点调制的Spiking神经网络中的上下文相关计算
人工神经网络和机器学习——ICANN 2023
摘要
新皮质锥体神经元整合两种不同的信息流。自下而上的信息到达它们的基底树突，由此产生的神经元活动受到自上而下的输入的调节，这些输入以这些神经元的顶端簇为目标，并且。。。
阅读更多信息
尖峰神经网络LIF和STDP模型的模拟电路实现
GLSVLSI’20：2020年大湖区超大规模集成电路研讨会会议记录

尖峰神经网络（SNN）是人工神经网络（ANN）的一种特殊实现，其中输入信号编码为连续尖峰（尖峰序列）之间的时间关系，而不是实数值。然而。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

GECCO’23伴侣：遗传和进化计算伴侣会议记录

2023年7月

2519页

国际标准图书编号：9798400701207

内政部：10.1145/3583133

主席：
萨拉·席尔瓦,
项目主席：
路易斯·帕奎特

版权所有©2023所有者/作者。

本作品根据Creative Commons Attribution International 4.0许可证授权。

赞助商

SIGEVO:ACM遗传和进化计算特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史记录

出版：2023年7月24日

检查更新

作者标记

限定符

研究文章

资金来源

科学技术基金会
科英布拉大学信息与系统中心
葡萄牙复苏和恢复计划

会议

GECCO’23伙伴

赞助商：

西格沃

GECCO’23伙伴：关于遗传和进化计算的伙伴会议

2023年7月15日至19日

葡萄牙里斯本

接受率

4410份提交文件中的总接受率为1669份，占38%

即将召开的会议

GECCO’24

赞助商：
西格沃

遗传和进化计算会议

2024年7月14日至18日

墨尔本，维多利亚州，澳大利亚

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
103
总下载次数

下载次数（过去12个月）103
下载次数（最近6周）14

其他指标

查看作者指标

引文

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子