×
侯赛因，哈立德·F。;穆罕默德·优素福·巴斯尤尼;埃罗尔·盖伦贝

使用峰值随机神经网络进行准确、节能的分类。 （英语） Zbl 1484.62076号

普罗巴伯。工程信息科学。 35，编号1，51-61（2021）.
摘要：在过去几年中，基于人工神经网络（ANN）的技术在与计算机视觉、音频识别和自然语言处理相关的大多数问题上占据了最先进的成果，导致全球所有领先技术公司都大力采用该技术。历史上一直推迟大规模采用人工神经网络的主要障碍之一是与训练和测试（部署）人工神经网络相关的巨大计算和功耗成本。与此同时，神经形态计算平台最近在高吞吐量和极低功耗下运行生物真实感尖峰神经网络方面取得了显著的性能，使其成为人工神经网络的天然替代品。在这里，我们建议使用随机神经网络（一种具有理论和实际吸引力的尖峰神经网络）作为通用分类器，该分类器可以在许多任务上匹配ANN的分类能力，同时具有尖峰神经网的所有特征。这在许多真实世界的分类数据集上得到了证明。

MSC公司：

62H30型 分类和区分；聚类分析（统计方面）
62M45型 神经网络及从随机过程推断的相关方法
68T07型 人工神经网络与深度学习

关键词：

人工神经网络;神经计算;随机神经网络;尖峰神经网络

软件：

AlexNet公司;屏蔽R-CNN;FaceNet公司;ImageNet公司;UCI-毫升;SpiNNaker公司
PDF格式BibTeX公司 XML格式引用
\textit{K.F.Hussain}等人，Probab。工程信息科学。35，编号1，51--61（2021；Zbl 1484.62076）
全文： 内政部 arXiv公司

参考文献：

[1] Abbott，L.F.（1999）。拉皮克（Lapicque）引入了完整的核模型神经元（1907年）。大脑研究公报50（5-6）：303-304。
[2] Amodei，D.、Ananthanarayanan，S.、Anubhai，R.、Bai，J.、Battenberg，E.、Case，C.、Casper，J.，Catanzaro，B.、Cheng，Q.、Chen，G.、Chen、J.，Chen，Z.、Chrzanowski，M.、Coates，A.、Diamos，G.，Ding，K.、Du，N.、Elsen，E.、Engel，J.；Fang，W.、Fan，L.、Fougner，C.、Gao，L.，Gong，C.、Hanun，A.、Han，T.、Johannes，L.V.、Jiang，B.、Ju，C.、。，Jun，B.、Legresley，P.、Lin，L.、Liu，J.、Liw，Y.、Li，W.、Lie，X.、Ma，D.、Narang，S.、Ng，A.、Ozair，S.，Peng，Y.，Prenger，R.、Qian，S.和Quan，Z.、Raiman，J.，Rao，V.，Satheesh，S.。、L.、Xiao、B.、Xie、，W.，Xie，Y.，Yogatama，D.，Yuan，B.，Zhan，J.，&Zhu，Z.（2016）。深度语音2：英语和汉语的端到端语音识别。机器学习国际会议，第173-182页。
[3] Bengio，Y.、Ducharme，R.、Vincent，P.和Jauvin，C.（2003）。一种神经概率语言模型。机器学习研究杂志3:1137-1155·Zbl 1061.68157号
[4] Bordes，A.、Chopra，S.和Weston，J.（2014）。使用子图嵌入进行问答。arXiv预打印arXiv:140.6.3676。
[5] Brun，O.，Wang，L.，&Gelenbe，E.（2016）。用于自主洲际覆盖的大数据。IEEE通讯选定领域杂志34（3）：575-583。
[6] Brun，O.，Yin，Y.，Gelenbe，E.，Kadioglu，Y.M.，Augusto-Gonzalez，J.，&Ramos，M.（2018）。使用密集随机神经网络进行深度学习，以检测对物联网家庭环境的攻击。计算机和信息科学安全：2018年第一届国际ISCIS安全研讨会（Euro-CYBERSEC 2018），英国伦敦，2018年2月26-27日。讲稿CCIS No.821，Springer-Verlag。
[7] Caporale，N.和Dan，Y.（2008年）。峰值时间依赖的可塑性：赫比学习规则。神经科学年度回顾31:25-46。
[8] Cramer，C.和Gelenbe，E.（2000年）。基于学习的子采样和接收机内插视频序列中的视频质量和流量qos。IEEE通信选择领域期刊18（2）：150-167。
[9] Davies，M.、Srinivasa，N.、Lin，T.H.、Chinya，G.、Cao，Y.、Choday，S.H.、Dimou，G.，Joshi，P.、Imam，N.，Jain，S.、Liao，Y.，Lin，C.-K.、Lines，A.、Liu，R.、Mathaikutty，D.、Mccoy，S.，Paul，A.、Tse，J.、Venkataramanan，G.和Weng，Y.-H.、Wild，A.、Yang，Y.和Wang，H.（2018）。Loihi：具有片上学习功能的神经形态多核处理器。IEEE Micro38（1）：82-99。
[10] Diehl，P.U.、Neil，D.、Binas，J.、Cook，M.、Liu，S.C.和Pfeiffer，M.（2015）。通过权重和阈值平衡快速分类、高精度峰值深层网络。IEEE 2015国际神经网络联合会议（IJCNN），第1-8页。
[11] Fernández Delgado，M.、Cernadas，E.、Barro，S.和Amorim，D.（2014）。我们需要数百个分类器来解决实际的分类问题吗？。机器学习研究杂志15（1）：3133-3181·Zbl 1319.62005号
[12] Fourneau，J.M.和Gelenbe，E.（2017年）。带加法器的G网络。未来互联网9（3）：34·Zbl 1043.68006号
[13] Fourneau，J.、Marin，A.和Balsamo，S.（2016年）。在存在故障的情况下对能量包网络进行建模。第24届IEEE计算机和通信系统建模、分析和仿真国际研讨会（MASCOTS 2016），英国伦敦，2016年9月19日至21日，第144-153页。
[14] François，F.&Gelenbe，E.（2016）。通过认知路由优化安全的支持sdn的数据中心间覆盖网络。马斯科茨：IEEE计算机学会，第283-288页。
[15] François，F.&Gelenbe，E.（2016）。面向软件定义网络的认知路由引擎。IEEE国际通信会议（ICC），第1-6页。
[16] Furber，S.B.、Galluppi，F.、Temple，S.和Plana，L.A.（2014年）。旋转木马项目。IEEE102（5）会议记录：652-665。
[17] Gelenbe，E.和Ceran，E.T.（2016）。具有能量收集功能的能量包网络。IEEE访问4:1321-1331。
[18] Gelenbe，E.&Cramer，C.（1998年）。对躯体感觉输入的振荡性皮质丘脑反应。生物系统48（1-3）：67-75。
[19] Gelenbe，E.（1989）。带有正负信号和乘积形式解的随机神经网络。神经计算1（4）：502-510。
[20] Gelenbe，E.（1991）。具有消极和积极客户的产品形态排队网络。应用概率杂志28（3）：656-663·Zbl 0741.60091号
[21] Gelenbe，E.（1993）。G网络通过触发客户移动。应用概率杂志30（3）：742-748·Zbl 0781.60088号
[22] Gelenbe，E.（1993）。具有信号和批量删除功能的G网络。工程和信息科学中的概率7（3）：335-342。
[23] Gelenbe，E.（1993）。递归随机神经网络中的学习。神经计算5（1）：154-164。
[24] Gelenbe，E.（2007）。概率基因调控网络的稳态解。物理评论E76031903。
[25] Gelenbe，E.（2009）。走向自我保护网络的步骤。ACM52的通信（7）：66-75。
[26] Gelenbe，E.（2012）。能量包网络：云的自适应能量管理。在CloudCP的《第二届云计算平台国际研讨会论文集》（ACM 2012）第1页。
[27] Gelenbe，E.和Abdelrahman，O.H.（2018年）。具有能量收集功能的移动网络的能量包网络模型。非线性理论及其应用，IEICE9（3）：1-15。
[28] Gelenbe，E.和Kazhmaganbetova，Z（2014）。双边不对称连接的认知分组网络。IEEE工业信息汇刊10（3）：1717-1725。
[29] Gelenbe，E.&Marin，A.（2015）。具有能量采集功能的互连无线传感器。《第22届国际会议论文集——分析和随机建模技术与应用》（ASMTA 2015），保加利亚阿尔贝纳，2015年5月26日至29日，第87-99页·Zbl 1392.68073号
[30] Gelenbe，E.&Morfopoulou，C.（2010年）。分组网络中能量感知路由的框架。计算机期刊54（6）：850-859。
[31] Gelenbe，E.&Schassberger，R.（1992）。乘积形式g-网络的稳定性。工程和信息科学中的概率6（3）：271-276·Zbl 1134.60396号
[32] Gelenbe，E.和Yin，Y.（2016）。使用随机神经网络进行深度学习。IEEE 2016年国际神经网络联合会议（IJCNN），第1633-1638页。
[33] Gelenbe，E.、Glynn，P.和Sigman，K.（1991）。到达人数为负数的队列。应用概率杂志28（1）：245-250·Zbl 0744.60110号
[34] Gelenbe，E.、Feng，Y.和Krishnan，K.R.R.（1996）。用于人脑体积磁共振成像的神经网络方法。IEEE84（10）会议记录：1488-1496。
[35] Gelenbe，E.、Sungur，M.、Cramer，C.和Gelenbe（1996）。具有自适应神经压缩的流量和视频质量。多媒体系统4（6）：357-369。
[36] Gelenbe，E.、Mao，Z.H.和Li，Y.D.（1999）。尖峰随机网络的函数逼近。IEEE神经网络汇刊10（1）：3-9·Zbl 0941.68118号
[37] Gelenbe，E.、Mao，Z.H.和Li，Y.D.（2006）。层数有界的随机神经网络的函数逼近。《计算机系统性能建模透视：对Kenneth C Sevcik教授工作的致敬》，第35-58页。世界科学。
[38] Gerstner，W.、Kistler，W.M.、Naud，R.和Paninski，L.（2014）。神经动力学：从单个神经元到网络和认知模型。英国剑桥：剑桥大学出版社。
[39] Girshick，R.、Donahue，J.、Darrell，T.和Malik，J.（2014）。丰富的特征层次用于准确的对象检测和语义分割。《IEEE计算机视觉和模式识别会议记录》，第580-587页。
[40] Graves，A.、Liwicki，M.、Fernández，S.、Bertoma，R.、Bunke，H.和Schmidhuber，J.（2009）。一种用于无约束手写识别的新型连接主义系统。IEEE模式分析和机器智能汇刊31（5）：855-868。
[41] Graves，A.、Mohamed，A.R.和Hinton，G.（2013年）。基于深度递归神经网络的语音识别。2013年IEEE声学、语音和信号处理国际会议（ICASSP），第6645-6649页。
[42] Grenet，I.、Yin，Y.、Comet，J.P.和Gelenbe，E.（2018年）。机器学习预测化合物的毒性。第27届国际人工神经网络年会（ICANN18）。Springer-Verlang，接受出版。
[43] Hai，F.、Hussain，K.F.、Gelenbe，E.和Guha，R.K.（2001）。用小波和随机神经网络近似进行视频压缩。在《人工神经网络在图像处理中的应用》第六卷第4305页，第57-65页。国际光学与光子学学会。
[44] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016）。用于图像识别的深度残差学习。《IEEE计算机视觉和模式识别会议记录》，第770-778页。
[45] He，K.，Gkioxari，G.，Dollár，P.，&Girshick，r.（2017年）。遮罩r-cnn。2017年IEEE国际计算机视觉会议（ICCV），第2980-2988页。
[46] Hinton，G.、Deng，L.、Yu，D.、Dahl，G.，Mohamed，A.R.、Jaitly，N.、Senior，A.、Vanhoucke，V.、Nguyen，P.、Sainath，T.N.和Kingsbury，B.（2012年）。语音识别中声学建模的深度神经网络：四个研究小组的共同观点。IEEE信号处理杂志29（6）：82-97。
[47] 霍奇金·A.L.和赫胥黎·A.F.（1952）。膜电流的定量描述及其在神经传导和兴奋中的应用。生理学杂志117（4）：500-544。
[48] Hornik，K.、Stinchcombe，M.和White，H.（1989年）。多层前馈网络是通用逼近器。神经网络2（5）：359-366·Zbl 1383.92015年
[49] Hussain，K.F.&Moussa，G.S.（2016年）。基于随机神经网络和视觉词汇的车载车辆分类。工程和信息科学中的概率30（3）：403-412。
[50] Izhikevich，E.M.（2003）。尖峰神经元的简单模型。IEEE神经网络汇刊14（6）：1569-1572。
[51] Jean，S.、Cho，K.、Memisevic，R.和Bengio，Y.（2014）。关于使用非常大的目标词汇进行神经机器翻译。arXiv预打印arXiv:1412.2007。
[52] Jolivet，R.、Timothy，J.和Gerstner，W.（2003）。尖峰反应模型：预测神经元尖峰序列的框架。《人工神经网络和神经信息处理——ICANN/ICONIP 2003》，施普林格出版社，第846-853页·Zbl 1049.92009年9月
[53] Kim，H.和Gelenbe，E.（2012年）。开关样基因反应的希尔函数随机基因表达模型。IEEE/ACM计算生物学和生物信息学汇刊9（4）：973-979。
[54] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。基于深度卷积神经网络的Imagenet分类。《神经信息处理系统进展》，第1097-1105页。
[55] Lecun，Y.、Bengio，Y.和Hinton，G.（2015）。深度学习。《自然》521（7553）：436。
[56] Lichman，M.和Bache，K.（2013年）。UCI机器学习库。
[57] Liu，S.C.和Delbruck，T.（2010）。神经形态感觉系统。神经生物学当前观点20（3）：288-295。
[58] Long，J.、Shelhamer，E.和Darrell，T.（2015）。语义分割的完全卷积网络。《IEEE计算机视觉和模式识别会议记录》，第3431-3440页。
[59] Markram，H.、Gerstner，W.和Sjöström，P.J.（2011）。峰值时间依赖性可塑性的历史。突触神经科学前沿3：4。
[60] 米德·C（1990）。神经形态电子系统。IEEE78（10）会议记录：1629-1636。
[61] 梅罗拉（Merolla，P.A.）、亚瑟（Arthur，J.V.）、阿尔瓦雷兹·伊卡扎（Alvarez-Icaza，R.）、卡西迪（Cassidy，A.S.）、萨瓦达（Sawada，J.）、阿科普扬（Akopyan，F.）、杰克逊（Jackson，B.L.）、伊玛目（Imam，N.）、郭（Guo，C.）、中村（Nakamura，Y.）、布雷佐（Brezzo，B.）、沃·伊萨（Vo，I.）、埃瑟（Esser，S.K.）、阿普斯瓦米（Appuswa。具有可扩展通信网络和接口的一百万个脉冲神经元集成电路。科学345（6197）：668-673。
[62] Neil，D.、Pfeiffer，M.和Liu，S.C.（2016年）。学习高效：训练低延迟、低计算深度峰值神经网络的算法。《第31届ACM应用计算研讨会论文集》，ACM，第293-298页。
[63] O'Connor，P.、Neil，D.、Liu，S.C.、Delbruck，T.和Pfeiffer，M.（2013）。实时分类和带有尖峰深度信念网络的传感器融合。神经科学前沿7:178。
[64] Petricoin，E.F.Iii，Ardekani，A.M.，Hitt，B.A.，Levine，P.J.，Fusaro，V.A.，Steinberg，S.M.，Mills，G.B.，Simone，C.，Fishman，D.A.，Kohn，E.C.，&Liotta，L.A.（2002年）。血清蛋白质组模式在卵巢癌鉴别中的应用。《柳叶刀》359（9306）：572-577。
[65] Phan，H.T.T.、Sternberg，M.J.E.和Gelenbe，E.（2012年）。使用随机神经网络校准蛋白质相互作用网络。2012年IEEE生物信息学和生物医学国际会议（BIBM 2012），美国宾夕法尼亚州费城，2012年10月4日至7日，第1-6页。
[66] Raina，R.、Madhavan，A.和Ng，A.Y.（2009年）。使用图形处理器进行大规模深度无监督学习。第26届国际机器学习年会论文集，ACM，第873-880页。
[67] Ranjan，R.、Patel，V.M.和Chellappa，R.（2017）。超脸：用于人脸检测、地标定位、姿势估计和性别识别的深度多任务学习框架。IEEE模式分析和机器智能汇刊41:121-135。
[68] Redmon，J.、Divvala，S.、Girshick，R.和Farhadi，A.（2016）。你只看一次：统一的实时对象检测。《IEEE计算机视觉和模式识别会议记录》，第779-788页。
[69] Rosenblatt，F.（1958年）。感知器：大脑中信息存储和组织的概率模型。《心理学评论》65（6）：386。
[70] Sakellari，G.和Gelenbe，E.（2010年）。展示认知数据包网络对蠕虫攻击的抵御能力。《第17届ACM计算机和通信安全会议记录》（CCS 2010），美国伊利诺伊州芝加哥，2010年10月4-8日，第636-638页。
[71] Schroff，F.、Kalenichenko，D.和Philbin，J.（2015）。Facenet：人脸识别和聚类的统一嵌入。《IEEE计算机视觉和模式识别会议论文集》，第815-823页。
[72] Serrano-Gotarredona，T.和Linares-Barranco，B.（2013年）。甲128×128 1.5
[73] Shi，B.、Bai，X.和Yao，C.（2017）。一种用于基于图像的序列识别的端到端可训练神经网络及其在场景文本识别中的应用。IEEE模式分析和机器智能汇刊39（11）：2298-2304。
[74] Sutskever，I.，Vinyals，O.，&Le，Q.V.（2014）。用神经网络进行序列到序列的学习。《神经信息处理系统进展》，第3104-3112页。
[75] Szegedy，C.、Liu，W.、Jia，Y.、Sermanet，P.、Reed，S.、Angelov，D.、Erhan，D.、Vanhoucke，V.和Rabinovich，A.（2015）。用卷积深入。《IEEE计算机视觉和模式识别会议记录》，第1-9页。
[76] Tavanaei，A.、Ghodrati，M.、Kheradpisheh，S.R.、Masquelier，T.和Maida，A.S.（2018年）。尖峰神经网络的深度学习。arXiv预印arXiv:1804.08150。
[77] Vanarse，A.、Osseiran，A.和Rassau，A.（2016）。综述了当前视觉、听觉和嗅觉传感器的神经形态方法。神经科学前沿10:115。
[78] Von Neumann，J.（1993）。关于edvac的报告初稿。IEEE计算历史年鉴4:27-75·Zbl 0944.01510号
[79] Wang，L.&Gelenbe，E.（2018）。云中任务的自适应调度。IEEE云计算汇刊6（1）：33-45。
[80] Werbos，P.（1974年）。超越回归：行为科学中预测和分析的新工具。哈佛大学博士论文。
[81] Yin，Y.（2018）。用于深度学习的随机神经网络。伦敦帝国学院博士论文。
[82] Yin，Y.和Gelenbe，E.（2017年）。用于深度学习的基于单细胞的随机神经网络。2017年IEEE国际神经网络联合会议（IJCNN），第86-93页。
[83] Zhao，W.、Agnus，G.、Derycke，V.、Filoramo，A.、Bourgoin，J.和Gamrat，C.（2010年）。基于纳米管设备的交叉架构：面向神经形态计算。纳米技术21（17）：175202。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。