×
皮埃尔·巴尔迪;罗马人Vershynin

容量和稀疏神经编码理论。 （英语） Zbl 1521.68109号

神经网络。 143, 12-27 (2021).
摘要：受生物学考虑的启发，我们研究了从输入层到具有稀疏活动的目标层的稀疏神经映射，特别是当目标向量\（y\）稀疏时，存储\（K\）输入目标关联\（x，y）\）或记忆的问题。我们从数学上证明了（K）经历了相变，并且总的来说，目标层中的稀疏性增加了映射的存储容量，这有些矛盾。目标向量可以任意选择，包括以随机方式选择，存储器可以通过使用局部学习规则（包括简单的Hebb规则）训练的网络进行编码和解码。在对数据的各种统计假设下，这些结果是可靠的。这些证明依赖于随机多面体和亚高斯随机向量变量的优雅特性。讨论了开放问题以及与容量理论和多项式阈值映射的联系。

引用于三文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
92B20型 生物研究、人工生命和相关主题中的神经网络

关键词：

神经能力;稀疏表示;稀疏编码;神经映射;阈值函数
PDF格式BibTeX公司 XML格式引用
\textit{P.Baldi}和\textit{R.Vershynin}，神经网络。143、12--27（2021；Zbl 1521.68109）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] 费尔南多（Fernando）；Schneider，Rolf，正则单形的随机投影，离散与计算几何，7，3，219-226（1992）·Zbl 0751.5202号
[2] 艾，艾伯特；亚历克斯·拉帕诺夫斯基（Alex Lapanowski）；亚诺夫计划；Vershynin，Roman，非高斯测量的一位压缩传感，线性代数及其应用，441222-239（2014）·Zbl 1332.94041号
[3] Dennis Amelunxen；马丁·洛茨（Martin Lotz）；迈克尔·麦考伊（Michael B.McCoy）。；Tropp，Joel A.，《生活在边缘：随机数据凸规划中的相变》，《信息与推断：IMA杂志》，3，3，224-294（2014）·Zbl 1339.90251号
[4] Artstein-Avidan，Shiri；吉安诺普洛斯（Giannopoulos），阿波斯托洛斯（Apostolos）；Milman，Vitali D.，《渐近几何分析》，第一部分，第202卷（2015年），美国数学学会·Zbl 1337.52001
[5] 巴巴迪、巴克塔什；Sompolinsky，Haim，《感觉表征的稀疏性和扩展》，《神经元》，83，5，1213-1226（2014）
[6] Baldi，P.，《科学深度学习》（2021），剑桥大学出版社：剑桥大学出版社，英国剑桥·Zbl 1461.68001号
[7] 皮埃尔·巴尔迪；Peter Sadowski，《局部学习、学习渠道和反向传播的优化理论》，神经网络，83，61-74（2016）
[8] 巴尔迪，皮埃尔；Vershynin，Roman，前馈神经网络的能力，神经网络，116，288-311（2019），另外：arXiv预印本arXiv:1901.00434·Zbl 1434.68498号
[9] 皮埃尔·巴尔迪；Vershynin，Roman，多项式阈值函数，超平面排列和随机张量，SIAM数据科学数学杂志，1，4，699-729（2019），另外：arXiv预印本arXiv:1803.10868·Zbl 1499.94078号
[10] 艾姆雷·巴拉尼；Vu，Van，高斯多面体的中心极限定理，概率年鉴，35，41593-1621（2007）·Zbl 1124.60014号
[11] 巴亚提，莫森；Marc Lelarge；Montanari，Andrea，《多面体相变和消息传递算法的普遍性》，《应用概率年鉴》，25，2753-822（2015）·Zbl 1322.60207号
[12] 安东尼·贝尔（Anthony J.Bell）。；Terrence J.Sejnowski，《自然场景的“独立组件”是边缘过滤器》，《视觉研究》，37，23，3327-3338（1997）
[13] 科罗利·Böröczky Jr；Henk，Martin，正则多胞体的随机投影，Archive der Mathematik，73，6，465-473（1999）·Zbl 0949.52001号
[14] 迈克尔·布莱希特（Michael Brecht）；Sakmann，Bert，-通过第4层大鼠体感皮层桶和隔中棘状星状细胞和锥体细胞的突触电位动态表示胡须偏转，《生理学杂志》，543，1，49-70（2002）
[15] Burges，C.J.C.，模式识别、数据挖掘和知识发现支持向量机教程，121-167（1998）
[16] 坎迪斯，Emmanuel J.（2006）。压缩取样。《国际数学家大会论文集》第3卷，西班牙马德里：（第1433-1452页）·Zbl 1130.94013号
[17] Carvalho，Carlos M。；尼古拉斯·波尔森（Nicholas G.Polson）。；James G.Scott，《通过马蹄铁处理稀疏性》，（人工智能与统计（2009）），第73-80页
[18] Carvalho，Carlos M。；尼古拉斯·波尔森（Nicholas G.Polson）。；Scott，James G.，《稀疏信号的马蹄形估计器》，Biometrika，97，2465-480（2010）·Zbl 1406.62021号
[19] 莫里斯·查克罗（Maurice J.Chacron）。；安德烈·隆廷；Maler，Leonard，通过电感应神经网络中的稀疏编码进行高效计算，《神经生物学的当前观点》，21，5，752-760（2011）
[20] 科琳娜·科尔特斯；Vapnik，Vladimir，支持向量网络，机器学习，20，3，25（1995）·Zbl 0831.68098号
[21] 北卡罗来纳州克里斯蒂亚尼尼。；Shawe-Taylor，J.，《支持向量机导论》（2000），剑桥大学出版社：剑桥大学出版社，英国剑桥
[22] Dafnis，N。；詹诺普洛斯，A。；Tsolomitis，A.，凸体中随机多面体的渐近形状，功能分析杂志，257,92820-2839（2009）·Zbl 1221.52009年
[23] Michael R.DeWeese。；Michael Wehr；安东尼·扎多尔（Anthony M.Zador），《听觉皮层的二元尖峰现象》，《神经科学杂志》，23，21，7940-7949（2003）
[24] Donoho，David L.，压缩感知，IEEE信息理论事务，52，4，1289-1306（2006）·Zbl 1288.94016号
[25] 戴维·多诺霍（David Donoho）；Tanner，Jared，当投影从根本上降低维度时，计算随机投影多面体的面，美国数学学会杂志，22，1，1-53（2009）·Zbl 1206.52010年
[26] 大卫·多诺霍（David L.Donoho）。；Tanner，Jared，《计算随机投影超立方体和正整数的面及其应用》，《离散与计算几何》，43，3，522-541（2010）·Zbl 1191.52004号
[27] 大卫·多诺霍（David L.Donoho）。；Tanner，Jared，精确欠采样定理，IEEE学报，98，6，913-924（2010）
[28] Rick Durrett，《概率：理论与实例》，第49卷（2019年），剑桥大学出版社·Zbl 1440.60001号
[29] 尤尼娜·C·埃尔达尔。；Kutyniok，Gitta，《压缩传感：理论与应用》（2012），剑桥大学出版社
[30] 玛丽安·伊万杰里奥（Marian Evangelio）；玛丽亚加西亚·阿马多；Clascá，Francisco，成年C57bl/6小鼠丘脑视核团的丘脑皮层投射神经元和中间神经元数量，神经解剖学前沿，12，27（2018）
[31] 西蒙·福卡特（Simon Foucart）；Rauhut，Holger，压缩传感邀请，（压缩传感数学导论（2013），Springer），1-39·Zbl 1315.94002号
[32] 神经节，苏里亚；Sompolinsky，Haim，神经元信息处理和数据分析中的压缩感知、稀疏性和维度，《神经科学年度评论》，35，485-508（2012）
[33] 爱德华一世乔治。；McCulloch，Robert E.，通过吉布斯抽样进行变量选择，美国统计协会杂志，88，423，881-889（1993）
[34] 吉安诺普洛斯（Giannopoulos），阿波斯托洛斯（Apostolos）；Hartzoulaki，Marianna，立方体顶点生成的随机空间，离散与计算几何，28，2，255-273（2002）·Zbl 1041.52005年
[35] Gluskin，Efim Davydovich，正交平行六面体的极值性质及其在banach空间几何中的应用，苏联斯博尼克数学，64，1，85（1989）·Zbl 0668.52002年
[36] 朱利安·格罗特（Julian Grote）；Thäle，Christoph，高斯多面体：基于累积量的方法，《复杂性杂志》，47，1-41（2018）·兹比尔1396.60012
[37] Hopfield，J.J.，《具有突发集体计算能力的神经网络和物理系统》，美国国家科学院学报，79，8，2554-2558（1982）·Zbl 1369.92007号
[38] Daniel Hug，Random polytopes，（随机几何、空间统计和随机场（2013），Springer），205-238·Zbl 1275.60017号
[39] 拥抱，丹尼尔；Reitzner，Matthias，《高斯多面体：方差和极限定理》，《应用概率进展》，37，2，297-320（2005）·兹比尔1089.52003
[40] 拥抱，丹尼尔；Schneider，Rolf，随机锥的阈值现象（2020），arXiv预印本arXiv:2004.11473
[41] 扎哈尔·卡布卢奇科；亚历山大·马利尼奇（Alexander Marynych）；丹尼尔·特梅斯瓦里（Daniel Temesvari）；Thäle，Christoph，由泊松点过程的半球和凸壳上的随机点生成的圆锥，概率论及相关领域，175，3-4，1021-1061（2019）·兹比尔1428.52007
[42] 扎哈尔·卡布卢奇科；丹尼尔·特梅斯瓦里（Daniel Temesvari）；Thäle，Christoph，随机β-多胞体的预期内禀体积和面数，Mathematische Nachrichten，292，1，79-105（2019）·Zbl 1414.52003年
[43] 拉塔拉（Rafal Latala）；彼得罗·曼基维茨（Piotr Mankiewicz）；Oleszkiewicz，Krzysztof；Tomczak-Jaegermann，Nicole，Banach-mazur距离和随机亚高斯多边形上的投影，离散与计算几何，38，1，29-50（2007）·Zbl 1134.52016年
[44] 亚历山大·利特瓦克（Alexander E.Litvak）。；阿兰·巴约；马克·鲁德尔森（Mark Rudelson）；Tomczak-Jaegermann，Nicole，随机矩阵的最小奇异值和随机多面体的几何，数学进展，195,2491-523（2005）·Zbl 1077.15021号
[45] 卢亚东；朱利安·科拉多；丹尼尔·怀特森（Daniel Whiteson）；Baldi，Pierre，SARM：粒子物理学中稀疏图像可缩放生成的稀疏自回归模型，《物理评论》D，103，3，036012（2020），arXiv:2009.14017
[46] 门德尔森，沙哈尔；阿兰·巴约；Rudelson，Mark，《随机多胞体的几何》，《离散与计算几何》，34，3，365-379（2005）·Zbl 1081.52005年
[47] 托比·J·米切尔。；Beauchamp，John J.，线性回归中的贝叶斯变量选择，美国统计协会杂志，83，404，1023-1032（1988）·Zbl 0673.62051号
[48] 妈妈，彼得；王凡；凯瑟琳·杜拉克（Catherine Dulac）；Steve K.Chao。；阿德里亚娜·奈姆斯（Adriana Nemes）；莫妮卡·门德尔松（Monica Mendelsohn），《可视化嗅觉感觉图》，《细胞》（Cell），第87、4、675-686页（1996年）
[49] Novikoff，A.B.，关于感知器的收敛性证明，（自动机数学理论研讨会论文集，第12卷（1962年），布鲁克林理工学院），615-622·Zbl 0116.34103号
[50] 布鲁诺·A·奥尔沙森。；Field，David J.，《通过学习自然图像的稀疏代码产生简单细胞感受野特性》，《自然》，3816583607（1996）
[51] 布鲁诺·A·奥尔沙森。；Field，David J.，感觉输入的稀疏编码，《神经生物学的当前观点》，14，4，481-487（2004）
[52] 亚诺夫计划；Vershynin，Roman，鲁棒1位压缩传感和稀疏逻辑回归：凸规划方法，IEEE信息理论汇刊，59，1482-494（2013）·Zbl 1364.94153号
[53] 亚诺夫计划；Vershynin，Roman，通过随机超平面细分进行降维，离散与计算几何，51，2，438-461（2014）·Zbl 1296.52014年
[54] 亚诺夫计划；Vershynin，Roman，《非线性观测的广义套索》，IEEE信息理论学报，62，3，1528-1537（2016）·Zbl 1359.94153号
[55] 辛迪·坡；Isaacson，Jeffry S.，《嗅觉皮层中的气味表征：“稀疏”编码、全局抑制和振荡》，《神经元》，62，6，850-861（2009）
[56] Rosenblatt，F.，《感知器：大脑中信息存储和组织的概率模型》。，《心理评论》，65，6，386（1958）
[57] 克里斯托弗·罗泽尔（Christopher J.Rozell）。；Don H.约翰逊。；理查德·巴拉纽克（Richard G.Baraniuk）。；Olshausen，Bruno A.，通过阈值和神经电路中的局部竞争实现稀疏编码，神经计算，20，10，2526-2563（2008）
[58] Santosa，Fadil；Symes，William W.，带限反射地震图的线性反演，SIAM科学与统计计算杂志，7，4，1307-1330（1986）·Zbl 0602.73113号
[59] 什亚姆·斯里尼瓦桑；Carlo，C.Nikoosh；Stevens，Charles F.，《从视觉皮层结构预测视力》，《美国国家科学院院刊》，第112、25、7815-7820页（2015年）
[60] 丹·斯特勒（Dan D.Stettler）。；理查德·阿克塞尔（Richard Axel），梨状皮层中气味的表征，神经元，63，6，854-864（2009）
[61] Robert Tibshirani，《通过套索进行回归收缩和选择》，《皇家统计学会杂志》。B.系列统计方法，58，1，267-288（1996）·Zbl 0850.62538号
[62] Tipping，Michael E.，稀疏贝叶斯学习和关联向量机，机器学习研究杂志，1，Jun，211-244（2001）·Zbl 0997.68109号
[63] 格伦·特纳（Glenn C.Turner）。；马克西姆·巴热诺夫（Maxim Bazhenov）；Laurent，Gilles，果蝇蘑菇体神经元的嗅觉表征，《神经生理学杂志》，99，2734-746（2008）
[64] Anatoly M.Vershik。；Sporyshev，P.V.，随机多面体面数的渐近行为与邻接问题，《苏联数学选择》，11，2，181-201（1992）·兹伯利0791.52011
[65] Vershynin，R.，《高维概率》。《数据科学应用导论》（2018），剑桥大学出版社·Zbl 1430.60005号
[66] 罗伯特·文西斯（Roberto Vincis）；奥利维埃·格施温德（Olivier Gschwend）；哈利尔·博卡拉利；乔纳森·贝鲁德（Jonathan Beroud）；Carleton，Alan，小鼠嗅球中天然气味的密集表现，自然神经科学，15，4537（2012）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。