×
安东尼·托马斯;桑乔伊·达斯古普塔;塔贾纳·罗辛

超维计算的理论观点。 （英语） Zbl 1522.68481号

J.阿蒂夫。智力。研究（JAIR） 72, 215-249 (2021).
摘要：超维（HD）计算是一组神经启发的方法，用于获得高维、低精度、分布式的数据表示。这些表示可以与简单、神经合理的算法相结合，以实现各种信息处理任务。高清计算作为一种节能、低延迟和抗噪声的工具，最近已引起计算机硬件界的极大兴趣，用于解决学习问题。在这篇综述中，我们提出了HD计算的理论基础的统一处理方法，重点是表示法对学习的适用性。

MSC公司：

68T05型 人工智能中的学习和自适应系统

软件：

PRMLT公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Thomas}等人，J.Artif。智力。研究（JAIR）72，215--249（2021；Zbl 1522.68481）
全文： 内政部 arXiv公司

参考文献：

[1] Arora，S.、Ge，R.、Ma，T.和Moitra，A.（2015）。稀疏编码的简单、高效和神经算法。第28届学习理论会议记录，COLT 2015，40，113-149。
[2] Barron，A.R.（1993）。sigmoid函数叠加的通用近似界。IEEE信息理论汇刊，39（3），930-945·Zbl 0818.68126号
[3] Bell，A.和Sejnowski，T.（1995年）。盲分离和盲反褶积的信息最大化方法。神经计算，7（6），1129-1159。
[4] Bishop，C.M.（2007年）。模式识别和机器学习，第5版。信息科学和统计。斯普林格。
[5] 布鲁姆·B·H（1970）。在允许错误的散列编码中进行空间/时间权衡。ACM通信，13（7），422-426·Zbl 0195.47003号
[6] Boyd，S.P.和Vandenberghe，L.（2014）。凸优化。剑桥大学出版社·Zbl 1058.90049号
[7] Broder，A.和Mitzenmacher，M.（2004）。bloom过滤器的网络应用：调查。网络数学，1（4），485-509·Zbl 1090.68515号
[8] Burrello，A.、Schindler，K.、Benini，L.和Rahimi，A.（2018年）。使用端到端二进制操作的ieeg癫痫检测的一拍学习：具有超维计算的局部二进制模式。2018年IEEE生物医学电路与系统会议（BioCAS），第1-4页。电气与电子工程师协会。
[9] Caron，S.J.、Ruta，V.、Abbott，L.和Axel，R.（2013）。果蝇蘑菇体内嗅觉输入的随机收敛。《自然》，497（7447），113-117。
[10] Chacron，M.J.、Longtin，A.和Maler，L.（2011年）。在电传感神经网络中通过稀疏编码进行高效计算。神经生物学的当前观点，21（5），752-760。
[11] Choromanski，K.M.、Rowland，M.和Weller，A.（2017年）。结构化随机正交嵌入的不合理有效性。《神经信息处理系统研究进展》，第219-228页。
[12] Cybenko，G.（1989）。通过sigmoid函数的叠加进行逼近。控制、信号和系统数学，2（4），303-314·Zbl 0679.94019号
[13] Dasgupta，S.、Sheehan，T.C.、Stevens，C.F.和Navlakha，S..（2018年）。新颖性检测的神经数据结构。《美国国家科学院院刊》，115（51），13093-13098·Zbl 1416.92008号
[14] Donoho，D.L.、Elad，M.和Temlyakov，V.N.（2005）。噪声存在下稀疏超完备表示的稳定恢复。IEEE信息理论汇刊，52（1），6-18·兹比尔1288.94017
[15] Frady，E.P.、Kleyko，D.和Sommer，F.T.（2018）。递归神经网络中的序列索引和工作记忆理论。神经计算，30（6），1449-1513·Zbl 1472.68055号
[16] 福岛，K.（1980）。Neocognitron：不受位置变化影响的模式识别机制的自组织神经网络模型。生物控制论，36（4），193-202·Zbl 0419.92009号
[17] Gallant，S.I.和Okaywe，T.W.（2013）。表示对象、关系和序列。神经计算，25（8），2038-2078·Zbl 1414.68056号
[18] Gupta，S.、Imani，M.和Rosing，T.（2018年）。费利克斯：内存中的快速节能逻辑。2018年IEEE/ACM国际计算机辅助设计会议（ICCAD），第1-7页。电气与电子工程师协会。
[19] Hanson，D.L.和Wright，F.T.（1971）。独立随机变量中二次型的尾部概率的界。《数理统计年鉴》，42（3），1079-1083·Zbl 0216.22203号
[20] Imani，M.、Kong，D.、Rahimi，A.和Rosing，T.（2017年）。Voicehd：高效语音识别的超维计算。2017年IEEE重新启动计算国际会议（红十字委员会），第1-8页。电气与电子工程师协会。
[21] Imani，M.、Messerly，J.、Wu，F.、Pi，W.和Rosing，T.（2019a）。超维计算的二进制学习框架。2019年欧洲设计、自动化和测试会议与展览（DATE），第126-131页。电气与电子工程师协会。
[22] Imani，M.、Morris，J.、Bosch，S.、Shu，H.、De Micheli，G.和Rosing，T.（2019b）。Adapthd：为大脑启发的超维计算提供自适应高效训练。2019年IEEE生物医学电路与系统会议（BioCAS），第1-4页。电气与电子工程师协会。
[23] Imani，M.、Morris，J.、Messerly，J.，Shu，H.、Deng，Y.和Rosing，T.（2019c）。Bric：基于位置的编码，用于高效节能的脑内超维计算。《2019年第56届年度设计自动化会议论文集》，第52页。ACM公司。
[24] Imani，M.、Nassar，T.、Rahimi，A.和Rosing，T.（2018年）。Hdna：使用超维计算的高效能dna测序。2018年IEEE EMBS国际生物医学与健康信息学会议（BHI），第271-274页。电气与电子工程师协会。
[25] Imani，M.、Rahimi，A.、Kong，D.、Rosing，T.和Rabaey，J.M.（2017年）。探索超维联想记忆。2017年IEEE高性能计算机体系结构国际研讨会（HPCA），第445-456页。电气与电子工程师协会。
[26] Imani，M.、Salamat，S.、Gupta，S.，Huang，J.和Rosing，T.（2019年）。Fach:Fpga通过降低计算复杂度来加速超维计算。《第24届亚洲及南太平洋设计自动化会议论文集》，第493-498页。ACM公司。
[27] Jacques，L.、Laska，J.N.、Boufounos，P.T.和Baraniuk，R.G.（2013）。通过稀疏向量的二进制稳定嵌入实现稳健的1位压缩感知。IEEE信息理论汇刊，59（4），2082-2102·Zbl 1364.94130号
[28] Kanerva，P.（1994）。用于在多个级别上编码概念的溅射代码。在国际人工神经网络会议上，第226-229页。斯普林格。
[29] Kanerva，P.（1995）。二进制飞溅码家族。国际人工神经网络会议，第1卷，第517-522页。
[30] Kanerva，P.（2009）。超维计算：介绍使用高维随机向量进行分布式表示的计算。认知计算，1（2），139-159。
[31] Kim，Y.、Imani，M.、Moshiri，N.和Rosing，T.（2020年）。GenieHD：使用超维计算的高效dna模式匹配加速器。2020年欧洲设计、自动化和测试会议与展览。电气与电子工程师协会。
[32] Kim，Y.、Imani，M.和Rosing，T.S.（2018年）。使用超维计算进行有效的人类活动识别。Janowicz，K.、Kuhn，W.、Cena，F.、Haller，A.和Vamvoudakis，K.G.（编辑），《第八届物联网国际会议论文集》，2018年10月15-18日，美国加利福尼亚州圣巴巴拉，第38:1-38:6页。ACM公司。
[33] Kleyko，D.、Rahimi，A.、Gayler，R.W.和Osipov，E.（2019年）。自动缩放bloom过滤器：控制真阳性和假阳性之间的权衡。神经计算与应用，32，1-10。
[34] Kleyko，D.、Rahimi，A.、Rachkovskij，D.A.、Osipov，E.和Rabaey，J.M.（2018）。二元超维计算的分类和召回：密度和映射特征选择的权衡。IEEE神经网络和学习系统汇刊，29（12），5880-5898。
[35] Lake，B.、Salakhuttinov，R.、Gross，J.和Tenenbaum，J.（2011年）。简单视觉概念的一次性学习。认知科学学会年会论文集，第33卷。
[36] Levy，S.D.和Gayler，R.（2008）。向量符号建筑：人工智能的新型建筑材料。《人工通用智能会议》，第414-418页。IOS出版社。
[37] Littestone，N.（1988年）。当不相关的属性大量存在时快速学习：一种新的线性重排算法。机器学习，2（4），285-318。
[38] Mairal，J.、Bach，F.、Ponce，J.和Sapiro，G.（2010年）。矩阵分解和稀疏编码的在线学习。。机器学习研究杂志，11（1）·Zbl 1242.62087号
[39] 纽约州Masse、Turner，G.C.和Jefferis，G.S.（2009年）。果蝇的嗅觉信息处理。《当代生物学》，19（16），R700-R713。
[40] McDiarmid，C.等人（1989年）。关于有界差分法。组合数学调查，141（1），148-188·Zbl 0712.05012号
[41] Mitrokhin，A.、Sutor，P.、Ferm¨uller，C.和Aloimonos，Y.（2019年）。使用神经形态传感器学习感觉运动控制：朝向超维主动感知。科学机器人，4（30）。
[42] Neubert，P.、Schubert，S.和Protzel，P.（2019年）。机器人超维计算简介。KI-K–unsliche Intelligenz，33（4），319-330。
[43] Olshausen，B.和Field，D.（1996年）。通过学习自然图像的稀疏代码，出现了简单的细胞感受野特性。《自然》，381，607-609。
[44] Olshausen，B.A.和Field，D.J.（2004）。感官输入的稀疏编码。《神经生物学的当前观点》，14（4），481-487。
[45] Pagh，A.、Pagh，R.和Rao，S.（2005）。最佳布卢姆过滤器更换。第十六届ACM-SIAM离散算法研讨会论文集，第823-829页·Zbl 1297.68066号
[46] Parcollet，T.、Ravanelli，M.、Morchid，M.和Linar'es，G.、Trabelsi，C.、Mori，R.D.和Bengio，Y.（2019年）。四元数递归神经网络。在国际学习代表会议（ICLR）上。
[47] Plan，Y.和Vershynin，R.（2014）。通过随机超平面镶嵌减少尺寸。离散与计算几何，51（2），438-461·Zbl 1296.52014年
[48] Plate，T.（2003）。全息简化表示：认知结构的分布式表示。CSLI课堂讲稿（CSLI-CHUP）系列。CSLI出版物。
[49] Plate，T.A.（1995）。全息简化表示。IEEE神经网络汇刊，6（3），623-641。
[50] Rachkovskij，D.（2015）。用随机二进制投影形成相似反射二进制向量。控制论与系统分析，51（2），313-323·兹比尔1317.93233
[51] 拉奇科夫斯基博士（2001年）。用二进制稀疏分布代码表示和处理结构。IEEE知识与数据工程汇刊，13（2），261-276。
[52] Rachkovskiy，D.A.、Slipchenko，S.V.、Kussul，E.M.和Baidyk，T.N.（2005a）。标量的稀疏二进制分布式编码。自动化与信息科学杂志，37（6）。
[53] Rachkovskiy，D.A.、Slipchenko，S.V.、Misuno，I.S.、Kussul，E.M.和Baidyk，T.N.（2005年b）。数字向量的稀疏二进制分布式编码。自动化与信息科学杂志，37（11）。
[54] Raginsky，M.和Lazebnik，S.（2009年）。来自移位不变内核的局部敏感二进制代码。《神经信息处理系统进展》，第1509-1517页。
[55] Rahimi，A.、Benatti，S.、Kanerva，P.、Benini，L.和Rabaey，J.M.（2016）。超维生物信号处理：基于肌电的手势识别案例研究。2016年IEEE重新启动计算国际会议（红十字委员会），第1-8页。电气与电子工程师协会。
[56] Rahimi，A.、Datta，S.、Kleyko，D.、Frady，E.P.、Olshausen，B.、Kanerva，P.和Rabaey，J.M.（2017）。作为纳米尺度范例的高维计算。IEEE电路与系统汇刊I：常规论文，64（9），2508-2521。
[57] Rahimi，A.、Kanerva，P.、Benini，L.和Rabaey，J.M.（2018年）。使用超维计算的高效生物信号处理：ExG信号组合学习和分类的网络模板。IEEE会议录，107（1），123-143。
[58] Rahimi，A.、Tchouprina，A.、Kanerva，P.、Mill´an，J.d.R.和Rabaey，J.M.（2017）。用于脑电错误相关电位盲分类和一次性分类的超维计算。移动网络和应用，25，1-12。
[59] Rahimi，A.和Recht，B.（2008年）。大规模内核机器的随机特性。《神经信息处理系统进展》，第1177-1184页。
[60] Rosenblatt，F.（1958年）。感知器：大脑中信息存储和组织的概率模型。《心理评论》，65（6），386-408。
[61] Rudelson，M.、Vershynin，R.等人（2013年）。Hanson-wright不等式与亚高斯浓度。概率电子通信，18·Zbl 1329.60056号
[62] Rudin，W.（1962年）。组的傅里叶分析。John Wiley父子公司·兹伯利0107.09603
[63] Rumelhart，D.，McClelland，J.和PDP研究小组（1986年）。并行分布式处理：认知微观结构的探索，第1卷：基础。麻省理工学院出版社。
[64] Sahlgren，M.（2005）。随机索引简介。在第七届国际术语与知识工程会议上举办的语义索引方法与应用研讨会。
[65] Salamat，S.、Imani，M.、Khaleghi，B.和Rosing，T.（2019年）。F5-hd：基于fpga的快速灵活框架，用于刷新超维计算。2019年ACM/SIGDA现场可编程门阵列国际研讨会论文集，第53-62页。
[66] Schmuck，M.、Benini，L.和Rahimi，A.（2019年）。稠密二元超维计算的硬件优化：超向量的重新实体化、二元捆绑和组合关联内存。ACM计算系统新兴技术期刊（JETC），15（4），1-25。
[67] Shawe-Taylor，J.、Cristianini，N.等人（2004年）。模式分析的核心方法。剑桥大学出版社·Zbl 0994.68074号
[68] Stettler，D.D.和Axel，R.（2009年）。梨状皮层中气味的表示。神经元，63（6），854-864。
[69] Thrun，S.（1996）。学习第n件事比学习第一件容易吗？。神经信息处理系统进展，第640-646页。
[70] Turner，G.C.、Bazhenov，M.和Laurent，G.（2008）。果蝇蘑菇体神经元的嗅觉表征。神经生理学杂志，99（2），734-746。
[71] Wainwright，M.J.（2019年）。《高维统计：非渐近观点》，第48卷。剑桥大学出版社·Zbl 1457.62011年
[72] Weiss，E.、Cheung，B.和Olshausen，B.（2016）。一种用于表示和推理空间关系的神经结构。在国际学习代表会议（ICLR）上。
[73] Widdows，D.和Cohen，T.（2015）。向量推理：用于快速稳健推理的连续模型。IGPL逻辑杂志，23（2），141-173。
[74] Wilson，R.I.（2013）。果蝇的早期嗅觉加工：机制和原理。神经科学年度回顾，36，217-241。
[75] Zhang，A.、Tay，Y.、Zhang、S.、Chan，A.、Luu，A.T.、Hui，S.C.和Fu，J.（2016）。超越具有四元数的完全连接层：具有1/n参数的超复数乘法的参数化。国际学习代表大会
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。