迪安娜·尼德尔;萨博、拉扬;蒂娜·伍尔夫 使用二进制数据进行简单分类。 （英语） Zbl 1407.68410号 J.马赫。学习。物件。 19，第61号论文，30页（2018年）. 摘要：二进制或一位数据表示在许多应用程序中自然出现，在硬件实现和算法设计中都很有吸引力。在这项工作中，我们研究了从低维投影的符号模式中获得的二进制数据的数据分类问题，并提出了一个计算和资源成本低的框架。我们通过程式化和现实的数值实验说明了所提方法的实用性，并对一个简单的案例进行了理论分析。我们希望，我们的框架和分析将为研究类似类型的方法奠定基础。 引用于2文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68瓦40 算法分析 关键词：二进制测量;一位表示;分类 软件：ImageNet公司;MNIST公司;XNOR-网络;二进制网络;AlexNet公司;二进制连接 PDF格式BibTeX公司 XML格式引用 \textit{D.Needell}等人，J.Mach。学习。第19号决议，第61号论文，30页（2018年；Zbl 1407.68410） 全文： arXiv公司 链接 参考文献： [1] 迪米特里斯·阿奇利奥普塔斯。数据库友好型随机投影：Johnson-lindenstrauss与二进制硬币。J.计算。系统。科学。，66(4):671-687, 2003. ·Zbl 1054.68040号 [2] 尼尔·艾隆和伯纳德·夏泽尔。近似最近邻和快速Johnson-Lindenstrauss变换。程序中。第38届ACM计算理论年会，第557-563页。ACM，2006年·Zbl 1301.68232号 [3] Pervez M Aziz、Henrik V Sorensen和J Vn der Spiegel。sigma-delta转换器概述。IEEE信号处理。Mag.，13（1）：61-841996。 [4] 理查德·巴拉纽克、马克·达文波特、罗纳德·德沃尔和迈克尔·沃金。Johnson-Lindenstrauss引理满足压缩感知。预印本，2006年·Zbl 1177.15015号 [5] 理查德·巴拉纽克（Richard Baraniuk）、西蒙·福卡特（Simon Foucart）、迪安娜·尼德尔（Deanna Needell）、亚尼夫计划（Yaniv Plan）和玛丽·伍特斯（Mary Wootters）。稀疏信号二进制测量重建误差的指数衰减。IEEE传输。信息。理论，63（6）：3368-33852017。 [6] Petros Boufounos和Richard Baraniuk。1位压缩传感。程序中。IEEE确认信息。科学与系统（CISS），新泽西州普林斯顿，2008年3月·Zbl 1364.94130号 [7] Peter S.Burge、Max R.van Daalen、Barry J.P.Rising和John S.Shawe Taylor。脉冲神经网络。《随机比特流神经网络》，第337-352页。麻省理工学院出版社，马萨诸塞州剑桥，1999年。 [8] 邓才、何晓飞、韩嘉伟和张洪江。用于人脸识别的正交拉普拉斯人脸。IEEE传输。图像处理。，15(11):3608-3614, 2006. [9] 邓才、何晓飞和韩嘉伟。有效正则化子空间学习的谱回归。程序中。国际计算机视觉会议（ICCV'07），2007a。 [10] 邓才、何晓飞、胡玉霄、韩嘉伟和黄志军。学习用于人脸识别的空间平滑子空间。程序中。IEEE Conf.计算机视觉和模式识别机器学习（CVPR'07），2007b。 [11] Robert Calderbank、Sina Jafarpour和Robert Schapire。压缩学习：测量领域中的通用稀疏维数约简和学习。预印本，2009年·Zbl 1257.94011号 [12] 瓦莱里奥·坎巴雷里（Valerio Cambareri）、徐春蕾（Chunlei Xu）和劳伦特·雅克（Laurent Jacques）。瓷砖上罕见的月蚀问题：不相交凸集的量化嵌入。arXiv预印arXiv:1702.046642017。 [13] 伊曼纽尔·坎迪斯、贾斯汀·隆伯格和泰伦斯·陶。鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号。IEEE传输。通知。理论，52（2）：489-5092006a。26 ·Zbl 1231.94017号 [14] 伊曼纽尔·坎迪斯、贾斯汀·隆伯格和泰伦斯·陶。从不完整和不准确的测量中恢复稳定的信号。普通纯应用程序。数学。，59（8）：1207-12232006b·邮编1098.94009 [15] 詹姆斯·坎迪和加博尔·泰姆斯。过采样delta-sigma数据转换器：理论、设计和仿真。德克萨斯大学出版社，1962年。 [16] Anna Choromanska、Krzysztof Choromaski、Mariusz Bojarski、Tony Jebara、Sanjiv Kumar和Yann LeCun。带有结构化散列投影的二进制嵌入。程序中。第三十三届机器学习国际会议，第344-353页，2016年。 [17] 尼罗·克里斯蒂安尼尼和约翰·肖·泰勒。支持向量机和其他基于内核的学习方法简介。剑桥大学出版社，英国剑桥，2000年·Zbl 0994.68074号 [18] 马蒂厄·库巴里奥（Matthieu Courbariaux）、约书亚·本吉奥（Yoshua Bengio）和珍妮·皮埃尔·戴维（Jean-Pierre David）。二进制连接：在传播过程中使用二进制权重训练深层神经网络。《神经信息处理系统进展》，第3123-31312015页。 [19] 马蒂厄·库巴里奥（Matthieu Courbariaux）、伊泰·胡巴拉（Itay Hubara）、丹尼尔·苏德利（Daniel Soudry）、兰·埃尔亚尼夫（Ran El-Yaniv）和约舒亚·本吉奥（Yoshua Bengio）。二元化神经网络：训练权重和激活约束为+1或1的深度神经网络。arXiv预印arXiv:1602.02832016·Zbl 1468.68183号 [20] Sanjoy Dasgupta和Anupam Gupta。约翰逊和林登斯特劳斯定理的初等证明。随机结构与算法，22（1）：60-652003·Zbl 1018.51010号 [21] Mark A Davenport、Petros T Boufounos、Michael B Wakin和Richard G Baraniuk。压缩测量的信号处理。IEEE J.选择。主题信号处理。，4(2): 445-460, 2010. [22] Sjoerd Dirksen和Alexander Stollenwerk。高斯循环矩阵的快速二进制嵌入：改进的边界。arXiv预印本arXiv:1608064982016·Zbl 1409.60023号 [23] D.多诺霍。压缩传感。IEEE传输。通知。理论，52（4）：1289-13062006·Zbl 1288.94016号 [24] 方军（Jun Fang）、沈延宁（Yanning Shen）、李洪斌（Hongbin Li）和任志（Zhi Ren）。从一位量化数据中恢复稀疏信号：一种迭代重加权算法。信号处理，102:201-2062014。 [25] 拉贾·吉里耶斯（Raja Giryas）、吉列尔莫·萨皮罗（Guillermo Sapiro）和亚历山大·布朗斯坦（Alexander M Bronstein）。具有随机高斯权重的深度神经网络：一种通用分类策略？IEEE传输。信号处理。，64(13):3444-3457, 2016. ·Zbl 1414.94217号 [26] 龚云超（Yunchao Gong）、斯维特拉娜·拉泽布尼克（Svetlana Lazebnik）、阿尔伯特·戈多（Albert Gordo）和弗洛伦特·佩罗宁（Florent Perronnin）。迭代量化：一种用于大规模图像检索的二进制码学习方法。IEEE传输。模式分析。机器智能。，35(12):2916-2929, 2013. [27] Sivakant Gopi、Praneeth Netrapalli、Pratek Jain和Aditya V Nori。一位压缩感知：可验证支持和矢量恢复。ICML（3），第154-162页，2013年。 [28] 安基特·古普塔（Ankit Gupta）、罗伯特·诺瓦克（Robert Nowak）和本杰明·雷希特（Benjamin Recht）。1位压缩感知和稀疏分类的样本复杂性。程序中。IEEE国际标准。通知。理论（ISIT），第1553-1557页。IEEE，2010年。27 [29] Jurgen Hahn、Simon Rosenkranz和Abdelhak M Zoubir。高光谱图像的自适应压缩分类。程序中。IEEE国际Conf.Acust。，语音和信号处理（ICASSP），第1020-1024页。IEEE，2014年。 [30] 何晓飞、严水成、胡玉晓、帕塔·尼约吉和张洪江。使用拉普拉斯人脸进行人脸识别。IEEE传输。模式分析。机器集成。，27(3):328-340, 2005. [31] Marti A.Hearst、Susan T Dumais、Edgar Osuna、John Platt和Bernhard Scholkopf。支持向量机。IEEE智能系统。申请。，13(4):18-28, 1998. [32] Itay Hubara、Matthieu Courbariaux、Daniel Soudry、Ran El-Yaniv和Yoshua Bengio。量化神经网络：训练具有低精度权重和激活的神经网络。arXiv预印arXiv:1609.070612016·Zbl 1468.68183号 [33] 布莱克·亨特（Blake Hunter）、托马斯·斯特罗默（Thomas Strohmer）、西奥多·西蒙斯（Theodore E Simos）、乔治·普西霍约斯（George Psihoyios）和奇图拉斯（Ch Tsitouras）。压缩谱聚类。AIP会议论文集，第1281卷，1720-1722页。AIP，2010年。 [34] 劳伦特·雅克（Laurent Jacques）、凯文·德劳（K´evin Degraux）和克里斯托夫·德·弗利舍沃（Christophe De Vleeschouwer）。量化迭代硬阈值：桥接1位和高分辨率量化压缩感知。arXiv预印arXiv:1305.17862013a。 [35] Laurent Jacques、Jason Laska、Petros Boufounos和Richard Baraniuk。通过稀疏向量的二进制稳定嵌入实现稳健的1位压缩感知。IEEE传输。通知。理论，59（4）：2082-21022013b·Zbl 1364.94130号 [36] 托尔斯滕·约阿希姆斯（Thorsten Joachims）。使用支持向量机进行文本分类：使用许多相关功能进行学习。机器学习：ECML-98，第137-142页，1998年。 [37] 威廉·约翰逊和乔兰·林登斯特劳斯。Lipschitz映射到Hilbert空间的扩张。程序中。Conf.现代分析。和探针。，康涅狄格州纽黑文，1982年6月·Zbl 0539.46017号 [38] Minje Kim和Paris Smaragdis。位神经网络。arXiv预印arXiv:1601.060712016。 [39] 费利克斯·克拉默和雷切尔·沃德。新的和改进的Johnson-Lindenstraus嵌入通过受限等距属性。SIAM J.数学。分析。，43(3):1269-1281, 2011. ·Zbl 1247.15019号 [40] 亚历克斯·克利舍夫斯基（Alex Krizhevsky）、伊利亚·萨茨克弗（Ilya Sutskever）和杰弗里·欣顿（Geoffrey E Hinton）。基于深度卷积神经网络的Imagenet分类。程序中。《神经处理系统进展》（NIPS），第1097-1105页，2012年。 [41] Jason N Laska、Zaiwen Wen、Wotao Yin和Richard G Baraniuk。信任，但要验证：从1位压缩测量中快速准确地恢复信号。IEEE传输。信号处理，59（11）：5289-53012011·Zbl 1393.94314号 [42] 延乐村。2018年MNIST手写数字数据库。网址：http://yann.lecun.com/exdb/mnist/。28 [43] 周汉林（Zhouhan Lin）、马蒂厄·库巴里奥（Matthieu Courbariaux）、罗兰·梅米舍维奇（Roland Memisevic）和约舒亚·本吉奥（Yoshua Bengio）。具有少量乘法运算的神经网络。arXiv预印arXiv:1510.030092015。 [44] 米歇尔·马切西（Michele Marchesi）、吉安尼·奥兰迪（Gianni Orlandi）、弗朗西斯科·皮亚扎（Francesco Piazza）和奥雷里奥·恩西尼（Aurelio Uncini）。无乘法器的快速神经网络。IEEE传输。神经网络，4（1）：53-621993。 [45] 穆斯塔法·奥祖萨尔（Mustafa Ozuysal）、迈克尔·卡兰德（Michael Calonder）、文森特·勒佩蒂（Vincent Lepetit）和帕斯卡尔·福阿（Pascal Fua）。使用随机蕨类快速识别关键点。IEEE传输。模式分析。机器智能。，32(3):448-461, 2010. [46] 亚尼夫计划和罗曼·弗什宁。线性规划的一位压缩传感。Commun公司。采购。申请。数学。，66（8）：1275-12972013a·Zbl 1335.94018号 [47] 亚尼夫计划和罗曼·弗什宁。稳健的1位压缩感知和稀疏逻辑回归：凸规划方法。IEEE传输。通知。理论，59（1）：482–4942013b·Zbl 1364.94153号 [48] 亚尼夫计划和罗曼·弗什宁。通过随机超平面细分降低维数。离散与计算几何，51（2）：438-4612014·Zbl 1296.52014年 [49] Ali Rahimi和Benjamin Recht。随机厨房水槽的加权和：在学习中用随机代替最小化。程序中。神经处理系统（NIPS）进展，第1313-1320页，2009年。 [50] 穆罕默德·拉斯特加里（Mohammad Rastegari）、维森特·奥多内斯（Vicente Ordnez）、约瑟夫·雷德蒙（Joseph Redmon）和阿里·法哈迪（Ali Farhadi）。Xnor-net：使用二进制卷积神经网络对图像进行分类。在欧洲计算机视觉会议上，第525-542页。斯普林格，2016年。 [51] Olga Russakovsky、Jia Deng、Hao Su、Jonathan Krause、Sanjeev Satheesh、Sean Ma、Zhiheng Huang、Andrej Karpathy、Aditya Khosla、Michael Bernstein等。Imagenet大规模视觉识别挑战。国际计算机视觉杂志，115（3）：211-2522015。 [52] Patrice Y Simard和Hans-Peter Graf。无需乘法的反向传播。程序中。《神经处理系统进展》（NIPS），第232-239页，1994年。 [53] 凯伦·西蒙扬和安德鲁·齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印arXiv:1409.15562014。 [54] 英戈·斯坦沃特（Ingo Steinwart）和安德烈亚斯·克里斯特曼（Andreas Christmann）。支持向量机。施普林格科学与商业媒体，2008年·Zbl 1203.68171号 [55] Christian Szegedy、Wei Liu、Yangqing Jia、Pierre Sermanet、Scott Reed、Dragomir Angelov、Dumitru Erhan、Vincent Vanhoucke和Andrew Rabinovich。用卷积深入。程序中。IEEE Conf.计算机视觉和模式识别，第1-9页，2015年。 [56] Ming Yan、Yi Yang和Stanley Osher。使用自适应异常值追踪的稳健1位压缩传感。IEEE传输。信号处理，60（7）：3868-38752012·Zbl 1393.94723号 [57] 信阳易、康斯坦丁商队和埃里克·普莱斯。二进制嵌入：基本限制和快速算法。机器学习国际会议，第2162-2170页，2015年。29 [58] Felix X.Yu、Sanjiv Kumar、龚云超和张世福。循环二进制嵌入。2014年第6卷第7页《机器学习国际会议》·Zbl 1462.68172号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。