×
张金杰;周一轩;萨博、拉扬

具有可证明保证的神经网络训练后量化。 （英语） Zbl 07726186号

SIAM J.数学。数据科学。 5，编号2，373-399（2023）.
摘要：虽然神经网络在广泛的应用中取得了显著的成功，但在资源受限的硬件中实现它们仍然是一个热门的研究领域。通过将神经网络的权值替换为量化的（例如，4位或二进制）权值，可以大幅节省计算成本、内存和功耗。为此，我们推广了一种基于贪婪路径允许机制的训练后神经网络量化方法GPFQ。除此之外，我们建议进行修改以提高权重的稀疏性，并严格分析相关误差。此外，我们的误差分析扩展了先前关于GPFQ的工作的结果，以处理一般量化字母表，表明对于单层网络的量化，相对平方误差基本上在权重数（即过参数化水平）中线性衰减。我们的结果适用于一系列输入分布，适用于全连接和卷积结构，因此也扩展了先前的结果。为了实证评估该方法，我们量化了几种常见的体系结构，每个权重只有几个比特，并在ImageNet上对它们进行了测试，与未量化的模型相比，精度损失很小。我们还证明了标准修改，如偏差校正和混合精度量化，可以进一步提高精度。

MSC公司：

68T07型 人工神经网络与深度学习
68周25 近似算法
62M45型 神经网络及从随机过程推断的相关方法
90C25型 凸面编程
65年第68季度 算法和问题复杂性分析

关键词：

深度神经网络;神经网络的量化;贪婪算法;稀疏

软件：

ImageNet公司;AlexNet公司;二进制连接;PyTorch公司;DoReFa-Net公司;效率网
PDF格式BibTeX公司 XML格式引用
\textit{J.Zhang}等人，SIAM J.Math。数据科学。5，编号2，373--399（2023；Zbl 07726186）
全文： 内政部 arXiv公司

参考文献：

[1] Banner，R.、Nahshan，Y.、Hoffer，E.和Soudry，D.，快速部署卷积网络的训练后4位量化，高级神经信息处理。系统。，32 (2019).
[2] Cai，Y.、Yao，Z.、Dong，Z.，Ghomay，A.、Mahoney，M.W.和Keutzer，K.，Zeroq:一种新的零炮量化框架，《IEEE/CVF计算机视觉和模式识别会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2020年，第13169-13178页。
[3] Choukroun，Y.、Kravchik，E.、Yang，F.和Kisilev，P.，用于有效推理的神经网络低比特量化，收录于ICCV Workshops，IEEE Computer Society，Los Alamitos，CA，2019年，第3009-3018页。
[4] Courbariaux，M.、Bengio，Y.和David，J.P.，《Binaryconnect：在传播过程中使用二进制权重训练深层神经网络》，摘自《神经信息处理系统进展》，Curran Associates，Red Hook，NY，2015年，第3123-3131页。
[5] Deng，J.，Dong，W.，Socher，R.，Li，L.J.，Li.，K.，Fei-Fei，L.，Imagenet:大型分层图像数据库，2009年IEEE计算机视觉和模式识别会议，IEEE，新泽西州皮斯卡塔韦，2009年，第248-255页。
[6] Deng，L.，Li，G.，Han，S.，Shi，L.和Xie，Y.，《神经网络的模型压缩和硬件加速：综合调查》，Proc。IEEE，108（2020），第485-532页。
[7] Dong，Z.，Yao，Z.、Ghoma，A.、Mahoney，M.W.和Keutzer，K.，Hawq:混合决策神经网络的Hessian感知量化，《IEEE/CVF国际计算机视觉会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2019年，第293-302页。
[8] Fang，J.、Shafie，A.、Abdel-Aziz，H.、Thorsley，D.、Georgiadis，G.和Hassoun，J.H.，深度神经网络的训练后分段线性量化，《欧洲计算机视觉会议》，瑞士查姆斯普林格，2020年，第69-86页。
[9] Ghoma，A.、Kim，S.、Dong，Z.、Yao，Z.，Mahoney，M.W.和Keutzer，K.，《高效神经网络推理量化方法的调查》，预印本，arXiv:2103.136302021。
[10] 郭毅，《量化神经网络方法与理论综述》，预印本，arXiv:1808.047522018。
[11] Han，S.，Mao，H.和Dally，W.J.，《深度压缩：用剪枝、训练量化和哈夫曼编码压缩深度神经网络》，国际学习表征会议，2016年。
[12] He，K.，Zhang，X.，Ren，S.和Sun，J.，图像识别的深度剩余学习，《IEEE计算机视觉和模式识别会议论文集》，IEEE，新泽西州皮斯卡塔韦，2016年，第770-778页。
[13] Hubara，I.、Nahshan，Y.、Hanani，Y.，Banner，R.和Soudry，D.，《改进训练后神经量化：分层智能校准和整数规划》，预印本，arXiv:2006.105182020年。
[14] Jacob，B.、Kligys，S.、Chen，B.、Zhu，M.、Tang，M.，Howard，A.、Adam，H.和Kalenichenko，D.，有效整数算术推理的神经网络量化和训练，《IEEE计算机视觉和模式识别会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2018年，第2704-2713页。
[15] Krishnamoorthi，R.，《量化深度卷积网络以实现有效推断：白皮书》，预印本，arXiv:1806.083422018年。
[16] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.，深度卷积神经网络的Imagenet分类，高级神经信息处理。系统。，25（2012年），第1097-1105页。
[17] Lee，J.H.、Ha，S.、Choi，S、Lee，W.J.和Lee，S.，深度神经网络快速部署的量化，预印本，arXiv:1810.054882018。
[18] Li，Y.，Gong，R.，Tan，X.，Yang，Y..，Hu，P.，Zhang，Q.，Yu，F.，Wang，W.，Gu，S.，BRECQ：通过块重建推动训练后量化的极限，学习表征国际会议，2021年。
[19] Liu，Y.，Zhang，W.，and Wang，J.，Zero-shot对抗量化，《IEEE/CVF计算机视觉和模式识别会议论文集》，IEEE，新泽西州皮斯卡塔韦，2021年，第1512-1521页。
[20] Louizos，C.、Reisser，M.、Blankevoort，T.、Gaves，E.和Welling，M.，离散神经网络的松弛量化，国际学习表征会议，2019。
[21] Lybrand，E.和Saab，R.，量化神经网络的贪婪算法，J.马赫。《学习研究》，22（2021），第1-38页·Zbl 07415099号
[22] Nagel，M.、van Baalen，M.，Blankevort，T.和Welling，M.《通过权重均衡和偏差校正实现无数据量化》，摘自《IEEE/CVF国际计算机视觉会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2019年，第1325-1334页。
[23] Nagel，M.、Amjad，R.A.、Van Baalen，M.，Louizos，C.和Blankevort，T.，向上还是向下？训练后量化的自适应舍入。机器。学习。研究（PMLR），37（2020），第7197-7206页。
[24] Paszke，A.等人，《Pytorch：命令式、高性能的深度学习库》，《高级神经信息处理》。系统。，32（2019年），第8026-8037页。
[25] Simonyan，K.和Zisserman，A.，用于大规模图像识别的甚深卷积网络，国际学习表征会议，2015年。
[26] Szegedy，C.、Liu，W.、Jia，Y.、Sermanet，P.、Reed，S.、Angelov，D.、Erhan，D.、Vanhoucke，V.和Rabinovich，A.，《卷积的深入研究》，摘自《IEEE计算机视觉和模式识别会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2015年，第1-9页。
[27] Tan，M.和Le，Q.，《效率网：卷积神经网络模型缩放的再思考》，Proc。机器。学习。研究（PMLR），36（2019），第6105-6114页。
[28] Wang，P.，Chen，Q.，He，X.和Cheng，J.，通过位分割和缝合实现精确的训练后网络量化，Proc。机器。学习。研究（PMLR），37（2020），第9847-9856页。
[29] Wang，P.，He，X.，Li，G.，Zhao，T.，and Cheng，J.，稀疏诱导二值化神经网络，《AAAI人工智能会议论文集》，人工智能协会，加利福尼亚州帕洛阿尔托，2020年，第12192-12199页。
[30] Xu，S.，Li，H.，Zhuang，B.，Liu，J.，Cao，J.、Liang，C.和Tan，M.，《生成性低比特宽数据自由量化》，欧洲计算机视觉会议，瑞士查姆斯普林格，2020年，第1-17页。
[31] Zhang，D.，Yang，J.，Ye，D.，and Hua，G.，Lq-nets:高精度紧凑深度神经网络的学习量化，《欧洲计算机视觉会议论文集》，瑞士查姆斯普林格，2018年，第365-382页。
[32] Zhao，R.，Hu，Y.，Dotzel，J.，De Sa，C.，and Zhang，Z.，《使用离群信道分裂改进神经网络量化而无需再训练》，Proc。机器。学习。Res，（PMLR），36（2019），第7543-7552页。
[33] Zhou，A.、Yao，A.、Guo，Y.、Xu，L.和Chen，Y.，《增量网络量化：朝向具有低精度权重的无损CNN》，国际学习表征会议，2017年。
[34] 周，S.，吴，Y.，倪，Z.，周，X.，温，H.，邹，Y.和Dorefa-Net:训练低比特宽梯度的低比特宽卷积神经网络，预印本，arXiv:1606.061602016。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。