×
J·古萨克。；多尔巴耶夫，T。；Ponomarev，E。；A.奇切基。；Oseledets，I。

深度神经网络的降阶建模。 （英语。俄文原件） Zbl 1528.68356号

计算。数学。数学。物理学。 61，第5期，774-785（2021）; Zh的翻译。维奇尔。Mat.Mat.Fiz公司。61，第5期，800-812（2021）。
小结：我们介绍了一种加速深层神经网络推理的新方法。它受到了动力系统降阶建模技术的启发。该方法的基础是最大体积算法。我们展示了在不同数据集上预训练的神经网络的效率。我们表明，在许多实际情况下，可以用更小的全连接层替换卷积层，而精度下降相对较小。

引用于2文件

MSC公司：

68T07型 人工神经网络与深度学习

关键词：

知识提炼；模型修剪；神经网络的加速；成分分析

软件：

火炬差异；FFJORD公司；FitNets公司；移动网络
PDF格式BibTeX公司 XML格式引用
\textit{J.Gusak}等人，《计算》。数学。数学。物理学。61，编号5，774--785（2021；Zbl 1528.68356）；Zh的翻译。维奇尔。Mat.Mat.Fiz公司。61，第5号，800--812（2021）
全文： 内政部 arXiv公司

参考文献：

[1] R.T.Q.Chen、Y.Rubanova、J.Bettencourt和D.K.Duvenaud，“神经常微分方程”，《第32届神经信息处理系统国际会议论文集》（2018年），第6572-6583页。
[2] W.Grathwohl、R.T.Q.Chen、J.Bettencourt、I.Sutskever和D.Duvenaud，“FFJORD：可扩展可逆生成模型的自由形式连续动力学”，《学习表征国际会议论文集》（2019）。
[3] J.Gusak、L.Markeeva、T.Daulbaev、A.Katrutsa、A.Cichocki和I.Oseledets，“理解神经常微分方程的归一化”，国际学习表示会议（ICLR），深度神经模型和微分方程集成研讨会（2020）。https://openreview.net/forum？id=mllQ3QNNr9d。
[4] T.Daulbaev、A.Katrusa、J.Gusak、L.Markeeva、A.Cichocki和I.Oseledets，“加快神经ODE梯度传播的插值技术”（2020年）。arXiv:2003.05271。
[5] Quarteroni，A。；Rozza，G.，《建模和计算简化的降阶方法》（2014）·Zbl 1280.65004号
[6] Chaturantabut，S。；Sorensen，D.C.，《通过离散经验插值进行非线性模型简化》，SIAM J.Sci。计算。，32, 2737-2764 (2010) ·Zbl 1217.65169号 ·doi:10.1137/090766498
[7] A.Fonarev、A.Mikhalev、P.Serdyukov、G.Gusev和I.Oseledets，“协作过滤中用于评级启发的高效矩形最大体积算法”，2016年IEEE第16届国际数据挖掘会议（ICDM）（IEEE，2016），第1卷，第141-150页。
[8] 米哈列夫，A。；Oseledets，I.V.，矩形最大体积子矩阵及其应用，线性代数应用。，538, 187-211 (2018) ·Zbl 1374.15016号 ·doi:10.1016/j.laa.2017.10.14
[9] K.He、X.Zhang、S.Ren和J.Sun，“图像识别的深度剩余学习”，IEEE计算机视觉和模式识别会议论文集（2016），第770-778页。
[10] S.Zagoruyko和N.Komodakis，“广域残差网络”，《英国机器视觉会议论文集》（2016），第87.1-87.12页。
[11] G.Huang、Z.Liu、L.Van Der Maaten和K.Q.Weinberger，“密集连接卷积网络”，《IEEE计算机视觉和模式识别会议论文集》（2017），第4700-4708页。
[12] 庄，Z。；Tan，M。；庄，B。；刘杰。；郭毅。；吴琼。；Huang，J。；Zhu，J.，深度神经网络的辨别感知信道修剪，高级神经网络研究进展。系统。，31, 881-892 (2018)
[13] J.Zhong、G.Ding、Y.Guo、J.Han和B.Wang，“修剪的位置：使用LSTM指导端到端修剪”，《第27届国际人工智能联合会议论文集》（2018），第3205-3211页。
[14] 南岛中岛。；杉山，M。；巴巴坎，S.D。；Tomioka，R.，完全观测变分贝叶斯矩阵分解的全局解析解，J.Mach。学习。研究，14，1-37（2013）·Zbl 1436.62228号
[15] 伍德拉夫，D.P.，《素描作为数字线性代数的工具》，Found。趋势理论。计算。科学。，10, 1-157 (2014) ·Zbl 1316.65046号 ·doi:10.1561/0400000060
[16] A.Tsitsulin、M.Munkhoeva、D.Mottin、P.Karras、I.Oseledets和E.F.Müller，“FREDE:线性空间-任何时间图嵌入”（2020）。https://arxiv.org/abs/2006.04746。
[17] K.Simonyan和A.Zisserman，“用于大规模图像识别的深度卷积网络”，学习表征国际会议（2014年）。https://arxiv.org/abs/1409.1556。
[18] Z.Liu、J.Li、Z.Shen、G.Huang、S.Yan和C.Zhang，“通过网络精简学习高效卷积网络”，2017 IEEE国际计算机视觉会议（2017）。
[19] X.Gao、Y.Zhao、L.Dudziak、R.Mullins和C.Zh。十、 “动态通道修剪：特征增强和抑制”，国际学习表征会议（2019年）。
[20] J.Gusak、M.Kholiavchenko、E.Ponomarev、L.Markeeva、P.Blagoveschensky、A.Cichocki和I.Oseledets，“神经网络的自动多级压缩”，IEEE/CVF国际计算机视觉研讨会（ICCVW）（2019年）。
[21] C.Cui、K.Zhang、T.Daulbaev、J.Gusak、I.Oseledets和Z.Zhang.，“神经网络的主动子空间：结构分析和通用攻击”，arXiv:19https://doi.org/10.13025.2019。
[22] 罗，J.-H。；张，H。；周，H。；谢，C。；吴杰。；Lin，W.，ThiNet：为更薄的网络修剪CNN过滤器，IEEE Trans。模式分析。机器。智力。，4122525-2538（2018）·doi:10.1109/TPAMI.2018.2858232
[23] 何毅、张旭和孙建中，“加速超深层神经网络的通道修剪”，2017 IEEE国际计算机视觉会议（2017），第1398-1406页。
[24] A.G.Howard、M.Zhu、B.Chen、D.Kalenichenko、W.Wang、T.Weyand、M.Andreetto和H.Adam，“移动网络：移动视觉应用的高效卷积神经网络”（2017）。https://arxiv.org/abs/1704.04861。
[25] Cheng，Y。；王，D。；周，P。；Zhang，T.，深度神经网络的模型压缩和加速：原理、进展和挑战，IEEE Signal Proc。Mag.，35，126-136（2018）·doi:10.1109/MSP.2017.2765695
[26] C.Bucilua、R.Caruana和A.Niculescu-Mizil，“模型压缩”，《第十二届ACM SIGKDD知识发现和数据挖掘国际会议论文集》（2006年），第535-541页。
[27] G.Hinton、O.Vinyals和J.Dean，“在神经网络中提取知识”，NIPS深度学习和表征学习研讨会（2015年）。
[28] A.Romero、N.Ballas、S.E.Kahou、A.Chassang、C.Gatta和Y.Bengio，“FitNets:薄深网提示”，《学习代表国际会议论文集》（2015）。
[29] S.Zagoruyko和N.Komodakis，“更加关注注意力：通过注意力转移提高卷积神经网络的性能”，《学习表征国际会议论文集》（2017年）。
[30] H.Li、A.Kadav、I.Durdanovic、H.Samet和H.P.Graf，“高效转换网络的修剪过滤器”，《学习代表国际会议论文集》（2017年）。
[31] H.Hu、R.Peng、Y.-W Tai和C.-K Tang，“网络修剪：一种面向高效深度架构的数据驱动神经元修剪方法”（2016）。https://arxiv.org/abs/1607.03250。
[32] Wen，W。；吴，C。；王，Y。；陈，Y。；Li，H.，《深度神经网络中的学习结构稀疏性》，《高级神经信息程序》。系统。，29, 2074-2082 (2016)
[33] 丹顿，E。；Zaremba，W。；布鲁纳，J。；LeCun，Y。；Fergus，R.，利用卷积网络中的线性结构进行有效评估，高级神经信息处理。系统。，2, 1269-1277 (2014)
[34] M.Jaderberg、A.Vedaldi和A.Zisserman，“用低阶扩展加速卷积神经网络”，《2014年英国机器视觉会议论文集》（2014）。
[35] V.Lebedev、Y.Ganin、M.Rakhuba、I.Oseledets和V.Lempitsky，“使用微调CP-分解加速卷积神经网络”，《第三届学习表征国际会议论文集》（2015）。
[36] X.Zhang、J.Zou、K.He和J.Sun，“加速用于分类和检测的极深卷积网络”，IEEE Trans。模式分析。机器。智力。38 (10), (2016).
[37] M.Courbareaux、Y.Bengio和J.-P.David，“用低精度乘法训练深度神经网络”，第三届学习表征国际会议论文集（2015）。
[38] 古普塔，S。；阿格拉瓦尔。；Gopalakrishnan，K。；Narayanan，P.，有限数值精度的深度学习，Proc。机器。学习。研究，37，1737-1746（2015）
[39] Molchanov，D。；Ashukha，A。；Vetrov，D.，变分缺失稀疏化深层神经网络，Proc。机器。学习。决议，702498-2507（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。