统计学及其接口

第16卷（2023年）

编号3

基于主成分分析的递归神经网络模型压缩

页：397 – 407

内政部：https://dx.doi.org/10.4310/22-SII727

作者

齐浩波（北京大学光华管理学院，中国北京）

曹景轩（中国人民大学统计学院应用统计中心，北京，中国）

陈世冲（中国人民大学统计学院应用统计中心，北京，中国）

荆州（中国人民大学统计学院应用统计中心，北京，中国）

摘要

目前，基于深度学习的神经网络模型，如递归神经网络（RNN）和长短期记忆（LSTM）体系结构，被认为是解决自然语言处理（NLP）领域中与有效执行任务相关的大多数问题的最先进解决方案。然而，为了确保这些模型的有效应用，需要大量参数和极高的内存复杂性，从而增加了在嵌入式系统中部署这些模型的难度，例如用于移动设备和平板电脑的系统。在本研究中，我们提出了一种通过主成分分析压缩基于RNN的模型的技术。我们提出的压缩方法从嵌入层开始，然后进入最终输出层。对于每个目标层，我们提出了一种主成分分析方法来降低二维（2D）估计权重矩阵的维数。通过这种方法，我们开发了一种比基准模型参数更少的简化模型结构。此外，与基准模型相比，我们提出的方法确保了更高的预测精度。此外，我们提出了一种新的基于主成分得分矩阵的参数初始化方法。我们通过对各种与NLP相关的任务（如文本分类和语言翻译）以及数据集进行实验来评估我们提出的方法的有效性。我们的实验结果非常令人鼓舞，因为它们与通过主成分分析对RNN模型进行压缩有关。

关键词

模型压缩、主成分分析、RNN压缩

2010年数学学科分类

初级68T50。次级68U15、68W25。

2021年11月24日收到

2022年2月3日接受

2023年4月14日出版