设备上结构化和上下文分割投影网络

苏吉思·拉维,佐尔尼萨·科扎列娃

摘要
在设备文本分类中，一个具有挑战性的问题是构建高精度的神经模型，该模型能够适应较小的内存占用和较低的延迟。为了应对这一挑战，我们提出了一种基于设备的神经网络SGNN++，它使用结构化和上下文相关的分区投影从原始文本中动态学习紧凑的投影向量。我们表明，这将加速推理并提高性能。我们对英语、日语、西班牙语和法语等多种会话任务和语言进行广泛评估。我们的SGNN++模型显著优于所有基线，改进了现有的设备神经模型，甚至在对话行为和意图预测方面超过了RNN、CNN和BiLSTM模型。通过一系列消融研究，我们显示了分区投影和结构化信息的影响，导致10%的改善。我们研究了模型大小对准确性的影响，并为SGNN++引入了量化软件训练，以进一步减小模型大小，同时保持相同的质量。最后，我们展示了对手机的快速推断。
选集ID：
第19-1368页
体积：
计算语言学协会第57届年会会议记录
月份：
七月
年份：
2019
地址：
意大利佛罗伦萨
编辑：
安娜·科霍恩,大卫·特拉姆,路易斯·马奎兹
地点：
国际计算语言学协会
SIG公司：
出版商：
计算语言学协会
注：
页：
3784–3793
语言：
网址：
https://acl选集.org/P19-1368
内政部：
10.18653/v1/P19-1368
比比键：
引用（ACL）：
苏吉斯·拉维（Sujith Ravi）和佐尔尼萨·科扎列娃（Zornitsa Kozareva）。2019.设备上结构化和上下文分割投影网络.英寸计算语言学协会第57届年会会议记录，第3784–3793页，意大利佛罗伦萨。计算语言学协会。
引用（非正式）：
设备上结构化和上下文分割投影网络（拉维和科扎列娃，ACL 2019）
复制引文：
PDF格式：
https://aclantology.org/P19-1368.pdf
PDF格式 引用 搜索