用于设备上自然语言理解的极限模型压缩

Kanthashree Mysore Sathyendra公司,萨里迪·乔达里,利亚·尼科利希·亨金

摘要
本文提出并实验了神经自然语言理解（NLU）模型的极端压缩技术，使其适合在资源受限设备上执行。我们提出了一种任务软件、端到端压缩方法，该方法结合NLU任务学习执行字嵌入压缩。我们展示了我们在一个大规模商业NLU系统上的结果，该系统训练了大量词汇的各种意图。我们的方法优于一系列基线，实现了97.4%的压缩率，预测性能下降不到3.7%。我们的分析表明，来自下游任务的信号对于有效压缩非常重要，性能退化最小。
选集ID：
2020.制革工业.15
体积：
第28届计算语言学国际会议论文集：行业跟踪
月份：
十二月
年份：
2020
地址：
在线的
编辑：
安·克利夫顿,科特尼·那不勒斯
地点：
冷却
SIG公司：
出版商：
国际计算语言学委员会
注：
页：
160–171
语言：
网址：
https://aclantology.org/2020.coling-industry.15
内政部：
10.18653/v1/2020冷却工业15
比比键：
引用（ACL）：
Kantashree Mysore Sathyendra、Samridhi Choudhary和Leah Nicolich Henkin。2020用于设备上自然语言理解的极限模型压缩.英寸第28届计算语言学国际会议论文集：行业跟踪，第160–171页，在线。国际计算语言学委员会。
引用（非正式）：
用于设备上自然语言理解的极限模型压缩（Mysore Sathyendra等人，COLING 2020）
复制引文：
PDF格式：
https://aclantology.org/2020.coling-industry.15.pdf
PDF格式 引用 搜索