提高零镜头文本分类效率的保角预测器

普拉福拉·库马尔·乔比,于白,吴建胜,刘文浩,纳兹尼·拉贾尼

摘要
预训练语言模型（PLM）已被证明对零镜头（0shot）文本分类有效。基于自然语言推理（NLI）和下一句预测（NSP）的0shot模型采用交叉编码器结构，并通过分别对每个标签文本对的模型进行前向传递来进行推断。这增加了对标签数量进行线性推断的计算成本。在这项工作中，我们通过使用另一种基于快速基分类器的共形预测器（CP）来限制可能标签的数量，从而提高了这种基于交叉编码器的0shot模型的效率。由于CP生成具有覆盖保证的预测集，因此它减少了目标标签的数量，而不排除基于0shot模型的最可能标签。我们使用三个意图和两个主题分类数据集进行实验。通过对每个数据集使用合适的CP，我们将基于NLI和NSP的模型的平均推理时间分别减少了25.6%和22.2%，而性能不会下降到预定的错误率1%以下。
选集ID：
2022.emnlp-main.196年
体积：
2022年自然语言处理实证方法会议记录
月份：
十二月
年份：
2022
地址：
阿拉伯联合酋长国阿布扎比
编辑：
约夫·戈德堡,佐尔尼萨·科扎列娃,张岳（音）
地点：
EMNLP公司
SIG公司：
发布者：
计算语言学协会
注：
页：
3027–3034
语言：
网址：
https://aclantology.org/2022.emnlp-main.196
内政部：
10.18653/v1/2022.emnlp-main.196
比比键：
引用（ACL）：
Prafulla Kumar Choubey、Yu Bai、Chien-Sheng Wu、Wenhao Liu和Nazneen Rajani。2022提高零镜头文本分类效率的保角预测器.英寸2022年自然语言处理实证方法会议记录，第3027-3034页，阿拉伯联合酋长国阿布扎比。计算语言学协会。
引用（非正式）：
提高零镜头文本分类效率的保角预测器（Choubey等人，EMNLP 2022）
复制引文：
PDF格式：
https://aclcollectory.org/2022.emnlp-main.196.pdf
PDF格式 引用 搜索