高效的多任务辅助学习：根据特征相似性选择辅助数据

Po-Nien Kung先生,圣圣贤,陈一成,谢宣扬,陈云农

摘要
多任务辅助学习利用一组相关的辅助任务来提高主要任务的性能。一种常见的用法是手动选择多个辅助任务以对所有数据进行多任务学习，这带来了两个问题：（1）为主要任务选择有益的辅助任务是很重要的；（2） 当辅助数据集很大时，对所有数据进行训练变得既费时又不切实际。因此，本文重点解决这些问题，并提出一种时间效率高的采样方法，以选择与主要任务最相关的数据。该方法允许我们只训练辅助任务中最有益的子数据集，从而实现高效的多任务辅助学习。在三个基准数据集（RTE、MRPC、STS-B）上的实验表明，我们的方法明显优于随机抽样和ST-DNN。此外，通过应用我们的方法，该模型可以在RTE、MRPC、STS-B上分别超过完全训练的MT-DNN，只需要50%、66%和1%的数据。
选集ID：
2021.emnlp-main.34年
体积：
2021年自然语言处理实证方法会议记录
月份：
十一月
年份：
2021
地址：
多米尼加共和国Online和Punta Cana
编辑：
玛丽·弗朗辛·莫恩斯,黄宣景,露西亚特色菜,Scott Wen tau Yih（斯科特·温陶一）
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
416–428
语言：
网址：
https://aclantology.org/2021.emnlp-main.34
内政部：
10.18653/v1/2021.emnlp-main.34
比比键：
引用（ACL）：
Po-Nien Kung、Sheng Siang Yin、Yi-Cheng、Tse-Shuan Yang和Yun-Nung Chen。2021高效的多任务辅助学习：根据特征相似性选择辅助数据.英寸2021年自然语言处理实证方法会议记录，第416–428页，在线和多米尼加共和国卡纳角。计算语言学协会。
引用（非正式）：
高效的多任务辅助学习：根据特征相似性选择辅助数据（Kung等人，EMNLP 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.emnlp-main.34.pdf
视频：
 https://aclantology.org/2021.emnlp-main.34.mp4
代码
米乌拉布/快速移动电话
数据
胶水, QNLI公司
PDF格式 引用 搜索 代码 视频