发泄GPT公司-2事件检测电源

阿米尔·普兰·本·韦瑟,越南莱,弗兰克·德农考特,Thien Huu Nguyen先生

摘要
事件检测（ED）旨在识别文本中提到的事件（即事件触发器）及其类型。最近，提出了多个不同领域的ED数据集。然而，这些资源的主要局限性是缺乏足够的针对单个事件类型的训练数据，这阻碍了对缺乏数据的深度学习模型的有效训练。为了克服这个问题，我们建议利用强大的预训练语言模型GPT-2为ED生成训练样本。为了防止自动生成的数据中不可避免的噪声妨碍训练过程，我们建议开发一种师生结构，在这种结构中，教师应该从原始数据中学习锚定知识。然后，在教师提供的锚定知识的指导下，对学生进行原始数据和GPT生成数据的组合培训。引入了最优传输以促进两个网络之间基于锚的制导。我们在多个ED基准数据集上评估了所建议的模型，获得了一致的改进，并为ED建立了最先进的结果。
选集ID:
2021.acl长490
体积：
计算语言学协会第59届年会和第11届国际自然语言处理联合会议记录（第1卷：长篇论文）
月份：
八月
年份：
2021
地址：
在线的
编辑：
宗成庆,费霞,李文杰,罗伯托·纳维利
场馆：
国际计算语言学协会|国际JCNLP
SIG公司：
出版商：
计算语言学协会
注：
页：
6271–6282
语言：
网址：
https://aclantology.org/2021.acl-long.490
内政部：
10.18653/v1/2021.acl长490
双钥匙：
引用（ACL）：
阿米尔·普兰·本·韦瑟（Amir Pouran Ben Veyseh）、越莱（Viete Lai）、弗兰克·德农科特（Franck Dernoncourt）和蒂恩·胡·阮（Thien Huu Nguyen）。2021释放GPT-2的事件检测能力.英寸计算语言学协会第59届年会和第11届国际自然语言处理联合会议记录（第1卷：长篇论文），第6271–6282页，在线。计算语言学协会。
引用（非正式）：
释放GPT-2的事件检测能力（Pouran Ben Veyseh等人，ACL-IJCNLP 2021）
复制引文：
PDF格式：
https://aclcollectory.org/2021.acl-long.490.pdf
视频：
 https://aclantology.org/2021.acl-long.490mp4
PDF格式 引用 搜索 视频