远程与直接监控相结合的神经关系提取

伊兹·贝尔塔基,凯尔·洛,瓦利德·阿马尔

摘要
在远程监控的关系提取中，噪声标签使训练质量模型变得困难。以前的神经模型使用注意机制来解决这个问题，该机制关注可能表达关系的句子。我们通过将远程监控数据与附加的直接监控数据相结合来改进此类模型，并将其用作注意力权重的监控。我们发现，对这两种监督类型的联合培训可以产生更好的模型，因为它提高了模型识别噪音句子的能力。此外，我们发现在这种情况下，与常用的加权平均注意力相比，使用最大池的sigmoid注意力权重可以获得更好的性能。我们提出的方法在广泛使用的FB-NYT数据集上取得了最新的结果。
选集ID：
N19-1184号
体积：
计算语言学协会北美分会2019年会议记录：人类语言技术，第1卷（长篇和短篇论文）
月份：
六月
年份：
2019
地址：
明尼苏达州明尼阿波利斯
编辑：
吉尔·伯斯坦,克里斯蒂·多兰,塔马尔·索罗里奥
地点：
美国海军陆战队
SIG公司：
出版商：
计算语言学协会
注：
页：
1858–1867
语言：
网址：
https://aclantology.org/N19-1184
内政部：
10.18653/v1/N19-1184
比比键：
引用（ACL）：
Iz Beltagy、Kyle Lo和Waleed Ammar。2019远程与直接监控相结合的神经关系提取.英寸计算语言学协会北美分会2019年会议记录：人类语言技术，第1卷（长篇和短篇论文）1858–1867页，明尼苏达州明尼阿波利斯。计算语言学协会。
引用（非正式）：
远程与直接监控相结合的神经关系提取（Beltagy等人，NAACL 2019）
复制引文：
PDF格式：
https://aclantology.org/N19-1184.pdf
代码
allenai/comb_dist_direx
PDF格式 引用 搜索 代码