基于Transformer的句子分类器的零镜头序列标记

卡米尔·布杰尔,海伦·扬纳库达基斯,马雷克·雷

摘要
我们研究如何在没有任何直接监督的情况下，将句子级变压器修改为令牌级的有效序列标签。现有的零快照序列标记方法在基于变压器的体系结构上应用时表现不佳。由于变形金刚包含多层多头自关注，句子中的信息会在多个标记之间进行分配，从而对零快照标记级别的性能产生负面影响。我们发现，一个明确鼓励注意权重锐化的软注意模块可以显著优于现有方法。
选集ID：
2021.回复4nlp-1.20
体积：
第六届NLP表征学习研讨会会议记录（RepL4NLP-2021）
月份：
八月
年份：
2021
地址：
在线的
编辑：
安娜·罗杰斯,拉塞·卡利克斯托,伊万·武利奇,纳奥米·萨弗拉,诺拉·卡斯纳,Oana-Maria-Camburu公司,特拉皮特·班萨尔,韦里德·施瓦茨
地点：
回复L4NLP
SIG公司：
出版商：
计算语言学协会
注：
页：
195–205
语言：
网址：
https://aclantology.org/2021.repl4nlp-1.20网址
内政部：
10.18653/v1/2021.repl4nlp-1.20版
比比键：
引用（ACL）：
卡米尔·布杰尔（Kamil Bujel）、海伦·亚纳库达基斯（Helen Yannakoudakis）和马雷克·雷（Marek Rei）。2021基于变换的句子分类器零炮序列标记.英寸第六届NLP表征学习研讨会会议记录（RepL4NLP-2021），第195-205页，在线。计算语言学协会。
引用（非正式）：
基于Transformer的句子分类器的零镜头序列标记（Bujel等人，RepL4NLP 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.repl4nlp-1.20.pdf
可选补充材料：
2021.repl4nlp-1.20.可选补充材料.zip
视频：
 https://aclantology.org/2021.repl4nlp-1.20.mp4网站
代码
bujol12/bert-seq可解释性
数据
FCE公司
PDF格式 引用 搜索 代码 可选补充材料 视频