预设语言模型的语篇分析

法里·库托,Jey Han Lau（杰·汉·刘）,蒂莫西·鲍德温

摘要
现有的预处理语言模型（LMs）研究主要集中在句子级的句法任务上。本文引入文档级话语探测来评估预处理LM捕获文档级关系的能力。我们用7个预处理的LM、4种语言和7个语篇探测任务进行了实验，发现BART是捕获语篇的最佳模型，但仅在其编码器中，BERT的表现出奇地好于基线模型。在不同的模型中，在哪一层最好地捕获话语信息方面存在着实质性差异，并且模型之间存在着巨大差异。
选集ID：
2021.naacl-main.301年
体积：
计算语言学协会北美分会2021年会议记录：人类语言技术
月份：
六月
年份：
2021
地址：
在线的
编辑：
克里斯蒂娜·图塔诺娃,安娜·拉姆希斯基,卢克·泽特莫耶,Dilek Hakkani土尔,伊兹·贝尔塔基,史蒂文·贝萨德,瑞恩·科特雷尔,Tanmoy Chakraborty公司,周一超
地点：
NAACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
3849–3864
语言：
网址：
https://aclantology.org/2021.naacl-main.301
内政部：
10.18653/v1/2021.naacl-main.301
比比键：
引用（ACL）：
Fajri Koto、Jey Han Lau和Timothy Baldwin。2021预设语言模型的语篇分析.英寸计算语言学协会北美分会2021年会议记录：人类语言技术，第3849–3864页，在线。计算语言学协会。
引用（非正式）：
预设语言模型的语篇分析（Koto等人，NAACL 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.naacl-main.301.pdf
视频：
 https://aclantology.org/2021.naacl-main.301.mp4
代码
fajri91/讨论
PDF格式 引用 搜索 代码 视频