CDLM公司：跨文档语言建模

阿维·卡奇瓦鲁,阿曼·科汉,伊兹·贝尔塔基,马修·彼得斯,阿里·卡坦,伊多·达甘

摘要
我们引入了一种新的面向多文档语言建模的预训练方法，将两个关键思想结合到屏蔽语言建模的自监督目标中。首先，我们不是孤立地考虑文档，而是对多个相关文档集进行预处理，鼓励模型学习跨文档关系。其次，我们通过引入动态全局关注来改进最近的远程变形金刚，全局关注可以访问整个输入来预测屏蔽令牌。我们发布了CDLM（跨文档语言模型），这是一种新的通用语言模型，用于多文档设置，可以轻松应用于下游任务。我们的广泛分析表明，这两种想法对CDLM的成功至关重要，并协同工作，为多文本任务设定最新的结果。
选集ID：
2021.结果-emnlp.225
体积：
计算语言学协会的发现：EMNLP 2021
月份：
十一月
年份：
2021
地址：
多米尼加共和国卡纳角
编辑：
玛丽·弗朗辛·莫恩斯,黄宣景,露西娅·斯佩西亚,斯科特·文涛（Scott Wen-tau Yih）
地点：
调查结果
SIG公司：
SIGDAT公司
出版商：
计算语言学协会
注：
页：
2648–2662
语言：
网址：
https://aclantology.org/2021.findings-emnlp.225
内政部：
10.18653/v1/2021.findings-emnlp.225
比比键：
引用（ACL）：
Avi Caciularu、Arman Cohan、Iz Beltagy、Matthew Peters、Arie Cattan和Ido Dagan。2021CDLM：跨文档语言建模.英寸计算语言学协会的发现：EMNLP 2021第2648–2662页，多米尼加共和国卡纳角。计算语言学协会。
引用（非正式）：
CDLM：跨文档语言建模（Caciularu等人，2021年发现）
复制引文：
PDF格式：
https://aclcollectory.org/2021.findings-emnlp.225.pdf
视频：
 https://aclantology.org/2021.findings-emnlp.225.mp4网址
代码
aviclu/cdlm公司+附加社区代码
数据
欧洲中央银行+, 多新闻, OC公司, S2ORC公司
PDF格式 引用 搜索 代码 视频