Longformer:长文档变压器
继之前对长序列变压器的研究之后,对Longformer进行了字符级语言建模评估,并在text8和enwik8上获得了最先进的结果,对long former进行预处理,并在各种下游任务中对其进行微调。 SciBERT:科学文本的预训练语言模型
SciBERT利用对大型多领域科学出版物语料库的无监督预训练来提高下游科学NLP任务的性能,并证明了与BERT相比在统计上的显著改进。 一种用于长文档摘要的语篇-软件注意模型
这项工作提出了第一个单一、长格式文档(如研究论文)的抽象摘要模型,包括一个新的层次编码器,该编码器对文档的语篇结构进行建模,以及一个专注的语篇感知解码器,以生成摘要。 SPECTER:使用引用信息转换器进行文档级表示学习
本文提出了SPECTER,这是一种新的生成科学论文文档级嵌入的方法,它基于文档级关联性的强大信号——引文图——预训练Transformer语言模型,并表明SPECTER在基准上优于各种竞争性基线。 科学出版物引文意图分类的结构支架
这项工作提出了结构支架,这是一种多任务模型,用于将科学论文的结构信息纳入引文中,以有效分类引文意图,从而在现有ACL选集数据集上实现了新的技术水平,F1分数绝对增加了13.3%。 事实还是虚构:验证科学主张
我们引入了科学主张验证,这是一项新任务,从包含支持或反驳给定科学主张的证据的研究文献中选择摘要,并确定…
SciBERT:科学文本的预设上下文嵌入
SciBERT利用对大型多领域科学出版物语料库的无监督预训练来提高下游科学NLP任务的性能,并证明了与BERT相比在统计上的显著改进。 CEDR:文档排序的上下文嵌入
本文研究了两种预处理上下文语言模型(ELMo和BERT)如何用于即席文档排序,并提出了一种将BERT的分类向量纳入现有神经模型的联合方法,表明该方法优于最先进的即席文档排名基线。 在线论坛中的抑郁和自我伤害风险评估
这项工作引入了一个大型通用论坛数据集,该数据集由具有自我报告抑郁症诊断的用户和对照用户组成,并提出了识别支持社区中可能存在自残风险的帖子的方法,并证明了该方法优于之前提出的强大方法。 PRIMERA:基于金字塔的多文档摘要屏蔽句预训练
我们介绍了PRIMERA,这是一个用于多文档表示的预处理模型,重点是摘要,它减少了对特定于数据集的体系结构和大量微调的需要…