×

佩加斯

swMATH ID: 42120
软件作者: 张静庆、姚照、穆罕默德·萨利赫、彼得·刘杰
描述: PEGASUS:用提取的间隙句进行抽象总结的预先训练。最近在大型文本语料库上对具有自我监督目标的变形金刚进行预训练的工作在对包括文本摘要在内的下游NLP任务进行微调时取得了巨大成功。然而,为抽象文本摘要量身定制的预训练目标尚未得到探索。此外,缺乏跨不同领域的系统评估。在这项工作中,我们提出了一个新的自我监督目标,在海量文本语料库上预训练基于Transformer的大型编解码模型。在PEGASUS中,重要的句子从输入文档中删除/屏蔽,并作为其余句子的一个输出序列一起生成,类似于摘要摘要。我们在12个下游摘要任务中评估了我们的最佳PEGASUS模型,这些任务涵盖新闻、科学、故事、说明、电子邮件、专利和立法法案。实验表明,它在所有12个下游数据集上都达到了最先进的性能,这些数据集是通过ROUGE得分来衡量的。我们的模型在低资源摘要上也显示出令人惊讶的性能,超过了之前在6个数据集上的最新结果,只有1000个示例。最后,我们使用人类评估验证了我们的结果,并表明我们的模型摘要在多个数据集上实现了人类绩效。
主页: https://arxiv.org/abs/1912.08777
源代码:  https://github.com/google-research/pegasus网站
相关软件: 胭脂;巴特;BERTS核心;BERT(误码率);张紧器2传感器;判决-BERT;移动分数;希伯特;瓶装水总量;BiSET系列;Opinion文摘;MLSUM公司;高RES;SUPERT(超级);FEQA公司;带宽总和;SummaEval总结;FFCI公司;BLEU公司;SBERT公司
引用于: 2文件

按年份列出的引文