捷运局 swMATH ID: 43604 软件作者： 迈克·刘易斯（Mike Lewis）、刘银汉（Yinhan Liu）、纳曼·戈亚尔（Naman Goyal）、马詹·加兹维尼尼亚德（Marjan Ghazvininejad）、阿卜杜勒拉赫曼·穆罕默德（Abdelrahman Mohamed）、奥马尔·利维（Omer Levy 描述： BART：用于自然语言生成、翻译和理解的去噪序列对序列预训练。我们提出了BART，一种用于序列到序列模型预处理的去噪自动编码器。训练BART的方法是：（1）用任意的噪声函数破坏文本，（2）学习模型重建原始文本。它使用标准的基于变换器的神经机器翻译体系结构，尽管它很简单，但可以看作是对BERT（由于双向编码器）、GPT（具有左右解码器）和许多其他较新的预处理方案的推广。我们评估了许多降噪方法，通过随机改变原始句子的顺序和使用一种新颖的填充方案（其中文本跨度被替换为单个掩码标记）来找到最佳性能。当针对文本生成进行微调时，BART尤其有效，但对于理解任务也很有效。它将RoBERTa的表现与GLUE和SQuAD的可比培训资源相匹配，在一系列抽象对话、问答和总结任务上取得了最新的最先进成果，最多获得6个ROUGE。BART还比机器翻译的回译系统增加了1.1 BLEU，只需对目标语言进行预训练。我们还报告了在BART框架内复制其他预训练方案的消融实验，以更好地测量哪些因素对最终任务性能影响最大。 主页： https://arxiv.org/abs/1910.13461 关键词： arXiv_cs.LG公司;机器学习;arXiv_状态ML;顺序到顺序;培训前;自然语言生成 相关软件： BERT（误码率）;罗伯塔;BERTS核心;SummaRuNNer公司;BiSET系列;GPT-3级;BabelNet公司;概念网;WordNet（文字网）;佩加斯;XLNet公司;张紧器2传感器;手套;胭脂;单词2vec;维基Asp;SciREX公司;审查机器人;ScisummNet公司;真实 引用于： 6出版物 全部的 前5名24位作者引用 1 蒂莫西·鲍德温 1 费萨尔·本哈尔登 1 阿卜杜拉·布拉迪（Abdallah Bradji） 1 JoséCamacho-Collados 1 陈增建 1 方天清 1 塔雷克·古迪 1 何坤 1 阿利皮奥·马里奥·豪尔赫 1 柯浩文 1 法伊里·库托 1 刘杰翰 1 廖孟 1 刘鹏飞 1 刘欣 1 丹尼尔·卢雷罗 1 格雷厄姆·纽比格 1 欧杰福 1 潘浩杰 1 宋阳秋 1 徐，金 1 薛、童 1 袁伟哲 1 张洪明 2篇连载文章中引用 三 人工智能研究杂志 2 人工智能 在3个字段中引用 5 计算机科学（68至XX） 1 偏微分方程（35-XX） 1 数值分析（65-XX） 按年份列出的引文