捷运局 swMATH ID: 43604 软件作者： 迈克·刘易斯（Mike Lewis）、刘银汉（Yinhan Liu）、纳曼·戈亚尔（Naman Goyal）、马詹·加兹维尼尼亚德（Marjan Ghazvininejad）、阿卜杜勒拉赫曼·穆罕默德（Abdelrahman Mohamed）、奥马尔·利维（Omer Levy 描述： BART：用于自然语言生成、翻译和理解的去噪序列对序列预训练。我们提出了BART，一种用于序列到序列模型预处理的去噪自动编码器。BART是通过（1）用任意噪声函数破坏文本，以及（2）学习模型来重建原始文本来训练的。它使用标准的基于变换器的神经机器翻译体系结构，尽管它很简单，但可以看作是对BERT（由于双向编码器）、GPT（具有左右解码器）和许多其他较新的预处理方案的推广。我们评估了许多降噪方法，通过随机改变原始句子的顺序和使用一种新颖的填充方案（其中文本跨度被替换为单个掩码标记）来找到最佳性能。当针对文本生成进行微调时，BART尤其有效，但对于理解任务也很有效。它将RoBERTa的表现与GLUE和SQuAD的可比培训资源相匹配，在一系列抽象对话、问答和总结任务上取得了最新的最先进成果，最多获得6个ROUGE。BART还比机器翻译的回译系统增加了1.1 BLEU，只需对目标语言进行预训练。我们还报告了在BART框架内复制其他预训练方案的消融实验，以更好地测量哪些因素对最终任务性能影响最大。 主页： https://arxiv.org/abs/1910.13461 关键词： arXiv_cs。LG公司；机器学习；arXiv_状态ML；顺序到顺序；培训前；自然语言生成 相关软件： 伯特；罗伯塔；GPT-3级；单词2vec；张紧器2传感器；手套；艾伯特；变压器；判决-BERT；BioBERT公司；SciBERT公司；BERTS核心；胭脂；BLEU公司；XLNet公司；牦牛；变压器XL；SBERT公司；ScisummNet公司；TLDR公司 引用于： 11文件 全部的 前5名55位作者引用 1 蒂莫西·鲍德温 1 费萨尔·本哈尔登 1 阿卜杜拉·布拉迪（Abdallah Bradji） 1 JoséCamacho-Collados 1 陈增建 1 方天清 1 塔里克·古迪 1 A.V.格拉兹科娃。 1 杰里米·戈德瓦瑟 1 何坤 1 阿利皮奥·马里奥·豪尔赫 1 柯浩文 1 法伊里·库托 1 哈兰·克鲁姆霍尔茨。 1 刘杰翰 1 李艾琳 1 李俊涛 1 李一新 1 李云 1 梁晓波 1 廖孟 1 刘鹏飞 1 刘琪 1 刘欣 1 丹尼尔·卢雷罗 1 米、海涛 1 莫罗佐夫，D.A。 1 格雷厄姆·纽比格 1 穆罕默德·雅武兹（Muhammed Yavuz） 1 欧杰福 1 潘浩杰 1 潘，杰西卡 1 强、纪鹏 1 Dragomir R.拉德夫。 1 本杰明·罗桑德 1 宋林峰 1 宋阳秋 1 苏劲松 1 R.安德鲁·泰勒 1 涂、赵鹏 1 维玛、尼哈 1 王安特 1 王龙跃 1 Wong，Wai Pan先生 1 吴丽君 1 吴新东 1 徐，金 1 薛、童 1 Yu、Dong 1 袁伟哲 1 袁云浩 1 张洪明 1 张马修·S。 1 朱世玉 1 朱毅 4篇连载文章中引用 5 人工智能 三 人工智能研究杂志 1 洛巴切夫斯基数学杂志 1 计算机科学评论 在4个字段中引用 10 计算机科学（68至XX） 1 偏微分方程（35-XX） 1 统计学（62-XX） 1 数值分析（65-XX） 按年份列出的引文