米T5 swMATH ID: 46674 软件作者： 薛琳婷；常量，诺亚；亚当·罗伯茨（Adam Roberts）；凯尔，米希尔；拉米·阿尔-罗福；阿迪蒂亚·西德汉特（Aditya Siddhant）；阿迪蒂亚·巴鲁阿；科林·拉斐尔 描述： mT5：一个大规模的多语言预训练文本到文本转换器。最近的“文本到文本转换转换器”（T5）利用了统一的文本到文本格式和比例，在各种英语NLP任务上获得了最先进的结果。在本文中，我们介绍了mT5，它是T5的一个多语言变体，在一个新的基于公共爬行的数据集上进行了预训练，该数据集涵盖了101种语言。我们详细介绍了mT5的设计和改进训练，并展示了它在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，以防止在零快照设置中的“意外翻译”，即生成模型选择（部分）将其预测翻译成错误的语言。这项工作中使用的所有代码和模型检查点都是公开的。 主页： https://arxiv.org/abs/2010.11934 源代码： https://github.com/google-research/multilingual-t5 依赖项： 蟒蛇 关键词： 文本到文本传输变压器;NLP公司 相关软件： BERT（误码率）;张紧器2传感器;小队;拨号GPT;GPT-3级;布尔Q;ReCoRD公司;chrF公司;超级胶水;朗福雷特;MultiWOZ公司;啜食;GluonCV公司;GLUECoS公司;英里;ConveRT公司;ToD-BERT公司;Glottolog公司;XTREME公司;文本攻击 引用于： 4文件 全部的 前5名15位作者引用 1 戈兰·格拉瓦什 1 安德烈·瓦列列维奇（Andrey Valerievich Grabovoy） 1 贾晨艳 1 安娜·科霍宁 1 利盖蒂·纳吉，诺埃米 1 刘瑞波 1 奥尔加·马杰夫斯卡 1 Edoardo M.蓬蒂。 1 拉祖莫夫斯卡娅，叶夫根尼亚 1 瓦迪姆·斯特里乔夫五世。 1 Vosoughi、Soroush 1 伊万·武利奇 1 Jason Z·魏。 1 徐光轩 1 杨子建Győz \337] 4篇连载文章中引用 1 人工智能 1 自动化和远程控制 1 人工智能研究杂志 1 数学与信息年鉴 在2个字段中引用 4 计算机科学（68至XX） 1 统计学（62-XX） 按年份列出的引文