XTREME公司 swMATH ID: 33966 软件作者： 胡俊杰（Junjie Hu）、塞巴斯蒂安·鲁德（Sebastian Ruder）、阿迪蒂亚·西德汉（Aditya Siddhant）、格雷厄姆·纽比格（Graham Neubig）、奥汉·菲拉特（Orhan Firat 描述： XTREME：评估跨语言泛化的大规模多语言多任务基准。机器学习模型在NLP中的应用最近取得的许多进展都是由评估各种任务模型的基准驱动的。然而，这些广泛的基准大多局限于英语，尽管人们对多语言模型越来越感兴趣，但仍然缺少一个能够在多种语言和任务上对这些方法进行全面评估的基准。为此，我们引入了多语言编码器XTREME的跨语言传输评估基准，这是一个多任务基准，用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明，虽然英语测试模型在许多任务中都达到了人类的表现，但跨语言迁移模型的表现仍然存在很大差距，尤其是在句法和句子检索任务中。在不同语言之间也有广泛的结果。我们发布该基准是为了鼓励对跨语言学习方法进行研究，这些方法可以跨多种具有代表性的语言和任务传递语言知识。 主页： https://sites.research.google/xtreme网站 源代码： https://github.com/google-research/xtreme网站 关键词： 计算与语言（cs.CL）;机器学习（cs.LG） 相关软件： BERT（误码率）;胶水;小队;设计;图形代码BERT;MISIM公司;StaQC公司;CoCoSUM公司;Bugram（错误）;皮提亚;代码BLEU;深臭虫;BLEU公司;自由演讲;芳香;罗伯塔;XGLUE公司;SPoC公司;甲板;代码搜索网 引用于： 1文件 全部的 前5名6位作者引用 1 戈兰·格拉瓦什 1 安娜·科霍宁 1 奥尔加·马杰夫斯卡 1 Edoardo M.蓬蒂。 1 拉祖莫夫斯卡娅，叶夫根尼亚 1 伊万·武利奇 连载1篇 1 人工智能研究杂志 在1个字段中引用 1 计算机科学（68至XX） 按年份列出的引文