用多视图语言表示架起语言类型学和多语言机器翻译的桥梁

@进行中{Oncevay2020桥接LT，title={用多视图语言表示桥接语言类型学和多语言机器翻译}，author={阿图罗·昂塞维（Arturo Oncevay）、巴里·哈多（Barry Haddow）和亚历山德拉·伯奇（Alexandra Birch）}，booktitle={自然语言处理经验方法会议}，年份={2020年}，url={https://api.semanticscholar.org/CorpusID:216867204}}
通过推断类型学特征和语言系统发育，该方法可以很容易地预测和评估新语言，而无需对大量多语言或排名模型进行昂贵的再培训，这是相关方法的主要缺点。
[PDF]语义阅读器
29引文
极具影响力的引文
2
背景引文
20
方法引文
9
结果引文
1

本文图表

询问这篇论文
贝塔
人工智能驱动

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

29引文

多语言神经机器翻译：语言层次有帮助吗？

提出了一种面向MNMT的层次知识提取（HKD）方法，该方法利用根据语言类型特征和系统发育生成的语言组来克服负迁移问题。

语言嵌入有时包含类型泛化

得出的结论是，一些泛化与语言类型学的传统特征惊人地接近，但大多数为自然语言处理任务训练的模型似乎没有做出有语言意义的泛化。

基于Fisher信息矩阵的多语翻译模型中的聚类伪语言族

一种创新方法，利用fisher信息矩阵（FIM）对语言族进行聚类，该方法基于多语言翻译模型的特点，并发现使用这些伪语言族比传统语言族在将多语言翻译模型应用于不熟悉的语言对方面提高了性能。

在多视图嵌入空间中理解翻译

本文专注于基于嵌入的语义空间，利用从原始目标语言构建的空间与翻译到该目标语言的空间之间的同构偏差，以无监督的方式预测语言之间的关系。

秘鲁是多语言国家，机器翻译也应该如此？

该研究提出了秘鲁四种语言的首个多语种翻译模型：艾马拉语、阿沙宁卡语、克丘亚语和希皮博·科尼博语，提供了多对西班牙语和西班牙语对多的翻译模型，在大多数语言中都优于成对基线。

用于多语言神经机器翻译的自适应标记级跨语言特征混合

本文提出了一种新的标记级特征混合方法，该方法使模型能够捕获不同的特征并动态确定跨语言的特征共享，并且可以扩展到零快照翻译。

从表征视角看多语言机器翻译中的知识传递

开发了一种新的训练方案，该方案使用辅助相似性损失，通过利用多并行数据，鼓励表示在不同语言之间具有更大的不变性，并在多个数据和模型设置中提高了中低资源语言的翻译质量。

GradSim：基于梯度的语言分组，用于有效的多语言培训

研究表明，除了语言特征外，数据集的主题对语言分组也起着重要作用，转换模型的底层编码语言特定的特征，而高层捕获任务特定的信息。

面向大规模多语言神经机器翻译的信息语言表示学习

提出了两种方法，即语言嵌入体现和语言感知的多头部注意，来学习信息性语言表征以引导翻译朝正确的方向发展，这些方法学习的基于矩阵的语言表征能够捕获丰富的语言类型特征。

低资源多语言神经机器翻译的语言家族适配器

本文提出在mBART-50之上训练语言族适配器，以促进跨语言迁移，并表明语言族适配器提供了一种有效的方法，可以将其翻译为预训练期间看不到的语言。

52参考文献

大规模研究多语言NMT表征

这项工作试图使用奇异值典型相关分析（SVCCA）来理解大规模多语言NMT表示，SVCCA是一个表示相似性框架，允许我们比较不同语言、层和模型的表示。

基于语言聚类的多语言神经机器翻译

本文开发了一个框架，将语言分为不同的组，并为每个组训练一个多语言模型，通过训练通用神经机器翻译模型获得所有语言的嵌入向量。

具有语言向量的连续多语言

在将1303本圣经翻译成990种不同语言的实验中，这项工作实证性地探索了多语言语言模型的能力，并表明语言向量捕获了语言之间的遗传关系。

在分布式语言表征中追踪乌拉尔语的类型学特征

本文通过尝试预测《世界语言结构地图集》中的特征，研究了哪些类型特征编码在语言的分布式表示中，并发现一些类型特征可以自动推断，准确度远远高于强基线。

URIEL和lang2vec：将语言表示为类型学、地理和系统发生载体

我们介绍了用于大规模多语言NLP的URIEL知识库和lang2vec实用程序，该实用程序提供了从类型学中提取的语言的信息丰富的向量标识，…

学习用于类型学预测的语言表征

实验表明，该方法不仅能够推断出句法特征，而且能够推断出语音和语音的清单特征，并且在能够访问语言地理和系统发育邻居信息的基线上有所改进。

从语音到句法：语言嵌入的无监督语言类型学

这项工作学习分布式语言表示，它可以用于在大规模多语言范围内预测类型属性，并且能够高精度地预测WALS中的类型特征，即使是对于看不见的语言家族也是如此。

语言变异和普遍性建模：自然语言处理的类型语言学研究综述

有人建议，最近在数据驱动的类型知识归纳方面的发展可以促进一种新的方法，使类型范畴的广泛和离散性适应当代NLP中使用的机器学习算法的上下文和连续性。

为跨语言学习选择迁移语言

本文将自动选择最佳传输语言的任务视为一个排序问题，并建立了考虑上述特征的模型来执行此预测，并证明此模型预测好的传输语言比孤立考虑单个特征的特殊基线要好得多。

语言类型学的连续空间表示及其在系统发生推理中的应用

本文利用类型特征之间的依赖关系重建类型学上的自然祖先，并在连续空间中进行系统发育推断，并使用评估器确保推断祖先的类型学自然性。
...