用于WMT17多模翻译任务的CUNI系统

@在过程中{Helcl2017CUNISF，title={WMT17多式翻译任务的CUNI系统}，author={Jindřich Helcl和Jindţic Libovick{\'y}}，booktitle={机器翻译会议}，年份={2017年}，网址={https://api.semanticscholar.org/CorpusID:262349879}}
本文描述了提交给WMT17多式联运任务的文件，并给出了负面结果，这些结果基于被认为有改进潜力的想法，但在特定设置中没有被证明是有用的。
[PDF]语义阅读器

本文图表

11引文

用于WMT18多模翻译任务的CUNI系统

提交文件的主要特点是在WMT18多式翻译任务中应用自关注网络而不是递归神经网络，并评估了将视觉特征纳入模型的两种方法。

WMT18多模态翻译任务的LIUM-CVC提交

本文描述了LIUM和CVC为WMT18多模态翻译共享任务开发的多模态神经机器翻译系统，并对以前的多模态注意结构提出了一些修改，以更好地集成卷积特征并使用编码器端信息对其进行细化。

多模态机器翻译和多语言图像描述的第二个共享任务的发现

第二项关于多模态机器翻译和多语言图像描述的共享任务的结果表明，多模态系统得到了改进，但纯文本系统仍然具有竞争力。

通过视觉和语音进行多模式机器翻译

本文最后讨论了多模态机器翻译的未来研究方向：需要更具扩展性和挑战性的数据集，需要有针对性地评估模型性能，需要输入和输出空间中的多模态。

多模态机器翻译的视觉注意基础神经模型

一种新颖的多模式机器翻译模型，利用并行视觉和文本信息，联合优化共享视觉语言嵌入和翻译器的学习，在Multi30K和歧义COCO数据集上获得具有竞争力的最新结果。

利用神经字幕翻译和视觉基础释义增强

本研究使用基于视觉的释义（VGP），将图像作为释义概念的约束条件，以确保所创建的释义符合预期分布，并通过众包实现VGP的释义语料库和构建NMT中作为专家模型的神经释义来实现这一思想。

跨语言视觉动词语义消歧

研究表明，与单峰基线相比，跨语言动词意义消歧模型受益于视觉上下文，并且最佳消歧模型预测的动词意义在用于多模态翻译任务时可以改善纯文本机器翻译系统的结果。

BLEU和意义表征是对立的吗？

这项工作提出了注意力集中的NMT体系结构的几个变体，将这个汇合点带回神经网络中，从中可以提取源句子表示。

UC2：通用跨语言跨模式视觉和语言培训

UC2是第一个用于跨语言跨模式表示学习的机器翻译增强框架，旨在解决图像数据集多语言字幕的稀缺性问题，并促进图像和所有感兴趣语言的联合嵌入空间的学习。

基于模态注意和图像过滤的多模态句子摘要

提出了一种基于模式的注意机制，用于对图像补丁和文本单元进行不同的注意，以及图像过滤器，用于选择性地使用视觉信息来增强输入句子的语义。

33参考文献

多模态对人类和机器翻译和图像字幕有帮助吗？

本文介绍了LIUM和CVC为WMT16多模态机器翻译挑战开发的系统，即基于短语的系统和使用单模态或多模态数据训练的注意力递归神经网络模型。

揭示图像字幕和神经机器翻译对多模态机器翻译的贡献

通过检查两种相关但不同的方法（纯文本神经机器翻译和图像字幕）的差异和互补性，深入研究基于源语言描述和相应图像生成目标语言图像描述的问题。

多模态机器翻译和多语言图像描述的第二个共享任务的发现

第二项关于多模态机器翻译和多语言图像描述的共享任务的结果表明，多模态系统得到了改进，但纯文本系统仍然具有竞争力。

用于WMT16自动后编辑和多模式翻译任务的CUNI系统

本系统描述文件试图利用最近发布的几种用于神经顺序学习的方法，为WMT 2016自动后期编辑和多模态机器翻译共享任务构建系统。

多模态机器翻译和跨语言图像描述的共享任务

本文介绍并总结了自然语言处理和计算机视觉交叉点的一项新的共享任务的发现：在目标中生成图像描述…

用于多模态神经机器翻译的多模态紧致双线性池

更先进的多模紧致双线性池方法采用两个向量的外积来组合两种模式的注意特征，并对多模图像字幕翻译进行了评估，与基本组合方法相比，该方法有了改进。

用单语数据改进神经机器翻译模型

这项工作将单语训练数据与自动回译配对，并将其视为额外的并行训练数据，在WMT 15任务英语-德语和资源不足的IWSLT 14任务土耳其语->英语方面取得了实质性改进。

基于注意的多模态神经机器翻译

一种新颖的神经机器翻译体系结构，将翻译任务的视觉和文本特征与优于纯文本基线的多种模式相关联。

想象力提高了多式翻译

这项工作将多模态翻译分解为两个子任务：学习翻译和学习基于视觉的表示，如果翻译模型是在外部新闻评论并行文本数据集上训练的，则会发现改进。

联合学习对齐和翻译的神经机器翻译

据推测，固定长度向量的使用是提高这种基本编码器-解码器体系结构性能的瓶颈，建议通过允许模型自动（软）搜索与预测目标词相关的源句子部分来扩展这一点，无需将这些部分明确地构成硬段。