计算机科学>计算与语言
标题: T模块:零炮跨模式机器翻译的翻译模块
摘要: 我们提出了一种新的方法来执行语音和文本之间的零快照跨模式转换以完成翻译任务。 多语言语音和文本在联合固定大小的表示空间中编码。 然后,我们比较了对这些多模式和多语言固定大小表示进行解码的不同方法,从而实现语言和模式之间的零快照翻译。 我们的所有模型都是在不需要交叉模式标记翻译数据的情况下进行训练的。 尽管有固定大小的表示,但我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。 特别是,我们显著改进了Must-C上零快照语音翻译的最新技术。在我们的框架中加入了语音解码器,我们介绍了零快照直接语音到语音和文本到语音翻译的第一个结果。