出版地点
出版日期 01/01/2015
研究领域 全文链接 神经机器翻译是一种新的机器翻译方法 这显示了与传统方法相当的有希望的结果。 传统NMT系统的一个显著弱点是无法 正确翻译非常罕见的单词:端到端NMT往往具有相对的 带有单个unk符号的小型词汇表,代表每一种可能 本地外(OOV)字。 在本文中,我们提出并实现了一个 解决此问题的有效技术。 我们对NMT系统进行数据培训 它通过单词对齐算法的输出得到增强,从而允许NMT 系统为目标句子中的每个OOV单词发出其位置 源句中的对应词。 此信息将在以后使用 在使用字典翻译每个OOV单词的后处理步骤中。 我们对WMT14英法翻译任务的实验表明 与 不使用该技术的等效NMT系统。 有37.5个BLEU点, 我们的NMT系统是第一个在WMT14上取得最佳成绩的系统 竞赛任务。 评论:ACL 2015 camera-ready versio
出版地点
出版日期 23/11/2016
研究领域 全文链接 最近在深度学习中引入了注意力机制 自然语言处理和计算机视觉中的各种任务。 但尽管如此 他们的受欢迎程度,隐性注意力图的“正确性” 仅通过几个示例的可视化进行了定性评估。 在 本文的重点是评估和提高注意力的正确性 神经图像字幕模型。 具体来说,我们提出了一个定量 生成的注意力图和 人工注释,使用最近发布的数据集 图像中的区域和标题中的实体。 然后我们提出新的模型 注意图学习过程中不同水平的显性监督 培训。 当区域和 标题实体可用,或仅当对象段和 提供了类别。 我们在流行的Flickr30k和COCO数据集上显示 在训练中引入注意力图的监督会稳步提高 注意正确性和字幕质量,显示制作承诺 机器感知更人性化。 注释:出现在AAAI-17中。 请参见 网址:http://www.cs.jhu.edu/ ~cxliu/用于 补充材料
出版地点
出版日期 01/01/2015
研究领域 全文链接 基于文本提取的摘要在本质上是有限的,但 事实证明,生成式抽象方法的构建具有挑战性。 在这个 工作中,我们提出了一种完全数据驱动的抽象句方法 总结。 我们的方法使用基于局部注意的模型,该模型生成 摘要中的每个单词都以输入句子为条件。 虽然模型是 结构简单,可以很容易地进行端到端训练并扩展到大型 训练数据量。 该模型显示了在 与几个强大的基线相比,DUC-2004共享任务。 评论:EMNLP 201会议记录
出版地点
出版日期 01/01/2017
研究领域 全文链接 我们提出了网格波束搜索(GBS)算法,该算法将波束搜索扩展到 允许包含预先指定的词汇约束。 算法可以是 用于生成序列的任何模型 年 ^ = { 年 0 … 年 T型 } \mathbf{\hat{y}}= \{y_{0}\ldots y_{T}\} 年 ^ = { 年 0 … 年 T型 } ,通过最大化 第页 ( 年 ∣ x个 ) = ∏ t吨 第页 ( 年 t吨 ∣ x个 ; { 年 0 … 年 t吨 − 1 } ) p(\mathbf{y}|\mathbf{x})= \产品\限制_ {t} 对 (y{t}|\mathbf{x};\{y{0}\ldots y{t-1}\}) 第页 ( 年 ∣ x个 ) = t吨 ∏ 第页 ( 年 t吨 ∣ x个 ; { 年 0 … 年 t吨 − 1 }) .词汇 约束采用短语或单词的形式,这些短语或单词必须出现在 输出序列。 这是一种整合额外知识的通用方法 在不需要修改模型的情况下输入模型的输出 参数或训练数据。 我们证明了 基于神经网络的词汇约束解码 交互式预测翻译以及神经网络的领域适应 机器翻译。 实验表明,GBS可以提供很大的改进 交互式场景中的翻译质量,即使没有 用户输入,GBS可用于在 域适应场景。 评论:在ACL 201上作为长篇论文接受