多模态分布语义

主要文章内容

E.布鲁尼
N.K.Tran公司
巴罗尼先生

摘要

分布语义模型从文本中单词的共现模式导出单词含义的计算表示。这些模型是计算语言学的一个成功案例,能够为许多需要它们的语义任务提供语义相关性的可靠估计。然而,分布模型只从文本中提取意义信息,与人类语义知识的丰富感知来源相比,这是一个极其贫乏的基础。我们利用计算机视觉技术自动识别图像中的离散视觉单词,解决了分布模型缺乏感知基础的问题,从而可以扩展单词的分布表示,将其与相关图像的视觉单词同时出现。我们提出了一种灵活的体系结构来集成基于文本和图像的分布信息,并且在一组实证测试中表明,我们的集成模型优于纯基于文本的方法,并且它提供了与后者相关的一些补充语义信息。

文章详细信息

章节
文章