联合对齐和单词表示的深层生成模型

米盖尔·里奥斯,威尔克·阿齐兹,哈利尔·西马安

摘要
这项工作利用翻译数据作为单词表示模型的语义相关学习信号的来源。特别是，我们通过翻译将对等作为一种分布语境形式加以利用，并共同学习如何嵌入深层生成模型并与之保持一致。我们的EmbedAlign模型将单词嵌入到完整的观察上下文中，并通过边缘化潜在的词汇对齐进行学习。此外，它嵌入单词作为后验概率密度，而不是点估计，这允许我们使用分布之间的重叠度量（例如KL散度）在上下文中比较单词。我们研究了我们的模型在一系列词汇语义任务中的性能，这些任务在几个标准基准（包括自然语言推理、释义和文本相似性）上取得了有竞争力的结果。
选集ID：
N18-1092号
体积：
计算语言学协会北美分会2018年会议记录：人类语言技术，第1卷（长篇论文）
月份：
六月
年份：
2018
地址：
路易斯安那州新奥尔良
编辑：
玛丽莲·沃克,恒基,阿曼达支架
地点：
NAACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
1011–1023
语言：
网址：
https://aclantology.org/N18-1092
内政部：
10.18653/v1/N18-1092
比比键：
引用（ACL）：
米格尔·里奥斯、威尔克·阿齐兹和哈利尔·西马安。2018联合对齐和单词表示的深层生成模型.英寸计算语言学协会北美分会2018年会议记录：人类语言技术，第1卷（长篇论文），第1011-1023页，路易斯安那州新奥尔良。计算语言学协会。
引用（非正式）：
联合对齐和单词表示的深层生成模型（Rios等人，NAACL 2018）
复制引文：
PDF格式：
https://aclantology.org/N18-1092.pdf
视频：
 https://aclantology.org/N18-1092.mp4
代码
uva-slpl/embedalign公司
PDF格式 引用 搜索 代码 视频