确认-变压器：用于指称表达式理解的常识增强型变压器

Zhi Zhang先生,海伦·扬纳库达基斯,仙童镇,叶卡捷琳娜·舒托娃

摘要
多模态指称表达理解（REC）的任务旨在定位自然语言表达所描述的图像区域，最近在研究领域受到了越来越多的关注。在本文中，我们特别关注将表达理解与常识知识（KB-Ref）联系起来，这项任务通常需要超越空间、视觉或语义信息的推理。我们提出了一种新的常识知识增强型变换器（CK-Transformer）框架，该框架有效地将常识知识集成到图像中对象的表示中，便于识别表达式所指的目标对象。我们对KB-Ref任务的几个基准进行了广泛的实验。我们的结果表明，所提出的CK-Transformer达到了一种新的技术水平，与现有技术相比，准确度绝对提高了3.14%。
选集ID：
2023.结果-每个196
体积：
计算语言学协会的研究结果：EACL 2023
月份：
五月
年份：
2023
地址：
克罗地亚杜布罗夫尼克
编辑：
安德烈亚斯·弗拉科斯,伊莎贝尔·奥根斯坦
地点：
调查结果
SIG公司：
出版商：
计算语言学协会
注：
页：
2586–2596
语言：
网址：
https://aclantology.org/2023.findings-eacl.196
内政部：
10.18653/v1/2023.结果-每个196
比比键：
引用（ACL）：
Zhi Zhang、Helen Yannakoudakis、Xiangtong Zhen和Ekaterina Shutova。2023CK转换器：用于指称表达式理解的常识增强型转换器.英寸计算语言学协会的研究结果：EACL 2023，第2586–2596页，克罗地亚杜布罗夫尼克。计算语言学协会。
引用（非正式）：
CK转换器：用于指称表达式理解的常识增强型转换器（Zhang等人，《2023年调查结果》）
复制引文：
PDF格式：
https://aclantology.org/2023.findings-eacl.196.pdf
视频：
 https://aclantology.org/2023.findings-eacl.196.mp4网址
PDF格式 引用 搜索 视频