桑德罗 离子发生器 奥莱丽亚 拉法
桑德罗·佩泽尔
阿姆斯特丹大学ILLC
Ionut Teodor索罗多克
巴塞罗那蓬佩法布拉大学
奥雷莉·赫贝洛特
CIMeC,特伦托大学
拉斐拉·伯纳迪
CIMeC、DISI、特伦托大学




多模态世界中的量词:用语言和声音产生幻觉

2019年NAACL-HLT认知建模与计算语言学研讨会

[pdf格式] [围嘴]

Testoni,A.,Pezzelle,S.,Bernardi,R。

受多感官整合文献的启发,我们开发了一个计算模型,将量词用于感知。模型学会从九个量词中挑选出最有可能的一个描述包含动物和人工物的视觉-听觉输入中动物的百分比。我们表明,依赖并发感官输入可以提高模型在量化任务中的性能。此外,我们在以下情况下评估模型:听觉模态是给定的,而视觉模态是由听觉产生的“幻觉”输入本身或来自描述听觉实体数量的语言字幕输入。这样,该模型利用了模式之间的先前关联。我们证明了模型从先验知识中获益,并优于仅审核的设置。



@在过程中{testoni2019量词,
author={Testoni、Alberto和Pezzelle、Sandro和Bernardi、Raffaella},
title={多模世界中的量词:用语言和声音产生幻觉},
booktitle={认知建模与计算语言学研讨会论文集},
页数={105--116},
年份={2019}
}




量词的心理表征探究

认知

[pdf格式] [围嘴]

Pezzelle,S.、Bernardi,R.、Piazza,M。

在这项研究中,我们通过比较非数字量词(“some”、“many”、“all”等)在抽象和扎根感知语境中的使用来研究它们的心理表征。使用类似于数字域的方法,我们测试这种表示是否(以及在多大程度上)受到我们通过感官感知世界的方式的限制。在两个实验中,受试者要么判断量词对(以书面文字表示)的相似性,要么从预先确定的量词列表中选择一个最能描述描述可变数量目标和非目标项目的视觉图像的量词。实验结果相当一致,表明量词是在一个有序但非线性的压缩尺度上进行心理组织的,与那些表示大量的量词相比,表示少量的量词似乎彼此之间的区别更为精确。这很符合这样的想法,即我们主要通过将这些符号映射到我们从感知中获得的量的表示来构建这些符号的表示。


@文章{pezzelle2018探测,
author={佩泽尔、桑德罗和伯纳迪、拉斐拉和广场、曼努埃拉},
title={探究量词的心理表征},
期刊={认知},
体积={181},
页数={117--126},
年份={2018年}
publisher={Elsevier},
}




其中一些是可以猜测的!探讨语言语境对量词预测的影响

2018年ACL

[pdf格式] [围嘴] [数据和代码] [海报] [arxiv]

Pezzelle,S.、Steinert-Threlkeld,S.和Bernardi,R.、Szymanik,J。

我们研究了语言语境在预测量词(“新”、“全部”)中的作用。我们收集来自人类参与者的众包数据,并在局部(单句)和全局上下文(多句子)条件下测试各种模型。在前一种情况下,模型的表现明显优于人类,而在后一种情况中只稍微好一点。虽然人类的表现随着语言上下文的增加而提高(尤其是在比例量词上),但模型的表现会受到影响。模型在开发词汇和形态句法模式方面非常有效;人类更善于真正理解(全球)语境的含义。



@会议记录{P18-2019,
author={佩泽尔、桑德罗和斯坦内特·特雷克尔德、谢恩和伯纳迪、拉斐拉和西曼尼克、雅库布},
title={其中一些是可以猜测的!探索语言上下文在预测量词中的作用},
booktitle={计算语言学协会第56届年会会议记录(第2卷:短文)},
年份={2018年},
publisher={计算语言学协会},
页数={114--119}
address={澳大利亚墨尔本},
网址={http://aclweb.org/antology/P18-2019}
}




比较、量词、比例:从视觉中学习数量的多任务模型

NAACL-HLT 2018

[pdf格式] [围嘴] [数据和代码] [幻灯片] [海报] [arxiv]

Pezzelle,S.、Sorodoc,I.、Bernardi,R。

本工作研究了是否可以通过多任务计算模型从视觉场景中联合学习不同的量化机制(集合比较、模糊量化和比例估计)。其动机是,在人类中,这些过程是相同的认知、非符号能力的基础,这允许自动估计和比较设定的幅度。我们表明,当有关较低复杂性任务的信息可用时,较高级别的比例任务比单独执行时更准确。此外,多任务模型能够推广到目标/非目标对象的不可见组合。与行为证据显示比例任务中绝对数的干扰一致,当要求提供场景中目标对象的数量时,多任务模型不再有效。



@2018年会议记录{pezzelle,
作者={佩泽尔、桑德罗和索罗多克、伊努特·特奥多尔和伯纳迪、拉斐拉},
title={比较、量词、比例:从视觉中学习数量的多任务模型},
booktitle={计算语言学协会北美分会2018年会议记录:人类语言技术,第1卷(长篇论文)},
年份={2018年},
publisher={计算语言学协会},
页数={419--430}
address={路易斯安那州新奥尔良},
网址={http://aclweb.org/antology/N18-1039}
}




从图像中学习量化:一种结构化的神经架构

2018年自然语言工程杂志

[pdf格式] [围嘴][数据][代码][arxiv]

Sorodoc,I.、Pezzelle,S.、Herbelot,A.、Dimiccoli,M.、Bernardi,R。

最近在融合语言和视觉表征方面取得了重大进展。迄今为止考虑的大多数任务仅限于处理物体和对象(内容词)之间的词汇化关系。然而,我们知道,人类(甚至学龄前儿童)可以提取原始的多模态数据来执行某些类型的操作高级推理,用自然语言中的虚词表示。一个恰当的例子这是由他们学习量词的能力所决定的,如少数、一些和全部。从形式语义学和认知语言学中我们知道量词是关系作为一种简化,我们可以将其视为比例。例如,在大多数鱼类中是红色的,大多数编码的鱼是红色的鱼的比例。在本文中,我们研究当前的神经网络策略如何很好地模拟这种关系。我们提出一项任务,给定由对象属性对表示的图像和查询,系统必须返回表示被查询对象的哪些部分具有被查询属性的量词。我们的贡献是双重的。首先,我们表明,这项任务的最佳性能包括将最先进的注意机制与网络架构相结合,网络架构反映了通过经典语言形式化分配给量词的逻辑结构。第二,我们引入了一个新的与量化相关的图像场景的平衡数据集我们希望这将促进这一领域的进一步研究。



@第{sorodoc2018条,
作者={Sorodoc、Ionut和Pezzelle、Sandro和Herbelot、Aur和Dimiccoli、Mariella和Bernardi、Raffaella},
title={从图像中学习量化:结构化神经架构},
DOI={10.1017/S1351324918000128},
journal={自然语言工程},
年份={2018年},
publisher={剑桥大学出版社},
页数={1–30}
}




精确还是模糊:从视觉中学习基数和量词的意义

EACL 2017年

[pdf格式] [围嘴] [海报] [幻灯片] [arxiv]

Pezzelle,S.、Marelli,M.、Bernardi,R。

人们可以参考视觉场景中的数量通过使用精确的基数(例如一、二、,三)或自然语言量词(例如很少,大多数)。在人类中,这两个过程相当不同的认知和神经基础机制。受此证据的启发本研究提出了两种学习基数客观意义的模型包含多个对象的视觉场景中的量词。我们表明,利用“模糊”相似性度量的模型对于学习量词是有效的,而准确基数的学习则更容易实现提供有关数字的信息时。



@2017年会议记录{pezzelle,
author={佩泽尔、桑德罗和马雷利、马可和伯纳迪、拉斐拉},
title={精确还是模糊:从视觉中学习基数和量词的含义},
booktitle={计算语言学协会欧洲分会第十五届会议记录:第2卷,短文},
月={四月},
年份={2017年},
address={西班牙巴伦西亚},
publisher={计算语言学协会},
页数={337--342}
}




“看,一些绿色圆圈!”:从图像中学习量化

2016年ACL视觉与语言研讨会

[pdf格式] [圣经] [海报] [幻灯片]

Sorodoc,I.、Lazaridou,A.、Boleda,G.、Herbelot,A.、Pezzelle,S.、Bernardi,R。

本文研究了神经网络模型可以学习自然语言量词的意义(否,部分和全部)。我们表明,内存网络在这项任务中表现良好计数对系统来说是不必要的表现,支持心理语言学量词习得的证据。



@正在进行{sorodoc2016look,
title={“看,一些绿色圆圈!”:学习从图像中量化},
作者={Sorodoc、Ionut和Lazaridou、Angeliki和Boleda、Gemma和Herbelot、Aur和Pezzelle、Sandro和Bernardi、Raffaella},
booktitle={第五届视觉与语言研讨会论文集},
页数={75--79},
年份={2016年}
}




合作者

杰玛·博莱达
巴塞罗那蓬佩法布拉大学
玛丽埃拉·迪米科利
巴塞罗那大学
安吉利基·拉扎里杜
谷歌DeepMind,伦敦
马可·马雷利
米兰比可卡大学
曼努埃拉广场
CIMeC,特伦托大学
谢恩·斯坦内特·特雷克尔德
阿姆斯特丹大学
雅库布·西曼尼克
阿姆斯特丹大学
阿尔贝托·特斯托尼
CIMeC,特伦托大学