Arsha Nagrani的文章

看到声音和听到面孔

阿尔沙·纳格拉尼

小结:我们通过关注人们讲话的视频,探讨了跨模式学习中音频和视频之间的关系。

DieHard公司麦克莱恩在《DieHard》中与鲍威尔通话

人的脸和声音有多相似?如果你只听到某人的声音,你能认出他的脸吗?或者,如果你只看到他们的脸,就能认出他们的声音?作为人类,我们可以通过在只听到一个人的声音后形成一个人的心理图像来“看到声音”或“听到脸”,反之亦然。

如果你看过电影《虎胆龙威》,你可能会记得约翰·麦克莱恩(布鲁斯·威利斯饰)在电影结束时从大楼里走出来的场景,他能立即认出警察(阿尔·鲍威尔中士),他在整个电影中只通过无线电与他通话,但从未见过他。


虽然你可能凭直觉相信这一点,但卡马奇等人等人类心理学家实际上已经研究了这个现象通过要求参与者执行二进制强制匹配任务。他们被要求听一个人的声音,然后从随后呈现的两张人脸图像中选择一张相同身份的匹配人脸。

阿尔沙·纳格拉尼,2018年9月28日