一个小型但信息丰富的多样化模型：多式联运案例G公司使用W公司帽子！？猜谜游戏

克劳迪奥·格雷科,阿尔贝托·特斯托尼,拉斐拉·伯纳迪,斯特拉·弗兰克

摘要
经过预训练的视觉和语言变形金刚在下游任务中表现出色，这是因为他们能够传递在大量数据的预训练过程中积累的表征知识。在本文中，我们询问是否有可能使用基于传输（预训练、冻结）表示的特征与轻量级架构相结合来与此类模型竞争。我们以多模式猜测任务作为测试平台，猜猜什么？！。我们的轻量化模型集合与微调预处理变压器（LXMERT）的性能相匹配。对我们的集成进行的不确定性分析表明，轻量级传输表示缩小了与LXMERT的数据不确定性差距，同时保留了模型多样性，导致集成增强。我们进一步证明，LXMERT的性能提升完全是由于其额外的V&L预处理，而不是由于架构改进。这些结果表明，多种功能和轻量级模型的灵活集成是大型、繁琐、预处理模型的可行替代方案。
选集ID：
2022.卡环-1.1
体积：
2022年CLASP（Dis）体现会议记录
月份：
九月
年份：
2022
地址：
瑞典哥德堡
编辑：
西蒙·多布尼克,朱利安·格罗夫,阿萨德·赛义德
地点：
扣环
SIG公司：
发布者：
计算语言学协会
注：
页码：
1–10
语言：
网址：
https://aclantology.org/2022.扣-1.1
内政部：
比比键：
引用（ACL）：
Claudio Greco、Alberto Testoni、Raffaella Bernardi和Stella Frank。2022一个小的但有信息的多样化模型：多模猜测的案例什么！？猜谜游戏.英寸2022年CLASP（Dis）体现会议记录，第1-10页，瑞典哥德堡。计算语言学协会。
引用（非正式）：
一个小的但有信息的多样化模型：多模猜测的案例什么！？猜谜游戏（Greco等人，CLASP 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.clip-1.1.pdf
数据
客人什么？！, 中景COCO, 视觉基因组
PDF格式 引用 搜索