计算机科学>神经和进化计算
标题: SpikeCLIP:一种对比语言图像预训练Spiking神经网络
摘要: 尖峰神经网络(SNN)已证明其在视觉和语言领域均具有与深度神经网络(DNN)相当的性能,同时具有提高能效和坚持生物合理性的优势。 然而,将这种单模SNN扩展到多模式场景领域仍是一个尚未探索的领域。 受对比语言图像预训练(CLIP)概念的启发,我们引入了一个新的框架,名为SpikeCLIP, 通过涉及“校准预训练+双损失精细调整”的两步配方,解决基于峰值计算背景下两种模式之间的差距 “.大量实验表明,SNN取得了与DNN对等物相当的结果,同时显著降低了多模态模型评估常用的各种数据集的能耗。此外,SpikeCLIP在涉及未预定义类别标签的图像分类任务中保持了稳健的性能,这些任务与 精简特定类别。