计算机科学>机器学习
标题: 二值化神经网络相似性度量的搜索
摘要: 二值化神经网络(BNN)作为一种很有前途的资源受限设备模型,受到了学术界和工业界的广泛关注。 然而,与全精度深度神经网络(DNN)相比,BNN存在非平凡的精度退化,限制了其在各个领域的适用性。 这部分是因为现有网络组件(如相似性度量)是专门为DNN设计的,并且可能是BNN的次优组件。 在这项工作中,我们重点关注BNN的关键组件——相似性度量,它量化了输入特征图和过滤器之间的距离,并提出了一种基于遗传算法的BNN定制相似性度量的自动搜索方法。 使用ResNet、NIN和VGG对Cifar10和Cifar100的评估结果表明,与常用的互相关方法相比,大多数识别出的相似性度量可以实现相当大的准确性提高(高达3.39%)。