属性蒸馏的零样本识别方法

doi:10.3778/j.issn.1002-8331.2212-0382

摘要/摘要

摘要：零样本识别是计算机视觉领域最具挑战性的任务之一，其关键在于如何从已见类中学到稳定和可迁移的知识。为提高零样本识别的准确率，对零样本识别问题进行了系统研究，并利用知识蒸馏的思想，精心设计了一个简单有效的属性蒸馏分类器。它符合人类认识事物的过程，首先从视觉变压器大模型中获得全面细致的视觉特征，再运用属性概念蒸馏出物体的属性知识，最后迁移到未见类识别任务中。公开数据集上的实验表明，该方法取得了具有竞争力的结果，其识别准确率虽略低于最新的属性引导算法，但优于其他传统方法，而且识别架构简单具有更快的处理速度。同时，研究也指出了减少属性描述的稀疏性，以及增加多视角高清图像，将有利于提高零样本识别方法的准确率。

关键词: ，零样本识别, 知识蒸馏, 馏

摘要：零镜头识别是计算机视觉领域最具挑战性的任务之一。关键问题是如何从所学课程中学习稳定和可转移的知识。为了提高零射识别的准确性，本文深入研究了零射识别问题，并基于知识蒸馏的概念，开发了一种直接高效的属性蒸馏分类器。这与人们通常理解事物的方式是一致的。它首先从大模型视觉变换器中获取广泛而精确的视觉特征，然后利用属性思想提取对象的属性知识，然后转化为对不可见类进行分类的任务。公共数据集实验表明，该方法产生了具有竞争力的结果。其识别精度略低于最新的属性引导算法，但仍优于其他传统方法，并且其简单的识别结构可以实现快速的处理速度。然而，本研究也指出，减少属性描述的稀疏性和增加多视角高清照片将有助于提高零快照识别的准确性。

关键词： 计算机视觉，零射识别，知识提炼，属性蒸馏

李厚君, 韦柏全. 属性蒸馏的零样本识别方法[J] ●●●●。计算机工程与应用, 2024, 60(9): 219-227.

李厚军、魏伯泉。零炮识别的属性提取[J]。计算机工程与应用，2024，60（9）：219-227。

参考文献

[1] SIMONYAN K，ZISSERMAN A.用于大规模图像识别的超深卷积网络[J]。arXiv:1409.15562014年。
[2] 何克明，张晓云，任世清，等。图像识别中的深度剩余学习[C]//2016 IEEE计算机视觉与模式识别会议，2016:770-778。
[3] SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-v4，Inception-resnet and the impact of remain connections on learning[C]//第三十届AAAI人工智能会议，2017。
[4] ZHU X X，ANGUELOV D，RAMANAN D。捕获对象子类别的长尾分布[C]//IEEE计算机视觉和模式识别会议论文集，2014:915-922。
[5] ROHRBACH M，STARK M，SCHIELE B.在大规模环境下评估知识转移和零快照学习[C]//2011 IEEE计算机视觉和模式识别会议，2011:1648。
[6] AKATA Z，PERRONNIN F，HARCHAOUI Z，等.基于属性分类的标签嵌入[C]//2013 IEEE计算机视觉与模式识别会议，2013:819-826。
[7] AKATA Z，REED S，WALTER D，等.细粒度图像分类输出嵌入评估[C]//2015 IEEE计算机视觉与模式识别会议，2015:2927-2936。
[8] LAROCHELLE H，ERHAN D，BENGIO Y.新任务的零数据学习[C]//第23届全国人工智能会议论文集，2008:646-651。
[9] PALATUCCI M，POMERLEAU D，HINTON G E，等.基于语义输出码的零炮学习[C]//神经信息处理系统进展，2009:1410-1418。
[10] LAMPERT C H，NICKISCH H，HARMELING S.通过类间属性转移学习检测看不见的对象类[C]//2009 IEEE计算机视觉和模式识别会议，2009:951-958。
[11] LAMPERT C H，NICKISCH H，HARMELING S。基于属性的零快照视觉对象分类[J]。IEEE模式分析和机器智能汇刊，2013，36（3）：453-465。
[12] AKATA Z，PERRONNIN F，HARCHAOUI Z，等.图像分类中的标签嵌入[J]。IEEE模式分析和机器智能汇刊，2015，38（7）：1425-1438。
[13] 冼义清，AKATA Z SHARMA G，等.零快照分类的潜在嵌入[C]//2016 IEEE计算机视觉与模式识别会议，2016:69-77。
[14] ROMERA-PAREDES B，TORR P.零次学习的一种简单得令人尴尬的方法[C]//国际机器学习会议，2015:2152-2161。
[15] VERMA V K，RAI P。零快照学习的简单指数族框架[C]//关于数据库中的机器学习和知识发现的欧洲联合会议。查姆：施普林格，2017:792-808。
[16] ZHANG L，WANG P，LIU L Q，et al.面向零炮学习的有效深度嵌入[J]。IEEE视频技术电路和系统汇刊，2020，30（9）：2843-2852。
[17] 谢国顺，刘磊，金晓波，等.用于零快照学习的关注区域嵌入网络[C]//2019 IEEE计算机视觉与模式识别会议，2019:9376-9385。
[18] 谢国顺，刘磊，朱峰，等.零快照学习区域图嵌入网络[C]//第十六届欧洲计算机视觉会议论文集，英国格拉斯哥，2020年8月23-28日。[S.l.]：施普林格国际出版公司，2020年：562-580。
[19] ZHU Y Z，XIE J W，TANG Z Q，等.面向零快照学习的语义引导多关注定位[C]//2019第五届能效机器学习与认知计算研讨会-NeurIPS Edition（EMC2-NIPS 2019），2019年12月13日举行。加拿大不列颠哥伦比亚省温哥华：IEEE，2019年。
[20] 刘毅，周磊，白霞，等.面向目标的零快照学习凝视估计[C]//2021 IEEE计算机视觉与模式识别会议，2021:3794-3803。
[21]VASWANI A，SHAZEER N，PARMAR N，et al.注意就是你所需要的[C]//2017神经信息处理系统进展，2017:5998-6008。
[22]陈思明，洪志明，刘毅，等.TransZero：用于零快照学习的属性引导变压器[C]//2022 AAAI人工智能会议论文集，2022:330-338。
[23]DOSOVITSKIY A，BEYER L，KOLESNIKOV A，et al.图像值16x16个单词：图像识别的变形金刚[C]//2021国际学习代表大会，2021。
[24]ZHU X Z，SU W J，LU L W，et al.可变形底特律：端到端目标检测的可变形变压器[C]//2021国际学习表征会议，2021。
[25]TOUVRON H，CORD M，DOUZE M，et al.通过注意力训练数据高效图像变换器和蒸馏[C]//国际机器学习会议，2021:10347-10357。
[26]李毅J，SHAN C H，李海杰，等.用于图形编程的深度神经网络的胶囊统一框架[J]。软计算，2021，25:3849-3871。
[27]WAH C、BRANSON S、WELINDER P等。Caltech-UCSD鸟类200，CNS-TR-2010-001[R]。加州理工学院，2010年。
[28]冼义清，兰佩特C H，施莱尔B，等.零炮学习——对好、坏、丑的综合评价[J]。IEEE模式分析和机器智能汇刊，2019，41（9）：2251-2265。