计算机科学››2024,第51卷››问题(5): 313-320.数字对象标识:10.11896/jsjkx.240100038
•计算机网络• 以前的文章 下一篇文章
孙静1,王晓霞2
收到:
修订过的:
在线:
出版:
关于作者:
支持单位:
摘要:在当前卷积神经网络模型的训练和分发过程中,云具有足够的计算资源和数据集,但难以满足边缘场景中的碎片化需求。边缘侧可以直接训练和推断模型,但很难直接使用根据统一规则在云中训练的卷积神经网络模型。针对边缘端资源有限的情况下,用于模型压缩的卷积神经网络算法训练和推理效率低的问题,首先提出了一种基于云边缘协作的模型分发和训练框架。该框架可以结合云和边缘的优势进行模型再训练,满足边缘对指定识别目标、指定硬件资源和指定精度的要求。其次,基于云边缘协作框架的训练方法,提出了新的基于逻辑和通道的子类知识提取方法(SLKD和SCKD),以改进知识提取技术。云服务器首先提供一个具有多目标识别的模型,然后通过子类知识提取方法,将该模型从边缘重新定义为一个轻量级模型,该模型可以部署在资源有限的场景中。最后,在CIFAR-10数据集上验证了联合训练框架和两个子类蒸馏算法的有效性。实验结果表明,在压缩比为50%时,与全分类模型相比,推理精度提高了10%-11%。与模型的再训练相比,通过知识蒸馏方法训练的模型的精度也得到了很大的提高,并且压缩比越高,模型精度的提高越显著。
关键词: 云边缘协作, 深度学习, 知识提炼, 模型压缩, 特征提取
CLC编号:
孙静、王晓霞。基于云边缘协同子类提取的卷积神经网络模型压缩方法[J]。计算机科学,2024,51(5):313-320。
0 / / 推荐
添加到引文管理器 尾注|样板客户经理|ProCite公司|BibTeX公司|参考Works
网址: https://www.jsjkx.com/EN/10.11896/jsjkx-240100038
https://www.jsjkx.com/EN/Y2024/V51/I5/313
引用