嵌入式系统中的资源高效神经网络
沃尔夫冈·罗斯（Wolfgang Roth）、格恩特·辛德勒（Günther Schindler）、伯恩哈德·克莱恩（Bernhard Klein）、罗伯特·佩哈兹（Robert Peharz）、塞巴斯蒂安·奇亚切克（Sebastian Tschiatschek）、霍尔格·弗罗宁（Holger Fröning）、弗兰兹·潘科夫（; 25(50):1−51, 2024.
摘要
虽然机器学习传统上是一项资源密集型任务，但嵌入式系统、自主导航和物联网的愿景激发了人们对资源高效方法的兴趣。这些方法旨在在计算和能量方面仔细选择性能和资源消耗之间的权衡。这些方法的发展是当前机器学习研究的主要挑战之一，也是确保机器学习技术从具有几乎无限计算资源的科学环境顺利过渡到日常应用的关键。在本文中，我们概述了促进这些现实世界需求的机器学习技术的现状。特别是，我们关注基于深度神经网络（DNNs）的资源效率推理，这是过去十年中主要的机器学习模型。我们对大量文献进行了全面的概述，这些文献主要可分为三个非互斥类别：（i）量化神经网络，（ii）网络修剪，和（iii）结构效率。这些技术可以在训练过程中应用，也可以作为后处理，它们被广泛用于减少内存占用、推理速度和能源效率方面的计算需求。我们还简要讨论了用于DNN的嵌入式硬件的不同概念及其与机器学习技术的兼容性，以及降低能量和延迟的潜力。我们通过对一组资源受限嵌入式系统（如CPU、GPU和FPGA）使用压缩技术（量化、修剪）的著名基准数据集的实验来证实我们的讨论。获得的结果突出了在资源效率和预测质量之间找到良好平衡点的困难。
[腹肌]
[pdf格式][围兜]
