×

深度RT

swMATH ID: 36237
软件作者: Kang,Woochul;钟,Jaeyong
描述: DeepRT:针对网络物理系统的可预测深度学习推理。最近,在移动和嵌入式设备中,深度学习正在改变计算机看到、听到和理解世界的方式。当深度学习被部署到这些系统中时,它们应该及时高效地执行推理任务。许多研究都集中在通过压缩深度学习模型或设计硬件加速器来控制资源受限设备的深度学习。然而,这些方法侧重于为此类设备提供“尽力而为”的性能。本文介绍了一种新型深度学习推理运行库DeepRT的设计与实现。与以前的方法不同,当深度学习模型用于不可预测和资源受限的环境时,DeepRT侧重于支持可预测的时间和空间推理性能。特别是,DeepRT应用形式化控制理论支持服务质量(QoS)管理,该管理可以在运行时动态最小化推理任务的延迟,同时实现高能效。此外,DeepRT根据内存可用性和用户的QoS要求,在运行时确定深度学习模型的适当压缩级别,从而在内存节省和推理准确性损失之间进行适当的权衡。我们在各种条件下对DeepRT进行了广泛的深度学习模型评估。实验结果表明,DeepRT以健壮且节能的方式支持推理任务的时效性。
主页: https://link.springer.com/article/10.1007%2Fs11241-018-9314-年
关键词: 深度学习;服务质量(QoS);实时系统;嵌入式系统;能源效率;计算机物理系统;数字视频服务
相关软件: 张力RT;AlexNet公司;github;模型动物园;ImageNet公司;卡费
引用于: 1文件

2位作者引用

1 钟,Jaeyong
1 康,伍丘

连载1篇

1 实时系统

在1个字段中引用

1 计算机科学(68至XX)

按年份列出的引文