计算机科学>机器学习
职务: 分布式个性化经验风险最小化
摘要: 本文提出了一种新的范式——个性化经验风险最小化(Personalized Experimental Risk Minimization,PERM),以便于从异构数据源中学习,而不会对参与设备共享的计算资源施加严格的限制。 在PERM中,我们的目标是通过有效估计数据分布之间的统计差异,学习与谁一起学习并个性化本地经验损失的聚合,从而为每个客户学习一个不同的模型,这需要为所有本地分布提供最佳的统计准确性,并克服数据异质性问题。 为了大规模学习个性化模型,我们提出了一种分布式算法,该算法用模型搅乱来代替标准模型平均,以同时优化所有设备的PERM目标。 这也使我们能够了解不同客户机的不同模型架构(例如,具有不同参数数量的神经网络),从而限制单个客户机的底层内存和计算资源。 我们严格分析了所提算法的收敛性,并进行了实验,验证了所提范式的有效性。