计算机科学>分布式、并行和群集计算
标题: 冗余对分布式优化和学习中弹性的影响
摘要: 本报告考虑了基于服务器架构中的弹性分布式优化和随机学习问题。 该系统由一个服务器和多个代理组成,每个代理都有自己的本地成本功能。 代理与服务器协作,以找到本地成本函数集合的最小值。 在随机学习的上下文中,代理的本地成本是根据该代理的数据计算的损失函数。 在本报告中,我们在一个系统中考虑了这个问题,其中一些代理可能存在拜占庭式故障,而一些代理可能速度较慢(也称为掉队者)。 在这种情况下,我们研究在什么条件下可以获得上述问题的“近似”解决方案。 特别是,我们引入了$(f,r;\epsilon)$-弹性的概念,以描述在存在多达$f$拜占庭故障代理和多达$r$慢速代理(或掉队代理)的情况下,真实解决方案的近似程度,较小的$\epsilon$表示更好的近似。 我们还引入了一个名为$(f,r;\epsilon)$-redundancy的度量来描述代理成本函数中的冗余。 在解决总成本最小化问题时,更大的冗余允许更好的近似。 在本报告中,我们建设性地表明(理论上和经验上)$(f,r;\mathcal{O}(\epsilon))$-弹性确实可以在实践中实现,因为局部成本函数是充分冗余的。