外推

有向网络上凸光滑分散优化的ExtraPush算法。在这篇文章中,我们将额外和次梯度推算法推广到一个新的算法ExtraPush在有向网络上具有凸可微目标函数的一致性优化问题。当网络的平稳分布可以预先计算时,我们提出了一种简化的算法,称为归一化外推。与Extra一样,ExtraPush和规范化ExtraPush都可以以固定的步长迭代。但与Extra不同,它们可以取列随机混合矩阵,这不一定是双重随机的。因此,它们消除了无向网络的额外限制。对于同样的问题,梯度网络的规模也必须减小。本文对有界序列假设下的外推问题进行了初步分析。对于规范化的外推,我们证明了只要目标函数是强凸的,它自然产生一个有界的线性收敛序列。在我们的数值实验中,ExtraPush和Normalized ExtraPush的性能相似。它们比次梯度推力快得多,即使我们手动为后者优化步长。