分布式近似牛顿方法的收敛性：全球化、更尖锐的界限及超越
袁晓彤、李萍; 21(206):1−51, 2020.
摘要
DANE算法是一种广泛用于通信效率高的分布式机器学习的近似牛顿方法。对DANE感兴趣的原因包括可扩展性和效率。然而，DANE的融合可能很棘手；其吸引人的收敛速度仅对二次目标函数严格，对于更一般的凸函数，其已知结果并不比经典的一阶方法强。为了弥补这些缺点，我们在本文中提出了一些更适合分析的DANE的新替代方案。我们首先介绍了一种带有回溯线搜索的DANE的简单变体，对于二次和非二次强凸函数，可以证明其全局渐近收敛性和更尖锐的局部非渐近收敛性保证。然后，我们提出了一种加速DANE收敛的重锤方法，表明对于强凸函数，可以建立近紧局部收敛速度，并且对相同结果的算法进行适当修改后，可以全局应用于线性预测模型。数值证据证实了我们方法的理论和实践优势。
[腹肌]
[pdf格式][围兜]
