×

Ridgesketch公司

swMATH ID: 43589
软件作者: 尼德姆Gazagnadou;易卜拉欣(Mark Ibrahim);罗伯特·高尔(Robert M.Gower)。
描述: Ridgesketch:基于草图的快速解算器,用于大规模脊回归。我们提出了解决大规模岭回归问题的草图和投影方法的新变体。首先,我们提出了一种新的动量替代方案,并提供了一个定理,表明它可以通过快速的次线性收敛速度加快草图和投影的收敛速度。我们仔细地定义了在什么样的设置下,这个新的次线性速度比之前已知的没有动量的草图和项目的线性收敛速度更快。其次,我们考虑将草图和投影方法与新的现代草图绘制方法相结合,例如计数草图、子计数草图(我们提出的一种新方法)和子采样Hadamard变换。实验表明,当结合草图和投影方法时,(子)计数草图对稀疏数据非常有效,而标准子样本草图对密集数据非常有效。事实上,我们表明,这些素描方法与我们的新动量方案相结合,即使在实际大规模数据上与共轭梯度法相比,也会产生具有竞争力的方法。相反,我们表明,尽管使用了快速哈达玛变换,但子采样哈达玛转换在这种情况下表现不好,最近提出的加速方案在实践中也没有很好的效果。为了支持我们的所有实验结果,并邀请社区验证和扩展我们的结果,我们还发布了一个开源软件包:𝚁𝚒𝚍𝚐𝚎𝚂𝚔𝚎𝚝𝚌𝚑. 我们用Python设计了这个面向对象的包,用于测试草图和项目方法,并对岭回归解算器进行基准测试。𝚁𝚒𝚍𝚐𝚎𝚂𝚔𝚎𝚝𝚌𝚑 是高度模块化的,可以很容易地将新的草图绘制方法添加为子类。我们在附录中提供了包的代码片段。
主页: https://arxiv.org/abs/2105.05565
源代码:  https://github.com/facebookresearch/Rigisketch
关键词: 随机数值线性代数;草图和投影方法;随机草图绘制;随机坐标下降;动量;加快
相关软件: 布伦登皮克;蟒蛇;Scikit公司;数字Py;科学Py;LAPACK公司
引用于: 1文件

按年份列出的引文