无参数在线学习的算法和下限
在线的
也可在
在图书馆
特别收藏
现场访问
上下文
更多选项
描述
创建者/贡献者
作者/创建者 -
Cutkosky、Ashok、， 作者。 贡献者 -
克瓦贝纳·博阿亨（Kwabena Adu） 学位主管。 论文指导老师 -
梁佩西 学位主管。 论文指导老师 -
Dan Boneh，1969年- 学位委员会成员。 论文指导老师 -
约翰·杜奇 学位委员会成员。 论文指导老师 -
亚伦·西德福德 学位委员会成员。 论文指导老师 -
斯坦福大学。 计算机科学系。
目录/摘要
总结 如今，机器学习模型的训练涉及将通常庞大的数据集上的损失函数最小化，因此，几乎所有实际相关的训练算法都是通过每次读取小块数据并实时更新模型来在线运行的。 因此，在线学习是分析数据流上运行的优化算法的一种流行方法，是现代机器学习管道的核心。 为了尽快收敛到最优模型，在线学习算法都需要一些用户特定的参数，这些参数反映输入数据的丢失或统计的形状。 此类参数的示例包括损失梯度的大小、从某些初始模型到最佳模型的距离以及数据中的方差量等。 由于这些参数的真实值通常未知，因此在线学习算法的实际实现通常只涉及猜测（称为“调整”），这既低效又不雅观。 这促使人们寻找能够适应这些未知值的无参数算法。 以前的算法已经分别对许多不同的未知参数实现了自适应性，例如，一种算法可以在给定到最优模型的已知距离的情况下适应未知梯度大小，或者在给定梯度大小的已知界的情况下，适应未知距离。 然而，没有一种算法能够同时适应这两个参数。 这项工作引入了新的下限、算法和分析技术，以同时适应多个参数。 我们首先证明了一个下限，这表明同时适应梯度的大小和到最优模型的距离从根本上来说要比单独适应任何一个都困难得多，然后继续开发第一个算法来满足这个下限，同时获得对这两个参数的最佳适应性。 然后，我们将此结果扩展到设计适用于更多未知参数的算法，包括数据方差、不同的距离测量方法以及损耗二阶导数的上下限。 我们通过开发将无参数优化算法转换为无参数算法的新技术来获得这些结果。 除了提供新的和更自适应的算法外，非参数无算法的相对简单性允许这些技术显著降低许多先前分析的复杂性。
书目信息
出版日期 2018 版权日期 2018 注释 提交给计算机科学系。 注释 2018年斯坦福大学博士论文。
