王、庄;科比·克拉默;斯洛博丹·武塞蒂克 打破核化的魔咒：大规模SVM训练的预算随机梯度下降。 （英语） Zbl 1433.68383号 J.马赫。学习。物件。 13, 3103-3131 (2012). 摘要：当处理非常大的数据或数据流时，一次处理一个示例的在线算法非常有利。随机梯度下降（SGD）就是这样一种算法，由于其简单有效，是在线支持向量机（SVM）训练的一个很有吸引力的选择。与其他SVM学习算法类似，当配备核函数时，SGD容易受到核化诅咒的影响，这会导致模型大小和更新时间随数据大小的无限线性增长。这可能导致SGD不适用于大型数据集。我们通过提出一类用于大规模核SVM训练的预算SGD（BSGD）算法来解决这个问题，这些算法每次更新具有恒定的空间和时间复杂度。具体来说，BSGD通过几个预算维护策略使训练期间的支持向量数量保持有界。我们将预算维护视为梯度误差的来源，并表明BSGD和最优SVM解决方案之间的差距取决于预算维护导致的模型退化。为了最小化差距，我们研究了基于支持向量删除、投影和合并的贪婪预算维护方法。我们提出了属于SGD家族的几种流行在线SVM算法的预算版本。我们进一步推导了用于多类SVM训练的BSGD算法。综合实证结果表明，BSGD比最先进的在线预算算法实现了更高的准确性，并与非预算算法相媲美，同时在训练和预测期间在时间和空间上都实现了令人印象深刻的计算效率。 引用于18文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68周27 在线算法；流式算法 关键词：支持向量机;大规模学习;在线学习;随机梯度下降;内核方法 PDF格式BibTeX公司 XML格式引用 \textit{Z.Wang}等人，J.Mach。学习。第13号决议，3103--3131（2012年；Zbl 1433.68383） 全文： 链接