NESVM公司

支持向量机的快速梯度法。支持向量机(SVM)在人工智能的许多实际应用中都是非常有价值的工具,例如分类和事件识别。然而,目前流行的支持向量机解算器对于样本量大、特征量大的应用效率不高。因此,本文提出了一种快速梯度支持向量机求解器NESVM,它可以优化各种支持向量机模型,如经典支持向量机、线性规划支持向量机和最小二乘支持向量机。与支持向量机Perf(其在求解对偶支持向量机时的收敛速度为O(1/√k)的上界,其中k是迭代次数)和Pegasos(在线支持向量机在原始支持向量机中以O(1/k)的速度收敛)和Pegasos(在线支持向量机)相比,在O(1/k2)和线性时间复杂度下达到了最优的收敛速度。特别地,NESVM平滑了原始支持向量机的不可微铰链损失和ξ1范数。然后采用无需任何线搜索的最优梯度法求解。在每一轮迭代中,结合当前梯度和历史梯度确定下降方向,而Lipschitz常数决定步长。每次迭代只需要两次矩阵向量乘法。因此,NESVM比现有的支持向量机解算器更有效。此外,NESVM可用于线性和非线性核。我们还提出了“同伦NESVM”,通过动态降低平滑参数和使用连续化方法来加速NESVM。通过对人口普查收入分类、室内外场景分类、事件识别和场景识别的实验,验证了NESVM的有效性和有效性。NESVM的MATLAB代码将在我们的网站上提供,以供进一步评估。