核逻辑回归（KLR）是一种强大而灵活的分类算法，具有提供类预测置信度的能力。然而，它的训练——通常由（准）牛顿方法进行——相当耗时。在本文中，我们提出了另一种概率分类算法，称为最小二乘概率分类器（LSPC）。KLR通过核函数的对数线性组合对类后验概率进行建模，其参数通过（正则化）最大似然学习。相比之下，LSPC采用核函数的线性组合，其参数通过真类后验概率的正则化最小二乘拟合来学习。由于这种线性正则化最小二乘公式，LSPC的解可以通过以类的方式求解正则化线性方程组来解析计算。因此，LSPC在计算上非常有效，并且在数值上非常稳定。通过实验表明，LSPC的计算速度比KLR快两个数量级，分类精度相当。