在高维分类问题中，一种常用的方法是首先将高维特征投影到低维空间中，然后根据得到的低维投影进行分类。在本文中，我们建立了一个具有隐藏低维结构的潜在变量模型，以证明这两步程序的合理性，并指导选择哪种投影。我们提出了一种计算效率高的分类器，它将观察到的特征的某些主成分（PC）作为投影，并以数据驱动的方式选择保留的PC数量。本文建立了一种基于任何投影的两步分类器分析的通用理论。我们推导了所提出的基于PC的分类器的超额风险的显式收敛速度。进一步证明了获得的速率在极大极小意义下达到对数因子时是最优的。我们的理论允许较低的维度随样本大小而增长，并且即使特征维度（大大）超过样本大小也有效。大量模拟证实了我们的理论发现。在三个实际数据示例上，与现有的其他判别方法相比，该方法也表现出良好的性能。