我们考虑回归问题，其中预测因子的数量大大超过了观测值的数量。我们提出了一种变量选择方法，首先估计回归函数，得到“预处理”响应变量。用于初始回归的主要方法是监督主成分。然后我们对预处理的响应变量应用标准程序，如正向逐步选择或LASSO。在许多模拟和实际数据示例中，此两步程序优于正向逐步选择或通常的LASSO（直接应用于原始结果）。我们还表明，在一定的高斯隐变量模型下，随着预报器和观测数的增加，LASSO对预处理响应变量的应用是一致的。此外，当观测噪声较大时，所建议的方法可以比LASSO给出更准确的估计。我们在一些实际问题上说明了我们的方法，包括用微阵列数据进行生存分析。