本文研究在给定协变量的情况下，灵活估计响应变量的条件密度的问题。在我们的方法中，密度被建模为异方差正态的混合物，平均值、方差和混合概率都作为协变量的函数平滑变化。我们使用变分贝叶斯方法，提出了一种新的快速算法，用于同时进行协变量选择、成分选择和参数估计。我们的方法能够处理混合模型拟合中固有的局部极大值问题，并且适用于协变量数量可能大于样本大小的高维设置。在经典回归模型的特殊情况下，所提出的算法与当前使用的贪婪算法类似，同时具有许多吸引人的特性，并且在高维问题中有效工作。通过仿真和实例验证了该方法。