稀疏贝叶斯因子模型通常用于高维应用中的简约依赖建模和降维。在推导维数可能大于样本大小的高维协方差矩阵时，我们从后验收敛率的角度对这种贝叶斯方法提供了理论上的理解。在真协方差矩阵的相关稀疏性假设下，我们表明，因子负载上常用的点质量混合先验导致算子范数的一致估计，即使在$p\gg n$时也是如此。我们的主要贡献之一是开发了一类新的连续收缩先验，并提供了它们围绕稀疏向量的集中度的见解。使用这种因子负载的先验，我们获得了与点质量混合先验相似的收敛速度。为了获得收敛速度，我们利用随机矩阵理论的见解构造测试函数来分离高维协方差矩阵空间中的点；开发的工具可能具有独立的兴趣。我们还导出了极小极大速率，并证明了贝叶斯后验收敛速率在$\sqrt{\logn}$项下与极小极大速率一致。