×

私人设置中的可变贝叶斯(VIPS)。 (英语) Zbl 1452.62986号

摘要:贝叶斯数据分析的许多应用都涉及敏感信息,例如个人文档或病历,这些激励方法可以确保隐私得到保护。我们介绍了一个通用的变分贝叶斯(VB)隐私保护框架,该框架是一种广泛使用的基于优化的贝叶斯推理方法。我们的框架尊重差异隐私(金标准隐私标准),并包含一大类概率模型,称为共轭指数(CE)族。我们观察到,我们可以通过扰动完整数据可能性的预期充分统计数据,直接私有化CE族模型的VB近似后验分布。对于广泛使用的一类非CE模型,即具有二项式可能性的模型,我们展示了如何将此类模型引入CE族,以便使用Pólya-Gamma数据增强方案,修改模型中的推断尽可能类似于私有变分Bayes算法。由于迭代增加了所需的噪声量,因此变分贝叶斯的迭代性质提出了进一步的挑战。我们通过结合以下内容来克服这一问题:(1)一种改进的差异隐私合成方法,称为矩会计,它对多次VB迭代的隐私成本提供了一个严格的限制,从而显著减少了加性噪声的数量;(2)随机学习中从大规模数据中抽取小样本的隐私放大效应。我们实证证明了我们的方法在CE和非CE模型中的有效性,包括在实际数据集上评估的潜在Dirichlet分配、贝叶斯逻辑回归和sigmoid信念网络。

MSC公司:

62兰特 大数据和数据科学的统计方面
2015年1月62日 贝叶斯推断
68第27页 数据隐私
PDF格式BibTeX公司 XML格式引用