计算机科学>机器学习
标题: DP-Fast-MH:用于大规模贝叶斯推断的私有、快速和准确的大都会黑斯廷斯
摘要: 贝叶斯推理为复杂数据学习和不确定性推理提供了一个原则框架。 它已广泛应用于医学诊断、药物设计和决策等机器学习任务。 在这些常见应用程序中,数据可能非常敏感。 差异隐私(DP)为数据分析工具提供了强大的最坏情况下的隐私保障,并已发展成为隐私保护数据分析的领先方法。 本文研究了MCMC中最基本的方法之一Metropolis-Hastings(MH)在不同隐私下进行大规模贝叶斯推理。 虽然大多数现有的私有MCMC算法牺牲准确性和效率来获得隐私,但我们提供了第一个准确快速的DP-MH算法,在大多数迭代中只使用一小部分数据。 我们首次进一步揭示了隐私、可伸缩性(即批量大小)和效率(即收敛速度)之间的三种权衡,从理论上描述了隐私如何影响贝叶斯推理中的效用和计算成本。 我们在各种实验中实证证明了我们算法的有效性和效率。