DP-Fast-MH：用于大规模贝叶斯推断的私有、快速和准确的大都会黑斯廷斯

张婉蓉、张如琪
第40届机器学习国际会议论文集，PMLR 202:41847-41860，2023年。

摘要

贝叶斯推理为复杂数据学习和不确定性推理提供了一个原则框架。它已广泛应用于医学诊断、药物设计和决策等机器学习任务。在这些常见应用程序中，数据可能非常敏感。差异隐私（DP）为数据分析工具提供了强大的最坏情况下的隐私保障，并已发展成为隐私保护数据分析的领先方法。本文研究了MCMC中最基本的方法之一Metropolis-Hastings（MH）在不同隐私下进行大规模贝叶斯推理。虽然大多数现有的私有MCMC算法牺牲准确性和效率来获得隐私，但我们提供了第一个准确快速的DP-MH算法，在大多数迭代中只使用一小部分数据。我们首次进一步揭示了隐私、可伸缩性（即批量大小）和效率（即收敛速度）之间的三种权衡，从理论上描述了隐私如何影响贝叶斯推理中的效用和计算成本。我们在各种实验中实证证明了我们算法的有效性和效率。

引用本文

BibTeX公司
@会议记录{pmlr-v202-zhang23aw，标题={{DP}-快速｛MH｝：私密、快速、准确{M} 埃托波利斯-{H} 铸件适用于大型{B} 阿依西亚人推断}，作者＝{Zhang，Wanrong和Zhang，Ruqi}，booktitle={第40届机器学习国际会议论文集}，页码={41847--41860}，年份={2023}，editor={克劳斯、安德烈亚斯和布伦斯基尔、艾玛和乔、京贤和恩格尔哈特、芭芭拉和萨巴托、西万和斯嘉丽、乔纳森}，体积={202}，series={机器学习研究论文集}，月={7月23日--29日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v202/zhang23aw/zhang23 aw.pdf},url={https://proceedings.mlr.press/v202/zhang23aw.html},abstract={贝叶斯推理为从复杂数据中学习和在不确定性下推理提供了一个原则框架。它已广泛应用于机器学习任务，如医疗诊断、药物设计和决策。在这些常见应用中，数据可能高度敏感。差异隐私（DP）提供具有强大的最坏情况隐私保证的数据分析工具，并已发展成为隐私保护数据分析的领先方法。本文研究了MCMC中最基本的方法之一Metropolis-Hastings（MH）在不同隐私下进行大规模贝叶斯推理。虽然大多数现有的私有MCMC算法牺牲准确性和效率来获得隐私，但我们提供了第一个准确快速的DP-MH算法，在大多数迭代中只使用一小部分数据。我们首次进一步揭示了隐私、可伸缩性（即批量大小）和效率（即收敛速度）之间的三种权衡，从理论上描述了隐私如何影响贝叶斯推理中的效用和计算成本。我们在各种实验中实证证明了我们算法的有效性和效率。}}
尾注
%0会议论文%T DP-Fast MH:用于大规模贝叶斯推断的私有、快速和准确的大都市黑斯廷斯%张万荣%张如琪%第40届机器学习国际会议论文集%C机器学习研究论文集%D 2023年%E安德烈亚斯·克劳斯%艾玛·布伦斯基%E Kyunghyun Cho先生%E芭芭拉·恩格哈特%E西万·萨巴托%E乔纳森·斯佳丽%F pmlr-v202-zhang23aw%我PMLR%电话：41847--41860%U型https://proceedings.mlr.press/v202/zhang23aw.html%202伏%X贝叶斯推理为从复杂数据中学习和在不确定性下推理提供了一个原则框架。它已广泛应用于医学诊断、药物设计和决策等机器学习任务。在这些常见应用程序中，数据可能非常敏感。差异隐私（DP）为数据分析工具提供了强大的最坏情况下的隐私保障，并已发展成为隐私保护数据分析的领先方法。本文研究了MCMC中最基本的方法之一Metropolis-Hastings（MH）在不同隐私下进行大规模贝叶斯推理。虽然大多数现有的私有MCMC算法牺牲准确性和效率来获得隐私，但我们提供了第一个准确快速的DP-MH算法，在大多数迭代中只使用一小部分数据。我们首次进一步揭示了隐私、可伸缩性（即批量大小）和效率（即收敛速度）之间的三种权衡，从理论上描述了隐私如何影响贝叶斯推理中的效用和计算成本。我们在各种实验中实证证明了我们算法的有效性和效率。
亚太地区
Zhang，W.和Zhang and R.（2023）。DP-Fast MH：用于大规模贝叶斯推断的私有、快速和准确的大都会黑斯廷斯。第40届机器学习国际会议论文集，英寸机器学习研究进展202:41847-41860网址：https://proceedings.mlr.press/v202/zhang23aw.html。

相关材料