差分私有随机凸优化的更快速度
苏金燕、胡丽杰、王迪; 25(114):1−41, 2024.
摘要
在本文中，我们重新讨论了差分私有随机凸优化（DP-SCO）问题，并对一些比一般凸函数和强凸函数更快的特殊函数类提供了超额种群风险。在本文的第一部分中，我们研究了人口风险函数满足Tysbakov噪声条件（TNC）且某些参数$\theta>1$的情况。具体地说，我们首先证明了在损失函数的一些温和假设下，有一个算法的输出可以达到上界$\tilde{O}（（frac{1}{\sqrt{n}}+\frac{d}{n\epsilon}）^\frac{theta}{theta-1}）$和$\tilde{O}（（\frac{1}}{\scrt{n}+\frac{sqrt{d\log（1/delta）}}{n\ebsilon}）^\frac{\theta}{\theta 1})$\epsilon$-DP和$（\epsilon，\delta）$-DP分别为$\theta\geq2$，其中$n$是样本大小，$d$是空间的维度。然后我们解决了效率低下的问题，通过$\text{Poly}（\logn）$factors改进了上界，并扩展到$\theta\geq\bar{\theta}>1$对于某些已知的$\bar{theta}$的情况。接下来，我们证明了满足TNC且参数为$\theta\geq2$的人口函数的超额人口风险总是由$\Omega（（frac{d}{n\epsilon}）^\frac{theta}{theta-1}）$和$\Omega（（[frac{sqrt{d\log（1/\delta）}}{n\ epsilon{）^\frac{theta{theta-1-}）$\epsilon$-DP和$（\ epsilon，delta））分别为$-DP，这符合我们的上限。在第二部分中，我们重点讨论了人口风险函数强凸的一个特殊情况。与之前的研究不同，这里我们假设损失函数是非负的，并且人口风险的最优值足够小。在这些额外的假设下，我们提出了一种新的方法，对于任何$\tau>1$的$（epsilon，delta）$-DP和$\epsilon$-DP模型，该方法的输出都可以达到$O（frac{d\log（1/delta）}{n^2\epsilon^2}+\frac{1}}）$的上界。如果样本大小$n$足够大。对于一般强凸函数，这些结果绕过了（Feldman等人，2020）中相应的下限。最后，我们在真实数据上对我们的新方法进行了实验。实验结果也为现有理论提供了新的见解。
[腹肌]
[pdf格式][围兜]
