×
王迪;徐金辉

梯度复杂性和差异私人经验风险最小化的非平稳观点。 （英语） Zbl 07809106号

西奥。计算。科学。 982，文章ID 114259，32 p.（2024）.
摘要：本文研究了凸损失函数和非凸损失函数下的差异私人经验风险最小化（DP-ERM）问题。对于DP-ERM涉及带或不带非光滑正则化的光滑（强）凸损失函数的情况，我们提出了几种新的方法。与现有方法相比，这些方法在降低梯度复杂性的同时，实现了（接近）最优预期超额风险（即效用边界）。在处理高维DP-ERM和光滑凸损失函数时，我们引入了一种算法，与以前的解决方案相比，该算法以较低的梯度复杂度获得了更好的上界。
在本文的第二部分，对于具有非凸损失函数的DP-ERM，我们探索了低维和高维空间。在具有非光滑正则化子的低维情况下，我们通过使用投影梯度的\（\ell_｛2｝\）范数测量效用来扩展现有方法。此外，我们引入了一种新的误差界度量，通过使用梯度的期望范数从经验风险过渡到人口风险。对于高维情况，我们证明了通过使用Frank-Wolfe间隙测量效用，我们可以使用约束集的高斯宽度来约束效用，而不是使用基础空间的维数（p）。我们还表明，这种方法的优点可以通过测量投影梯度的（ell_2}）范数来实现。最后，我们揭示了某些特殊非凸损失函数的效用可以降低到与凸损失函数相似的水平（仅取决于）。

理学硕士：

68季度xx 计算理论

关键词：

差异隐私;经验风险最小化;凸优化;非凸优化;监督学习
PDF格式BibTeX公司 XML格式引用
\textit{D.Wang}和\textit{J.Xu}，Theor。计算。科学。982，文章ID 114259，32 p.（2024；Zbl 07809106）
全文： 内政部

参考文献：

[1] Wang博士。；Ye，M。；Xu，J.，《不同私人经验风险最小化重温：更快更普遍》，2719-2728
[2] Wang博士。；Xu，J.，光滑非凸损失函数下的差异私人经验风险最小化：非平稳观点
[3] 德沃克，C。；McSherry，F。；尼西姆，K。；Smith，A.，私人数据分析中的噪声灵敏度校准，265-284·兹比尔1112.94027
[4] 巴西利，R。；A.史密斯。；Thakurta，A.，《私人经验风险最小化：高效算法和严格误差界限》，464-473
[5] 乔杜里，K。；Monteleoni，C.，隐私保护逻辑回归，289-296
[6] 张杰。；郑凯。；牟伟。；Wang，L.，《实现平稳目标的高效私营企业风险管理》，3922-3928
[7] Talwar，K。；Thakurta，A。；Zhang，L.，最坏情况下私人经验风险最小化：约束集几何的影响，arXiv预印本
[8] 艾扬格，R。；Near，J.P。；宋，D。；O.塔卡。；Thakurta，A。；Wang，L.，走向实用差分私有凸优化，299-316
[9] Nguyen，T。；Sanner，S.，二进制分类中直接0-1损失优化算法，1085-1093
[10] 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Bengio，Y.，《深度学习》，第1卷（2016），麻省理工学院出版社：麻省理学院出版社剑桥·Zbl 1373.68009号
[11] 约翰逊，R。；Zhang，T.，使用预测方差缩减加速随机梯度下降，315-323
[12] Allen-Zhu，Z.，Katyusha：随机梯度法的第一次直接加速，1200-1205·Zbl 1369.68273号
[13] Allen-Zhu，Z。；Orecchia，L.，线性耦合：梯度和镜像下降的最终统一
[14] Talwar，K。；Thakurta，A。；Zhang，L.，近似最优私人套索，3025-3033
[15] 乔杜里，K。；蒙特利奥尼，C。；Sarwate，A.D.，《不同私人经验风险最小化》。J.马赫。学习。研究，1069-1109年3月（2011年）·Zbl 1280.62073号
[16] Kifer，D。；A.史密斯。；Thakurta，A.，私人凸经验风险最小化和高维回归，第25-1页
[17] Jain，P。；科塔里，P。；Thakurta，A.，《不同的私人在线学习》，第24-1页
[18] Wang博士。；A.史密斯。；Xu，J.，基于内积多项式逼近的非交互局部模型微分私人经验风险最小化
[19] Wang博士。；加博阿迪，M。；Xu，J.，非交互式局部差异隐私的经验风险最小化
[20] 苏，J。；赵，C。；Wang，D.，（非）欧氏空间中的差分私有随机凸优化重访，arXiv预印本
[21] Wang博士。；胡，L。；张，H。；加博阿迪，M。；Xu，J.，具有公共数据的非交互式局部差分隐私中的广义线性模型。J.马赫。学习。决议，132，1-57（2023）
[22] 薛，Z。；Yang，S。；Huai，M.，D.W.0015，《重新审视差异私人两两学习》，3242-3248
[23] Wang博士。；Xu，J.，通过dp-信任域方法私下和可缩放地逃离经验风险的鞍点
[24] Wang博士。；丁，J。；胡，L。；谢，Z。；潘，M。；Xu，J.，具有统计保证的差分私有（梯度）期望最大化算法，arXiv预打印
[25] 怀，M。；Wang博士。；苗，C。；徐，J。；Zhang，A.，《基于差异隐私保障的成对学习》，694-701
[26] Kasiviswanathan，S.P。；Jin，H.，高效私人经验风险最小化高维学习，488-497
[27] 苏，J。；胡，L。；Wang，D.，私有随机凸优化的更快速度，995-1002
[28] 胡，L。；镍、硫。；Xiao，H。；Wang，D.，具有重尾数据的高维差异私有随机优化，227-236
[29] Tao，Y。；Wu，Y。；Cheng，X。；Wang，D.，重访重尾数据的私有随机凸优化和稀疏学习
[30] 巴西利，R。；古兹曼，C。；Menart，M.，《差异私有随机优化：凸和非凸设置的新结果》。高级神经信息处理。系统。，9317-9329（2021）
[31] 阿西，H。；Lévy，D。；Duchi，J.C.，适应私有优化中的功能困难和增长条件。高级神经信息处理。系统。，19069-19081 (2021)
[32] 巴西利，R。；费尔德曼，V。；Talwar，K。；Guha Thakurta，A.，具有最优速率的私有随机凸优化，11282-11291
[33] 费尔德曼，V。；Koren，T。；Talwar，K.，《私有随机凸优化：线性时间的最优速率》，439-449·Zbl 07298260号
[34] 巴西利，R。；费尔德曼，V。；古兹曼，C。；Talwar，K.，非光滑凸损失下随机梯度下降的稳定性。高级神经信息处理。系统。，4381-4391 (2020)
[35] 库尔卡尼，J。；李，Y.T。；Liu，D.，Private非光滑erm和sco的次二次步长。高级神经信息处理。系统。，4053-4064 (2021)
[36] Wang博士。；陈，C。；Xu，J.，非凸损失函数下的差异私人经验风险最小化，6526-6535
[37] 阿加瓦尔，A。；Bottou，L.，有限和优化的下界，arXiv预印本
[38] M.阿巴迪。；Chu，A。；古德费罗，I。；McMahan，H.B。；米罗诺夫，I。；Talwar，K。；Zhang，L.，《深度学习与差异隐私》，308-318
[39] 德沃克，C。；Roth，A.，差异隐私的算法基础。已找到。趋势理论。计算。科学。，3-4, 211-407 (2014) ·Zbl 1302.68109号
[40] 肖，L。；Zhang，T.，具有逐步方差减少的近似随机梯度法。SIAM J.Optim.公司。，4, 2057-2075 (2014) ·Zbl 1321.65016号
[41] 周，K。；尚，F。；Cheng，J.，收敛速度快的简单随机方差缩减算法，5975-5984
[42] Allen-Zhu，Z。；Yuan，Y.，非强凸或非凸和目标的改进SVRG
[43] Nesterov，Y.，非光滑函数的平滑最小化。数学。程序。，1, 127-152 (2005) ·Zbl 1079.90102号
[44] 加迪米，S。；Lan，G.，非凸非线性随机规划的加速梯度法。数学。程序。，1-2, 59-99 (2016) ·Zbl 1335.62121号
[45] 加迪米，S。；兰·G。；Zhang，H.，非凸随机组合优化的Minibatch随机逼近方法。数学。程序。，1-2, 267-305 (2016) ·Zbl 1332.90196号
[46] Nesterov，Y.，《凸优化入门讲座：基础课程》，第87卷（2013），Springer Science&Business Media
[47] 弗雷德里克森，M。；Lantz，E。；Jha，S。；Lin，S。；页码，D。；Ristenpart，T.，《药物遗传学中的隐私：个性化华法林剂量的端到端案例研究》，17-32
[48] Bun，M。；Steinke，T.，《集中差异隐私：简化、扩展和下限》，635-658·Zbl 1406.94030号
[49] Lee，J。；Kifer，D.，具有自适应迭代隐私预算的集中差异私有梯度下降，1656-1665年
[50] 陈，Y。；苏，L。；Xu，J.，对抗性环境中的分布式统计机器学习：拜占庭梯度下降。程序。ACM测量。分析。计算。系统。，2，44（2017）
[51] 梅，S。；白，Y。；Montanari，A.，非凸损失的经验风险前景，arXiv预印本·Zbl 1409.62117号
[52] Lacoste-Julien，S.，非凸目标的Frank-Wolfe收敛速度，arXiv预印本
[53] Reddi，S.J。；Sra，S。；Póczos，B。；Smola，A.，非凸优化的随机Frank-Wolfe方法，1244-1251
[54] Tan，C。；马，S。；Dai，Y.-H。；Qian，Y.，Barzilai-Borwein随机梯度下降步长，685-693
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。