×
迪格维杰·布布;Guzmán，克里斯托巴尔

差分私有随机单调变分不等式和鞍点问题的优化算法。 （英语） Zbl 07807810号

数学。程序。 204，编号1-2（A），255-297（2024）.
摘要：在这项工作中，我们首次系统地研究了微分隐私约束下的随机变分不等式（SVI）和随机鞍点（SSP）问题。我们提出了两种算法：噪声随机外梯度（NSEG）和噪声不精确随机邻近点（NISPP）。我们证明，对于强间隙函数，这些算法的随机近似变量的风险边界随着数据集大小的函数而消失；对于弱间隙函数，具有替换变量的抽样可以获得最优风险边界。我们还证明了弱间隙函数的相同阶下界。因此，我们的算法是最优的。我们分析的关键是对算法稳定边界的研究，这两个边界即使在非私有情况下也是新的。对于NSEG和NISPP，替换算法采样的运行时间对数据集大小的依赖性分别为（n^2）和（widetilde{O}（n^{3/2}）。

MSC公司：

65立方厘米 马尔可夫链的数值分析或方法
90立方厘米 数学规划中的极小极大问题
90立方厘米 灵敏度、稳定性、参数优化
90立方 非线性规划
62L20型 随机近似

关键词：

变分不等式;鞍点问题;差异隐私;随机算法;算法稳定性
PDF格式BibTeX公司 XML格式引用
\textit{D.Boob}和\textit{C.Guzmán}，数学。程序。204，编号1--2（A），255-297（2024；Zbl 07807810）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Abadi，M.、Chu，A.、Goodfellow，I.、McMahan，H.B.、Mironov，I.，Talwar，K.、Zhang，L.：深度学习与差异隐私。摘自：2016年ACM SIGSAC计算机和通信安全会议记录，第308-318页。ACM（2016）
[2] Asi，H.，Feldman，V.，Koren，T.，Talwar，K.：私有随机凸优化：l1几何中的最优速率。收录：M.Meila，T.Zhang（编辑）《第38届国际机器学习大会论文集》，《机器学习研究论文集》，第139卷，第393-403页。PMLR（2021年）
[3] Auslender，A.，Teboulle，M.：单调变分不等式的类内投影方法。数学。程序。104(1), 39-68 (2005) ·Zbl 1159.90517号
[4] Bassily，R.，Feldman，V.，Guzmán，C.，Talwar，K.：非光滑凸损失上随机梯度下降的稳定性。收录于：H.Larochelle、M.Ranzato、R.Hadsell、M.F.Balcan、H.Lin（编辑）《神经信息处理系统进展》，第33卷，第4381-4391页。Curran Associates，Inc.（2020年）。https://proceedings.neurips.cc/paper/2020/file/2e2c4bf7ceaa4712a72dd5ee136dc9a8-paper.pdf
[5] Bassily，R.，Feldman，V.，Talwar，K.，Guha Thakurta，A.：具有最优速率的私有随机凸优化。摘自：神经信息处理系统进展，第32卷。Curran Associates，Inc.（2019年）
[6] Bassily，R.，Guzman，C.，Nandi，A.：非核素差异私有随机凸优化。在：M.Belkin，S.Kpotufe（编辑）《第三十四届学习理论会议论文集》，《机器学习研究论文集》，第134卷，第474-499页。PMLR（2021）
[7] Bassily，R.，Smith，A.，Thakurta，A.：不同私人经验风险最小化：高效算法和严格误差界限（2014）
[8] Bousquet，O.，Elisseeff，A.：稳定性和泛化。J.马赫。学习。第2号决议，499-526（2002年）。doi:10.1162/153244302760200704·Zbl 1007.68083号
[9] Bousquet，O.，Klochkov，Y.，Zhivotovskiy，N.：一致稳定算法的夏普界限。J.Abernethy，S.Agarwal（编辑）《第三十三届学习理论会议论文集》，《机器学习研究论文集》第125卷，第610-626页。PMLR（2020年）
[10] Bun，M.，Steinke，T.：集中差异隐私：简化、扩展和下限。收录于：密码学理论会议，第635-658页。斯普林格（2016）·Zbl 1406.94030号
[11] Chaudhuri，K.，Monteleoni，C.：隐私保护逻辑回归。In:NIPS（2008）
[12] 乔杜里，K。；蒙特利奥尼，C。；Sarwate，AD，《不同私人经验风险最小化》，J.Mach。学习。决议，1069-1109年3月12日，（2011年）·Zbl 1280.62073号
[13] Dong，J。；Roth，A。；Su，WJ，高斯差异隐私，J.R.Stat.Soc.B，84，1，3-37，（2022）·Zbl 07593394号 ·doi:10.1111/rssb.12454
[14] Duchi，J.C.，Ruan，F.：本地私人评估中正确的复杂性度量：它不是渔民信息。arXiv预印arXiv:1806.05756（2018）
[15] Dwork，C.，McSherry，F.，Nissim，K.，Smith，A.：私人数据分析中噪声灵敏度的校准。载：《第三届密码学理论会议论文集》，TCC'06，第265-284页。施普林格，柏林（2006）。doi:10.1007/11681878_14·Zbl 1112.94027号
[16] 德沃克，C。；Roth，A.，《不同隐私的算法基础》，Found。趋势理论。计算。科学。，9, 3-4, 211-407, (2014) ·Zbl 1302.68109号 ·doi:10.1561/040000042
[17] Dwork，C.，Rothblum，G.N.，Vadhan，S.P.：加强和区别隐私。摘自：第51届IEEE计算机科学基础年会，2010年10月23日至26日，美国内华达州拉斯维加斯，第51-60页。IEEE计算机学会（2010）。doi:10.1109/FOCS.2010.12
[18] 法奇尼，F。；Pang，JS，有限维变分不等式与互补问题，（2007），柏林：施普林格出版社，柏林
[19] Feldman，V.，Koren，T.，Talwar，K.：私有随机凸优化：线性时间中的最优速率。在：第52届ACM SIGACT计算理论年度研讨会论文集，STOC 2020，第439-449页。纽约计算机协会（2020年）。doi:10.1145/3357713.3384335·Zbl 07298260号
[20] Feldman，V.、Mironov，I.、Talwar，K.、Thakurta，A.：通过迭代进行隐私放大。M.Thorup（编辑），第59届IEEE计算机科学基础年度研讨会，2018年FOCS，法国巴黎，2018年10月7-9日，第521-532页。IEEE计算机学会（2018）。doi:10.1109/FOCS.2018.00056
[21] Feldman，V.，Vondrak，J.：具有近似最优速率的一致稳定算法的高概率泛化界。收录于：A.Beygelzimer，D.Hsu（编辑）《第三十二届学习理论会议论文集》，《机器学习研究论文集》第99卷，第1270-1279页。美国凤凰城PMLR（2019年）
[22] Gupta，A.，Ligett，K.，McSherry，F.，Roth，A.，Talwar，K.：差异私有组合优化。M.Charikar（编辑）《第二十届ACM-SIAM离散算法年度研讨会论文集》，2010年SODA，美国德克萨斯州奥斯汀，2010年1月17日至19日，第1106-1125页。SIAM（2010年）·Zbl 1288.94087号
[23] Hardt，M.，Recht，B.，Singer，Y.：训练更快，概括更好：随机梯度下降的稳定性。收录于：M.F.Balcan，K.Q.Weinberger（eds.）《第33届机器学习国际会议论文集》，《机器学习研究论文集》第48卷，第1225-1234页。PMLR，纽约（2016）
[24] Hsieh，Y.，Iutzeler，F.，Malick，J.，Mertikopoulos，P.：关于单调用随机超粒度方法的收敛性。摘自：H.M.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alché-Buc、E.B.Fox、R.Garnett（eds.）《神经信息处理系统进展》第32期：2019年神经信息处理系统年会，2019年12月8日至14日，加拿大不列颠哥伦比亚省温哥华，第6936-6946页（2019年）。http://papers.nips.cc/paper/8917-on-single-call-stochastic-extra-gradient-methods聚合
[25] 安大略省Iusem；Jofré，A。；罗得岛奥利维拉；Thompson，P.，随机变分不等式的基于方差的线搜索超梯度方法，SIAM J.Optim。，29, 1, 175-206, (2019) ·Zbl 1415.65145号 ·doi:10.1137/17M1144799
[26] Jain，P.、Kothari，P.和Thakurta，A.：不同的私人在线学习。摘自：第25届学习理论年会（COLT），第24.1-24.34页（2012）
[27] Jain，P.，Thakurta，A.：差异私人学习的（近）维独立风险边界。In:ICML（2014）
[28] Jalilzadeh，A.，Shanbhag，U.V.：单调随机变分不等式问题的变样本近似点算法（ppawss）。2019年冬季模拟会议（WSC），第3551-3562页（2019年）。doi:10.1109/WSC40007.2019.9004836
[29] Juditsky，A.，Nemirovski，A.：非光滑凸大规模优化的一阶方法，i:通用方法。麻省理工学院出版社（2012）
[30] 朱迪茨基，A。；涅米罗夫斯基，AS；Tauvel，C.，用随机镜像代理算法求解变分不等式，Stoch。系统。，1, 1, 17-58, (2011) ·Zbl 1291.49006号 ·doi:10.1214/10-SSY011
[31] Kasiviswanathan，S.P.，Lee，H.K.，Nissim，K.，Raskhodnikova，S.，Smith，A.：我们可以私下学到什么？2008年IEEE第49届计算机科学基础年会，第531-540页。IEEE（2008）
[32] Kifer，D.，Smith，A.，Thakurta，A.：私人凸经验风险最小化和高维回归。摘自：学习理论会议，第25-1页（2012年）
[33] Korpelevich，G.，《寻找鞍点和其他问题的外梯度法》，Matecon，12，747-756，（1976）·Zbl 0342.90044号
[34] Kotsalis，G.、Lan，G.，Li，T.：随机变分不等式的简单优化方法，i:算子外推（2020）
[35] Lei，Y.，Yang，Z.，Yaang，T.，Ying，Y.：极小极大问题随机梯度方法的稳定性和推广。摘自：机器学习国际会议，第6175-6186页。PMLR（2021年）
[36] Li，T.，Sanjabi，M.，Berami，A.，Smith，V.：联合学习中的公平资源分配。参加：第八届学习代表国际会议，2020年4月26日至30日，埃塞俄比亚亚的斯亚贝巴，ICLR 2020。OpenReview.net（2020）。https://openreview.net/forum？id=ByexElSYDr
[37] 米罗诺夫：雷尼的差异隐私。摘自：第30届IEEE计算机安全基础研讨会（CSF）会议记录，第263-275页（2017年）。https://arxiv.org/abs/1702.07476
[38] Nemirovski，A.，带lipschitz连续单调算子的变分不等式和光滑凹凸鞍点问题的收敛速度为o（1/t）的Prox方法，SIAM J.Optim。，15, 1, 229-251, (2004) ·Zbl 1106.90059号 ·doi:10.1137/S1052623403425629
[39] 内米洛夫斯基，A。；朱迪茨基，A。；兰，G。；Shapiro，A.，随机规划的稳健随机近似方法，SIAM J.Optim。，19, 4, 1574-1609, (2009) ·Zbl 1189.90109号 ·doi:10.1137/070704277
[40] 内米洛夫斯基，A。；尤丁，D.，优化中的问题复杂性和方法效率，（1983），纽约：威利出版社·Zbl 0501.90062号
[41] Nesterov，Y.，对偶外推及其在求解变分不等式和相关问题中的应用，数学。程序。，109, 2, 319-344, (2007) ·Zbl 1167.90014号 ·doi:10.1007/s10107-006-0034-z
[42] Neumann，Jv，Zur theorie der gesellschaftsspiele，数学。安，100295-320，（1928）·doi:10.1007/BF01448847
[43] Rockafellar，RT，Monotone操作符和近点算法，SIAM J.Control。最佳。，第14页，第5页，第877-898页，（1976年）·Zbl 0358.90053号 ·doi:10.1137/0314056
[44] 沙列夫·施瓦茨，S。；O.沙米尔。；斯雷布罗，N。；Sridharan，K.，《可学习性、稳定性和一致收敛》，J.Mach。学习。第11号决议，第2635-2670页，（2010年）·Zbl 1242.68247号
[45] Sion，M.，关于一般极小极大定理，Pac。数学杂志。，8, 1, 171-176, (1958) ·Zbl 0081.11502号 ·doi:10.2140/pjm.1958.8.171
[46] Steinke，T.，Ullman，J.R.：纯粹和近似差异隐私之间。J.私人自信。7(2) (2016)
[47] Ullman，J.：线性查询之外的私有乘法权重。摘自：第34届ACM SIGMOD-SIGACT-SIGAI数据库系统原理研讨会论文集，第303-312页。ACM（2015）
[48] Vershynin，R.：《高维概率：数据科学应用导论》。剑桥统计与概率数学系列。剑桥大学出版社（2018）。doi:10.1017/9781108231596·Zbl 1430.60005号
[49] Williamson，R.，Menon，A.：公平风险度量。收录于：K.Chaudhuri，R.Salakhutdinov（编辑）《第36届机器学习国际会议论文集》，《机器学习研究论文集》第97卷，第6786-6797页。PMLR（2019年）
[50] Zhang，J.，Hong，M.，Wang，M.，Zhang，S.：随机鞍点问题的推广界。摘自：《第24届国际人工智能与统计会议论文集》，《机器学习研究论文集》第130卷，第568-576页。PMLR（2021年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。