×
刘长新;卡尔·约翰逊。;史，杨

基于差异隐私的分布式经验风险最小化。 （英语） Zbl 07836705号

Automatica公司 162，文章ID 111514，13 p.（2024）.
摘要：本文研究了差异隐私（DP）约束下的分布式经验风险最小化（ERM）问题。标准分布式算法通常通过用噪声扰动所有局部子梯度来实现DP，从而导致效用显著退化。为了解决这个问题，我们开发了一类私有分布式双重平均（DDA）算法，它激活一部分节点来执行优化。这种二次采样程序可证明放大了DP保证，从而在降低噪声的情况下达到同等的DP水平。对于一般问题和强凸问题，我们证明了所提出的算法具有与集中式私有算法相当的效用损失。当去除噪声时，我们的算法对于非光滑随机优化获得了最优的（mathcal{O}（1/t））收敛性。最后，在两个基准数据集上给出了实验结果，以验证所提算法的有效性。

MSC公司：

90立方厘米 数学编程
94-XX年 信息与通信理论、电路

关键词：

分布式优化;经验风险最小化;差异隐私;双重平均

软件：

私人LR;SHOGUN公司;RCV1型;Scikit公司
PDF格式BibTeX公司 XML格式引用
\textit{C.Liu}等人，Automatica 162，文章ID 111514，13 p.（2024；Zbl 07836705）
全文： 内政部 arXiv公司

参考文献：

[1] 阿巴迪、马丁、朱、安迪、古德费罗、伊恩、麦克马汉、H布伦丹、米罗诺夫、伊利亚、塔尔瓦尔、库纳尔等（2016）。具有不同隐私的深度学习。2016年ACM SIGSAC计算机和通信安全会议记录（第308-318页）。
[2] 巴斯利，雷夫；亚当·斯密；Thakurta，Abhradep，《私人经验风险最小化：高效算法和严格误差界限》，（2014年IEEE第55届计算机科学基础年会，（2014），IEEE），464-473
[3] 卡马利卡省乔杜里；萨瓦特，阿南德；Sinha，Kaushik，近最优差异私有主成分，神经信息处理系统进展，25989-997，（2012）
[4] 陈飞；陈晓正；项林英；Ren，Wei，通过预测方案的分布式经济调度：异构延迟和隐私保护，Automatica，123，Article 109356 pp.，（2021）·Zbl 1461.93018号
[5] 科林，伊戈尔；奥雷连·贝雷特（Aurélien Bellet）；约瑟夫·萨蒙；Clémençon，Stéphan，Gossip对偶函数分散优化的对偶平均，（机器学习国际会议，（2016），PMLR），1388-1396
[6] 丁、铁；朱善英；何建平；陈彩莲；关新平，多智能体系统中基于状态和方向扰动的差分私有分布式优化，IEEE自动控制汇刊，67，2，722-737，（2021）·Zbl 07480817号
[7] 约翰·杜奇（John C.Duchi）。；阿加瓦尔（Alekh Agarwal）；Wainwright，Martin J.，《分布式优化的双重平均：收敛分析和网络缩放》，IEEE自动控制汇刊，57，3，592-606，（2011）·Zbl 1369.90156号
[8] Dwork，Cynthia，Differential privacy，（自动化、语言和编程国际学术讨论会，（2006），Springer），1-12·Zbl 1133.68330号
[9] 安东尼厄斯·吉尔吉斯（Antonius M.Girgis）。；数据，深度；苏哈斯·迪加维；彼得·凯鲁兹（Peter Kairouz）；阿南达·瑟塔（Ananda Theertha Suresh），联邦学习的Shuffled模型：隐私、准确性和通信权衡，IEEE信息理论选定领域期刊，2，1，464-478，（2021）
[10] Allan Gut，《概率：研究生课程》，第75卷，（2013），施普林格科学与商业媒体·Zbl 1267.60001号
[11] 韩东雨；刘坤；林，叶明；夏元庆，基于对偶平均的时变有向图差异私有分布式在线学习，国际鲁棒与非线性控制杂志，32，5，2485-2499，（2022）
[12] 韩硕；乌富克托普库；George J.Pappas，Differentially private distributed constrained optimization，IEEE Transactions on Automatic Control，62，1，50-64，（2016），《不同私有分布式约束优化》·Zbl 1359.90167号
[13] 胡瑞；郭元雄；李洪宁；裴，轻骑；Gong，Yanmin，具有差分隐私的个性化联合学习，IEEE物联网杂志，7，10，9530-9539，（2020）
[14] Huang、Zhenqi、Mitra、Sayan和Vaidya、Nitin（2015）。不同的私有分布式优化。《2015年分布式计算和网络国际会议论文集》（第1-10页）。
[15] 彼得·凯鲁兹（Peter Kairouz）；哦，西荣；Viswanath，Pramod，差异隐私的合成定理，（机器学习国际会议，（2015），PMLR），1376-1385
[16] 丹尼尔·基弗（Daniel Kifer）；亚当·斯密；Thakurta，Abhradeep，私人凸经验风险最小化和高维回归，（第25届学习理论年会论文集，第23卷，（2012），PMLR），25.1-25.40
[17] 刘易斯（David D.Lewis）。；杨一鸣；托尼·罗素（Tony Russell-Rose）；Li，Fan，RCV1:文本分类研究的新基准集合，《机器学习研究杂志》，5361-397，（2004）
[18] 廉相如；张策；张欢；谢卓瑞；张伟；Liu，Ji，分散算法能否优于集中式算法？分散并行随机梯度下降的案例研究，（神经信息处理系统进展，（2017）），5330-5340
[19] 刘长新；卡尔·约翰逊（Karl H.Johansson）。；Shi，Yang，分散经验风险最小化的私人随机双重平均，IFAC-PapersOnLine，55，13，43-48，（2022）
[20] 刘长新；周子瑞；裴健；张勇；Shi，Yang，随机网络中的分散复合优化：线性收敛的对偶平均方法，IEEE自动控制汇刊，68，8，4650-4665，（2022）·Zbl 07746620号
[21] 陆海浩；罗伯特·M·弗伦德（Robert M.Freund）。；Nesterov，Yurii，用一阶方法进行相对光滑凸优化，及其应用，SIAM优化杂志，28，1，333-354，（2018）·Zbl 1392.90090号
[22] 卢卡·梅利斯（Luca Melis）；宋从政；埃米利亚诺·德·克里斯托法罗；Vitaly Shmatikov，《利用协作学习中的意外特征泄漏》（2019年IEEE安全与隐私（SP）研讨会，（2019），IEEE），691-706
[23] Angelia Nedic；Ozdaglar，Asuman，多智能体优化的分布式次梯度方法，IEEE自动控制汇刊，54，1，48-61，（2009）·Zbl 1367.90086号
[24] Noble，Maxence；奥雷连·贝雷特（Aurélien Bellet）；Dieuleveut，Aymeri，异质数据的差异私人联合学习（人工智能和统计国际会议，（2022年），PMLR），10110-10145
[25] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；Grisel，O.，Scikit-learn：《蟒蛇中的机器学习》，《机器学习研究杂志》，第12期，第2825-2830页，（2011年）·Zbl 1280.68189号
[26] Sonnenburg，Sören；冈纳州Rätsch；Christin Schäfer；Schölkopf，Bernhard，大规模多核学习，机器学习研究杂志，71531-1565，（2006）·兹比尔1222.90072
[27] 陶、伟、李、伟、潘、志松和陶清（2021）。强凸优化的梯度下降平均和原对偶平均。《AAAI人工智能会议论文集》，第35卷（第9843-9850页）。
[28] 斯特凡·弗拉斯基（Stefan Vlaski）；Sayed，Ali H.，私人分散学习的图形同态扰动，（ICASSP 2021-2021 IEEE声学、语音和信号处理国际会议（ICASPS），（2021），IEEE），5240-5244
[29] 王永强；Nedić，Angelia，差异私有分布式优化的定制梯度方法，IEEE自动控制汇刊，（2023）
[30] Wang，Di，Ye，Minwei，&Xu，Jinhui（2017）。重新审视不同的私人经验风险最小化：更快、更普遍。第31届神经信息处理系统国际会议论文集（第2719-2728页）。
[31] 王继敏；张继峰；何兴康，随机聚合博弈的差异私有分布式算法，Automatica，142，Article 110440 pp.，（2022）·Zbl 1496.91016号
[32] 肖林；斯蒂芬·博伊德；Kim，Seung-Jean，带最小均方偏差的分布式平均一致性，《并行与分布式计算杂志》，67，1，33-46，（2007）·Zbl 1109.68019号
[33] 肖汉森；Devadas，Srinivas，《努力理解噪音之外的实际随机性：差异隐私和混淆》，《加密电子打印档案》，（2021年）
[34] 熊永阳；徐金明；你，科佑；刘建兴；吴立刚，通过次梯度缩放对非平衡有向图进行保私性分布式在线优化，IEEE网络系统控制汇刊，7，3，1366-1378，（2020）·Zbl 07255387号
[35] 徐杰；张伟；Wang，Fei，A（DP）\（｛｝^2 \）SGD：具有差分隐私的异步分散并行随机梯度下降，IEEE模式分析和机器智能汇刊，（2021）
[36] 袁德明；洪一光；何，Daniel W.C。；蒋国平，强凸优化的最优分布随机镜像下降，Automatica，90，196-203，（2018）·兹比尔1387.93190
[37] 张春雷；穆阿兹·艾哈迈德；王永强，基于ADMM的隐私保护分散优化，IEEE信息取证与安全事务，14，3，565-580，（2018）
[38] Zhang、Hongyi、Cisse、Moustapha、Dauphin、Yann N和Lopez-Paz，David（2018年）。混淆：超越经验风险最小化。在学习代表国际会议上。
[39] 张学如；穆罕默德·马赫迪（Mohammad Mahdi Khalili）；Liu，Mingyan，改善基于ADMM的分布式算法的隐私和准确性，（国际机器学习会议，（2018），PMLR），5796-5805
[40] 张家琦、郑、凯、牟、文龙和王利伟（2017）。高效的私有企业风险管理，实现平稳的目标。第26届国际人工智能联合会议记录（第3922-3928页）。
[41] 张涛；朱全燕，基于ADMM的分布式分类学习的动态差异隐私，IEEE信息取证与安全事务，12，1，172-187，（2016）
[42] 朱立庚；韩，宋，《梯度深层渗漏》，（联合学习，（2020），施普林格出版社），17-31
[43] 朱俊龙；徐长桥；关建峰；Wu，Dapeng Oliver，时变定向网络上的不同私有分布式在线算法，IEEE网络信号和信息处理汇刊，4，1，4-17，（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。