×
顾传业;江，林;李觉佑;吴志友

分布式约束优化的保私性对偶随机推求和算法。 （英语） Zbl 1517.90152号

J.优化。理论应用。 197，第1期，22-50（2023年）.
摘要：本文研究了多智能体网络上的一个私有分布式优化问题，其目标是在考虑隐私问题的同时，协同最小化时变非平衡定向网络上受耦合等式约束的所有局部凸代价函数之和。为了解决这个问题，我们将push-sum协议与对偶次梯度方法相结合，设计了一个私有的分布式对偶随机push-som算法。在凸性假设下，我们首先建立了该算法在对偶变量、原变量和约束冲突方面的收敛性。然后我们证明了该算法具有阶为\（O（lnt/\sqrt{t}）\的次线性增长。结果表明，在隐私级别和算法的准确性之间存在折衷。最后，通过对经济调度问题和电动汽车充电控制问题的两个应用，数值验证了算法的有效性。

MSC公司：

90立方厘米 涉及图形或网络的编程
90C25型 凸面编程

关键词：

差异隐私;分布式算法;凸优化;对偶方法
PDF格式BibTeX公司 XML格式引用
\textit{C.Gu}等人，J.Optim。理论应用。197，编号1，22--50（2023；Zbl 1517.90152）
全文： 内政部

参考文献：

[1] 新南威尔士州艾巴特、A.法拉、M.居布·兹巴拉班、A.奥兹达格拉：光滑强凸函数的稳健加速梯度方法。SIAM J.Optim公司。30(1), 717-751 (2020) ·兹比尔1461.62145
[2] 艾巴特，NS；Hamedani，EY，用于时变网络上资源共享的分布式ADMM类方法，SIAM J.Optim。，29, 4, 3036-3068 (2019) ·Zbl 1427.90214号 ·doi:10.1137/17M1151973
[3] 贝克，A。；Nedić，A。；Ozdaglar，A。；Teboulle，M.，网络资源分配问题的An（O（1/k）梯度法，IEEE Trans。网络控制。系统。，1, 1, 64-73 (2014) ·Zbl 1370.90290号 ·doi:10.1109/TCNS.2014.2309751
[4] Bekkerman，R。；比伦科，M。；Langford，J.，《扩大机器学习：并行和分布式方法》（2011），剑桥：剑桥大学出版社，剑桥·doi:10.1017/CBO9781139042918
[5] 布隆丁，MJ；Hale，M.，分散多目标优化算法，J.Optim。理论应用。，189, 2, 458-485 (2021) ·Zbl 1471.90125号 ·doi:10.1007/s10957-021-01840-z
[6] 博伊德，S。；Vandenberghe，L.，凸优化（2004），剑桥：剑桥大学出版社，剑桥·兹比尔1058.90049 ·doi:10.1017/CBO9780511804441
[7] Chang，TH；内迪奇，A。；Scaglione，A.，基于共识的原始-对偶扰动法的分布式约束优化，IEEE Trans。自动。控制。，59, 6, 1524-1538 (2014) ·Zbl 1360.68775号 ·doi:10.1109/TAC.2014.2308612
[8] Dong，T。；布，X。；Hu，W.，《基于加性函数拉普拉斯噪声的多智能体网络分布式差异私有平均共识》，J.Franklin Inst.，357，6，3565-3584（2020）·Zbl 1437.93119号 ·doi:10.1016/j.jfranklin.2019.12.027
[9] 杜，B。；周，J。；Sun，D.，通过不精确平均一致性改进分布式梯度下降的收敛性，J.Optim。理论应用。，185, 2, 504-521 (2020) ·Zbl 1443.90270号 ·doi:10.1007/s10957-020-01648-3
[10] 杜奇，JC；阿加瓦尔，A。；MJ Wainwright，《分布式优化的双重平均：收敛分析和网络缩放》，IEEE Trans。自动。控制。，57, 3, 592-606 (2012) ·Zbl 1369.90156号 ·doi:10.1109/TAC.2011.2161027
[11] Dwork，C.，McSherry，F.，Nissim，K.，Smith，A.：私人数据分析中噪声灵敏度的校准。收录于：密码学理论会议，第265-284页。施普林格，柏林，海德堡（2006）·Zbl 1112.94027号
[12] Falsone，A。；马盖洛斯，K。；加拉蒂，S。；Prandini，M.，带耦合约束的多智能体分布式优化的双重分解，Automatica，84，149-158（2017）·Zbl 1376.93005号 ·doi:10.1016/j.automatica.2017.07.003
[13] 顾，C。；李，J。；Wu，Z.，非平衡有向图上耦合约束分布式凸优化的自适应在线学习算法，J.Franklin Inst.，356，13，7548-7570（2019）·Zbl 1418.93117号 ·doi:10.1016/j.jfranklin.2019.06.026
[14] Huang，Z.，Mitra，S.，Vaidya，N.：差异私有分布式优化。摘自：2015年第16届分布式计算和网络国际会议，第1-10页（2015）
[15] Jain，P.、Kothari，P.和Thakurta，A.：不同的私人在线学习。参加：学习理论会议。JMLR研讨会和会议记录，第24-1页（2012年）
[16] 李，J。；吴，Z。；吴，C。；龙，Q。；Wang，X.，求解线性耦合约束可分离凸优化问题的非精确对偶快速梯度投影方法，J.Optim。理论应用。，168, 1, 153-171 (2016) ·兹比尔1332.90199 ·doi:10.1007/s10957-015-0757-1
[17] 李，C。；周，P。；熊，L。；王，Q。；Wang，T.，《不同私有分布式在线学习》，IEEE Trans。知识。数据En。，30, 8, 1440-1453 (2018) ·doi:10.1109/TKDE.2018.2794384
[18] 李，H。；张，H。；王，Z。；Zhu，Y。；Han，Q.，《基于分布式共识的基于梯度跟踪技术的多智能体凸优化》，J.Franklin Inst.，356，6，3733-3761（2019）·Zbl 1411.93012号 ·doi:10.1016/j.jfranklin.2019.01.050
[19] 李，X。；Yi，X。；Xie，L.，带耦合不等式约束的多智能体网络分布式在线优化，IEEE Trans。自动。控制。，66, 8, 3575-3591 (2020) ·Zbl 1471.93019号 ·doi:10.1109/TAC.2020.3021011
[20] Lou，Y。；Yu，L。；王，S。；Yi，P.，分布式次梯度优化算法中的隐私保护，IEEE Trans。赛博。，48, 7, 2154-2165 (2017) ·doi:10.1109/TCYB.2017.2728644
[21] 吕，Q。；廖，X。；Xiang，T。；李，H。；Huang，T.，分布式在线优化的隐私掩蔽随机次梯度推送算法，IEEE Trans。赛博。，51, 6, 3224-3237 (2020) ·doi:10.1109/TCYB.2020.2973221
[22] 毛，S。；Tang，Y。；东，Z。；Meng，K。；董，ZY；Qian，F.，时变有向网络上经济调度的一种保护隐私的分布式优化算法，IEEE Trans。Ind.通知。，17, 3, 1689-1701 (2020) ·doi:10.1109/TII.2020.2996198
[23] McSherry，F.D.：隐私集成查询：隐私保护数据分析的可扩展平台。2009年第35届ACM SIGMOD国际数据管理会议，第19-30页（2009）
[24] Nedić，A。；Olshevsky，A.，时变有向图的分布式优化，IEEE Trans。自动。控制。，60, 3, 601-615 (2015) ·Zbl 1360.90262号 ·doi:10.1109/TAC.2014.2364096
[25] Nedić，A。；Olshevsky，A.，时变有向图上强凸函数的随机梯度推送，IEEE Trans。自动。控制，12，61，3936-3947（2016）·Zbl 1359.90142号 ·doi:10.10109/TAC.2016.2529285
[26] Nedić，A。；Ozdaglar，A.，多智能体优化的分布式子梯度方法，IEEE Trans。自动。控制。，54, 1, 48-61 (2009) ·Zbl 1367.90086号 ·doi:10.1109/TAC.2008.2009515
[27] E.诺扎里。；Tallapragada，P。；Cortés，J.，《通过函数扰动的差分私有分布式凸优化》，IEEE Trans。控制网络。系统。，5, 1, 395-408 (2016) ·Zbl 1507.90131号 ·doi:10.1109/TCNS.2016.2614100
[28] 冲压，SS；Nedić，A。；Veeravalli，VV，凸优化的分布式随机次梯度投影算法，J.Optim。理论应用。，147, 3, 516-545 (2010) ·Zbl 1254.90171号 ·doi:10.1007/s10957-010-9737-7
[29] 施，Z。；Zhou，C.，无线局域网带宽资源分配的改进分布式梯度推送算法，J.Optim。理论应用。，183, 3, 1153-1176 (2019) ·Zbl 1432.90083 ·doi:10.1007/s10957-019-01588-7
[30] 西蒙内托，A。；Jamali-Rad，H.，分布式凸优化中基于共识的对偶分解的原始恢复，J.Optim。理论应用。，168, 1, 172-197 (2016) ·Zbl 1332.90203号 ·doi:10.1007/s10957-015-0758-0
[31] Wang，Y.、Hale，M.、Egerstedt，M.和Dullerud，G.：分布式云优化中的不同私有目标函数。2016年IEEE第55届决策与控制会议，第3688-3694页。IEEE（2016）
[32] 王，S。；Li，C.，网络系统全局优化的分布式随机算法，J.Optim。理论应用。，179, 3, 1001-1007 (2018) ·Zbl 1414.90293号 ·doi:10.1007/s10957-018-1355-9
[33] 王，A。；刘伟。；李·T。；Huang，T.，多智能体网络的隐私保护加权平均共识和最优攻击策略，J.Franklin Inst.，358，6，3033-3050（2021）·Zbl 1464.93073号 ·doi:10.1016/j.富兰克林.2021.01.039
[34] 夏，X。；Elaiw，AM，《发电的最优动态经济调度：综述》，Electr。电力系统。研究，80，8，975-986（2010）·doi:10.1016/j.epsr.2009.12.012
[35] Yuan，D.，Xu，S.，Zhao，H.：通过一致性算法实现多智能体优化的分布式原对偶次梯度方法。IEEE传输。系统。人。赛博。B.赛博。41(6), 1715-1724 (2011)
[36] 张，T。；Zhu，Q.，基于ADMM的分布式分类学习的动态差异隐私，IEEE Trans。Inf.Forensis Security，12，1，172-187（2016）·doi:10.1109/TIFS.2016.2607691
[37] 张，B。；顾，C。；Li，J.，时变有向图上耦合约束的分布式凸优化，J.Ind.Manag。最佳。，17, 4, 2119-2138 (2021) ·兹比尔1476.90342 ·doi:10.3934/jimo.2020061
[38] 朱，J。；徐，C。；关，J。；Wu，DO，时变有向网络上的差异私有分布式在线算法，IEEE Trans。信号处理，4，1，4-17（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。