×
法罗基，法哈德

使用本地差异私有数据进行分布式机器学习。 （英语） Zbl 1491.90106号

最佳方案。莱特。 16，第4期，1167-1179（2022）.
摘要：我们考虑使用本地差异私有数据集进行机器学习，尤其是回归。Wasserstein距离用于定义一个以局部差异隐私噪声破坏的数据集的经验分布为中心的模糊集。模糊集的半径是根据隐私预算、数据传播和问题的大小来选择的。使用私有数据集的机器学习被重写为分布式ROB优化。对于一般分布，分布优化问题可以放松为正则化机器学习问题，机器学习模型的Lipschitz常数作为正则化器。对于高斯数据，可以精确地解决分布优化问题，以找到最优正则化子。使用此正则化器进行训练可以作为一个半定计划。

MSC公司：

90立方厘米 数学规划中的稳健性
90 C90 数学规划的应用

关键词：

本地差异隐私;机器学习;分布式光盘优化;正规化;瓦瑟斯坦距离

软件：

RAPPOR公司
PDF格式BibTeX公司 XML格式引用
\文本｛F.Farokhi｝，Optim。莱特。16，第4号，1167--1179（2022；Zbl 1491.90106）
全文： 内政部 arXiv公司

参考文献：

[1] 德沃克，C。；麦克谢里，F。；尼西姆，K。；A.史密斯。；Halevi，S。；Rabin，T.，私人数据分析中噪声灵敏度的校准，密码学理论，265-284（2006），柏林：施普林格出版社，柏林·Zbl 1112.94027号 ·doi:10.1007/11681878_14
[2] 德沃克，C。；Roth，A.，《不同隐私的算法基础》，Found。趋势理论。计算。科学。，9, 3-4, 211-407 (2014) ·Zbl 1302.68109号
[3] Kairouz，P。；哦，S。；Viswanath，P.，《局部差异隐私的极端机制》，J.Mach。学习。研究，17，1，492-542（2016）·Zbl 1360.68433号
[4] Dewri，R.，局部微分扰动：近似知识攻击者下的位置隐私，IEEE Trans。移动计算。，12, 12, 2360-2372 (2013) ·doi:10.1109/TMC.2012.08
[5] Duchi，J.C.，Jordan，M.I.，Wainwright，M.J.：“本地隐私和统计最小最大速率”，摘自：2013年IEEE第54届计算机科学基础年度研讨会，第429-438页，（2013）
[6] 任，X。；Yu，C-M；于伟（Yu，W.）。；Yang，S。；Yang，X.先生。；JA McCann；Philip，SY，LoPub：具有本地差异隐私的高维众包数据发布，IEEE Trans。Inf.法医安全。，13, 9, 2151-2166 (2018) ·doi:10.1109/TIFS.2018.2812146
[7] 俄勒冈州埃尔林森。，Pihur，V.，Korolova，A.：“RAPPOR:随机化可聚合隐私保护有序响应”，摘自：2014年ACM SIGSAC计算机和通信安全会议论文集，第1054-1067页，（2014）
[8] Tang，J.、Korolova，A.、Bai，X.、Wang，X.和Wang，X：“苹果在MacOS 10.12上实施差异隐私时的隐私损失”，arXiv预印本arXiv:1709.02753（2017）
[9] Smith，A.，Thakurta，A.，Upadhyay，J.：“分布式私人学习需要交互吗？”，摘自：2017年IEEE安全与隐私研讨会（SP），第58-77页，IEEE，（2017）
[10] Wang，D.，Gaboardi，M.，Xu，J.：重新审视非交互式局部差异隐私的经验风险最小化。摘自：Bengio，S.、Wallach，H.、Larochelle，H.，Grauman，K.、Cesa-Bianchi，N.、Garnett，R.（编辑）《神经信息处理系统进展》，第965-974页。神经信息处理系统基金会（2018）
[11] Zheng，K.，Mou，W.，Wang，L.：“立即收集，有效使用：使非交互式本地私人学习成为可能”，摘自：第34届国际机器学习会议论文集——第70卷，第4130-4139页，（2017）
[12] Wang，D.，Smith，A.，Xu，J.：通过多项式近似实现线性模型的非交互式局部私有学习。收录：Garivier，A.，Kale，S.（编辑）《算法学习理论》。机器学习研究论文集（PMLR），第98卷，第898-903页。伊利诺伊州芝加哥，2019年3月22日至24日
[13] Esfahani，项目经理；Kuhn，D.，使用Wasserstein度量的数据驱动分布式鲁棒优化：性能保证和易于处理的重新表述，数学。程序。，171, 1-2, 115-166 (2018) ·Zbl 1433.90095 ·doi:10.1007/s10107-017-1172-1
[14] Nguyen，V.A.，Kuhn，D.，Esfahani，P.M.：“分布稳健的逆协方差估计：wasserstein收缩估计”，arXiv预印本arXiv:1805.07194，（2018）·Zbl 1485.90084号
[15] Ben-Tal，A。；El.Ghaoui，L。；Nemirovski，A.，《稳健优化》（2009），新泽西：普林斯顿大学出版社，新泽西·Zbl 1221.90001号 ·doi:10.1515/9781400831050
[16] Postek，K。；den Hertog，D。；Melenberg，B.，《风险度量的分布稳健约束的计算可处理对等项》，SIAM Rev.，58，4，603-650（2016）·Zbl 1349.90767号 ·doi:10.1137/151005221
[17] Delage，E。；Ye，Y.，力矩不确定性下的分布鲁棒优化及其在数据驱动问题中的应用，Oper。第58595-612号决议（2010年）·Zbl 1228.90064号 ·doi:10.1287/opre.1090.0741
[18] Hu，Z.，Hong，L.J.：“Kullback-Leibler发散约束分布稳健优化”，在线优化（2013）
[19] Sinha，A.，Namkoong，H.，Duchi，J.：“可认证的分布式鲁棒性与原则对抗训练”，摘自：机器学习与计算机安全研讨会论文集（与神经信息处理系统会议合办，2017年），第2卷，（2017年）
[20] Chen，R.，Paschalidis，I.C.：“异常值检测的分布稳健优化方法”，摘自：2018年IEEE决策与控制会议（CDC），第352-357页，IEEE，（2018）
[21] Lee，C.，Mehrotra，S.：“查找支持向量机的分布式方法”，手稿，网址：http://www.optimization-online.org/DB_HTML/2015/06/4965.HTML, (2015)
[22] Shafieezadeh Abadeh，S。；Mohajerin Esfahani，项目经理；Kuhn，D.，分布鲁棒逻辑回归，高级神经信息过程。系统。，28, 1576-1584 (2015)
[23] Kuhn，D.，Esfahani，P.M.，Nguyen，V.A.，Shafieezadeh-Abadeh，S.：“Wasserstein分布式稳健优化：机器学习中的理论和应用”，《分析时代的运筹学与管理科学》，第130-166页，信息，（2019）
[24] 安东尼，M。；Bartlett，PL，《神经网络学习：理论基础》（2009），剑桥：剑桥大学出版社，剑桥·Zbl 0968.68126号
[25] 布朗利斯，C。；Joly，E。；Lugosi，G.，《重大损失的经验风险最小化》，《Ann.Stat.》，第43、6、2507-2536页（2015年）·Zbl 1326.62066号 ·doi:10.1214/15-AOS1350
[26] Farokhi，F.，局部差异私有数据的去卷积核密度估计和回归，科学。代表，10，1，1-11（2020年）·doi:10.1038/s41598-020-78323-0
[27] 比克尔，PJ；Freedman，DA，《引导的一些渐近理论》，《Ann.Stat.》，9，6，1196-1217（1981）·Zbl 0449.62034号
[28] 盖子，TM；Thomas，JA，《信息理论要素》（2012），纽约：威利，纽约·Zbl 0762.94001号
[29] 坎托罗维奇，LV；Rubinshtein，G.，在完全可加函数空间上，Vestn。列宁。大学，13，52-59（1958）·Zbl 0082.11001号
[30] Farokhi，F.：为什么正规化有助于减轻中毒袭击？《神经处理快报》（2021）。doi:10.1007/s11063-021-10539-1
[31] 霍尔，R。；里纳尔多，A。；Wasserman，L.，《随机差异隐私》，J.《隐私保密》。，4, 2, 43-59 (2012)
[32] Rippl，T。；Munk，A。；Sturm，A.，《经验wasserstein距离的极限定律：高斯分布》，J.Multi。分析。，151, 90-109 (2016) ·Zbl 1351.62064号 ·doi:10.1016/j.jmva.2016.06.005
[33] 吉文斯，CR；Short，RM，概率分布的一类wasserstein度量，密歇根数学。J.，31，2，231-240（1984）·Zbl 0582.60002号 ·doi:10.1307/mmj/1029003026
[34] 范登伯格，L。；Boyd，S.，《半定规划》，SIAM Rev.，38，1，49-95（1996）·Zbl 0845.65023号 ·数字对象标识代码：10.1137/1038003
[35] Zhang，F.，舒尔补码及其应用（2006），柏林：施普林格，柏林
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。