×
梁冠南;童倩倩;丁嘉豪;潘，苗;毕金波

非凸稀疏学习的随机隐私保持方法。 （英语） 兹伯利07841851

信息科学。 630, 567-585 (2023).
摘要：稀疏学习对于挖掘高维数据至关重要。迭代硬阈值（IHT）方法是优化稀疏学习非凸目标的有效方法。然而，IHT方法容易受到推断敏感数据的对手攻击。尽管开创性的工作试图缓解这种脆弱性，但它们面临着大规模问题的高计算成本问题。我们提出了两种差异私有随机IHT：一种基于随机梯度下降法（DP-SGD-HT），另一种基于受随机控制的随机梯度法（DP_SCSG-HT）。DP-SGD-HT方法使用小高斯噪声扰动随机梯度，而不是使用计算量大的全梯度。因此，计算复杂度从\（O（n\log（n））\降低到更低的\（O。DP-SCSG-HT方法进一步扰动由大范围快照梯度控制的随机梯度，以减少随机梯度方差。我们证明了这两种算法都能保证差分隐私，并且在估计偏差下具有线性收敛速度。效用分析检查了收敛速度和扰动水平之间的关系，得出了非凸稀疏优化最著名的效用界。大量实验表明，我们的算法优于现有的方法。

MSC公司：

68倍 计算机科学
65-XX岁 数值分析

关键词：

稀疏学习;差异隐私;随机算法

软件：

MNIST公司;TensorFlow公司
PDF格式BibTeX公司 XML格式引用
\textit{G.Liang}等人，《信息科学》。630567-585（2023年；Zbl 07841851）
全文： 内政部

参考文献：

[1] M.Abadi、A.Agarwal、P.Barham、E.Brevdo、Z.Chen、C.Citro、G.S.Corrado、A.Davis、J.Dean、M.Devin等人。Tensorflow:异构分布式系统上的大规模机器学习。arXiv预打印arXiv:1603.044672016a。
[2] M.阿巴迪。；Chu，A。；古德费罗，I。；McMahan，H.B。；米罗诺夫，I。；塔尔瓦尔，K。；Zhang，L.，《不同隐私的深度学习》（2016年ACM SIGSAC计算机和通信安全会议论文集，ACM），308-318
[3] 阿德南，M。；Kalra，S。；克雷斯韦尔，J.C。；泰勒，G.W。；Tizhoosh，H.R.，医学图像分析的联合学习和差异隐私，科学报告，12，1，1-10（2022）
[4] Bahmani，S。；拉杰，B。；Boufounos，P.T.，贪婪稀疏约束优化，《机器学习研究杂志》，807-841年3月14日（2013）·Zbl 1320.90046号
[5] 巴西利，R。；A.史密斯。；Thakurta，A.，《私人经验风险最小化：高效算法和严格误差界限》，（2014年IEEE第55届计算机科学基础年会（2014年），IEEE），464-473
[6] Blumensath，T。；Davies，M.E.，压缩传感的迭代硬阈值，应用和计算谐波分析，27，3，265-274（2009）·Zbl 1174.94008号
[7] 乔杜里，K。；蒙特利奥尼，C。；Sarwate，A.D.，《不同私人经验风险最小化》，《机器学习研究杂志》，1069-1109年3月12日（2011）·Zbl 1280.62073号
[8] A.E.C.云。亚马逊网络服务。检索日期：2011年11月9日（2011年）：2011年、2011年。
[9] Deng，L.，机器学习研究用手写数字图像的mnist数据库[网络最佳]，IEEE Signal Processing Magazine，29，6，141-142（2012）
[10] 德沃克，C。；肯塔帕迪，K。；McSherry，F。；米罗诺夫，I。；Naor，M.，《我们的数据，我们自己：通过分布式噪声产生的隐私》（密码技术理论和应用年度国际会议（2006年），施普林格），486-503·Zbl 1140.94336号
[11] 德沃克，C。；McSherry，F。；尼西姆，K。；Smith，A.，私人数据分析中的噪声灵敏度校准，（密码学理论会议（2006），Springer），265-284·Zbl 1112.94027号
[12] 德沃克，C。；Rothblum，G.N。；Vadhan，S.，促进和差异隐私，（2010年IEEE第51届计算机科学基础年度研讨会（2010年），IEEE），51-60
[13] El Ouadhiri，A。；Abdelhadi，A.，深度和联合学习的差分隐私：一项调查，IEEE Access，10，22359-22380（2022）
[14] M.Elibol、L.Lei和M.I.Jordan。使用稀疏梯度减少方差。arXiv预印本arXiv:2001.096232020。
[15] 俄勒冈州埃尔林森。；Pihur，V。；Korolova，A.，Rappor:随机化可聚合隐私保护有序响应，（2014年ACM SIGSAC计算机和通信安全会议论文集（2014）），1054-1067
[16] 郭杰。；丁，X。；Wang，T。；Jia，W.，使用区块链和差异隐私的分散边缘事物系统中的组合资源拍卖，信息科学（2022）
[17] R.B.Harikandeh、M.O.Ahmed、A.Virani、M.Schmidt、J.Konečn和S.Sallinen。停止浪费我的梯度：实用工具，《神经信息处理系统进展》，第2251-2259页，2015年。
[18] P.Jain、A.Tewari和P.Kar。高维m估计的迭代硬阈值方法。《神经信息处理系统进展》，第685-693页，2014年。
[19] 蒋，X。；牛，C。；Ying，C。；Wu，F。；Luo，Y.，《基于机构的数据生成器在renyi differential privacy下的定价》，信息科学，602，57-74（2022）
[20] R.Johnson和T.Zhang。使用预测方差减少加速随机梯度下降。《神经信息处理系统进展》，第315-323页，2013年。
[21] Kasiviswanathan，S.P。；香港李。；尼西姆，K。；Raskhodnikova，S。；史密斯，我们可以私下学到什么？，SIAM计算机杂志，40，3，793-826（2011）·Zbl 1235.68093号
[22] Kermany，D.S。；戈德鲍姆，M。；蔡，W。；瓦伦廷，C.C。；Liang，H。；巴克斯特，S.L。；McKeown，A。；Yang，G。；吴，X。；Yan，F.，通过基于图像的深度学习识别医疗诊断和可治疗疾病，Cell，172，5，1122-1131（2018）
[23] D.Kifer、A.Smith和A.Thakurta。私有凸经验风险最小化和高维回归。学习理论会议，第25-1页，2012年。
[24] L.Lei和M.Jordan。不到一次通过：随机控制的随机梯度。《人工智能与统计》，第148-156页，2017年。
[25] T.Li、A.K.Sahu、M.Zaheer、M.Sanjabi、A.Talwalkar和V.Smith。异构网络中的联合优化。arXiv预印arXiv:1812.061272018。
[26] X.Li、R.Arora、H.Liu、J.Haupt和T.Zhao。基于渐进方差减少随机优化的非凸稀疏学习。arXiv预打印arXiv:1605.02711，2016a。
[27] 李，X。；李，H。；朱，H。；黄，M.，差异隐私下拉普拉斯机制查询次数的最优上界，信息科学，503219-237（2019）·Zbl 1453.68072号
[28] X.Li、T.Zhao、R.Arora、H.Liu和J.Haupt。非凸稀疏学习的随机方差约简优化。在机器学习国际会议上，第917-925页，2016b。
[29] G.Liang、Q.Tong、C.J.Zhu和J.Bi。一种基于随机方差减少的非凸稀疏学习的有效硬阈值方法。AAAI，第1585-1592页，2020年。
[30] Mallat，S.G。；Zhang，Z.，用时频字典进行匹配，IEEE信号处理汇刊，41，12，3397-3415（1993）·Zbl 0842.94004号
[31] Mironov，I.，Rényi differential privacy，（2017 IEEE第30届计算机安全基础研讨会（CSF）（2017），IEEE），263-275
[32] J.附近。规模上的差异隐私：优步和伯克利的合作。2018年《谜》（Enigma 2018），2018年。
[33] Nguyen，N。；Needell，D。；Woolf，T.，稀疏约束随机迭代贪婪算法的线性收敛，IEEE信息理论汇刊，63，11，6869-6895（2017）·Zbl 1390.94326号
[34] 帕蒂，Y.C。；Rezaiifar，R。；Krishnaprasad，P.S.，《正交匹配追踪：递归函数逼近及其在小波分解中的应用》，（第27届信号、系统和计算机Asilomar会议论文集（1993），IEEE），40-44
[35] A.Rényi等人。关于熵和信息的度量。第四届伯克利数理统计与概率研讨会论文集，第1卷：对统计理论的贡献。1961年，加利福尼亚大学董事会·Zbl 0106.33001号
[36] K.Talwar、A.G.Thakurta和L.Zhang。近乎最佳的私人套索。《神经信息处理系统进展》，第3025-3033页，2015年。
[37] Q.Tong，G.Liang，T.Zhu和J.Bi。联合非凸稀疏学习。arXiv预印arXiv:2101.000522020。
[38] 特鲁克斯，S。；刘，L。；Gursoy，M.E。；Yu，L。；Wei，W.，《揭开机器学习即服务中的成员推断攻击的神秘面纱》，IEEE服务计算汇刊（2019）
[39] 王，D。；Xu，J.，关于局部差异隐私模型中的稀疏线性回归，（机器学习国际会议（2019）），6628-6637
[40] D.Wang、M.Ye和J.Xu。重新审视不同的私人经验风险最小化：更快更普遍。《神经信息处理系统进展》，第2722-2731页，2017年。
[41] Wang，H。；Wang，H.，通过差异隐私发布相关元组数据，信息科学，560347-369（2021）·Zbl 1484.68061号
[42] L.Wang和Q.Gu。稀疏学习的差分私有迭代梯度硬阈值。第28届国际人工智能联合会议，2019a。
[43] L.Wang和Q.Gu。差异私有稀疏学习的知识转移框架。arXiv预印arXiv:1909.063222019b。
[44] L.Wang、B.Jayaraman、D.Evans和Q.Gu。高效隐私保持非凸优化。arXiv预印arXiv:1910.136592019。
[45] Y.-X.Wang、B.Balle和S.Kasiviswanathan。子样本r⧹）ényi差异隐私和分析时刻会计师。arXiv预印arXiv:1808.000872018。
[46] 吴，X。；李，F。；库马尔，A。；乔杜里，K。；Jha，S。；Naughton，J.，基于可扩展随机梯度下降分析的Bolt-on差异隐私，（2017年ACM国际数据管理会议论文集（2017）），1307-1322
[47] P.Zhou、X.Yuan和J.Feng。有效的随机梯度硬阈值。《神经信息处理系统进展》，1988-1997页，2018年。
[48] 朱，J。；方，X。；郭，Z。；牛，M.H。；曹，F。；岳，S。；Liu，Q.Y.，Ibm云计算为更智慧的星球提供动力，（IEEE云计算国际会议（2009），斯普林格），621-625
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。