×
巴吞·查米卡拉·马哈瓦加（Pathum Chamikara Mahawaga），阿拉奇奇（Arachchige）;刘东溪;塞伊特·坎特佩;尼泊尔、苏里亚;马蒂·格罗勃勒;彼得·伯托克;易卜拉欣·哈利勒

联合学习的本地差异隐私。 （英语） Zbl 1523.68051号

Atluri，Vijayalakshmi（编辑）等人，《计算机安全–ESORICS 2022》。第27届欧洲计算机安全研究研讨会，丹麦哥本哈根，2022年9月26日至30日。诉讼程序。第一部分查姆：施普林格。莱克特。注释计算。科学。13554, 195-216 (2022).
概要：高级对抗性攻击（如成员推断和模型记忆）可能会使联合学习（FL）变得脆弱，并可能泄漏敏感的私有数据。与其他差异私有（DP）解决方案相比，本地差异私有（LDP）方法由于更强的隐私概念和对数据分发的本地支持而越来越受欢迎。然而，DP方法假设FL服务器（聚合模型）是诚实的（诚实运行FL协议）或半诚实的（真诚运行FL协定，同时尽可能多地学习信息）。这些假设使得这种方法在现实环境中不现实且不可靠。此外，在真实的工业环境中（例如医疗保健），分布式实体（例如医院）已经由本地运行的机器学习模型组成（此设置也称为跨竖井设置）。现有的方法没有提供一种可扩展的机制，以便在此类设置下使用隐私保护FL，可能会与不信任方一起使用。本文提出了一种新的用于工业环境的局部差异私有FL协议（LDPFL）。LDPFL可以在工业环境中与不受信任的实体一起运行，同时比现有方法实施更强的隐私保障。与现有方法相比，在较小的隐私预算（例如，\（\varepsilon=0.5\））下，LDPFL显示出较高的FL模型性能（高达98%）。
关于整个系列，请参见[Zbl 1515.68023号].

MSC公司：

68T05型 人工智能中的学习和自适应系统
68第27页 数据隐私

关键词：

联合学习;分布式机器学习;差异隐私;本地差异隐私;隐私保护的联合学习;保护隐私的分布式机器学习

软件：

RAPPOR公司;TensorFlow公司;时尚-MNIST;SAFE学习;PyTorch公司;凯拉斯
PDF格式BibTeX公司 XML格式引用
\textit{P.C.M.Arachchige}等人，Lect。注释计算。科学。13554，195--216（2022；Zbl 1523.68051）
全文： 内政部 arXiv公司

参考文献：

[1] Abadi，M.等人：具有差异隐私的深度学习。摘自：2016年ACM SIGSAC计算机和通信安全会议记录，第308-318页。ACM（2016）
[2] Arachchige，PCM；Bertok，P。；哈利勒，I。；刘，D。；Camtepe，S。；Atiquezzaman，M.，《深度学习的本地差异隐私》，IEEE Internet Things J.，7，7，5827-5842（2019）·doi:10.1109/JIOT.2019.2952146
[3] Asoodeh，S.，Chen，W.N.，Calmon，F.P.，Øzgür，A.：不同的私人联合学习：信息理论视角。收录于：2021年IEEE信息理论国际研讨会（ISIT），第344-349页。IEEE（2021）
[4] Bagdasaryan，E.，Veit，A.，Hua，Y.，Estrin，D.，Shmatikov，V.：如何后门联合学习。摘自：国际人工智能和统计会议，第2938-2948页。PMLR（2020年）
[5] Bell，J.H.，Bonawitz，K.A.，Gascón，A.，Lepoint，T.，Raykova，M.：使用（多）对数开销的安全单服务器聚合。摘自：《2020年ACM SIGSAC计算机和通信安全会议记录》，第1253-1269页（2020）
[6] Bonawitz，K.等人：用于隐私保护机器学习的实用安全聚合。摘自：2017年ACM SIGSAC计算机和通信安全会议记录，第1175-1191页（2017）
[7] Bun，M。；斯坦克，T。；Hirt，M。；Smith，A.，《集中差异隐私：简化、扩展和下限》，《密码学理论》，635-658（2016），海德堡：施普林格·Zbl 1406.94030号 ·doi:10.1007/978-3-662-53641-4_24
[8] Cholet，F.等人：Keras：Theano和TensorFlow的深度学习库（2015）。https://keras.io/k 7(8)
[9] Erlingsson，Ú。，Pihur，V.，Korolova，A.：RAPPOR：随机化可聚合隐私保护有序反应。2014年ACM SIGSAC计算机和通信安全会议记录，第1054-1067页。ACM（2014）
[10] Fereidooni，H.等人：SAFELearn：私人联合学习的安全聚合。收录于：2021 IEEE安全与隐私研讨会（SPW），第56-62页。IEEE（2021）
[11] Fox，J.A.：《随机反应和相关方法：调查敏感数据》，第58卷。SAGE出版物，Beverly Hills（2015）
[12] Gentry，C.：一种完全同态加密方案。斯坦福大学（2009）·Zbl 1304.94059号
[13] Geyer，R.C.，Klein，T.，Nabi，M.：不同的私人联合学习：客户层面的观点。arXiv预印arXiv:1712.07557（2017）
[14] Guo，X.，VeriFL：用于联合学习的通信高效和快速可验证聚合，IEEE Trans。Inf.法医安全。，1736-1751年（2020年）·doi:10.1109/TIFS.2020.3043139
[15] Gursoy，ME；Tamersoy，A。；特鲁克斯公司。；魏，W。；Liu，L.，《安全实用的数据收集与精简的本地差异隐私》，IEEE Trans。可靠安全计算。，18, 2365-2378 (2019)
[16] Kairouz，P.、Oh，S.、Viswanath，P.：本地差异隐私的极端机制。摘自：《神经信息处理系统进展》，第2879-2887页（2014年）·Zbl 1360.68433号
[17] 乐村，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，11，2278-2324（1998）·数字对象标识代码：10.1109/5.726791
[18] Li，T.等人。；阿拉斯加州萨胡；Talwalkar，A。；Smith，V.，《联合学习：挑战、方法和未来方向》，IEEE信号处理。Mag.，37，3，50-60（2020年）·doi:10.1109/MSP.2020.2975749
[19] McMahan，H.B.，Moore，E.，Ramage，D.，Arcas，B.A.：使用模型平均对深层网络进行联合学习。arXiv预打印arXiv:1602.05629（2016）
[20] McMahan，H.B.，Ramage，D.，Talwar，K.，Zhang，L.：学习差异私有递归语言模型。arXiv预印arXiv:1710.06963（2017）
[21] Paszke，A.，PyTorch：一个命令式、高性能的深度学习库，Adv.Neural。信息处理。系统。，32, 8026-8037 (2019)
[22] Qin，Z.，Yang，Y.，Yu，T.，Khalil，I.，Xiao，X.，Ren，K.：具有局部差异隐私的集值数据的重击估计。摘自：2016年ACM SIGSAC计算机和通信安全会议记录，第192-203页。ACM（2016）
[23] Schmidhuber，J.，神经网络中的深度学习：综述，神经网络。，61, 85-117 (2015) ·doi:10.1016/j.neunet.2014.09.003
[24] Seif，M.、Tandon，R.、Li，M.:具有本地差异隐私的无线联合学习。2020年IEEE信息理论国际研讨会（ISIT），第2604-2609页。IEEE（2020）
[25] Sermanet，P.，Chintala，S.，LeCun，Y.：卷积神经网络应用于门牌号码数字分类。摘自：《第21届模式识别国际会议论文集》（ICPR 2012），第3288-3291页。IEEE（2012）
[26] 因此，J。；Güler，B。；Avestimehr，AS，Turbo-aggreate:打破安全联合学习中的二次聚合障碍，IEEE J.Sel。区域信息理论，2，1，479-489（2021）·doi:10.1109/JSAIT.2021.3054610
[27] Sun，L.，Qian，J.，Chen，X.，Yu，P.S.：LDP-FL：具有局部差异隐私的联合学习中的实用私有聚合。arXiv预印本arXiv:2007.15789（2020）
[28] Truex，S.、Liu，L.、Chow，K.H.、Gursoy，M.E.、Wei，W.：LDP-Fed：具有本地差异隐私的联合学习。摘自：第三届ACM边缘系统、分析和网络国际研讨会论文集，第61-66页（2020年）
[29] Wang，T.，Blocki，J.，Li，N.，Jha，S.：频率估计的局部差异私有协议。参见：第26届USENIX安全研讨会（USENIX2017安全），第729-745页（2017）
[30] Wang，Y.，Wu，X.，Hu，D.：使用随机响应进行差异隐私保护数据收集。收录：EDBT/ICDT研讨会，第1558卷（2016年）
[31] Wei，K.，《具有差异隐私的联合学习：算法和性能分析》，IEEE Trans。Inf.法医安全。，15, 3454-3469 (2020) ·doi:10.1109/TIFS.2020.2988575
[32] Xiao，H.，Rasul，K.，Vollgraf，R.：Fashion-MNIST：一种用于基准机器学习算法的新型图像数据集。arXiv预印arXiv:1708.07747（2017）
[33] Xiao，X。；Tao，Y.，带查询松弛的输出扰动，Proc。荷兰VLDB。，1, 1, 857-869 (2008) ·doi:10.14778/1453856.1453949
[34] 徐，G。；李，H。；刘，S。；Yang，K。；Lin，X.，《VerifyNet:安全和可验证的联合学习》，IEEE Trans。Inf.法医安全。，15, 911-926 (2019) ·doi:10.1109/TIFS.2019.2929409
[35] 杨琼。；刘，Y。；Chen，T。；Tong，Y.，《联合机器学习：概念和应用》，ACM Trans。智力。系统。Technol公司。（TIST），10，2，12（2019年）
[36] Zhang，C.，Li，S.，Xia，J.，Wang，W.，Yan，F.，Liu，Y.：BatchCrypt：用于跨竖井联合学习的高效同态加密。In:2020年USENIX年度技术会议（USENIXATC 2020），第493-506页（2020）
[37] Zhang，Y。；Bai，G。；李，X。；柯蒂斯，C。；陈，C。；Ko，RKL公司；Chen，L。；李，N。；Liang，K。；Schneider，S.，PrivColl:实用隐私保护协作机器学习，计算机安全-ESORICS 2020，399-418（2020），Cham:Springer，Cham·doi:10.1007/978-3-030-58951-6_20
[38] 赵，J。；陈，Y。；Zhang，W.，《深度学习中的差异隐私保护：挑战、机遇和解决方案》，IEEE Access，748901-48911（2019）·doi:10.1109/ACCESS.2019.2909559
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。