基于安全多方计算和差分隐私的联邦学习方案

doi:10.11896/jsjkx.210800108

计算机科学››2022,第49卷››问题（9）: 297-305.数字对象标识：10.11896/jsjkx.210800108

基于安全多方计算和差分隐私的联邦学习方案

汤凌韬¹,王迪¹,张鲁飞¹,刘盛云²

1数学工程与先进计算国家重点实验室江苏无锡 214125
2上海交通大学网络空间安全学院上海 200240

收稿日期:2021-08-12 修回日期:2022-02-27 出版日期:2022-09-15 发布日期:2022-09-09
通讯作者:刘盛云(升云.liu@sjtu.edu.cn)
作者简介:(tangbdy@126.com)
基金资助:
国家重点研发计划（2016YFB1000500）；国家科技重大专项课题（2018ZX01028102）

基于安全多方计算和差异隐私的联合学习方案

唐令涛¹，王迪¹、张陆飞¹、刘圣云²

1数学工程与高级计算国家重点实验室，江苏无锡214125
2上海交通大学网络科学与工程学院，上海200240

收到：2021-08-12 修订过的：2022-02-27 在线：2022-09-15 出版：2022-09-09
关于作者：唐灵涛，1994年生，博士研究生。他的主要研究兴趣包括信息安全和隐私保护机器学习。
刘圣云，1985年生，博士，副教授。他的主要研究兴趣包括区块链、安全多方计算、分布式存储系统和联合学习。
支持单位：
国家重点研发计划（2016YFB1000500）和国家科技重大专项（2018ZX01028102）。

摘要/摘要

摘要：联邦学习为非互信实体间的合作学习提供了一种新的解决思路,通过本地训练和中央聚合的模式,在训练全局模型的同时保护各实体的本地数据隐私。然而相关研究表明,该模式下无论是用户上传的局部模型,还是中央聚合的全局模型,都会泄露用户数据的信息。安全多方计算和差分隐私作为两种主流的隐私保护技术,分别保护计算过程和计算结果的隐私。目前很少有工作结合这两种技术的优势,用于联邦学习训练全流程的防护。将安全多方计算、差分隐私相结合,设计了一种面向深度学习的隐私保护联邦学习方案,用户对本地训练得到的局部模型添加扰动,并秘密共享至多个中央服务器,服务器间通过多方计算协议对局部模型进行聚合,得到一个共享的秘密全局模型。该方案在保护用户上传的局部信息不被窃取的同时,防止敌手从聚合模型等全局共享信息展开恶意推断,并具有容忍用户掉线和兼容多种聚合函数等优点。此外,针对不存在可信中心的现实应用,上述方案可自然拓展至去中心化场景。实验表明,所提方案与相同条件下的明文联邦学习效率相近,且能取得同水平的模型准确率。

关键词: 联邦学习, 安全多方计算, 差分隐私, 隐私保护, 深度学习

摘要：联合学习为不可信实体之间的协作学习提供了一种新的解决方案。联合学习算法通过一种本地-横向-中心聚合模式训练一个全局模型，同时保护每个实体的本地数据隐私。然而，最近的研究表明，客户端上传的本地模型和服务器生成的全局模型仍可能泄漏用户的私人信息。安全多方计算和差异隐私是两种主流的隐私保护技术，分别用于保护计算过程和计算输出的隐私。很少有作品同时利用这两种技术的优点。将安全多方计算和差异隐私相结合，提出了一种用于深度学习的隐私保护联邦学习方案。客户端为本地模型添加噪音，并将其秘密共享给多个服务器。服务器通过安全多方计算聚合这些模型共享，以获得私有全局模型。所提出的方案不仅保护了客户端上传的本地模型更新的隐私，还防止对手从聚合模型等全球共享数据中推断出敏感信息。该方案还允许退出不稳定的客户端，并与复杂的聚合函数兼容。此外，它还可以自然地扩展到不存在可信中心的实际应用程序的分散设置。我们用Python和Pythort实现我们的系统。实验证明，该方案与明文fede-rated学习具有相同的效率和准确性。

关键词： 联合学习，安全多方计算，差异隐私，隐私保护，深度学习

中图分类号:

TP309型

汤凌韬, 王迪, 张鲁飞, 刘盛云.基于安全多方计算和差分隐私的联邦学习方案[J] ●●●●。计算机科学, 2022, 49(9): 297-305. https://doi.org/10.11896/jsjkx.210800108

唐灵涛，王迪，张陆飞，刘圣云。基于安全多方计算和差异隐私的联合学习方案[J] ●●●●。计算机科学，2022，49（9）：297-305。https://doi.org/10.11896/jsjkx.210800108

参考文献

[1] MCMAHAN B，MOORE E，RAMAGE D等。从去中心化数据中实现深度网络的高效通信学习[C]//人工智能和统计学。PMLR，2017:1273-1282。
[2] 朱莉，刘忠，韩生。梯度深度泄漏[C]//神经信息处理系统的进展。2019:14747-14756。
[3] 赵B，穆普里K R，BILEN H.idlg：改善梯度深层渗漏[J].arXiv:2001.026102020。
[4] GEIPING J、BAUERMEISTER H、DRGEH等人。反向渐变在联合学习中打破隐私有多容易？[J] .arXiv:2003.140532020。
[5] SHOKRI R，STRONATI M，SONG C，等。针对机器学习模型的成员身份攻击[C]//2017 IEEE安全与隐私研讨会。IEEE，2017:3-18。
[6] NASR M，SHOKRI R，HOUMANSADR A.深度学习的综合隐私分析：针对集中式学习和联合学习的被动和主动白盒推理攻击[C]//2019 IEEE安全与隐私（SP）研讨会。IEEE，2019:739-753。
[7] YAO A C.安全计算协议[C]//第23届计算机科学基础年会。IEEE，1982:160-164。
[8] SHAMIR A.如何分享秘密[J]。ACM通讯，1979年，22（11）：612-613。
[9] 克雷默R，夫人ÅRD I，MAURERU。任何线性秘密共享方案的通用安全多方计算[C]//密码技术理论与应用国际会议。柏林：施普林格出版社，2000:316-334。
[10] DAMGóRD I，FITZI M，KILTZ E，等.等式、比较、位和幂运算的无条件安全恒速多方计算[C]//密码学会议理论。柏林：施普林格出版社，2006:285-304。
[11] BENDLIN R，DAMGáRD I，ORLANDI C，等.半对称加密与多方计算[C]//密码技术理论与应用国际年会。柏林：施普林格出版社，2011:169-188。
[12] DAMGÅRD I，PASTRO V，SMART N等。从某种同态加密的多方计算[C]//年度密码学会议。柏林：施普林格出版社，2012:643-662。
[13] DWORK C，ROTH A.差异隐私的算法基础[J]。理论计算机科学基础与趋势，2014,9（3/4）：211-407。
[14] DWORK C，MCSHERRY F，NISSIM K，等.私有数据分析中噪声灵敏度的校准[C]//密码学理论会议。柏林：施普林格出版社，2006:265-284。
[15] MCSHERRY F，TALWAR K。通过差异隐私进行机制设计[C]//48届IEEE计算机科学基础年会。IEEE，2007:94-103。
[16] BONAWITZ K，IVANOV V，KREUTER B，et al.隐私保护机器学习的实用安全聚合[C]//2017 ACM SIGSAC计算机与通信安全会议论文集.2017:1175-1191。
[17] GEYER R C，KLEIN T，NABI M。差异化私有联合学习：客户层面的视角[J].arXiv:1712.075572017。
[18] 阿加瓦尔N，SURESH A T，YU F，et al.cpSGD:通信高效和差异私有分布的SGD[J].arXiv:1805.105592018。
[19] TRUEX S，BARACALDO N，ANWAR A，et al.第12届ACM人工智能与安全研讨会的过程.2019:1-11。
[20] XU R，BARACALDO N，ZHOU Y，et al.Hybridalpha:一种有效的隐私保护联合学习方法[C]//第十二届ACM人工智能与安全研讨会论文集.2019:13-23。
[21]ABADI M，CHU A，GOODFELLOW I，et al.带差异隐私的深度学习[C]//2016 ACM SIGSAC计算机和通信安全会议记录.2016:308-318。
[22]CATRINA O，SAXENA A.使用定点数字进行安全计算[C]//金融加密和数据安全国际会议。柏林：施普林格，2010:35-50。
[23]KRIPS T，WILLEMSON J.安全多方计算中固定和浮点数的混合模型[C]//国际信息安全会议。商会：施普林格，2014:179-197。
[24]SO J，GüLER B，AVESTIMEHR A S.拜占庭恢复性治愈联合学习[J].arXiv:2007.11152020。
[25]赵毅，李明，赖磊，等.非iid数据的联合学习[J].arXiv:1806.005822018。
[26]LI T，SAHU A K，ZAHEER M，等.异构网络中的联合优化[J].arXiv:1812.061272018。

相关文章15

[1]	鲁晨阳, 邓苏, 马武彬, 吴亚辉, 周浩浩. 基于分层抽样优化的面向异构客户端的联邦学习基于分层抽样优化的异构客户联合学习计算机科学, 2022, 49(9): 183-193.https://doi.org/10.11896/jsjkx.220500263
[2]	饶志双, 贾真, 张凡, 李天瑞. 基于键值关联记忆网络的知识图谱问答方法用于知识图问题回答的键值关系存储网络计算机科学, 2022, 49(9): 202-207.https://doi.org/10.11896/jsjkx.220300277
[3]	吕由, 吴文渊. 隐私保护线性回归方案与应用保隐私线性回归方案及其应用计算机科学, 2022, 49(9): 318-325.https://doi.org/10.11896/jsjkx.220300190网址
[4]	窦家维. 保护隐私的汉明距离与编辑距离计算及应用保密汉明和编辑距离计算及其应用计算机科学, 2022, 49(9): 355-360.https://doi.org/10.11896/jsjkx.220100241
[5]	徐涌鑫, 赵俊峰, 王亚沙, 谢冰, 杨恺. 时序知识图谱表示学习时间知识图表示学习计算机科学, 2022, 49(9): 162-171.https://doi.org/10.11896/jsjkx.220500204
[6]	王剑, 彭雨琦, 赵宇斐, 杨健. 基于深度学习的社交网络舆情信息抽取方法综述基于深度学习的社会网络舆情信息提取研究综述计算机科学, 2022, 49(8): 279-293.https://doi.org/10.11896/jsjkx.220300099
[7]	郝志荣, 陈龙, 黄嘉成. 面向文本分类的类别区分式通用对抗攻击方法文本分类中的类鉴别通用对抗攻击计算机科学, 2022, 49(8): 323-329.https://doi.org/10.11896/jsjkx.220200077
[8]	姜梦函, 李邵梅, 郑洪浩, 张建朋. 基于改进位置编码的谣言检测模型基于改进位置嵌入的谣言检测模型计算机科学, 2022, 49(8): 330-335.https://doi.org/10.11896/jsjkx.210600046
[9]	孙奇, 吉根林, 张杰. 基于非局部注意力生成对抗网络的视频异常事件检测方法基于非局部注意的视频异常事件检测生成对抗网络计算机科学, 2022, 49(8): 172-177.https://doi.org/10.11896/jsjkx.210600061
[10]	侯钰涛, 阿布都克力木·阿布力孜, 哈里旦木·阿布都克里木. 中文预训练模型研究进展中国预训练模型研究进展计算机科学, 2022, 49(7): 148-163.https://doi.org/10.11896/jsjkx.211200018
[11]	周慧, 施皓晨, 屠要峰, 黄圣君. 基于主动采样的深度鲁棒神经网络学习基于主动采样的鲁棒深度神经网络学习计算机科学, 2022, 49(7): 164-169.https://doi.org/10.11896/jsjkx.210600044
[12]	苏丹宁, 曹桂涛, 王燕楠, 王宏, 任赫. 小样本雷达辐射源识别的深度学习方法综述基于小样本的雷达辐射源识别深度学习研究综述计算机科学, 2022, 49(7): 226-235.https://doi.org/10.11896/jsjkx.210600138
[13]	陈明鑫, 张钧波, 李天瑞. 联邦学习攻防研究综述联合学习中的攻防调查计算机科学, 2022, 49(7): 310-323.https://doi.org/10.11896/jsjkx.211000079
[14]	黄觉, 周春来. 基于本地化差分隐私的频率特征提取基于局部差异隐私的频率特征提取计算机科学, 2022, 49(7): 350-356.https://doi.org/10.11896/jsjkx.210900229
[15]	胡艳羽, 赵龙, 董祥军. 一种用于癌症分类的两阶段深度特征选择提取算法用于癌症分类的两阶段深度特征选择提取算法计算机科学, 2022, 49(7): 73-78.https://doi.org/10.11896/jsjkx.210500092

韵律学

已查看

全文

摘要

引用

共享

讨论

基于安全多方计算和差分隐私的联邦学习方案

基于安全多方计算和差异隐私的联合学习方案

PDF（个人电脑）

摘要/摘要

引用本文

使用本文

参考文献

相关文章15

韵律学

本文评价

推荐阅读0