联邦学习攻防研究综述

doi:10.11896/jsjkx.211000079

摘要/摘要

摘要：联邦学习用于解决数据共享与隐私安全之间的矛盾,旨在通过安全地交互不可逆的信息(如模型参数或梯度更新)来构建一个联邦模型。然而,联邦学习在模型的本地训练、信息交互、参数传递等过程中依然存在恶意攻击和隐私泄漏的风险,这给联邦学习的实际应用带来了重大挑战。文中针对联邦学习在建模和部署过程中存在的攻击行为及相应的防御策略进行了详细调研。首先,简要介绍了联邦学习的基本流程和相关攻防知识;接着,从机密性、可用性和正直性三个角度对联邦学习训练和部署中的攻击行为进行了分类,并梳理了相关的隐私窃取和恶意攻击的最新研究;然后,从防御诚实但好奇（诚恳但谨慎）攻击者和恶意攻击者两个方向对防御方法进行了划分,并分析了不同策略的防御能力;最后,总结了防御方法在联邦学习实践中存在的问题及可能导致的攻击风险,并探讨了联邦系统的防御策略在未来的发展方向。

关键词: 攻击与防御, 机器学习, 联邦学习, 数据安全, 数据融合

摘要：为了解决数据共享和隐私保护之间的矛盾，提出了联合学习。它旨在通过安全地交互不可逆信息（例如，模型参数或梯度更新）来建立协作模型。然而，模型局部训练、信息交互和参数传输过程中的隐私泄露和恶意攻击风险给联合学习的实际应用带来了重大挑战。本文总结了联合学习建模和部署过程中的攻击行为和相应的防御策略。首先，本文简要回顾了联合学习的发展过程和基本建模过程。其次，从保密性、可用性和完整性三个方面对fede-ral学习培训和部署中的攻击行为进行了分类，并梳理了隐私盗窃和恶意攻击的最新研究。然后，从两个方面总结了防御对策：诚实而谨慎的攻击者和恶意攻击者，并分析了不同策略的防御能力。最后，讨论了联合学习实践中攻防方法存在的问题和挑战。此外，还展望了他们在防御策略和系统设计方面联邦学习的未来发展方向。

关键词： 攻击和防御，数据融合，数据安全，联合学习，机器学习

中图分类号:

TP391型

陈明鑫, 张钧波, 李天瑞.联邦学习攻防研究综述[J] ●●●●。计算机科学, 2022, 49(7): 310-323. https://doi.org/10.11896/jsjkx.211000079

陈明新、张俊波、李天瑞。联合学习中的攻防调查[J] ●●●●。计算机科学，2022，49（7）：310-323。https://doi.org/10.11896/jsjkx.211000079

参考文献

[1] 李涛，萨胡·阿克，TALWALKAR A，等。联合学习：挑战、方法和未来方向[J]。IEEE信号处理杂志，2020,37（3）：50-60。
[2] GOODMAN B，FLAXMAN S.欧盟关于算法决策和“解释权”的规定[J]。AI杂志，2017,38（3）：50-57。
[3] GANJU K，WANG Q，YANG W，等.基于置换不变表示的全连通神经网络属性推理攻击[C]//ACM SIGSAC.2018:619-633。
[4] 阿特尼塞·G，MANCINIL V，SPOGNARDI A，等.用智能机器攻击智能机器：如何从机器学习分类器中提取有意义的数据[J]。国际安全与网络杂志，2015,10（3）：137-150。
[5] MELIS L，SONG C，DE CRISTOFARO E，等。利用协作学习中的意外特征泄漏[C]//IEEE安全与隐私研讨会。2019:691-706。
[6] SHOKRI R，STRONATI M，SONG C，et al.针对机器学习模型的成员推理攻击[C]//IEEE安全与隐私研讨会.2017:3-18。
[7] FREDRIKSON M，JHA S，RISTENPART T.利用置信信息和基本对策的模型反转攻击[C]//ACM SIGSAC.2015:1322-1333。
[8] HITAJ B，ATENIESE G，PEREZ-CRUZ F.GAN下的深度模型：协作深度学习的信息泄露[C]//ACM SIGSAC论文集。2017:603-618。
[9] TRAMéR F，ZHANG F，JUELS A，et al.通过预测api窃取机器学习模型[C]//USENIX Security.2016:601-618。
[10] PAPERNOT N，MCDANIEL P，SINHA A，et al.Sok:机器学习中的安全与隐私[C]//IEEE欧洲安全与隐私研讨会.2018:399-414。
[11] SZEGEDY C，ZAREMBA W，SUTSKEVER I，等.神经网络的有趣性质[C]//ICLR，2014:1-11。
[12] GOODFELLOW I J，SHLENS J，SZEGEDY C.解释和利用对抗性示例[J].arXiv:1412.65722014。
[13] 李毅，吴斌，姜毅，等。后门学习：一项调查[J].arXiv:2007.087452020。
[14] 王华，斯蕾妮瓦桑K，拉普特S，等.反击：是的，你真的可以后门联合学习[J].arXiv:2007.050842020。
[15] SUN Z、KAIROUZ P、SURESH A T等。你真的可以走后门进行联合学习吗？[J] arXiv:1911.079632019。
[16] 陈德，付阿，周丙，等.基于生成对抗网络的联合学习后门攻击方案[J]。《计算机研究与发展杂志》，2021,58（11）：2364-2373。
[17] GARBER L.拒绝服务攻击横扫互联网[J]。计算机，2000,33（4）：12-17。
[18] 顾涛，刘凯，杜兰·加维特B，等.深度神经网络后门攻击评估[J]。IEEE接入，2019,7:47230-47244。
[19] RAKIN A S，HE Z，FAN D.Tbt:比特木马定向神经网络攻击[C]//IEEE CVPR会议论文集.2020:13198-13207。
[20] 徐蓉，巴拉卡多N，周毅，等.混合算法：一种有效的隐私保护联合学习方法[C]//人工智能与安全研讨会.2019:13-23。
[21]AONO Y，HAYASHI T，WANG L，等.基于加性同态加密的隐私保护深度学习[J]。IEEE信息取证与安全汇刊，2017,13（5）：1333-1345。
[22]GEYER R C，KLEIN T，NABI M.差异私人联合学习：客户层面的视角[J].arXiv:1712.075572017。
[23]MCMAHAN H B，RAMAGE D，TALWAR K，等.学习差异私有递归语言模型[C]//ICLR.2017:171-182。
[24]TRUEX S，BARACALDO N，ANWAR A，et al.一种保护隐私的联合学习混合方法[C]//人工智能与安全研讨会.2019:1-11。
[25]LIU Y，XIE Y，SRIVASTAVA A.神经特洛伊木马[C]//国际计算机设计会议。2017:45-48。
[26]TRAN B，LI J，MADRY A.后门攻击中的谱特征[J].arXiv:1811.006362018。
[27]王Z，宋M，张Z，等.超越推断类代表：来自联邦学习的用户级隐私泄漏[C]//IEEE INFOCOM.2019:2512-2520。
[28]FREDRIKSON M，LANTZ E，JHA S，et al.药物遗传学中的隐私：个性化华法林剂量的端到端案例研究[C]//USENIX Security.2014:17-32。
[29]GEIPING J，BAUERMEISTER H，DRGE H，et al.倒置梯度——在联合学习中打破隐私有多容易？[C] //神经信息处理系统的进展。2020:16937-16947。
[30]朱莉，韩S.梯度深度泄漏[C]//神经信息处理系统进展.2019:17-31。
[31]PAPERNOT N，MCDANIEL P，GOODFELLOW I，et al.针对机器学习的实用黑盒攻击[C]//ACM在CCS亚洲会议上的处理.2017:506-519。
[32]JUUTI M，SZYLLER S，MARCHAL S，et al.PRADA:防范DNN模型窃取攻击[C]//IEEE欧洲安全与隐私研讨会.2019:512-527。
[33]OREKONDY T，SCHIELE B，FRITZ M.Knockoff nets:黑盒模型的Stealing功能[C]//IEEE CVPR会议记录.2019:4954-4963。
[34]BHAGOJI A N，CHAKRABORTY S，MITTAL P，et al.从对抗的角度分析联合学习[C]//国际机器学习会议.2019:634-643。
[35]TANG R，DU M，LIU N，et al.深度神经网络中木马攻击的一种令人尴尬的简单方法[C]//ACM SIGKDD.2020:218-228。
[36]DUMFORD J，SCHEIRER W.基于目标权重扰动的回溯卷积神经网络[C]//IEEE国际生物统计学联合会议.2020:1-9。
[37]BAGDASARYAN E，VEIT A，HUA Y，et al.如何后门联合学习[C]//国际人工智能与统计会议.2020:2938-2948。
[38]刘毅，MA S，AAFER Y，等.神经网络木马攻击[C]//网络与分布式系统安全研讨会论文集.2018:1-11。
[39]CHEN X，LIU C，LI B，等.利用数据中毒对深度学习系统进行有针对性的后门攻击[J].arXiv:1712.055262017。
[40]SU J，VARGAS D V，SAKURAI K.愚弄深度神经网络的单像素攻击[J]。IEEE进化计算汇刊，2019,23（5）：828-841。
[41]方M，曹X，贾J，等.拜占庭联邦学习的局部模型中毒攻击[C]//USENIX Security.2020:1605-1622。
[42]XIE C，KOYEJO O，GUPTA I.帝国的衰落：通过内部产品操纵打破拜占庭容忍的SGD[C]//人工智能中的不确定性。2020:261-270。
[43]布兰查德P，EL MHAMDI E M，GUERRAOUI R，et al.带对手的机器学习：拜占庭容忍梯度下降[C]//神经信息处理系统.2017:118-128。
[44]FUNG C，YOON C J M，BESCHASTNIKH I.sybil环境下联合学习的局限性[C]//国际攻击研究交响乐团.2020:301-316。
[45]BHOWMICK A，DUCHI J，FREUDIGER J，等.针对重建的保护及其在私立联合学习中的应用[J].arXiv:1812.009842018。
[46]SHOKRI R，SHMATIKOV V.隐私保护深度学习[C]//ACM SIGSAC.2015:1310-1321。
[47]LIN Y，HAN S，MAO H，等.深度梯度压缩：减少分布式训练的通信带宽[C]//ICLR.2017:1-12。
[48]AGRAWAL N，SHAHIN SHAMSABADI A，KUSNER M J，et al.引用：两部分安全神经网络训练与预测[C]//ACM SIGSAC.2019:1231-1247。
[49]ZHANG C，LI S，XIA J，et al.Batchcrypt:用于跨竖井联合学习的高效同态加密[C]//USENIX Security。2020:493-506。
[50]LIU C，CHAKRABORTY S，VERMA D.使用部分同态加密实现分布式学习的安全模型融合[J]。基于政策的自主数据治理，2019（11550）：154-179。
[51]HARDY S，HENECKA W，IVEY-LAW H，等.基于实体解析和附加同态加密的垂直分区数据私有联合学习[J].arXiv:1711.106772017。
[52]郝M，李辉，徐刚，等.面向高效和隐私保护的联合深度学习[C]//IEEE国际通信会议.2019:1-6。
[53]SAMANGOUEI P，KABKAB M，CHELLAPPA R.Defense-gan:使用ge-nerative模型保护分类器免受对手攻击[C]//ICLR.2018:185-195。
[54]UDESHI S，PENG S，WOO G，等.机器学习中针对后门攻击的模型无关防御[J].arXiv:1908.022032019。
[55]郭C，RANA M，CISSE M，等.使用输入变换对抗对抗图像[C]//ICLR.2017:1-13。
[56]DZIUGAITE G K，GHAHRAMANI Z，ROY D M.jpg压缩对对手图像影响的研究[J].arXiv:1608.008532016。
[57]黄R，徐B，舒曼D，等.与强大对手一起学习[C]//ICLR.2017:151-161。
[58]FUNG C，YOON C J M，BESCHASTNIKH I.联合学习中毒中的缓解西比尔[J].arXiv:1808.048662018。
[59]SHEN S，TOPLE S，SAXENA P.Auror:防御协作式深度学习系统中的中毒攻击[C]//计算机安全应用年度会议。2016:508-519。
[60]尹德，陈毅，坎南R，等.拜占庭分布式学习：走向最优统计率[C]//国际机器学习会议.2018:5650-5659。
[61]VILLARREAL-VASQUEZ M，BHARGAVA B.Confoc:神经网络特洛伊木马攻击的集中防护[J].arXiv:2007.007112020。
[62]刘K，DOLAN-GAVITT B，GARG S.精细修剪：防御深度神经网络后门攻击[C]//攻击、入侵和防御研究国际研讨会.2018:273-294。
[63]王B，姚毅，珊S，等.神经净化：识别和缓解神经网络中的后门攻击[C]//IEEE安全与隐私研讨会.2019:707-723。
[64]王建中，孔立伟，黄振中，等.联合学习隐私保护研究进展[J]。大数据研究，2021,7（3）：139-149。
[65]陈斌，谢毅，张继乐，等.联合学习中的安全与隐私研究[J]。NUAA杂志，2020,52（5）：675-684。
[66]YANG Q.AI与数据隐私保护：联合学习之路[J]。信息安全研究杂志，2019,5（11）：961-965。
[67]LI T，SAHU A K，ZAHEER M，等.异构网络中的联合优化[C]//机器学习与系统学报.2020:429-450。
[68]MCMAHAN B，MOORE E，RAMAGE D，et al.基于分散数据的深层网络通信高效学习[C]//人工智能与统计.2017:1273-1282。
[69]DWORK C，NAOR M.关于统计数据库中防止披露的困难或差异隐私案例[J]。《隐私与保密杂志》，2010,2（1）：1-12。
[70]DWORK C.差异隐私：结果调查[C]//计算模型理论和应用国际会议。2008:1-19。
[71]BONAWITZ K，IVANOV V，KREUTER B，et al.隐私保护机器学习的实用安全聚合[C]//ACM SIGSAC.2017:1175-1191。
[72]YAO A C.安全计算协议[C]//计算机科学基础年度研讨会，1982:160-164。
[73]LIU D C，NOCEDAL J.关于大规模优化的有限内存BFGS方法[J]。数学规划，1989,45（1）：503-528。
[74]何凯，张X，任S，等.基于深度剩余学习的图像识别[C]//IEEE CVPR会议论文集.2016:770-778。
[75]KINGMA D P，BA J.Adam:一种随机优化方法[C]//ICLR.2015:1-13。
[76]PAPERNOT N，MCDANIEL P，WU X，et al.蒸馏作为对抗深度神经网络对抗干扰的防御[C]//IEEE安全与隐私研讨会.2016:582-597。
[77]BONAWITZ K，EICHNER H，GRIESKAMP W，et al.迈向大规模联合学习：系统设计[C]//IEEE CVPR Workshop.2019:3310-3319。
[78]DWORK C，ROTH A.差异隐私的算法基础[J]。理论计算机科学基础与趋势，2014,9（3/4）：211-407。
[79]FRIEDMAN A，SCHUSTER A.具有差异隐私的数据挖掘[C]//ACM SIGKDD.2010:493-502。
[80]张杰，张Z，肖X，等.功能机制：差异隐私下的回归分析[J].中国证券报：1208.02192012。
[81]ABADI M，CHU A，GOODFELLOW I，et al.差异隐私的深度学习[C]//ACM SIGSAC会议记录.2016:308-318。
[82]李瑞杰，JIA C F，WANG Y F.基于NTRU的多密钥同态代理重加密方案及其应用[J]。通讯杂志，2021,42（3）：11-22。
[83]ARMKNECHT F，BOYD C，CARR C，等.全同态加密指南[J]。IACR密码EPrint Archive，2015（1192）：1-35。
[84]PAILLIER P.基于复合度剩余类的公钥密码系统[C]//密码技术理论与应用国际会议.1999:223-238。
[85]LINDNER R，PEIKERT C.基于LWE加密的更好密钥大小（和攻击）[C]//RSA会议上的密码学家跟踪。2011:319-339。
[86]DAMGöRD I，JURIK M.Paillier概率公钥系统的推广、简化和一些应用[C]//公钥密码国际研讨会.2001:119-136。
[87]DOAN B G，ABBASNEJAD E，RANASINGHE D C.Februus:针对深度神经网络系统木马攻击的输入净化防御[C]//年度计算机安全应用会议.2020:897-912。
[88]SELVARAJU R R，COGSWELL M，DAS A，et al.Grad-cam:通过基于梯度的本地化从深层网络中进行可视化解释[C]//IEEE ICCV会议论文集.2017:618-626。
[89]黄X，ALZANTOT M，SRIVASTAVA M.神经元特异性：通过输出解释检测神经网络后门[J].arXiv:1911.073992019。
[90]CHOQUETTE-CHOO C A，DULLERUD N，DZIEDZIC A，et al.CaPC Learning:机密和私人协作学习[C]//ICLR.2021:212-223。
[91]ADI Y，BAUM C，CISSE M等。将弱点转化为力量：通过后门对深度神经网络进行水印标记[C]//USENIX Security。2018:1615-1631。

韵律学

已查看

全文

摘要

引用

共享

讨论