Byzantine-robust federated learning via credibility assessment on non-IID data

Kun Zhai; Qiang Ren; Junli Wang; Chungang Yan; Kun Zhai; Qiang Ren; Junli Wang; Chungang Yan

doi:10.3934/mbe.2022078

数学生物科学与工程

2022,第19卷, 第2期: 1659年-1676年. 数字对象标识：10.3934/mbe.2022078年

研究文章

通过非IID数据的可信度评估进行拜占庭-罗马联邦学习

嵌入式系统与服务计算教育部重点实验室（同济大学），上海201804

学术编辑：Rosana Rodríguez-López

收到：2021年9月17日 接受日期：2021年11月29日 出版：2021年12月14日

联合学习是一种新的框架，它使资源受限的边缘设备能够联合学习一个模型，从而解决了数据保护和数据孤岛的问题。然而，标准联合学习容易受到拜占庭攻击，这将导致攻击者操纵全局模型或无法收敛。在非iid数据上，当前的方法无法有效防御拜占庭袭击。在本文中，我们提出了一个通过非iid数据可信度评估（BRCA）实现联合学习的拜占庭式框架。将自适应异常检测模型和数据验证相结合，设计可信度评估来检测拜占庭攻击。特别地，在异常检测模型中加入了自适应机制，用于模型的训练和预测。同时，给出了统一的更新算法，以保证全局模型具有一致的方向。在非iid数据上，我们的实验表明，与传统方法相比，BRCA对拜占庭攻击更具鲁棒性。
- 拜占庭式稳健,
- 联合学习,
- 自适应异常检测,
- 非iid,
- 计算机视觉
引用：Kun Zhai、Qiang Ren、Junli Wang、Chungang Yan。通过对非IID数据的可信度评估进行拜占庭-罗马联邦学习[J]。数学生物科学与工程，2022，19（2）：1659-1676。doi:10.3934/mbe.2022078年

相关论文：

摘要

联合学习是一种新的框架，它使资源受限的边缘设备能够联合学习一个模型，从而解决了数据保护和数据孤岛的问题。然而，标准联合学习容易受到拜占庭攻击，这将导致攻击者操纵全局模型或无法收敛。在非iid数据上，当前的方法无法有效防御拜占庭袭击。在本文中，我们提出了一个通过非iid数据可信度评估（BRCA）实现联合学习的拜占庭式框架。将自适应异常检测模型和数据验证相结合，设计可信度评估来检测拜占庭攻击。特别地，在异常检测模型中加入了自适应机制，用于模型的训练和预测。同时，给出了统一的更新算法，以保证全局模型具有一致的方向。在非iid数据上，我们的实验表明，与传统方法相比，BRCA对拜占庭攻击更具鲁棒性。

工具书类

[1]	L.Zhou，K.H.Yeh，G.Hancke，Z.Liu，C.Su，《工业物联网的安全和隐私：保护端点的方法概述》，IEEE信号处理。美格。,35(2018), 76–87. doi:10.1109/MSP.2018.2846297。数字对象标识：10.1109/MSP.2018.2846297号
[2]	B.McMahan、E.Moore、D.Ramage、S.Hampson、B.Aguera，《从分散数据中高效学习深层网络的通信》第20届国际人工智能与统计会议论文集,54（2017），1273–1282。
[3]	Y.Zhao，M.Li，L.Lai，N.Suda，D.Civin，V.Chandra，非iid数据联合学习，预印本，arXiv:1806.00582。
[4]	T.R.Gadekallu，Q.Pham，T.Huynh-The，S.Bhattacharya，P.K.R.Maddikunta，M.Liyanage，《大数据联合学习：机会、应用和未来方向调查》，预印本，arXiv:2110.04160。
[5]	E.M.E.Mhamdi，R.Guerraoui，S.Rouault，拜占庭分布式学习的潜在漏洞机器学习国际会议, (2018), 3521–3530.
[6]	J.So，B.Guler，A.S.Avestimehr，拜占庭安全联合学习，IEEE J.选择。公共区域。, 2020. doi:10.1109/JSAC.2020.3041404。数字对象标识：10.1109/JSAC.2020.3041404
[7]	X.Chen，T.Chen，H.Sun，Z.S.Wu，M.Hong，异构数据的分布式训练：桥接基于中值和均值的算法，预印本，arXiv:1906.01736。
[8]	H.Yang，X.Zhang，M.Fang，J.Liu，《分布式学习中的拜占庭随机梯度下降：一种基于lipschitz的双向协调中值方法》2019年IEEE第58届决策与控制会议（CDC）, (2019), 5832–5837. 数字对象标识：10.1109/CDC40024.2019.9029245.
[9]	D.Yin，Y.Chen，R.Kannan，P.Bartlett，《拜占庭帝国分布式学习：走向最优统计率》，年机器学习国际会议, (2018), 5650–5659.
[10]	Y.Chen，L.Su，J.Xu，对抗性环境中的分布式统计机器学习：拜占庭梯度下降计算机系统测量与分析ACM会议录,1(2017), 1–25. 数字对象标识：10.1145/3154503.
[11]	K.Pillutla，S.M.Kakade，Z.Harchaoui，联邦学习的稳健聚合，预印本，arXiv:1912.13445。
[12]	P.Blanchard，E.M.E.Mhamdi，R.Guerraoui，J.Stainer，《对手的机器学习：拜占庭容忍梯度下降》，年第31届神经信息处理系统国际会议记录, (2017), 118–128.
[13]	M.Alazab、S.P.R M、P.M、P..Reddy、T.R.Gadekally、Q.Pham，《网络安全联合学习：概念、挑战和未来方向》，IEEE传输。印第安纳州信息。, (2021). doi:10.1109/TII.2021.3119038。数字对象标识：10.1109/TII.2021.3119038号
[14]	S.Li，Y.Cheng，W.Wang，Y.Liu，T.Chen，《学习检测恶意客户端以实现稳健的联合学习》，预印本，arXiv:200211。
[15]	美国Stich，本地sgd收敛速度快，通信量小，预打印，arXiv:1805.09767。
[16]	B.Woodworth，J.Wang，A.Smith，B.McMahan，N.Srebro，并行随机优化的图形预言模型、下限和间隙，预印本，arXiv:1805.10222。
[17]	P.Kairouz，H B.McMahan，B.Avent，A.Bellet，M.Bennis，A.N.Bhagoji等人，《联合学习的进展和开放问题》，预印本，arXiv:1912.04977。
[18]	T.Li，A.K.Sahu，A.Talwalkar，V.Smith，《联合学习：挑战、方法和未来方向》，IEEE信号处理。美格。,37(2020), 50–60. doi:10.1109/MSP.2020.2975749。数字对象标识：10.1109/MSP.2020.2975749号
[19]	X.Li，K.Huang，W.Yang，S.Wang，Z.Z.Zhang，关于非iid数据上fedavg的收敛性，预印本，arXiv:1907.02189。
[20]	S.Agrawal、S.Sarkar、M.Alazab、P.K.R.Maddikunta、T.R.Gadekall、Q.Pham，《遗传CFL：集群联合学习中超参数的优化》，预印本，arXiv:2107.07233。
[21]	Y.Chen，S.Kar，J.M.Moura，《物联网：安全分布式推理》，IEEE信号处理。美格。,35(2018), 64–75. doi:10.10109/MSP.2018.2842097。数字对象标识：10.1109/MSP.2018.2842097号
[22]	C.Xie，O.Koyejo，I.Gupta，广义拜占庭容忍标准，预印本，arXiv:1802.10116。
[23]	C.Iwendi，Z.Jalil，A.R.Javed，T.R.G，R.Kaluri，G.Srivastava，et al.，Keysplitwatermark:针对网络攻击的软件保护零水印算法，IEEE接入,8(2020), 72650–72660. doi:10.1109/access.2020.2988160。数字对象标识：10.1109/访问.2020.2988160
[24]	S.Shamshirband，M.Fathi，A.T.Chronopoulos，移动云计算环境中的计算智能入侵检测技术：回顾、分类和开放研究问题，J.Inf.Sec.申请。,55(2020), 102582. doi:10.1016/j.jisa.2020.102582。数字对象标识：2016年10月10日/j.jisa.2020.102582
[25]	S.Li，Y.Cheng，Y.Liu，W.Wang，Ti.Chen，联合学习中的异常客户行为检测，预印本，arXiv:1910.09933。
[26]	E.El-Mhamdi，R.Guerraoui，S.Rouault，《拜占庭式学习的分布式动力》，预印本，arXiv:2003.0010。
[27]	M.Sakurada，T.Yairi，使用非线性降维的自动编码器进行异常检测，inMLSDA 2014第二次机器学习用于感官数据分析研讨会论文集, (2014), 4–11. 数字对象标识：10.1145/2689746.2689747.