研究论文

免费隐私：通过无编码传输和自适应功率控制的无线联合学习

作者:

东渚镇线路接口单元和

奥斯瓦尔多西梅奥内作者信息和声明

IEEE通信选定领域杂志,体积39,发行1

页170-185

https://doi.org/10.109/JSAC.2020.3036948

出版:2021年1月1日出版历史

摘要

联合学习（FL）指的是分布式协议，在为共同学习任务进行训练时，避免参与设备之间的直接原始数据交换。这样，FL可以潜在地减少通过通信泄漏的本地数据集信息。然而，为了提供正式的隐私保障，通常需要设置额外的屏蔽机制。当FL通过非编码传输在无线系统中实现时，信道噪声可以直接作为隐私诱导机制。本文证明，只要通过差分隐私（DP）测量的隐私约束水平低于随着信噪比（SNR）降低的阈值，未编码传输就实现了隐私；免费&#x201D；，即，不影响学习成绩。更一般地，本文研究无线FL中分布式梯度下降的自适应功率分配（PA），目的是在隐私和功率约束下最小化学习最优差距。使用&#x201C；进行正交多址（OMA）和非正交多址传输；空中计算&#x201D；对离线优化设置进行了研究，得到了封闭形式的解。此外，还提出了利用迭代一步优化的启发式在线方法。通过大量仿真，证明了动态PA的重要性以及NOMA相对于OMA的潜在优势。

工具书类

[1]

J.Park、S.Samarakon、M.Bennis和M.Debbah，“边缘的无线网络智能”程序。电气与电子工程师协会第107卷，第11期，第2204–2239页，2019年11月。

[2]

Z.Zhou、X.Chen、E.Li、L.Zeng、K.Luo和J.Zhang，“边缘智能：用边缘计算铺平人工智能的最后一英里”程序。电气与电子工程师协会，第107卷，第8期，第1738-1762页，2019年8月。

[3]

G.Zhu、D.Liu、Y.Du、C.You、J.Zhang和K.Huang，“走向智能化边缘：无线通信与机器学习相结合，”IEEE通信。美格。，第58卷，第1期，第19-25页，2020年1月。

数字图书馆

[4]

T.Li、A.K.Sahu、A.Talwalkar和V.Smith，“联合学习：挑战、方法和未来方向，”IEEE信号处理。美格。，第37卷，第3期，第50-60页，2020年5月。

[5]

P.Kairouzet al.，“联合学习的进展和开放问题”，2019年，arXiv:1912.04977号。[在线]。可用：http://arxiv.org/abs/1912.04977

[6]

L.Melis、C.Song、E.De Cristofaro和V.Shmatikov，“利用协作学习中的意外特征泄漏”，摘自程序。IEEE交响乐。安全。隐私（SP）2019年5月，第691-706页。

[7]

M.Fredrikson、S.Jha和T.Ristenpart，《利用置信信息和基本对策的模型反转攻击》程序。第22次ACM SIGSAC配置计算。Commun公司。安全。（CCS），丹佛，科罗拉多州，美国，2015年，第1322–1333页。

[8]

A.Bhowmick、J.Duchi、J.Freudiger、G.Kapoor和R.Rogers，“针对重建的保护及其在私立联合学习中的应用”，2018年，arXiv:1812.00984号。[在线]。可用：http://arxiv.org/abs/1812.00984

[9]

C.Dwork和A.Roth，“差异隐私的算法基础”已找到。趋势理论。计算。科学。2014年，第9卷，第3-4期，第211-407页。

数字图书馆

[10]

B.Nazer和M.Gastpar，“多通道计算”IEEE传输。Inf.理论第53卷，第10期，第3498–3516页，2007年10月。

数字图书馆

[11]

G.Zhu、Y.Wang和K.Huang，“低延迟联邦边缘学习的宽带模拟聚合”IEEE传输。无线通信。，第19卷，第1期，第491-506页，2020年1月。

[12]

T.Sery和K.Cohen，“关于多址衰落信道上的模拟梯度下降学习”IEEE传输。信号处理。第68卷，第2897–2911页，2020年。

[13]

M.Mohammadi Amiri和D.Gunduz，“无线边缘的机器学习：空中分布式随机梯度下降，”IEEE传输。信号处理。第68卷，第2155–2169页，2020年。

[14]

N.Zhang和M.Tao，“空中联合学习的梯度统计感知功率控制”，2020年，arXiv:2003.02089。[在线]。可用：http://arxiv.org/abs/2003.02089

[15]

K.Yang、T.Jiang、Y.Shi和Z.Ding，“通过空中计算实现联合学习”IEEE传输。无线通信。第19卷，第3期，第2022-2035页，2020年3月。

数字图书馆

[16]

D.Alistarh、D.Grubic、J.Li、R.Tomioka和M.Vojnovic，《QSGD：通过梯度量化和编码实现高效通信的SGD》，in程序。高级神经信息处理。系统。（NIPS），美国加利福尼亚州长滩，2017年12月，第1709–1720页。

[17]

J.Bernstein，Y.-X.Wang，K.Azizzadenesheli和A.Anandkumar，“signSGD:非凸问题的压缩优化”程序。内部配置机。学习。（ICML）瑞典斯德哥尔摩，2018年7月，第1-25页。

[18]

Y.Du、S.Yang和K.Huang，“用于通信效率边缘学习的高维随机梯度量化”IEEE传输。信号处理。，第68卷，第2128-2142页，2020年。

[19]

W.-T.Chang和R.Tandon，“多接入渠道的通信高效联合学习”，2020年，arXiv:2001.08737号。[在线]。可用：http://arxiv.org/abs/2001.08737

[20]

G.Zhu、Y.Du、D.Gunduz和K.Huang，“通信效率联邦边缘学习的一对一空中聚合：设计和收敛分析”，2020年，arXiv:2001.05713号。[在线]。可用：http://arxiv.org/abs/2001.05713

[21]

R.Shokri、M.Stronati、C.Song和V.Shmatikov，《针对机器学习模型的成员推理攻击》程序。IEEE交响乐。安全。隐私（SP）2017年5月，第3-18页。

[22]

M.Ababedite等人，《不同隐私的深度学习》程序。ACM SIGSAC配置计算。Commun公司。安全。2016年10月，奥地利维也纳，第303–318页。

[23]

N.Wu、F.Farokhi、D.Smith和M.Ali Kaafar，“凸机器学习与差异隐私的协作价值”，2019年，arXiv:1906.09679号。[在线]。可用：http://arxiv.org/abs/1906.09679

[24]

N.Agarwal、A.T.Suresh、F.X.X.Yu、S.Kumar和B.McMahan，“cpSGD：通信效率高和差异化私有分布式SGD”，摘自程序。高级神经信息处理。系统。（NIPS），加拿大魁北克省蒙特利尔，2018年12月，第7564–7575页。

[25]

K.Wei等人，“具有差异隐私的联合学习：算法和性能分析”IEEE传输。Inf.法医安全，第15卷，第3454–3469页，2020年4月。

数字图书馆

[26]

B.Balle、G.Barthe和M.Gaboardi，“通过子采样进行隐私放大：通过耦合和分歧进行紧密分析”，in程序。高级神经信息处理。系统。（NIPS）加拿大魁北克省蒙特利尔，2018年12月，第6277–6287页。

[27]

V.Gandikota、D.Kane、R.Kumar Maity和A.Mazumdar，“VqSGD：矢量量化随机梯度下降”，2019年，arXiv公司：1911.07971。[在线]。可用：http://arxiv.org/abs/1911.07971

[28]

M.Seif、R.Tandon和M.Li，“具有本地差异隐私的无线联合学习”，2020年，arXiv:2002年5月151日。[在线]。可用：http://arxiv.org/abs/2002.05151

[29]

Y.Koda、K.Yamamoto、T.Nishio和M.Morikura，“不同私有AirComp联合学习与功率自适应控制接收器噪音”，2020年，arXiv:2004年6月337日。[在线]。可用：http://arxiv.org/abs/2004.06337

[30]

A.Sonee和S.Rini，“基于不同隐私约束的多接入通道的高效联合学习”，2020年，arXiv:2005.07776号。[在线]。可用：http://arxiv.org/abs/2005.07776

[31]

Y.Zhao、M.Li、L.Lai、N.Suda、D.Civin和V.Chandra，“非IID数据的联合学习”，2018年，arXiv:1806.00582。[在线]。可用：http://arxiv.org/abs/1806.00582

[32]

S.Wang等人，“资源受限边缘计算系统中的自适应联合学习”IEEE J.选择。公共区域。，第37卷，第6期，第1205-1221页，2019年6月。

[33]

A.Reisizadeh、A.Mokhtari、H.Hassani、A.Jadbabaie和R.Pedarsani，“Fedpaq:具有周期平均和量化的通信效率联邦学习方法”，in程序。国际Conf.Artif。智力。统计（AISTATS），意大利巴勒莫，2020年6月，第2021–2031页。

[34]

T.Li、A.Kumar Sahu、M.Zaheer、M.Sanjabi、A.Talwalkar和V.Smith，“异构网络中的联合优化”，2018年，arXiv:1812.06127。[在线]。可用：http://arxiv.org/abs/1812.06127

[35]

S.Ravi，“使用神经预测的高效设备模型”，in程序。内部配置机。学习。（ICML）2019年6月，美国加利福尼亚州长滩，第5370–5379页。

[36]

W.Debaenst、A.Feys、I.Cuiñas、M.GarcíA Sánchez和J.Verhaevert，“3.5GHz频带下5G室内无线电信道测量的RMS延迟扩展与相干带宽，”传感器，第20卷，第3期，第750页，2020年1月。

[37]

S.Wang等人，“3.5GHz下5G车载信道的多普勒频移和相干时间”，in程序。IEEE国际标准。天线传播。USNC/URSI国家无线电科学。会议，马萨诸塞州波士顿，美国，2018年7月，第2005-2006页。

[38]

X.Cao、G.Zhu、J.Xu和K.Huang，“衰落信道中过空计算的优化功率控制”IEEE传输。无线通信。，提前访问，2020年8月4日。10.1109/TWC.2020.3012287。

[39]

A.Mahmood、M.I.Ashraf、M.Gidlund、J.Torsner和J.Sachs，“5G无线边缘的时间同步：关键MTC的要求和解决方案，”IEEE通信。美格。，第57卷，第12期，第45-51页，2019年12月。

[40]

H.Karimi、J.Nutini和M.Schmidt，《Polyak-Lojasiewicz条件下梯度和近似粒度方法的线性收敛》程序。联合Eur.Conf.Mach。学习。知识。发现数据库（ECML KDD）意大利里瓦德尔加尔达，2016年9月，第795-811页。

[41]

L.Bottou、F.E.Curtis和J.Nocedal，“大规模机器学习的优化方法”SIAM版本。，第60卷，第2期，第223–311页，2018年1月。

[42]

M.P.Friedlander和M.Schmidt，“数据拟合的混合确定性随机方法”SIAM J.科学。计算。，第34卷，第3期，第A1380–A1405页，2012年1月。

数字图书馆

[43]

P.Zhao和T.Zhang，“正则化损失最小化的重要抽样随机优化”，in程序。国际协调机构。学习。（ICML）2015年7月，法国里尔，第1-9页。

[44]

X.Chen、Z.Steven Wu和M.Hong，“理解私人SGD中的梯度剪裁：几何视角”，2020年，arXiv:2006.15429。[在线]。可用：http://arxiv.org/abs/2006.15429

[45]

J.Zhang、T.He、S.Sra和A.Jadbabaie，《为什么梯度削波加速训练：适应性的理论依据》程序。Int.Conf.学习。代表。（ICLR），美国洛杉矶新奥尔良，2019年5月，第1-21页。

引用人

文D角X刘鹏朱G施Y黄K(2024)面向任务的多设备边缘人工智能空中计算IEEE无线通信汇刊10.1109/TWC.2023.329470323:3(2039-2053)在线发布日期：2024年3月1日
https://dl.acm.org/doi/101109/TWC.20233294703
李·M于G戴H(2024)无线网络中基于图神经网络的保私性分散推理IEEE无线通信汇刊10.1109/TWC.2023.327944223:1(543-558)在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.1109/TWC.2023.3279442
朱M西钦M公园S郭C冯C西蒙O(2024)基于保形预测的无线信道上具有可靠不确定性量化的联合推理IEEE信号处理汇刊10.1109/TSP.2024.335861572(1235-1250)在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.109/TSP.2024.3358615
显示更多引用者

索引术语

免费隐私：通过无编码传输和自适应功率控制的无线联合学习
1. 网络
  1. 网络类型
    1. 移动网络
    2. 无线接入网络
2. 安全和隐私

索引项已通过自动分类分配给内容。

建议

具有中频和MMSE接收机的CDMA信道的渐近最优传输功率和速率控制

针对具有多用户类别、随机扩频码和接收机的DS-CDMA时变衰落信道，推导出了采用传统匹配滤波器（MF）或传统匹配滤波器的渐近组合最优传输功率和速率控制策略。。。
阅读更多信息
具有单用户和多用户检测的自适应功率和速率传输
2007 IEEE无线通信和网络会议记录

我们提出了一种技术，用于在存在加性高斯白噪声（AWGN）和多址干扰（MAI）的情况下提高多用户直接序列码分多址（DS-CDMA）信道的可实现频谱效率。这个。。。
阅读更多信息
无MUI接收的空时编码CDMA上行链路传输

研究了在直接序列码分多址（DS-CDMA）系统上行链路中采用空时分组编码（STBC）的问题。提出了一种新的空时（ST）编码的多径上行传输系统结构。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片IEEE通讯选定领域杂志

IEEE通信选定领域杂志第39卷第1期

2021年1月

294页

国际标准编号：0733-8716

0733-8716©2020 IEEE版权所有。允许个人使用，但重新发布/重新分发需要IEEE许可。请参见https://www.ieee.org/publications/rights/index.html了解更多信息。

出版商

IEEE出版社

出版历史

出版：2021年1月1日

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

31
引文总数
查看引文
0
下载总量

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

文D角X刘鹏朱G施Y黄K(2024)面向任务的多设备边缘人工智能空中计算IEEE无线通信汇刊10.1109/TWC.2023.329470323:3(2039-2053)在线发布日期：2024年3月1日
https://dl.acm.org/doi/10.1109/TWC.2023.3294703
李·M余G戴H(2024)无线网络中基于图神经网络的保私性分散推理IEEE无线通信汇刊10.1109/TWC.2023.327944223:1(543-558)在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.1109/TWC.2023.3279442
朱M泽钦M公园S郭C冯C西蒙O(2024)基于共形预测的无线信道可靠不确定性量化联合推理IEEE信号处理汇刊10.1109/TSP.2024.335861572(1235-1250)在线发布日期：2024年1月1日
https://dl.acm.org/doi/10.109/TSP.2024.3358615
陈R黄C秦X马恩平移M沈X(2024)通过Piggyback方法实现节能和差异化私人联合学习IEEE移动计算汇刊10.1109/TMC.2023.326832323:4(2698-2711)在线发布日期：2024年4月1日
https://dl.acm.org/doi/10.109/TMC.2023.3268323
王Z格罗特维尔德A古尔索伊M贡杜兹DMalekzadeh M公司奥嫩M萨杜尤Y施Y张杰(2023)具有差异隐私的分层空中联合学习2023年ACM无线安全和机器学习研讨会会议记录10.1145/3586209.3591400(51-56)在线发布日期：2023年6月1日
https://dl.acm.org/doi/10.1145/3586209.3591400
林Z刘浩张Y(2023)CFLIT：共存的联合学习和信息传递IEEE无线通信汇刊10.1109/TWC.2023.326314822:11(8436-8453)在线发布日期：2023年11月1日
https://dl.acm.org/doi/101109/TWC.20233263148
李X刘菲周Z朱G王S黄K龚Y(2023)空中综合传感、通信和计算：MIMO波束形成设计IEEE无线通信汇刊10.1109/TWC2022.323379522:8(5383-5398)在线发布日期：2023年8月1日
https://dl.acm.org/doi/10.1109/TWC.2022.3233795
张杰张杰Ng D公司艾B(2023)基于联合学习的无单元大规模MIMO隐私保护系统IEEE无线通信汇刊10.1109/TWC2022.3225812号22:7(4449-4460)在线发布日期：2023年7月1日
https://dl.acm.org/doi/10.1109/TWC.2022.3225812
刘德西蒙O(2023)无线联合Langevin Monte Carlo：重新利用信道噪声进行贝叶斯采样和保密IEEE无线通信汇刊10.1109/TWC2022.3215663号22:5(2946-2961)在线发布日期：2023年5月1日
https://dl.acm.org/doi/10.1109/TWC.2022.3215663
李X朱G沈K韩寒K黄K龚Y(2023)节能无线群组标记：联合注释器集群和功率控制IEEE无线通信汇刊10.1109/TWC2022.320819822:3(2022-2035)在线发布日期：2023年3月1日
https://dl.acm.org/doi/10.1109/TWC.2022.3208198
显示更多引用者

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录