研究论文

利用模拟传输释放无边界联合学习

作者:霍华德·H·。杨,紫韩陈、和托尼·Q·S。奎克作者信息和声明

IEEE信号处理汇刊,体积72

页774-791

https://doi.org/10.1109/TSP。2024.3352405

出版:2024年1月10日出版历史

摘要

我们证明，仅通过模拟传输和匹配过滤就可以实现联合学习（FL）中边缘服务器的功能。因此，具有大规模分布式用户设备（UE）的网络可以在没有边缘服务器的情况下实现大规模FL。我们还开发了一种训练算法，允许UE连续执行本地计算，而不会被全局参数上传中断，这充分发挥了UE的潜力&#x2019；处理能力。我们推导了所提方案的收敛速度，以量化其训练效率。分析表明，当干扰服从高斯分布时，该算法检索基于服务器的FL的收敛速度。但如果干扰分布较重，则尾部越重，算法收敛速度越慢。尽管如此，通过使计算与通信并行，可以大大减少系统运行时间，而当通信延迟较高时，增益尤其显著。这些发现通过广泛的模拟得到了证实。

工具书类

[1]

B.McMahan、E.Moore、D.Ramage、S.Hampson和B.A.y Arcas，《通信——从分散数据中高效学习深层网络》程序。国际Conf.Artif。智力。统计（AISTATS）2017年4月，美国佛罗里达州劳德代尔堡，第1273-1282页。

[2]

T.Li、A.K.Sahu、A.Talwalkar和V.Smith，“联合学习：挑战、方法和未来方向”IEEE信号处理。美格。，第37卷，第3期，第50-60页，2020年5月。

[3]

J.Park、S.Samarakon、M.Bennis和M.Debbah，“边缘无线网络智能”程序。电气与电子工程师协会，第107卷，第11期，第2204–2239页，2019年10月。

[4]

Y.-J.Liu、S.Qin、Y.Sun和G.Feng，“支持无线网络联合学习的资源消耗”IEEE传输。无线通信。第21卷，第11期，第9974–9989页，2022年11月。

[5]

B.Xu、W.Xia、W.Wen、P.Liu、H.Zhao和H.Zhu，“无线网络自适应分层联合学习”IEEE传输。车辆。Technol公司。第71卷，第2期，第2070–2083页，2022年2月。

[6]

J.Feng、W.Zhang、Q.Pei、J.Wu和X.Lin，“无线供电联邦边缘学习系统的异构计算和资源分配”IEEE传输。Commun公司。第70卷，第5期，第3220–3233页，2022年5月。

[7]

W.Y.B.Lim等人，“移动边缘网络中的联合学习：一项综合调查”IEEE通信。测量教程。第22卷，第3期，第2031–2063页，第三夸脱。2020

[8]

B.Li、S.Cen、Y.Chen和Y.Chi，“梯度跟踪和方差减少网络中的通信效率分布式优化”程序。国际Conf.Artif。智力。统计（AISTATS）意大利西西里岛巴勒莫，2020年8月，第1662-1672页。

[9]

M.Chen、H.V.Poor、W.Saad和S.Cui，“协作联合学习的无线通信”IEEE通信。美格。第58卷，第12期，第48-54页，2020年12月。

[10]

G.Lan、S.Lee和Y.Zhou，“去中心化和随机优化的通信效率算法，”数学。程序。，第180卷，第12期，第1-48页，2020年12月。

[11]

T.Sery和K.Cohen，“关于多址衰落信道上的模拟梯度下降学习”IEEE传输。信号处理。第68卷，第2897–2911页，2020年。

[12]

B.Xiao、X.Yu、W.Ni、X.Wang和H.V.Poor，“空中联合学习：现状、开放挑战和未来方向”，2023年，。

[13]

G.Zhu、Y.Wang和K.Huang，“低延迟联邦边缘学习的宽带模拟聚合”IEEE传输。无线通信。，第19卷，第1期，第491-506页，2019年10月。

[14]

H.Guo，A.Liu和V.K.Lau，“无线网络联合学习的模拟梯度聚合：定制设计和收敛分析”IEEE互联网事物杂志。，第8卷，第1期，第197-210页，2021年1月。

[15]

H.H.Yang、Z.Chen、T.Q.S.Quek和H.V.Poor，“重温模拟空中机器学习：干扰的福与祸”IEEE J.选择。主题信号处理。第16卷，第3期，第406-419页，2022年4月。

[16]

Z.Chen、H.H.Yang和T.Q.S.Quek，“空中边缘智能：分布式学习中的两个干扰面”IEEE通信。美格。2023年6月17日，提前进场。

[17]

M.Frey、I.Bjelaković和S.Staáczak，“相关信道中的空中计算”IEEE传输。信号处理。第69卷，第5739–5755页，2021年。

数字图书馆

[18]

C.Wang等人，“并行内存无线计算”自然电子。第6卷，第381-389页，2023年5月。

[19]

Z.Zhang、R.Wang、T.Li、L.Sun、V.K.N.Lau和K.Huang，“将信道噪声转化为空中主成分分析的加速器”IEEE传输。无线通信。第21卷，第10期，第7926–7941页，2022年10月。

[20]

A.Elgabli、J.Park、C.B.Issaid和M.Bennis，“利用无线信道实现可扩展且保密的联合学习，”IEEE传输。Commun公司。第69卷，第8期，第5194–5208页，2021年8月。

[21]

D.Liu和O.Simeone，“无线联合Langevin蒙特卡罗：重新利用信道噪声进行贝叶斯采样和隐私，”IEEE传输。无线通信。第22卷，第5期，第2946–2961页，2023年5月。

数字图书馆

[22]

K.Yang、T.Jiang、Y.Shi和Z.Ding，“通过空中计算实现联合学习”IEEE传输。无线通信。第19卷，第3期，第2022-2035页，2020年3月。

数字图书馆

[23]

X.Cao、G.Zhu、J.Xu和K.Huang，“衰落信道中过空计算的优化功率控制”IEEE传输。无线通信。，第19卷，第11期，第7498–7513页，2020年11月。

[24]

X.Cao、G.Zhu、J.Xu、Z.Wang和S.Cui，“空中联合边缘学习的优化功率控制设计”IEEE J.选择。公共区域。第40卷，第1期，第342-358页，2022年1月。

数字图书馆

[25]

S.Xia、J.Zhu、Y.Yang、Y.Zhou、Y.Shi和W.Chen，《模拟联合学习的快速收敛算法》程序。IEEE国际协调委员会。，加拿大蒙特利尔，QC，2021年6月，第1-6页。

[26]

Y.Koda、K.Yamamoto、T.Nishio和M.Morikura，《不同私有AirComp联合学习与功率自适应控制接收器噪音》程序。IEEE全球通信。会议（全球司令部），台湾台北，2020年12月，第1-6页。

[27]

S.Jing和C.Xiao，“利用统计信道状态信息通过空中计算实现联合学习”IEEE传输。无线通信。第21卷，第11期，第9351–9365页，2022年11月。

[28]

L.Zhu、H.Lin、Y.Lu、Y.Lin和S.Han，“延迟梯度平均：容忍联合学习的通信延迟”，in程序。高级神经信息处理。系统。（NeurIPS），美国洛杉矶新奥尔良，2021年12月，第29995-30007页。

[29]

B.Nazer和M.Gastpar，“多通道计算”IEEE传输。Inf.理论第53卷，第10期，第3498–3516页，2007年10月。

数字图书馆

[30]

X.Li，“未知路径损耗模型下基于RSS的位置估计”IEEE传输。无线通信。第5卷，第12期，第3626–3633页，2006年12月。

数字图书馆

[31]

L.Clavier、T.Pedersen、I.Rodriguez、M.Lauridsen和M.Egan，“物联网中重尾干扰的实验证据”IEEE通信。莱特。第25卷，第3期，第692-695页，2021年3月。

[32]

D.Middleton，“电磁干扰的统计物理模型”IEEE传输。电动发电机。康皮特。，第EMC-19卷，第3期，第106–127页，1977年8月。

[33]

M.Z.Win、P.C.Pinto和L.A.Shepp，“网络干扰的数学理论及其应用”程序。电气与电子工程师协会，第97卷，第2期，第205–230页，2009年2月。

[34]

X.Yang和A.P.Petropulu，“无线通信中干扰源泊松场的共信道干扰建模与分析”IEEE传输。信号处理。2003年1月，第51卷，第1期，第64-76页。

数字图书馆

[35]

M.Salehi和E.Hossain，“不可靠和资源受限的蜂窝无线网络中的联合学习”IEEE传输。Commun公司。，第69卷，第8期，第5136–5151页，2021年8月。

[36]

Y.Shao、D.Gündüz和S.C.Liew，“不对齐空中计算的联合边缘学习”IEEE传输。无线通信。第21卷，第6期，第3951–3964页，2022年6月。

数字图书馆

[37]

A.Åžahin，“联邦边缘学习的空中计算演示”程序。IEEE全球通信。Conf.（GLOBECOM）研讨会巴西里约热内卢，2022年12月，第1821-1827页。

[38]

A.Sahin、B.Everette和S.S.M.Hoque，《联邦边缘学习中使用DFT-spread OFDM的空中计算》程序。无线通信。Netw公司。确认（WCNC）美国德克萨斯州奥斯汀，2022年5月，第1886-1891页。

[39]

Y.Zhang、M.J.Wainwright和J.C.Duchi，“统计优化的高效通信算法”程序。高级神经信息处理。系统。（NeurIPS）《塔霍湖》，内华达州，美国，2012年12月，第1-6页。

[40]

S.U.Stich、J.-B.Cordonnier和M.Jaggi，《记忆稀疏化SGD》程序。高级神经信息处理。系统。（NeurIPS），加拿大魁北克省蒙特利尔，2018年12月，第4447–4458页。

[41]

X.Li、K.Huang、W.Yang、S.Wang和Z.Zhang，“FedAvg对非IID数据的趋同”，2019年，。

[42]

H.Wang、M.Gürbüzbalaban、L.Zhu、U.öimšekli和M.A.Erdogdu，“无限噪声方差下随机梯度下降的收敛速度”，2021年，。

[43]

T.P.Krasulina，“关于无限方差的随机逼近过程”理论概率应用。1969年，第14卷，第3期，第522-526页。

[44]

J.Wang、Q.Liu、H.Liang、G.Joshi和H.V.Poor，《解决异构联邦优化中的目标不一致问题》程序。高级神经信息处理。系统。，加拿大温哥华，2020年，第7611-7623页。

[45]

Y.LeCun、L.Bottou、Y.Bengio和P.Haffner，“基于梯度的学习应用于文档识别”程序。电气与电子工程师协会1998年11月，第86卷，第11期，第2278–2324页。

[46]

A.Krizhevsky等人，“从微小图像中学习多层特征”，硕士论文，计算机系。科学。，加拿大安大略省多伦多市多伦多大学，2009年。

[47]

D.A.E.Acar、Y.Zhao、R.Matas、M.Mattina、P.Whatmough和V.Saligrama，《基于动态正则化的联合学习》程序。Int.Conf.学习。代表。, 2021.

[48]

T.-M.H.Hsu、H.Qi和M.Brown，“测量非相同数据分布对联合视觉分类的影响”，2019年，。

[49]

Y.Chen、Y.Ning、M.Slawski和H.Rangwala，《非IID数据边缘设备的异步在线联合学习》程序。IEEE国际会议大数据（大数据）美国佐治亚州亚特兰大，2020年12月，第15-24页。

[50]

J.Nguyen等人，《带缓冲异步聚合的联合学习》，in程序。国际会议工件。智力。统计（AISTATS）西班牙巴伦西亚，2022年3月，第3581–3607页。

[51]

W.Wang、Z.Chen、N.Pappas和H.H.Yang，《空中部分梯度联合学习》程序。IEEE国际会议传感器通信。Netw公司。车间（SECON-WS）西班牙马德里，2023年9月。

[52]

J.Lin等人，《MCUNet:物联网设备上的微小深度学习》，in程序。高级神经信息处理。系统。（NeurIPS）加拿大温哥华，2020年12月，第11711-11722页。

[53]

H.H.Yang、G.Geraci、T.Q.Quek和J.G.Andrews，“下行大规模MIMO蜂窝网络的Cell-edge软件预编码”IEEE传输。信号处理。2017年7月，第65卷，第13期，第3344–3358页。

数字图书馆

[54]

C.Feng、H.H.Yang、D.Hu、Z.Zhao、T.Q.S.Quek和G.Min，“分层无线网络中的移动感知集群联合学习，”IEEE传输。无线通信。第21卷，第10期，第8441–8458页，2022年10月。

[55]

E.Gorbunov、M.Danilova和A.Gasnikov，“通过加速梯度剪裁实现重尾噪声的随机优化”，in程序。高级神经信息处理。系统。（NerIPS）加拿大温哥华，2020年12月，第15042–15053页。

索引术语

利用模拟传输释放无边界联合学习
1. 网络

索引项已通过自动分类分配给内容。

建议

基于蜂窝网络的分布式协作设备到设备传输

基于LTE-advanced的设备到设备（D2D）通信已被证明在提高网络性能和减轻基站流量方面是有效的。通过与蜂窝用户（CU）共享无线电资源，D2D通信可以。。。
阅读更多信息
通过HSDPA传输优化MBMS功率分配
AICT’09：2009年第五届高级国际电信会议记录

多媒体广播多播服务（MBMS）是通用移动通信系统（UMTS）中增强的最终用户体验日益流行的缩影，因为它允许向大量。。。
阅读更多信息
MBSFN传输的LTE性能评估

长期演进（LTE）是迈向第四代无线电技术的最新一步，旨在提高移动通信的容量和速度，主要目标是支持所谓的“移动宽带”。为了支持。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片IEEE信号处理汇刊

IEEE信号处理汇刊第72卷，发行

2024

1347页

国际标准编号：1053-587倍

1053-587X©2024 IEEE版权所有。允许个人使用，但重新发布/重新分发需要IEEE许可。请参见https://www.ieee.org/publications/rights/index.html了解更多信息。

出版商

IEEE出版社

出版历史

出版：2024年1月10日

限定符

研究文章

贡献者

其他指标

查看文章度量

文献计量学和引文

文献计量学

文章指标

0
引文总数
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

视图选项

查看选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录