×
金贾尔·巴尔;白，何;杰明·乔治;卡尔·巴斯特

用于贝叶斯学习的分布式事件触发未调整Langevin算法。 （英语） 兹比尔1520.93306

Automatica公司 156，文章ID 111221，13 p.（2023）.
摘要：本文提出了一种分布式事件触发的未调整Langevin算法（DETULA）来解决贝叶斯学习问题。我们考虑一组网络学习代理，他们可以访问自己独立分布的数据集。每个智能体的目标是通过局部学习以及与相邻智能体的相互作用来重建未知模型参数的全局后验。我们为分布式Langevin算法提出了一种事件触发通信机制，以限制代理之间的交互，从而减少通信开销。我们提供了算法步长和触发阈值的条件，以确保代理参数估计的均方一致性，并将估计收敛到全局后验，就像数据集在中心位置聚合一样。与之前的研究相比，我们的结果的一个主要改进是建立了上述共识，而不对目标函数的梯度施加任何有界限制。此外，我们建立了概率保证，以防止任何代理连续触发，同时保持与无事件触发情况下相同的收敛速度。我们使用分布式监督学习问题演示了DETULA。我们的结果表明，代理通过周期性地与邻居共享样本，成功地恢复了全局后验。

MSC公司：

93元65角 离散事件控制/观测系统
93甲16 多代理系统
93B70型 网络控制

关键词：

贝叶斯学习;朗之万动力学;分布式多智能体网络;事件触发通信

软件：

github
PDF格式BibTeX公司 XML格式引用
\textit{K.Bhar}等人，Automatica 156，文章ID 111221，13 p.（2023；Zbl 1520.93306）
全文： 内政部

参考文献：

[1] 乌奈阿尔瓦拉多；Juanicorena，A。；伊尼戈·阿丁；Sedano，Beatriz；古铁雷斯（Gutiérrez，Iñaki）；de No，Joaquín，低功率电子的能量收集技术，新兴电信技术交易，23，8，728-741（2012）
[2] 克里斯托夫·安德烈（Christophe Andrieu）；De Freitas，南都；阿诺杜塞特；乔丹，迈克尔一世，《MCMC公司机器学习，机器学习，50，1-2，5-43（2003）·Zbl 1033.68081号
[3] Aslansefat、Koorosh、基于ECDF的距离测量算法（2020年），网址：https://github.com/koo-ec/ECDF-based-Distance-Measure。（2021年4月29日检索）
[4] Chau、Ngoc Huy；莫里斯，埃里克；Rásonyi，Miklos；萨巴尼、索提里奥斯；Zhang，Ying，关于随机梯度L（左）具有相关数据流的angevin动力学：完全非凸情况（2019），arXiv预打印，arXiv:1905.13142·Zbl 07419554号
[5] 程翔；Bartlett，Peter L.，《收敛L（左）安格文MCMC公司在里面吉隆坡-发散，机器学习研究论文集，83，186-211（2018）·Zbl 1406.60114号
[6] 程翔；尼拉德里·S·查特吉。；阿巴斯·亚德科里（Abbasi-Yadkori），亚辛（Yasin）；彼得·L·巴特利特。；Jordan，Michael I.，夏普收敛速度L（左）非凸环境中的angevin动力学（2018），arXiv电子打印arXiv:1805.01648
[7] Cheng，Xiang，Chatterji，Niladri S.，Bartlett，Peter L.和Jordan，Michael I.（2018）。欠阻尼Langevin MCMC：非渐近分析。《第31届学习理论会议论文集》，第75卷（第300-323页）。
[8] Dalalyan，Arnak S.，《平滑密度和对数曲线密度近似采样的理论保证》，英国皇家统计学会杂志。B.系列统计方法，79，3，651-676（2017）·Zbl 1411.62030号
[9] Dimarogonas，D.V。；弗拉佐利，E。；Johansson，K.H.，多代理系统的分布式事件触发控制，IEEE自动控制事务，57，5，1291-1297（2012）·Zbl 1369.93019号
[10] Du，W.、Yi，X.、George，J.、Johansson，K.H.和Yang，T.（2018年）。动态事件触发机制的分布式优化。2018年IEEE决策与控制会议（第969-974页）。
[11] Simon Duane；安东尼·肯尼迪（Anthony D.Kennedy）。；布莱恩·彭德尔顿（Brian J.Pendleton）。；Roweth、Duncan、HybridM（M）昂特C类阿洛，物理学字母B，195，2，216-222（1987）
[12] Durmus，Alain；Moulines，Eric，未经调整的强对数曲线分布抽样L（左）angevin算法（2016），arXiv电子打印arXiv:1605.01559
[13] Durmus，Alain；Moulines，Eric，未调整langevin算法的非渐近收敛性分析，应用概率年鉴，27，3，1551-1587（2017）·Zbl 1377.65007号
[14] Durmus，Alain；Moulines，Eric，通过未经调整的langevin算法进行高维贝叶斯推理，伯努利，25，4A2854-2882（2019）·Zbl 1428.62111号
[15] George，Jemin，&Gurram，Prudhvi（2020年）。事件触发通信的分布式随机梯度下降。在AAAI人工智能会议记录，第34卷，第05期（第7169-7178页）。
[16] Girard，A.，《事件触发控制的动态触发机制》，《IEEE自动控制汇刊》，60，7，1992-1997（2015）·Zbl 1360.93423号
[17] Gross，Leonard，对数Sobolev不等式，《美国数学杂志》，97，4，1061-1083（1975）·Zbl 0318.46049号
[18] 格尔布兹巴拉班，默特；高雪峰；胡元汉；朱凌炯，分散随机梯度Langevin动力学和Hamilton Monte Carlo（2020），arXiv:2007.00590·兹伯利07626754
[19] 古特曼，I。；Xiao，W.，广义逆L（左）阿普拉斯矩阵及其应用，《科学通报》，数学与自然科学类，科学数学，129，29，15-23（2004）·Zbl 1079.05055号
[20] Heemels，W.P.M.H.、Johansson，K.H.和Tabuada，P.（2012）。事件触发和自触发控制简介。IEEE第51届IEEE决策与控制会议（第3270-3285页）。
[21] 理查德·乔丹（Richard Jordan）；David Kinderlehrer；Otto，FelixF类奥克尔-P（P）兰克方程，SIAM数学分析杂志，29，1，1-17（1998）·Zbl 0915.35120号
[22] 卡尔·S。；莫拉，J。；Poor，H.，《分布式线性参数估计：渐近有效的自适应策略》，SIAM控制与优化杂志，51，3，2200-2229（2013）·Zbl 1272.93112号
[23] Kia，Solmaz S。；科尔特斯、豪尔赫；Martínez，Sonia，通过离散时间通信的连续时间协调算法进行分布式凸优化，Automatica，55，254-264（2015）·Zbl 1377.93018号
[24] Kungurtsev，Vyacheslav，分散的朗之万动力学（2020），arXiv预印本arXiv:2001.00665
[25] 阿努莎·拉利塔；王兴汉；奥斯曼·基林克；吕永熙；塔拉贾维迪；Koushanfar，Farinaz，图上的去中心化贝叶斯学习（2019），arXiv预印本arXiv:1905.10466
[26] 莱姆库勒，B。；Reich，S。；剑桥大学出版社，（模拟H（H）阿米尔顿动力学。模拟H（H）阿密尔顿动力学，剑桥应用和计算数学专著（2004），剑桥大学出版社·Zbl 1069.65139号
[27] 柠檬，Don S。；安东尼·吉瑟尔，P（P）奥L（左）安格文1908年的论文“哦n个T型理论布朗尼（Brownian）M（M）通知“[”S公司乌拉t吨运动纲领B类罗宁，”C.R.A公司计算机辅助设计。S公司ci.第(P（P）aris）146，530-533（1908）]，《美国物理杂志》，65，11，1079-1081（1997）
[28] 马毅安；尼拉德里·查特吉；程翔；尼古拉斯·弗拉马利翁（Nicolas Flamarion）；彼得·巴特利特；乔丹，迈克尔一世，有没有类似的N个esterov加速度MCMC公司? （2019），arXiv电子打印arXiv:1902.00996
[29] 马毅安；陈天奇；Fox，Emily，随机梯度的完整配方MCMC公司，（神经信息处理系统进展28（2015）），2917-2925
[30] 马毅安；陈元思；金、池；尼古拉斯·弗拉马利翁（Nicolas Flamarion）；Jordan，Michael I.，《采样比优化更快》，《国家科学院学报》，116，42，20881-20885（2019）·Zbl 1433.68397号
[31] 马特乌斯·马吉卡（Mateusz B.Majka）。；亚历山大·米贾托维奇；Szpruch，Lukasz，无对数压缩采样算法的非症状界（2018），arXiv预打印，arXiv:1808.07105·Zbl 1466.65008号
[32] 俄勒冈州芒古比；Smith，Aaron，混合H（H）阿密尔顿主义者M（M）昂特C类强对数压缩分布上的arlo 2:数值积分器，（Chaudhuri，Kamalika；Sugiyama，Masashi，机器学习研究论文集，第89卷（2019），PMLR），586-595
[33] 俄勒冈州芒古比；Vishnoi，Nisheeth，二阶的维数紧界H（H）阿密尔顿主义者M（M）昂特C类arlo，（神经信息处理系统进展（2018）），6027-6037
[34] 牟文龙；尼古拉斯·弗拉马利翁（Nicolas Flamarion）；马丁·温赖特（Martin J.Wainwright）。；Bartlett，Peter L.，改进的离散化界限L（左）angevin扩散：无凸性的近最佳速率（2019），arXiv预印本arXiv:1907.11331·Zbl 1493.65021号
[35] 牟文龙；马毅安；马丁·温赖特（Martin J.Wainwright）。；彼得·L·巴特利特。；乔丹，迈克尔一世，高级L（左）angevin扩散产生加速MCMC公司算法（2019），arXiv电子打印arXiv:1908.10859
[36] Neal，Radford M。，MCMC公司使用H（H）阿密尔顿动力学（2012），arXiv电子版arXiv:1206.1901
[37] 奥托，F。；Villani，C.，不等式的推广T型alagrand和与对数的链接S公司obolev不等式，函数分析杂志，173,2361-400（2000）·Zbl 0985.58019号
[38] Parayil，Anjaly；白、何；杰明·乔治；Gurram，Prudhvi，贝叶斯学习的分散Langevin动力学，神经信息处理系统进展，33（2020）
[39] 马克西姆·拉金斯基（Maxim Raginsky）；亚历山大·拉克林；Telgarsky，Matus，通过随机梯度的非凸学习L（左）安杰文动力学：非症状分析，（2017年学习理论会议论文集，第65卷（2017），PMLR），1674-1703
[40] 罗伯茨（Gareth O.Roberts）。；特威迪，Richard L.，指数收敛L（左）angevin分布及其离散近似，Bernoulli，2，4，341-363（1996）·Zbl 0870.60027号
[41] 辛格（Navjot Singh）；数据，深度；杰明·乔治；迪加维、苏哈斯、，SPARQ公司-SGD：分散优化中的事件触发和压缩通信，（第59届IEEE决策和控制会议（2020年），IEEE），3449-3456·Zbl 07734640号
[42] Talwar，Kunal，采样和优化之间的计算分离，（神经信息处理系统进展（2019）），14997-15007
[43] Vempala，Santosh，&Wibisono，Andre（2019年）。未调整项的快速收敛L（左）angevin算法：等周充分。《神经信息处理系统进展》（第8094-8106页）。
[44] Welling，Max，&Teh，Yee W.（2011年）。B类基于随机梯度的ayesian学习L（左）安格文动力学。第28届机器学习国际会议论文集（第681-688页）。
[45] 安德烈·维比索诺（2018）。测量空间中的采样优化：L（左）angevin动力学是一个复合优化问题。第31届学习理论会议记录，第75卷（第2093-3027页）。
[46] 辛冉；Kar，Soummya；Khan，Usman A.，《带梯度跟踪的分散随机优化导论》（2019），arXiv预印本arXiv:1907.09648·Zbl 07591175号
[47] 徐，潘；陈景辉；邹迪凡；顾全全，全球收敛L（左）基于angevin动力学的非凸优化算法，神经信息处理系统进展，3122-3133（2018）
[48] Yi，X.、Yao，L.、Yang，T.、George，J.和Johansson，K.H.（2018年）。具有动态事件触发通信的二阶多代理系统的分布式优化。2018年IEEE决策与控制会议（第3397-3402页）。
[49] 张莹；阿克伊尔迪兹、Ömer Deniz；提奥·达穆拉斯；Sabanis，Sotirios，随机梯度的非渐近估计L（左）非凸优化中局部条件下的angevin动力学（2019），arXiv预印arXiv:1910.02008·兹比尔1512.90185
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。