×
迈克尔·乔丹。;Jason D·李。;杨云

通信效率高的分布式统计推断。 （英文） Zbl 1420.62097号

美国统计协会。 114，编号526，668-681（2019）.
总结：我们提出了一个通信效率代理似然用于解决分布式统计推断问题的（CSL）框架。CSL为全局似然提供了一个通信效率高的代理，可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计，CSL可证明改进了朴素平均方案，并有助于构造置信区间。对于高维正则化估计，CSL导致了一个通信开销可控的最小-最优估计。对于贝叶斯推理，CSL可用于形成收敛于真后验的通信效率准后验分布。这种准后验过程显著提高了马尔可夫链蒙特卡罗（MCMC）算法的计算效率，即使在非分布式环境中也是如此。我们通过理论分析和实验来探索CSL近似的性质。

引用于96文件

MSC公司：

10层62层 点估计
2012年12月62日 参数估计量的渐近性质
2015年1月62日 贝叶斯推断
62甲12 多元分析中的估计
62J07型 岭回归；收缩估计器（拉索）

关键词：

通信效率;分布式推理;似然近似

软件：

DiSCO公司
PDF格式BibTeX公司 XML格式引用
\textit{M.I.Jordan}等人，《美国统计协会期刊》第114期，第526、668--681号（2019年；Zbl 1420.62097）
全文： 内政部 arXiv公司 链接

参考文献：

[1] 比西里，P。；霍姆斯，C。；Walker，S.，更新信念分布的一般框架，英国皇家统计学会杂志，B系列，78，1103-1130（2016）·Zbl 1414.62039号
[2] Braverman，M。；加格，A。；马，T。；阮，H。；Woodruff，D.，通过分布式数据处理不等式解决统计估计问题的通信下限，第四十八届ACM计算理论研讨会论文集，1011-1020（2016）·Zbl 1373.68235号
[3] 切尔诺朱科夫，V。；Hong，H.，《经典估计的MCMC方法》，《计量经济学杂志》，115，293-346（2003）·Zbl 1043.62022号
[4] 西克利夫兰。；Hafen，R.，Divide and Recombine（D&R）：大型复杂数据的数据科学，统计分析和数据挖掘，7425-433（2014）·Zbl 07260415号
[5] 德梅尔，J。；格里戈里，L。；霍姆曼，M。；Langou，J.，通信——最优并行和序列QR及LU因子分解，SIAM科学计算杂志，34，206-239（2012）·Zbl 1241.65028号
[6] 杜奇，J。；阿加瓦尔，A。；Wainwright，M.，《分布式优化的双重平均：收敛分析和网络缩放》，IEEE自动控制汇刊，57592-606（2012）·Zbl 1369.90156号
[7] 杜奇，J。；约旦，M。；温赖特，M。；Zhang，Y.，《分布式统计估计的最优保证》（2015）
[8] 加格，A。；马，T。；Nguyen，H.，《分布式统计估计和维数的通信成本》，《神经信息处理系统的进展》，2726-2734（2014）
[9] 约翰逊，R。；Zhang，T.，使用预测方差减少加速随机梯度下降，神经信息处理系统进展，315-323（2013）
[10] Kannan，R。；Vempala，S。；Woodruff，D.，《分布式数据的主成分分析和高级相关性》，第27届学习理论会议，1040-1057（2014）
[11] 凯鹏华盈，A。；Talwalkar，A。；Sarkar，P。；Jordan，M.I.，《海量数据的可扩展引导》，《皇家统计学会杂志》，76795-816（2014）·Zbl 07555464号
[12] Lee，J。；孙，Y。；刘，Q。；Taylor，J.，《通信高效稀疏回归：一步法》（2015）
[13] Lee，J.D。；林，Q。；马，T。；Yang，T.，分布式随机方差降低梯度方法和通信复杂性的下界，机器学习研究杂志，18，1-43（2017）·Zbl 1435.68380号
[14] Mackey，L。；Talwalkar，A。；Jordan，M.I.，《分布式矩阵完成和稳健因子分解》，《机器学习研究杂志》，16，913-960（2015）·Zbl 1337.68225号
[15] 麦克劳林（D.Maclaurin）。；Adams，R.，《萤火虫蒙特卡罗：具有数据子集的精确MCMC》（2014）
[16] 内斯旺格，W。；王，C。；Xing，E.，《渐近精确，令人尴尬的并行MCMC》，第三十届人工智能不确定性会议论文集，623-632（2015）
[17] Nesterov，Y.，《凸优化入门讲座：基础课程》，87（2013），纽约：Springer Science&Business Media
[18] 拉比诺维奇，M。；安吉利诺，E。；Jordan，M.，《神经信息处理系统进展》，变分共识蒙特卡罗（2016），纽约州红钩：Curran Associates，纽约州红钩
[19] Raskutti，G。；温赖特，M。；Yu，B.，相关高斯设计的受限特征值特性，机器学习研究杂志，11，2241-2259（2010）·Zbl 1242.62071号
[20] 斯科特·S。；拦截器，A。；博纳西，F。；Chipman，H。；乔治·E。；Mcculloch，R.，《贝叶斯与大数据：共识蒙特卡罗算法》，《国际管理科学与工程管理杂志》，11，78-88（2016）
[21] O.沙米尔。；斯雷布罗，N。；Zhang，T.，使用近似牛顿型方法的通信效率分布式优化，第31届机器学习国际会议论文集（ICML-14），1000-1008（2014）
[22] Suchard，M。；王，Q。；陈，C。；弗雷林格，J。；克罗恩，M。；West，M.，《理解统计计算的GPU编程：大规模并行大规模混合的研究》，《计算与图形统计杂志》，19，419-438（2010）
[23] Terenin，A。；D.辛普森。；Draper，D.，异步吉布斯采样（2016）
[24] Van De Geer，S。；Bühlmann，P。；Ritov，Y。；Dezeure，R.，《关于高维模型的渐近最优置信域和检验》，《统计年鉴》，第42期，第1166-1202页（2014年）·Zbl 1305.62259号
[25] Wang，J。；科拉尔，M。；斯雷布罗，N。；Zhang，T.，高效的稀疏分布式学习，第34届机器学习国际会议论文集，70，3636-3645（2017）
[26] 王，X。；Dunson，D.，通过Weierstrass采样器并行化MCMC（2015）
[27] 张，S。；Choromanska，A。；Lecun，Y.，用弹性平均Sgd进行深度学习，神经信息处理系统的进展，685-693（2015）
[28] Zhang，Y。；杜奇，J。；Wainwright，M.，《统计优化的高效通信算法》，机器学习研究杂志，1433321-3363（2013）·Zbl 1318.62016号
[29] Zhang，Y。；Lin，X.，自协调经验损失的通信效率分布式优化，第32届国际机器学习会议论文集，362-370（2015）
[30] Zhang，Y。；Lin，X.，Disco:自协调经验损失的分布式优化，第32届机器学习国际会议论文集，362-370（2015）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。