基于Spark的极限学习机算法并行化研究

doi:10.11896/j.issn.1002-137X.2017.12.006

计算机科学››2017,第44卷››发行（12）: 33-37.数字对象标识：10.11896/j.issn.1002-137X.2017.12.006

•第四章共因失效大数据学术会议 • 上一篇下一篇

基于火花的极限学习机算法并行化研究

刘鹏,王学奎,黄宜华,孟磊,丁恩杰

中国矿业大学物联网感知矿山研究中心徐州221008;矿山互联网应用技术国家地方联合工程实验室徐州221008,中国矿业大学物联网感知矿山研究中心徐州221008;中国矿业大学信息与控制工程学院徐州221116,南京大学计算机系帕萨大数据实验室南京210023,中国矿业大学物联网感知矿山研究中心徐州221008;矿山互联网应用技术国家地方联合工程实验室徐州221008,中国矿业大学物联网感知矿山研究中心徐州221008;矿山互联网应用技术国家地方联合工程实验室徐州221008;中国矿业大学信息与控制工程学院徐州221116

出版日期:2018-12-01 发布日期:2018-12-01
基金资助:
本文受国家重点研发计划:矿山安全生产物联网关键技术与装备研发（2017YFC08044002017Yfc0804401），国家自然科学基金项目(61471361,3)资助

基于Spark的ELM算法并行化研究

刘鹏、王学奎、黄一华、孟雷、丁恩杰

在线：2018-12-01 出版：2018-12-01

摘要/摘要

摘要：极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究火花分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于火花的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于火花的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,火花在效率方面的优势就越明显。

关键词: 极限学习机,并行化,Spark、RDD、Hadoop、MapReduce

摘要：极限学习机制（ELM）具有很高的训练速度，但由于存在大量的矩阵运算，在应用于大量数据时，效率仍然很低。在深入研究了Spark弹性分布式数据集（RDD）的并行计算之后，我们提出并实现了一种基于Spark的ELM并行算法。为了便于性能比较，还实现了基于Hadoop MapReduce的版本。实验结果表明，基于Spark的ELM并行化算法的训练效率比基于Hadoop-MapReduce的版本显著提高。如果处理的数据量越大，Spark在效率方面的优势就越明显。

关键词： ELM、并行化、Spark、RDD、Hadoop、MapReduce

刘鹏,王学奎,黄宜华,孟磊,丁恩杰.基于火花的极限学习机算法并行化研究[J] ●●●●。计算机科学, 2017, 44(12): 33-37. https://doi.org/10.11896/j.issn.1002-137X.2017.12.006

刘鹏、王学奎、黄一华、孟雷和丁恩杰。基于Spark的ELM算法并行化研究[J] ●●●●。计算机科学，2017，44（12）：33-37。https://doi.org/10.11896/j.issn.102-137X.2017.12.006

参考文献

[1] 黄国斌，朱庆英，SIEW C K.极限学习理论与应用[J]。神经计算，2006,0（1）：489-501。
[2] 黄国斌，王德华，袁L.极限学习机研究[J]。国际J.马赫。学习。&网络，2011,2（2）：107-122。
[3] 黄国斌，丁晓杰，周海明.基于极值学习机的分类优化方法[J]。神经计算，2010,4（1）：155-163。
[4] 何强，尚天飞，庄福智，等.基于MapReduce的回归并行极值学习机[J]。神经计算，2013,2（1）：52-58。
[5] 安俊秀,王鹏,靳宇倡.Hadoop公司大数据处理技术基础与实践[M] ●●●●。北京:人民邮电出版社,2015:15-45.
[6] 地图简化2.0源码分析与编程实践[M] ●●●●。北京:人民邮电出版社,2014:21-60.
[7] CHEN J，CHEN H，WAN X Y，et al.MR-ELM:一个基于MapReduce的大数据时代大规模ELM训练框架[J]。神经计算与应用，2016,7（1）：101-110。
[8] 夏俊鸾,刘旭辉,邵赛赛,等.火花大数据处理技术[M] ●●●●。北京:电子工业出版社,2015
[9] 彭特里斯·N·斯帕克（Pentreath N.Spark）[M]。蔡立宇,等译.北京:人民邮电出版社,2015:32-56.
[10] 刘志清，顾锐，袁C，等.基于SparkR的分类算法并行化综述[J]。计算机科学与技术前沿杂志，2015,9（11）：1281-1294刘志强,顾荣,袁春,等.基于火花的分类算法并行化研究[J] ●●●●。计算机科学与探索,2015,9(11):1281-1294.
[11] FERRARI S，STENGEL R F.神经网络光滑函数逼近[J]。IEEE神经网络汇刊，2005,6（1）：24-38。
[12] 黄永华，顾锐，高晓康。基于Spark的分布式密集矩阵逆矩阵计算的并行化方法：中国，CN 105373517 A[P].2016-03-02黄宜华,顾荣,高兴坤.基于火花的分布式稠密矩阵求逆并行化运算方法:中国,CN 105373517甲[P].2016-03-02。

韵律学

已查看

全文

摘要

引用

共享

讨论

基于火花的极限学习机算法并行化研究

基于Spark的ELM算法并行化研究

PDF（PC）

摘要/摘要

引用本文

使用本文

参考文献

相关文章0

韵律学

本文评价

推荐阅读0