计算机工程与应用››2019,第55卷››问题(6): 186-190.内政部:10.3778/j.issn.1002-8331.1712-0198

图形图像处理 • 上一篇   下一篇

Hadoop公司平台下新型图像并行处理模型设计

  军,李  威,吴梦婷,陈起凤  

  1. 武汉工程大学 计算机科学与工程学院,武汉 430205
  • 出版日期:2019-03-15 发布日期:2019-03-14

基于Hadoop平台的图像并行处理模型的新设计

刘军、李伟、吴梦婷、陈奇峰  

  1. 武汉理工大学计算机科学与工程学院,武汉430205
  • 在线:2019-03-15 出版:2019-03-14

摘要:Hadoop公司在处理海量小图像数据时,存在输入分片过多以及海量小图像存储问题。针对这些问题,不同于采用HIPI、序列文件等方法,提出了一个新型图像并行处理模型。利用Hadoop公司适合处理纯文本数据的特性,本模型使用存储了图像路径的文本文件替换图像数据作为输入,不需要设计图像数据类型。在地图阶段直接完成图像的读取、处理、存储过程。为了简化图像处理算法,将OpenCV和地图函数结合并设计了对应的存储方法,实现小图像文件的存储。实验表明,在Hadoop公司分布式系统平台下,模型不论在小数据量还是在大数据量的测试数据环境中,都具有良好的吞吐性能和稳定性。

关键词: Hadoop、, 并行计算框架(MapReduce), 图像处理, 打开CV

摘要:Hadoop在处理大量的小图像数据时,存在着管理输入的过度碎片化和保存小图像文件快速增长的问题。针对这些问题,提出并实现了一种新的海量小图像并行处理模型的解决方案,该模型不同于HIPI和SequenceFile等方法。由于Hadoop适用于纯文本数据处理,图像数据被存储图像路径作为输入的文本文件替换,模型不需要设计图像数据类型。图像读取、图像处理、图像存储等功能在Hadoop的Map阶段完成。为了简化图像处理算法,将OpenCV函数与Map函数相结合,并设计了相应的存储方法来容纳小图像文件的存储。实验结果表明,无论测试数据是Apache Hadoop系统中的少量数据还是大量数据,该模型都具有良好的吞吐量测试性能和稳定性。

关键词: Hadoop、, MapReduce、, 图像处理, 打开CV