摘要:Hadoop公司在处理海量小图像数据时,存在输入分片过多以及海量小图像存储问题。针对这些问题,不同于采用HIPI、序列文件等方法,提出了一个新型图像并行处理模型。利用Hadoop公司适合处理纯文本数据的特性,本模型使用存储了图像路径的文本文件替换图像数据作为输入,不需要设计图像数据类型。在地图阶段直接完成图像的读取、处理、存储过程。为了简化图像处理算法,将OpenCV和地图函数结合并设计了对应的存储方法,实现小图像文件的存储。实验表明,在Hadoop公司分布式系统平台下,模型不论在小数据量还是在大数据量的测试数据环境中,都具有良好的吞吐性能和稳定性。
刘 军,李 威,吴梦婷,陈起凤. Hadoop公司平台下新型图像并行处理模型设计[J] ●●●●。计算机工程与应用, 2019, 55(6): 186-190.
刘军、李伟、吴梦婷、陈奇峰。基于Hadoop平台的图像并行处理模型的新设计[J]。计算机工程与应用,2019,55(6):186-190。