计算机工程与应用››2018,第54卷››发行(24): 61-65.内政部:10.3778/j.issn.1002-8331.1709-0005

大数据与云计算 • 上一篇   下一篇

基于地图还原PLS过程监控算法实现

王德政1,张益农1,杨  帆2  

  1. 1.北京联合大学 北京市信息服务工程重点实验室,北京 100101
    2清华大学 自动化系,北京 100084
  • 出版日期:2018-12-15 发布日期:2018-12-14

用MapReduce实现过程监控的并行PLS算法

王德正1、张一农1、杨凡2  

  1. 1.北京联合大学信息服务工程北京重点实验室,北京100101
    2.清华大学自动化系,中国北京100084
  • 在线:2018-12-15 出版:2018-12-14

摘要:偏最小二乘算法(PLS)是现代工业过程常用的多变量统计过程监控方法之一,然而在现代工业背景下,采用单台个人计算机对大规模工业过程数据进行回归分析的时间复杂度较高。针对此问题,在Hadoop公司云平台上提出了一种基于MapReduce PLS算法。从时间复杂度考虑,将其交叉有效性检验部分并行处理。在三台个人计算机上搭建三个节点的Hadoop公司全分布集群平台上,以田纳西-伊斯曼过程仿真平台数据回归分析为例,验证所提出的算法。实验结果表明,在使用做现代大规模工业过程数据分析时,所提出的算法在保证精度的前提下,能有效改善数据处理的时效性并且随着个人计算机数量的增加时效性具有近似线性的提高。

关键词: 云计算, 过程监控, MapReduce、, 偏最小二乘算法, 并行算法

摘要:偏最小二乘(PLS)在工业过程多元统计过程监测方法中得到了广泛的应用,在处理海量数据时计算量大、时间要求高。为了解决这个问题并考虑时间复杂性,提出了一种基于MapReduce的并行偏最小二乘算法,该算法包括交叉验证的并行化。以田纳西-伊士曼过程数据为例,在Hadoop集群上进行了实验,该集群是普通计算机的集合。实验结果表明,并行偏最小二乘算法可以处理大量的过程数据,可以显著缩短建模时间,并且随着计算机数量的增加,加速比基本上呈线性增长,并且易于扩展。

关键词: 云计算, 过程监控, MapReduce、, 偏最小二乘法, 并行算法