杂志的下一篇文章
工业计量用位移激光干涉仪系统的校准
期刊上的上一篇文章
利用光纤光栅技术测试不同支护条件下锚杆的力学性能
 
 
搜索用于文章:
标题/关键字
作者/隶属关系/电子邮件
日记账
文章类型
 
 
高级搜索
 
章节
特别发行
体积
问题
编号
第页
 
期刊销售
传感器
第19卷
第19期
10.3390/s19194099
传感器-徽标
提交到此日志 本期刊的评论 提出特殊问题
► 文章菜单

文章菜单

分享 分享 公告 帮助 format_quote格式 引用 问题_答案 在SciProfiles中讨论 竖起拇指（_U）
...
背书 短信
...
注释
第一页（_P）
设置
订购文章重印
字体类型：
宋体 佐治亚州 宋体，Verdana
字体大小：
澳大利亚 澳大利亚 澳大利亚
行距：
列宽：
5个 5个 5个
背景：
第条

一种改进的基于粒子群优化的局部加权PLS工业软传感器建模方法

通过
任明伦
1,2,*,
宋月丽
1,2,*和
魏楚
1,2
1
合肥工业大学管理学院，合肥230009
2
过程优化与智能决策教育部重点实验室，合肥230009
*
应向其发送信件的作者。
传感器 2019,19(19), 4099;https://doi.org/10.3390/s19194099
收到的提交文件：2019年7月10日/修订日期：2019年9月15日/接受日期：2019年9月18日/发布日期：2019年9月22日
（本条属于本节智能传感器)
浏览地物
版本注释

摘要

:
在工业生产中，软传感器在确保产品质量和生产安全方面发挥着非常重要的作用。传统上，使用历史数据离线构建模型的全局建模方法通常用于开发软传感器。然而，由于工业生产过程中各种复杂且未知的变化，全局模型的性能随着时间的推移而恶化，并且频繁的模型维护很困难。本研究采用局部加权偏最小二乘（LWPLS）作为工业软测量建模的实时学习方法。在LWPLS中，带宽参数h对算法的性能有重要影响，因为它决定了邻域的范围并影响权重的变化。因此，我们提出了一种结合粒子群优化（PSO）和LWPLS的两阶段带宽优化策略。通过一个数值模拟实例和一个工业应用案例，对所提出的PSO–LWPLS方法的性能进行了评估。结果表明，与传统的全局方法和固定带宽的LWPLS相比，所提出的PSO–LWPLS能够获得更好的预测性能。结果还证明，在数据密度发生变化的情况下，该方法比其他方法具有明显的优势。

1.简介

在工业生产中，为了确保产品质量或生产安全，需要实时监测关键工艺参数或质量指标。然而，在线测量并不总是可用的，因为实验分析可能非常耗时，或者分析仪器可能超出可接受范围。在这些情况下，人们提出并证明了软传感器的实用性，软传感器通常是利用从工业生产中收集的丰富数据建立的预测模型或系统。近年来，软传感器在质量预测和其他与过程控制相关的应用中越来越流行[1,2].
根据日本学者进行的一项调查，日本化学工业中使用的90%以上的软测量模型基于线性建模方法，包括多元线性回归（MLR）、偏最小二乘（PLS）、主成分分析（PCA）等[三]. 为了适应某些工业过程的非线性，还使用了几种非线性建模方法，如人工神经网络（ANN）[4,5]、支持向量机（SVM）、[6,7]，非线性PLS[8]尽管上述方法广受欢迎，但要持续保持软传感器的良好性能仍然不容易。为了建立一个好的软传感器，必须考虑复杂的过程变化；否则，软传感器的精度可能在一段时间后降低。为了解决这个问题，一些自适应方法，如移动窗口技术[9]和递归适应技术[10,11]，已被提议。这些方法可以逐渐适应新的工艺状态，但无法应对催化剂失效和原料变化等突然变化[12,13].
在这种情况下，最近引入了实时学习（JITL）方法来开发软传感器，并成功地用于一些工业过程的控制[14,15,16,17,18]. 在JITL框架中，没有需要提前离线构建的模型。当需要预测时，首先根据每个样本与查询样本的相似性计算历史数据集中每个样本的权重；然后，构建了局部PLS模型。在回答该查询之后，该模型将被丢弃。这意味着每次查询到达时，基于JITL的方法都会构建一个新的本地模型[18]. 因此，与全局方法相比，基于JITL的方法能够更好地处理过程变化，并且局部模型重建也使其能够很好地处理非线性过程[17].
局部加权PLS（LWPLS）作为一种JITL方法，结合PLS和局部加权回归（LWR）的特性，可以很好地处理非线性、共线性和过程变化[19]. 因此，它在各种工业应用中非常流行。在LWPLS中，需要选择与性能密切相关的几个部分，如带宽参数、距离函数、权重函数等小时，这对LWPLS至关重要，因为当需要构建局部PLS模型时，它决定了邻域的范围和权重的形状变化[20,21]. 如果带宽小时太小，将出现过拟合问题，并且LWPLS模型的可靠性也将受到影响。另一方面，如果太大，则无法达到令人满意的精度[21,22]. 因此，需要一个方案来确定最佳带宽参数。
已经使用了几种典型的方法来确定该参数。一种方法是使用固定带宽。虽然这种方法很简单，但由于整个数据集中的数据密度可能相差很大，因此无法获得令人满意的性能。另一种方法是k最近邻（k-NN）带宽方法。在该方法中，首先计算查询点与每个样本之间的距离，并按升序排列；然后，将带宽设置为第K个距离值[23]. 与固定带宽选择相比，K-NN方法在各种应用中表现更好。然而，为每个查询确定最佳K值并不容易[20,21,23]. 第三种方法是自动带宽设计方法，在这种方法中，最佳带宽是根据一定的标准，如最小均方误差（MMSE）标准或Akaike信息标准（AIC），通过反复试验确定的[22]. 该方法缺乏优化思想，精度有待进一步提高。此外，一些智能算法，如遗传算法（GA）[21,24]和粒子群优化（PSO）[22]，已用于优化带宽。然而，在这些方法中，使用智能算法在线进行带宽优化，这大大影响了模型的查询响应速度。
为了提高模型的准确性，同时确保快速的查询响应，结合粒子群优化算法和LWPLS，提出了一种包括训练阶段和预测阶段的两阶段带宽优化策略。该方法被称为PSO-LWPLS，它集成了基于点的本地带宽选择的基本思想[20]和K-NN方法。设计了离线和在线操作方案，以获得每个查询的最佳带宽。然而，这是一个单参数优化问题：为什么使用粒子群优化来代替传统的一维搜索方法，如牛顿法或黄金分割搜索方法（GSSM）？带宽优化的目标是最小化预测误差，因此分析了目标函数与带宽参数之间的关系。分析结果表明，这种关系很复杂，无法用明确的数学公式表示。此外，当样本数据的密度分布不同时，目标函数与带宽值之间的关系曲线可能会出现多个最小值。以上两个因素使得传统的一维搜索方法不适用。这将在中详细解释第3.2节.
本文的其余部分安排如下。第2节简要介绍了LWPLS和PSO的基本算法。然后，在第3节，详细描述了所提出的PSO-LWPLS建模方法。数值和工业案例研究见第4节最后，本文总结如下第5节.

2.前期工作

2.1. 局部加权PLS

根据JITL框架，LWPLS从基本PLS扩展而来[25]. 当要求进行输出估计时，LWPLS使用PLS构建局部模型。与使用多元线性回归进行局部建模的传统LWR相比，LWPLS具有更好的鲁棒性和处理共线性的优势。LWPLS的基本算法解释如下[26].
让X（X）(N个×第页矩阵）和Y（Y）(N个×米矩阵）是构成历史数据集的输入和输出变量。N个表示总样本数；第页和米分别表示输入和输出变量数。这个n个样本表示为：
X（X） n个 = [ x个 n个 1 , x个 n个 2 , ⋯ , x个 n个 第页 ]
Y（Y） n个 = [ 年 n个 1 , 年 n个 2 , ⋯ , 年 n个 米 ]
获取查询的预测值X（X）q个(1 ×第页向量），首先是每个样本对应的权重X（X）n个（n=1，2…，N个)根据以下方程式计算：
ω n个 = 经验 ( 负极 天 n个 小时 × σ 天 )
天 n个 = ( X（X） n个 负极 X（X） q个 ) ( X（X） n个 负极 X（X） q个 ) T型
天 = [ 天 1 , 天 2 , ⋯ , 天 N个 ] T型
哪里 σ 天 表示距离向量的标准偏差 天 ; 和小时是本文讨论的带宽参数，也称为平滑参数。参数的优化选择小时将在第三节中详细介绍。根据权重对角线建立局部加权PLS模型N个×N个矩阵Ω给出如下：
Ω = 天 我 一 克 [ ω 1 , ω 2 , ⋯ , ω N个 ]
LWPLS算法的细节如算法1所示。确定潜在变量数R（右），采用交叉验证方法。在步骤3中，输入变量X（X），输出Y（Y）、和查询X（X）q个都是事先以手段为中心的。步骤5-7迭代推导潜在变量t吨，加载向量第页，和回归系数向量q个.获取参数向量W公司第页在步骤6中 X（X） 第页 T型 Ω Y（Y） 第页 Y（Y） 第页 T型 Ω X（X） 第页 首先计算；然后，将其相应的特征值赋给W公司第页[25,27].
算法1:LWPLS
1：设置R（右）和小时.
2：计算权重矩阵Ω
3：计算X（X）0,Y（Y）0、和X（X）问题0；
X（X） 0 = X（X） 负极 1 N个 [ x个 ¯ 1 , x个 ¯ 2 , ⋯ , x个 ¯ 第页 ]
Y（Y） 0 = Y（Y） 负极 1 N个 [ 年 ¯ 1 , 年 ¯ 2 , ⋯ , 年 ¯ 米 ]
X（X） q个 0 = X（X） q个 负极 [ x个 ¯ 1 , x个 ¯ 2 , ⋯ , x个 ¯ 第页 ]
x个 ¯ 我 = ∑ n个 = 1 N个 ω n个 x个 n个 我 ∑ n个 = 1 N个 ω n个
年 ¯ j = ∑ n个 = 1 N个 ω n个 年 n个 j ∑ n个 = 1 N个 ω n个
4:设置X第页=X（X）0,Y（Y）第页=Y（Y）0,X（X）季度=X（X）问题0, Y（Y） ^ q个 = [ 年 ¯ 1 , 年 ¯ 2 , ⋯ , 年 ¯ 米 ]
5:对于r=1，到r做
6：导出第r个潜在变量X（X）,Y（Y）、和X（X）q个；
t吨 第页 = X（X） 第页 W公司 第页 , t吨 q个 第页 = X（X） q个 第页 W公司 第页
7：导出的rth加载矢量X（X）和的rth回归系数Y（Y）；
第页 第页 = X（X） 第页 T型 Ω t吨 第页 / t吨 第页 T型 Ω t吨 第页 , q个 第页 = Y（Y） 第页 T型 Ω t吨 第页 / t吨 第页 T型 Ω t吨 第页
8：更新 Y（Y） ^ q个 = Y（Y） ^ q个 + t吨 q个 第页 q个 第页 T型
9:如果r=r
10:  输出预测值 Y（Y） ^ q个
11:  其他的
12:  计算X（X）第页+1,Y（Y）第页+1、和X（X）qr+1.
X（X） 第页 + 1 = X（X） 第页 负极 t吨 第页 第页 第页 T型
Y（Y） 第页 + 1 = Y（Y） 第页 负极 t吨 第页 q个 第页 T型
X（X） q个 第页 + 1 = X（X） q个 第页 负极 t吨 q个 第页 第页 第页 T型
13:  结束条件为
14:  结束

2.2。PSO算法

PSO是1995年提出的一种群搜索算法[28]，并被有效地用于许多优化问题。在粒子群优化算法中，首先在搜索空间中随机排列一组个体。每个个体都是一个粒子，代表一个假设的解决方案。然后，个体在群体信息共享的基础上不断改变自己的位置，最后，所有个体收敛到最优解。PSO中还采用了根据具体优化问题选择的适应度函数来估计个体解的质量[29].
粒子速度和位置由以下等式迭代更新：
V（V） 我 ( t吨 + 1 ) = ω V（V） 我 ( t吨 ) + c（c） 1 第页 1 ( X（X） 我 , pbest测试 ( t吨 ) 负极 X（X） 我 ( t吨 ) ) + c（c） 2 第页 2 ( X（X） 我 , gbest公司 ( t吨 ) 负极 X（X） 我 ( t吨 ) )
X（X） 我 ( t吨 + 1 ) = X（X） 我 ( t吨 ) + V（V） 我 ( t吨 + 1 )
哪里t吨和t吨+1分别表示当前迭代和下一个迭代。对于我第th个粒子， V（V） 我 表示其速度，以及 X（X） 我 代表其位置； 第页 1 , 第页 2 是两个独立的随机数，在区间0–1内具有均匀分布；和 c（c） 1 , c（c） 2 是学习因素，两者都是非负常数。 X（X） 我 , 第页 b条 e（电子） 秒 t吨 表示的最佳位置我当前发现的第个粒子。 X（X） 克 b条 e（电子） 秒 t吨 表示群中所有粒子找到的最佳位置。 w个 是惯性权重，这是粒子群优化算法的一个重要参数，因为它可以平衡全局和局部搜索能力。
本文采用线性递减的惯性重量，其计算公式如下[30]:
w个 t吨 = w个 最小值 + ( w个 最大值 负极 w个 最小值 ) * ( t吨 最大值 负极 t吨 ) / t吨 最大值
哪里t吨最大值表示最大迭代次数，t吨表示当前迭代，以及的值 w个 最小值 和 w个 最大值 假设分别为0.4和0.9[22].

3.拟议PSO–LWPLS方法

在本节中，首先描述了LWPLS中的带宽调谐问题。然后，详细解释了为什么选择粒子群优化算法。最后，介绍了所提出的带宽优化策略。

3.1. LWPLS中的带宽调节问题

与大多数学习算法类似，LWPLS算法也需要调整参数才能获得良好的性能。在LWPLS中，带宽是定义邻域范围的一个重要参数，当构建局部PLS模型时，权重的形状会发生变化[20]. 为了说明带宽对LWPLS性能的影响，我们绘制了一个图，如所示图1，根据方程式（3）定义的权重函数。
从中可以看出图1，带宽小时可以控制哪些样本在查询点附近的局部建模中起决定性作用。如果带宽值增加，更多远程样本也有机会影响查询结果。什么时候？小时趋于无穷大，所有数据的相似性都等于1，LWPLS算法与简单的PLS算法没有什么不同。另一方面，带宽越小，重量减少得越快。在这种情况下，只有几个靠近查询点的样本用于本地建模。如果小时太小，将出现过拟合问题，并且LWPLS模型的可靠性也将受到影响[21,22].
由于整个数据集中的数据密度和分布在不同位置不太可能相同，因此有必要为每个查询设计最佳带宽，以确保每个预测都能达到令人满意的准确性。此外，在线查询通常需要及时回答，因此计算开销也是带宽选择中不可忽视的重要因素。因此，为了在不过度增加计算开销的情况下提高模型的准确性，需要一个方案来确定最佳带宽。

3.2. 为什么使用PSO？

为每个查询设计最佳带宽是一个单参数优化问题。为什么使用粒子群优化算法代替一维搜索方法，如黄金分割搜索法（GSSM）或牛顿法？
在介绍LWPLS算法的基础上第2.1节可以看出，带宽参数最初出现在等式（3）中的样本重量计算中。在LWPLS操作过程中，权重会经历复杂的转换，并且它们已经被多次应用于计算中间变量，例如在构建矩阵时 X（X） 第页 T型 Ω Y（Y） 第页 Y（Y） 第页 T型 Ω X（X） 第页 以及求解特征向量以获得中间变量、求解LWPLS中的潜在变量和负载向量等。因此，经过这些复杂的计算和转换，人们无法准确地知道预测误差与带宽参数之间的关系，并且不能用精确的数学表达式表达这种关系。
此外，通过数值模拟，构造了数据密度均匀的数据集I和数据密度非均匀的数据集合II。选择了一系列带宽值。对于每个数据集，随机选择一些样本点作为测试数据。对每个数据集进行独立测试，并通过使用LWPLS模型获得预测值。然后，针对每个测试样本点，利用每个带宽值进行重复的独立实验，并计算测试样本的预测均方根误差（RMSE）。然后，获得每个测试样本的RMSE与带宽值的关系曲线，如所示图2.
可以看出，对于数据集I，每个RMSE曲线基本上都有一个随带宽变化的唯一最小值，对应于样本的最佳带宽，并且所有测试样本的最优带宽值都非常集中。对于数据集II，由于数据的不均匀分布，不同样本的最优带宽值相对分散，一些RMSE曲线具有多个最小值。
上述两个因素可以概括为：第一，目标函数与带宽参数之间的关系复杂，无法用显式公式表示；其次，目标函数中可能存在多个最小值。这两个因素使得一些常见的一维搜索方法，如黄金分割搜索法（GSSM）和牛顿法不适用。然而，作为一种群体智能算法，粒子群算法本身对优化问题的数学性质要求较少。因此，本文将粒子群优化算法应用于带宽优化问题。为了验证其有效性，在第4节.

3.3. 基于粒子群优化算法的最佳带宽选择

在本节中，我们介绍了混合PSO–LWPLS，它采用两阶段策略来满足上述要求，包括训练阶段和预测阶段。图3显示了所建议的两阶段策略的框架。该框架将基于点的带宽选择思想和K-NN方法结合在一起。这两个阶段的具体步骤如下所示。

3.3.1. 培训阶段

在训练阶段，为历史数据集中的每个样本设计最佳带宽，以便为预测阶段准备参数。PSO和LWPLS都用于计算最优带宽。在计算之前，需要设置PSO算法的初始参数。为了确定带宽选择范围(小时最小值,小时最大值)，我们首先采用leave-one-out（LOO）交叉验证方法来获得最佳全局带宽h全球的.全局最优带宽代表所有样本最优带宽的平均值，每个样本的最优带宽基本上在平均值附近波动。在实际应用中，可以首先根据全局带宽给出测试范围，例如h最小值=0.5小时全球的和h最大值=1.5小时全球的; 然后，通过离线优化计算得到每个训练样本的最优带宽值。如果所有样本的最佳带宽都在这个范围内，并且带宽与范围边界之间的差距不太大，则表明上述测试范围是合理的。如果某些样本的最佳带宽达到边界值，则应适当扩大范围，以确保每个样本都能在该范围内搜索最佳带宽。然而，这个范围不应太大，以免影响粒子群算法的收敛速度。
虽然整个培训阶段似乎很耗时，但计算成本通常是可以接受的，因为所有计算都是离线完成的。步骤如下。
第1步：计算全局最佳带宽小时全球的使用leave-on-out交叉验证。
第2步：结合PSO和LWPLS为每个样本设计最佳带宽，如以下过程所述。
对于一个样品(X（X）n个；Y（Y）n个)对于历史数据集，在计算其相应的带宽时，将其用作查询，其余的作为训练样本。在这个优化问题中，粒子代表范围内的各种带宽值（例如。，小时最小值= 0.5小时全球的,小时最大值=1.5小时全球的)。适应度函数定义为[21]:
体育保健用品 = 1 1 + ( Y（Y） n个 负极 Y（Y） ^ n个 ) 2
哪里 Y（Y） ^ n个 是LWPLS算法的估计输出。以适应度函数最大化为目标小时n个对应于样品(X（X）n个,Y（Y）n个)可以通过PSO算法的迭代最终得到。
步骤3：存储最佳带宽小时n个使用相应的样本。
完成训练阶段后，我们可以得到一个基于点的最佳带宽的新数据集，即(X（X）n个,Y（Y）n个；小时n个)，n=1，2，…，n。

3.3.2. 预测阶段

预测阶段的任务是设计最佳带宽小时q个对于给定的查询X（X）q个并估计输出 Y（Y） ^ q个 根据小时q个首先，需要根据方程式（3）计算每个样品的重量。然而，我们注意到，在最佳带宽之前小时q个如果获得，则初始权重计算本身需要带宽h，这将导致第二十二条军规[31]. 为了解决这个问题，使用训练阶段获得的全局带宽来计算初始样本权重，因为全局带宽是通过对训练样本集进行充分的交叉验证获得的，这也充分利用了样本数据提供的信息。此外，没有更多的信息来证明哪个初始值是最优的。如果随机设置初始带宽，则可能会发生更大的风险和错误。具体计算步骤如下。
第1步：计算初始样本重量 ω 小时 n个 基于全球带宽：
ω 小时 n个 = 经验 ( 负极 天 n个 小时 克 我 o个 b条 一 我 × σ 天 )
哪里 ω 小时 n个 表示第n个样本的权重。
第2步：在整个训练集中搜索K个最相似的样本并计算小时q个对于给定的查询X（X）q个，使用加权平均值如下：
小时 q个 = ∑ n个 = 1 K（K） ω 小时 n个 小时 n个 / ∑ n个 = 1 K（K） ω 小时 n个
这是根据参考文献提出的[20]，（第15页），方程（5），称为“直接加权数据”。它基于相似输入产生相似输出的原理。基于这一原理，可以推断出查询点的最佳带宽应该接近样本集中相邻点的最优带宽，因为相邻点周围的数据密度分布应该相似。在训练阶段，已获得每个样本的最佳带宽，因此要计算查询点的最佳带宽时，可以先确定其周围的K个相邻样本点，然后计算其最佳带宽的加权平均值，即查询点的最优带宽。加权平均法使小时q个对K值的变化不太敏感，并且K的最佳值（基本上在2–10之间）更容易通过试错法确定。当K继续增加时，由于上述等式（22）中权重的衰减，最佳带宽基本稳定。
步骤3：使用基于查询的带宽运行LWPLS算法小时q个以获得相应的输出估计 Y（Y） ^ q个 .

4.案例研究

在本节中，我们讨论了一个数值示例和一个工业案例。采用三个常用标准，均方根误差（RMSE）、平均绝对误差（MAE）和最大绝对误差（MAX）来估计不同方法的性能。它们的定义如下：
RMSE公司 = ( ∑ n个 = 1 K（K） ( Y（Y） n个 负极 Y（Y） ⌢ n个 ) 2 ) / N个
MAE公司 = ( ∑ n个 = 1 K（K） | Y（Y） n个 负极 Y（Y） ⌢ n个 | ) / N个
马克斯 = 最大限度 ( | Y（Y） n个 负极 Y（Y） ⌢ n个 | )
哪里 Y（Y） n个 和 Y（Y） ⌢ n个 表示n个第个测试样本。N个表示测试样本的数量。所有实验计算都是在英特尔（R）酷睿（TM）i7-4790 CPU、Windows 7、MATLAB版本R2015a的计算机上进行的。

4.1. 数值示例

4.1.1. 问题设置

这里使用的第一个数值模拟案例来自参考案例1[17]（第46页），最初用于评估使用不同相似性计算方法的LWPLS算法的性能。本文主要研究带宽优化对LWPLS性能的影响，因此设计了一个改进的数值案例，称为案例2。这两种情况如下所述。
案例1
在这种情况下，输入和响应变量(X（X）,Y（Y）)由三个均匀分布的潜在变量生成：S公司1,S公司2、和S公司三.W公司0,W公司1,W公司2、和W公司三是具有正态分布的噪声变量。这里，我们用rand（a，b）表示两个实数a和b之间的均匀分布，我们用N（μ，σ2)用平均值μ和标准偏差σ表示正态分布[17]. 所有变量如下所示：
W公司 米 ∼ N个 ( 0 , 0.02 2 ) ( 米 = 0 , 1 , 2 , 三 )
S公司 米 ∼ 兰特 ( 负极 5 , 5 ) ( 米 = 1 , 2 , 三 )
X（X） 米 = S公司 米 + W公司 米 ( 米 = 1 , 2 , 三 )
Y（Y） = 10 S公司 1 + 5 S公司 2 2 + 经验 ( S公司 三 ) + W公司 0
案例2
这个数值案例是对案例1的修改，其中均匀分布的变量S公司1,S公司2改为均值为0，标准差为2的正态分布，即N~（0，22)。其他变量与案例1中的相同。
图4a、 b表示均匀分布rand（-5，5）和正态分布的概率密度分布N个(0, 22)。可以看出，在均匀分布中，数据的取值范围为-5到5，概率相等，而在正态分布中，大多数数据集中在平均零点附近，这导致不同位置的分布差异。因此，在案例1中，由于S公司1,S公司2，和S公司3都是均匀分布的，输入空间的数据密度在不同位置略有不同；在案例2中，因为S公司1和S公司2是正态分布的，尽管大多数数据值也在区间[-5，5]内，但数据密度可能变化很大。
对于上述两种情况，分别生成500个样本，其中400个作为训练样本，100个作为测试样本。使用并比较了四种建模方法PLS、LWPLS、通过黄金分割搜索方法优化带宽的LWPLS以及PSO–LWPLS。

4.1.2. 结果和讨论

为了简化描述，我们首先将GSSM优化带宽的LWPLS记录为GSSM–LWPLS。然后，针对上述两种情况，分别使用PLS、LWPLS和GSSM-LWPLS建立预测模型，并与本文提出的PSO-LWPLS方法进行比较。
两种情况下结果的预测误差如所示表1在这两种情况下，提出的PSO–LWPLS方法的RMSE、MAE和MAX最小。然而，在情况1中，PSO–LWPLS的性能并不比LWPLS或GSSM–LWPLS好多少。在案例2中，PSO–LWPLS大大优于传统方法。这是因为在案例1中，不同位置的数据密度和分布几乎相同，并且基于查询的最佳带宽非常接近全局带宽；性能改善不显著。而在情况2中，由于正态分布的影响，数据密度在输入空间中可能会发生很大变化。在这种情况下，固定的全局带宽无法适应查询点周围的密度差异，导致较大的预测误差。在GSSM–LWPLS中优化了带宽参数。虽然GSSM通常在单个极值情况下表现良好，但在目标函数中存在多个极值的情况下，该方法可能无法获得全局最优带宽。提出的PSO–LWPLS使用PSO搜索全局最优带宽。粒子群优化作为一种元神经网络，也可能陷入局部最优，但它比GSSM更容易找到全局最优，因为粒子群搜索范围比黄金分割优化更广。因此，PSO–LWPLS方法实现了更高的预测精度，并且可以大大增强模型对数据密度差异的适应性。
对于案例2中的测试数据集，使用散点图来说明实际值和预测值之间的关系，如图5.图5a显示了PLS方法的结果。可以看出，实际值和预测值之间的偏差通常很大。这是因为由方程（29）确定的输入和输出变量之间的关系是非线性的。PLS是一种线性建模方法，不能很好地处理非线性问题。结果如所示图5b优于（a），这证明了LWPLS建模方法通过为每个查询建立局部模型，在一定程度上具有处理非线性的能力，但其准确性仍然有限。与相比图5b、 的表现图5c进一步改善，但改善并不显著。图5d显示出明显的改进，这证明在密度分布不均匀的情况下，该方法比PLS、LWPLS和GSSM–LWPLS具有明显的优势。由于实际工业过程数据的分布通常是复杂和不均匀的，因此所提出的方法更适合实际应用，这将通过下面的工业案例进行验证。

4.2. 在灰铸铁生产中的应用

4.2.1. 问题陈述

灰铸铁在各类铸件中占有很高的比例，在许多工业领域得到了广泛的应用。抗拉强度（TS）是灰铸铁的一项重要力学性能，因为它决定了使用范围并影响铸件的使用寿命。目前，铸件的抗拉强度通常采用破坏性试验方法进行测量；也就是说，应首先制备测试样本，然后进行抗拉强度测试，如所示图6[32]. 然而，这种测试方法非常耗时，一批中只能测试几个样品。
为了更快、更容易地测量抗拉强度，引入了数据驱动的建模方法来预测灰铸铁的TS，包括多元回归（MR）[33,34]，反向传播ANN（BP-ANN）[32,35]然而，由于原材料的化学不稳定性或铸造过程中的其他变化，这些模型的性能可能会恶化，甚至可能发生模型失效。因此，上述方法不能很好地应用于实际铸件生产。本文尝试使用所提出的PSO–LWPLS混合建模方法来预测灰铸铁的TS。

4.2.2. 数据采集

选择主要化学成分（碳、硅、锰、磷和硫）作为输入参数，拉伸强度作为输出参数。其中，碳和硅由热分析仪测量，其余由光谱仪测量。2018年4月1日至2018年10月30日，在安徽省一家大型铸造厂的灰口铸铁生产过程中，共采集了203个样本。处理异常值后，共保留188个有效样本。其中，随机抽取31个样本作为测试集，其余样本作为训练集。

4.2.3. 多重共线性分析

变量之间存在多重共线性不仅会造成计算复杂性，而且会影响模型的准确性和稳定性[36,37]. 为了研究灰铸铁的TS预测是否存在共线问题，首先研究了所有输入和输出变量之间的相关系数，如表2.
发件人表2可以看出，C含量与TS之间的相关系数最大，表明C对抗拉强度影响很大。此外，C与另一输入变量Si之间的相关系数达到0.611。因此，我们决定使用常用的方差膨胀因子（VIF）诊断多重共线性，其定义为：
生活 我 = 1 1 负极 R（右） 我 2
VIF（振动频率）我是对应于输入变量X的方差膨胀系数我(我= 1, 2, …, 5); 和 R（右） 我 2 是测定系数，取X我作为输出并对其余输入变量进行回归。根据方程（30），五个输入变量C、Si、Mn、P和S的VIF值分别为25.4、15.9、1.2、3.6和8.3。由于最大VIF值大于10，这表明变量之间存在多重共线性。
这也反映在我们的实验中。最初，局部加权线性回归（LWLR）用于局部建模，无法处理共线性问题。在测试实验中，总会有一些测试样本无法获得准确的预测值，MATLAB会发出警告，如所示图7如下所示。这也表明共线性问题可能会影响模型的稳定性。因此，在灰铸铁的TS预测中，我们最终选择了LWPLS，它可以处理共线性问题。

4.2.4. 结果和讨论

采用PLS、BP-ANN、LWPLS、GSSM-LWPLS和PSO-LWPLS五种方法建立TS预测模型。通过试错法确定BP-ANN的结构为5–7–1。采用交叉验证来获得LWPLS的最优全局带宽。根据输入和输出变量之间的相关系数，所有基于PLS的方法的潜在变量数设置为4。此处还计算了相对均方根误差（RE），定义如下：
重新 = ∑ n个 = 1 N个 [ ( Y（Y） n个 负极 Y（Y） ⌢ n个 ) / Y（Y） n个 ] 2 / N个 × 100 %
TS预测误差的结果如所示表3结果表明，由于TS与输入变量之间存在未知的非线性关系，PLS方法的误差最大。BP-ANN和LWPLS都具有处理非线性的能力，在一定程度上减小了预测误差。然而，由于铸造过程中可能发生的变化或训练样本的数据密度差异，这两个模型的性能需要进一步改进。与固定带宽的LWPLS相比，GSSM–LWPLS具有更高的精度，这表明GSSM对带宽优化有一定的影响，但改进不显著。所提出的PSO–LWPLS方法在处理上述问题时取得了最佳性能。
如所示图8，还检查了所有测试样本的绝对预测误差，因此可以更详细地比较这五种方法的性能。可以看出，所提出的PSO–LWPLS方法的总体绝对误差趋势是五种方法中最小的，这也意味着所提出的方法在预测灰铸铁抗拉强度方面达到了最高的精度。

4.3. 计算时间分析

为了研究计算开销，研究了上述五种建模方法在灰铸铁TS预测中的计算时间，包括训练时间和预测时间（用于回答所有测试点）。结果如所示表4PLS和BP-ANN是全局建模方法，在训练和预测阶段有明显的区别。LWPLS、GSSM–LWPLS和提议的PSO–LWPSS都是基于JITL的方法，当需要回答查询时，它们将训练和预测阶段集成到整个计算过程中。然而，在本文中，所提出的方法在用于预测时仍然包含训练阶段，这是我们提高模型预测精度的创新设计。如所示表4尽管PSO–LWPLS方法的训练阶段相对耗时，但其预测阶段的计算时间并不比LWPLS长太多。该方法的计算开销在实际应用中是完全可以接受的，并且其性能的改进使其绝对优越。
此外，为了研究计算时间与训练样本数之间的关系，通过在数值案例2中增加训练样本数，研究了训练和预测时间的变化第4.1节结果如所示表5可以看出，随着训练样本的增加，训练时间迅速增加，但预测时间（对于一个测试点）并没有增加太多。这也可以解释为训练样本的增加使得训练阶段更加耗时，但对查询响应速度几乎没有影响。
实际上，在我们的灰铸铁应用工业案例中，由于样本集本身在训练和预测阶段都很小，所以当使用LWPLS构建模型时，我们选择了包含所有训练样本，并且我们让带宽控制使用的样本范围和不同样本对模型的贡献。在其他应用中，如果样本量较大，为了平衡计算时间和训练模型的速度，我们可以从样本集中选择一些相邻样本，形成一个小样本子集，然后我们可以使用所提出的带宽优化策略在子集上建立局部模型。邻域样本子集的选择是大多数实时学习（JITL）方法中的常见步骤，因此本文没有详细讨论这一点。

5.结论

采用局部加权PLS（LWPLS）进行工业软测量建模。为了在不过度增加计算开销的情况下提高LWPLS的性能，提出了一种PSO和LWPLS相结合的混合建模方法，并设计了一种包括训练阶段和预测阶段的两阶段带宽优化策略。历史数据集中的每个样本点在训练阶段使用粒子群优化算法获得一个最优带宽。在预测阶段，设计了一种加权平均方法来为每个查询选择最佳带宽，然后根据该基于查询的最佳带宽计算预测值。通过数值算例和工业应用实例证明，与传统的全局建模方法和固定带宽的LWPLS相比，该方法能够更好地适应数据密度的变化，并且在线计算开销没有增加太多，因此具有更高的预测精度。接下来，我们将尝试进一步提高该方法的计算效率，并探索其在各种工业过程中的应用。

作者贡献

概念化，M.R.和Y.S。；数据管理，Y.S.和W.C。；资金收购、M.R.和W.C。；调查，Y.S。；方法，Y.S。；项目管理、M.R.和W.C。；监督，M.R.和W.C。；书面——原稿，Y.S。；写作-审查和编辑，M.R。

基金

本研究得到了国家自然科学基金（No.71531008，No.71521001，No.71490720）的资助。

利益冲突

作者声明没有利益冲突。

工具书类

  1. 福图纳，L。；格拉齐亚尼，S。；A.里佐。；医学博士希比利亚。用于工业过程监控的软传感器; 施普林格：英国伦敦，2007年。[谷歌学者]
  2. Kadlec，P。；加布里斯，B。；Strandt，S.加工行业中的数据驱动软传感器。计算。化学。工程师。 2009,33, 795–814. [谷歌学者] [交叉参考] [绿色版本]
  3. 卡诺，M。；Ogawa，M.日本化学过程控制的现状：良好实践和问卷调查。J.过程控制 2010,20, 969–982. [谷歌学者] [交叉参考]
  4. A.拉尼。；辛格，V。；Gupta，J.R.开发基于神经网络的精馏塔控制软传感器。ISA事务。 2013,52, 438–449. [谷歌学者] [交叉参考] [公共医学]
  5. 贡扎加，J.C.B。；洛杉矶梅莱罗。；Kiang，C。；基于Maciel，R.ANN的软传感器，用于工业聚合过程的实时过程监控。计算。化学。工程师。 2009,33, 43–49. [谷歌学者] [交叉参考]
  6. KanekoKimito，H。；Funatsu，F.在线支持向量回归在软传感器中的应用。AlChE J.公司。 2014,60, 600–612. [谷歌学者]
  7. 蔡X.Y。；孟庆杰。；基于LS-SVM的立式磨机料层软测量。国际Conf.Meas。 2013,1, 22–25. [谷歌学者]
  8. 张，X。；黄，W。；Zhu，Y。；Zhu，Y。；Chen，S.一种基于核PLS的新型软测量建模方法。《IEEE智能计算与智能系统国际会议论文集》，中国厦门，2010年10月29日至31日。[谷歌学者]
  9. Grbic，R。；Sliskovic博士。；Kadlec，P.基于移动窗口高斯过程回归的在线预测自适应软传感器。第十一届机器学习与应用国际会议论文集（Icmla 2012），美国佛罗里达州博卡拉顿，2012年12月12日至15日；第2卷，第428-433页。[谷歌学者] [交叉参考]
  10. 艾哈迈德·F。；纳齐尔，S。；Yeo，Y.K.，一种基于递归PLS的软传感器，用于预测HDPE装置中等级变化操作期间的熔体指数。韩国J.Chem。工程师。 2009,26, 14–20. [谷歌学者] [交叉参考]
  11. Poerio，D.V.公司。；Brown，S.D.Highly-overlapped，递归偏最小二乘软传感器，通过局部变量选择进行状态划分。化学。智力。实验室系统。 2018,175, 104–115. [谷歌学者] [交叉参考]
  12. Hazama，K。；Kano，M.基于协方差的局部加权偏最小二乘法用于高性能自适应建模。化学。智力。实验室系统。 2015,146，55–62。[谷歌学者] [交叉参考]
  13. 元，X.F。；Ge，Z.Q。；黄，B。；宋，Z.H。；Wang，Y.L.基于局部半监督加权PCR的非线性工业软测量半监督JITL框架。IEEE传输。印第安纳州信息。 2017,13, 532–541. [谷歌学者] [交叉参考]
  14. Cheng，C。；Chiu，M.S.非线性过程建模的一种新的基于数据的方法。化学。工程科学。 2004,59, 2801–2810. [谷歌学者] [交叉参考]
  15. Ge，Z。；Song，Z.基于自适应局部模型方法的非线性多模过程在线监测。控制工程实践。 2008,16, 1427–1437. [谷歌学者] [交叉参考]
  16. 藤原，K。；卡诺，M。；Hasebe，S。；Takinami，A.使用基于相关性的实时建模开发软传感器。AlChE J.公司。 2009,55, 1754–1765. [谷歌学者] [交叉参考]
  17. Kim，S。；冈岛，R。；卡诺，M。；Hasebe，S.使用具有自适应相似性度量的局部加权PLS开发软传感器。化学。智力。实验室系统。 2013,124，43–49。[谷歌学者] [交叉参考] [绿色版本]
  18. Ge，Z.Q。；Song，Z.H.基于实时学习的在线软传感器建模方法的比较研究。化学。智力。实验室系统。 2010,104, 306–317. [谷歌学者] [交叉参考]
  19. Kim，S。；卡诺，M。；Hasebe，S。；Takinami，A。；Seki，T.基于实时软传感器的推断控制的长期工业应用：经济影响和挑战。工业工程化学。物件。 2013,52, 12346–12356. [谷歌学者] [交叉参考]
  20. 阿特克森，C.G。；摩尔，A.W。；Schaal，S.局部加权学习。Artif公司。智力。版次。 1997,11, 11–73. [谷歌学者] [交叉参考]
  21. Leung，H.H。；黄，Y.S。；Cao，C.X.脱硫智能决策系统建模的局部加权回归。模拟。模型。实际。理论 2004,12, 413–423. [谷歌学者] [交叉参考]
  22. 潘，T.H。；李，S。；Li，N.通过粒子群优化实现懒惰学习的最佳带宽设计。智力。自动。软计算。 2009,15, 1–11. [谷歌学者] [交叉参考]
  23. 王浩清。；Liao，X.F。；Cao，C.X.使用分布式内核的LWA智能模型。《第七届世界智能控制与自动化大会论文集》，中国重庆，2008年6月25-27日。[谷歌学者] [交叉参考]
  24. Bai，W。；Ren，J。；Li，T.改进了基于遗传优化的船舶操纵局部加权学习辨识模型，并进行了实船试验。未来一代。计算。系统。 2019,93, 1036–1045. [谷歌学者] [交叉参考]
  25. Kamata，K。；藤原，K。；Kinoshita，T。；Kano，M.精确心率变异性分析中基于局部加权偏最小二乘的缺失RRI插值算法。传感器 2018,18, 3870. [谷歌学者] [交叉参考] [公共医学]
  26. Hirai，T。；Kano，M.，通过局部加权偏最小二乘法进行半导体干法蚀刻工艺的自适应虚拟计量设计。IEEE传输。半秒。制造商。 2015,28, 137–144. [谷歌学者] [交叉参考] [绿色版本]
  27. 沙尔，S。；阿特克森，C.G。；Vijayakumar，S.用于实时机器人学习的非参数统计的可伸缩技术。申请。智力。 2002,17, 49–60. [谷歌学者] [交叉参考]
  28. 肯尼迪，J。；Eberhart，R.粒子群优化。1995年11月27日至12月1日，澳大利亚珀斯，IEEE国际会议记录；第1942-1948页。[谷歌学者]
  29. Xu，S.H。；刘J.P。；张，F.H。；Wang，L。；Sun，L.J.遗传算法与粒子群优化相结合的时间窗车辆路径问题。传感器 2015,15, 21033–21053. [谷歌学者] [交叉参考] [公共医学] [绿色版本]
  30. Shi，Y。；R.C.埃伯哈特。粒子群优化中的参数选择; 施普林格：柏林/海德堡，德国，1998年；第591-600页。[谷歌学者]
  31. 夏尔马，S。数据驱动的软传感器设计：实时和自适应模型; 阿尔伯塔大学：加拿大亚利桑那州埃德蒙顿，2015年。[谷歌学者]
  32. 桑托斯，I。；Nieves，J。；彭亚，Y.K。；Bringas，P.G.铸造生产中基于机器学习的机械性能预测。ICROS-SICE国际联合会议记录，ICCAS-SICE，日本福冈，2009年8月18-21日；第4536-4541页。[谷歌学者]
  33. A.J.Shturmakov。；Loper，C.R.商业灰铸铁力学性能的预测分析。事务处理。美国铸造协会。 1999,107, 609–615. [谷歌学者]
  34. 贝茨，C.E。；塔克，J.R。；H.S.斯塔勒特。珠光体灰铸铁成分、断面尺寸和显微组织对拉伸性能的影响; AFS研究报告；美国铸造工人协会：朔姆堡，伊利诺伊州，美国，1991年；第5卷。[谷歌学者]
  35. Calcaterra，S。；坎帕纳，G。；Tomesani，L.用神经网络预测球墨铸铁的机械性能。J.马特。过程。Technol公司。 2000,104, 74–80. [谷歌学者] [交叉参考]
  36. Schroeder，医学硕士。；兰德，J。；Levine-Silverman，S.诊断和处理多重共线性。西部。J.努斯。物件。 1990,12, 175–187. [谷歌学者] [交叉参考]
  37. Alin，A.多重共线性。威利公司（Wiley Interdiscip）。版次计算。斯达。 2010,2, 370–374. [谷歌学者] [交叉参考]
传感器19 04099 g001 550
图1。不同带宽值下重量随距离的变化。
图1。不同带宽值下重量随距离的变化。
传感器19 04099 g001
传感器19 04099 g002 550
图2。具有不同带宽值的均方根误差（RMSE）曲线：(一)数据集I；(b条)数据集II。
图2。具有不同带宽值的均方根误差（RMSE）曲线：(一)数据集I；(b条)数据集II。
传感器19 04099 g002
传感器19 04099 g003 550
图3。拟议的两阶段战略框架。
图3。拟议的两阶段战略的框架。
传感器19 04099 g003
传感器19 04099 g004 550
图4。概率密度函数：(一)兰特（-5,5）；(b条)N~（0，22).
图4。概率密度函数：(一)兰特（-5,5）；(b条)N~（0，22).
传感器19 04099 g004
传感器19 04099 g005 550
图5。案例2中使用四种方法比较实际和预测Y值的散点图：(一)PLS；(b条)LWPLS；(c（c）)GSSM–LWPLS；和(天)PSO–LWPLS。
图5。案例2中使用四种方法比较实际和预测Y值的散点图：(一)请；(b条)LWPLS；(c（c）)GSSM–LWPLS；和(天)PSO–LWPLS。
传感器19 04099 g005
传感器19 04099 g006 550
图6。抗拉强度试验[32].
图6。抗拉强度试验[32].
传感器19 04099 g006
传感器19 04099 g007 550
图7。使用LWLR预测期间的矩阵奇异警告。
图7。使用LWLR预测期间的矩阵奇异警告。
传感器19 04099 g007
传感器19 04099 g008 550
图8。所有测试样本的预测绝对误差。
图8。所有测试样本的预测绝对误差。
传感器19 04099 g008
表
表1。预测误差的统计分析。GSSM：黄金分割搜索法，LWPLS：局部加权偏最小二乘，MAE：平均绝对误差，MAX：最大绝对误差，PLS：偏最小二乘，PSO：粒子群优化。
表1。预测误差的统计分析。GSSM：黄金分割搜索法，LWPLS：局部加权偏最小二乘，MAE：平均绝对误差，MAX：最大绝对误差，PLS：偏最小二乘，PSO：粒子群优化。
案例方法RMSE公司MAE公司马克斯
1请21.0915.7089.94
LWPLS公司4.202.5915.47
GSSM–LWPLS公司4.092.5215.20
PSO–LWPLS公司4.072.4915.15
2请31.1824.0892.86
LWPLS公司7.585.7731.28
GSSM–LWPLS公司6.744.9125.63
PSO–LWPLS公司4.022.8115.66
表
表2。所有输入和输出变量之间的相关系数。TS：拉伸强度。
表2。所有输入和输出变量之间的相关系数。TS：抗拉强度。
相关系数C类硅锰对S公司TS公司
C类10.611–0.1250.3720.199–0.738
硅 1–0.1560.2980.302–0.559
锰 10.0330.1510.252
对 10.523–0.351
S公司 1–0.516
TS公司 1
表
表3。TS预测误差的统计分析。BP-ANN：反向传播人工神经网络。
表3。TS预测误差的统计分析。BP-ANN：反向传播人工神经网络。
方法RMSE公司可再生能源（%）MAE公司马克斯
请13.65.6311.825
BP-ANN公司10.84.388.922.5
LWPLS公司8.53.447.215.7
GSSM–LWPLS公司83.276.317.7
PSO–LWPLS公司6.82.845.313.9
表
表4。比较五种方法的计算时间。
表4。比较五种方法的计算时间。
方法培训时间（s）预测时间（s）
请3.8<1
BP-ANN公司9.8<1
LWPLS公司3.7
GSSM–LWPLS公司5.13.9
PSO–LWPLS公司100.73.9
表
表5。PSO–LWPLS的计算时间随训练样本数的变化而变化。
表5。PSO–LWPLS的计算时间随训练样本数的变化而变化。
时间（s）培训样本数量
1002003004006008001000
培训时间33.698.4212.6498.112483749.210,046.7
预测时间<1<1111.11.21.4

分享和引用

MDPI和ACS样式

Ren，M。；Song，Y。；朱，W。一种改进的基于粒子群优化的局部加权PLS用于工业软测量建模。传感器 2019,19, 4099.https://doi.org/10.3390/s19194099

AMA风格

任敏、宋毅、朱伟。一种改进的基于粒子群优化的局部加权PLS用于工业软测量建模。传感器. 2019; 19(19):4099.https://doi.org/10.3390/s19194099

芝加哥/图拉宾风格

任明伦、宋月丽、魏楚。2019.“基于粒子群优化的改进局部加权PLS用于工业软传感器建模”传感器19，编号19:4099。https://doi.org/10.3390/s19194099

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。查看更多详细信息在这里.

文章指标

返回页首顶部