1.简介
视觉跟踪是机器人学中最感兴趣的领域之一，因为它与视觉监控或移动机器人导航等主题相关。在过去的几十年里，研究界已经开发了多种方法来解决这个问题[1]. 其中，可以根据用于从图像中检测或提取关于场景中的对象的信息的方法来进行排序：对于静态相机：背景减法通常用于提取场景中动态对象对应的图像信息。这种方法在研究界广泛传播[2–4]，主要用于监控应用。 对于要跟踪的对象的已知模型：这种情况在使用静态相机的跟踪应用程序中非常常见[三,4]或动态的[5,6]. 检测过程的计算成本更高，但假警报的数量和检测器的鲁棒性比寻找任何类型的对象都要大。
由于应用了上述限制，所有参考的工作都很容易解决检测问题。然而，当要解决的问题是移动机器人在复杂拥挤的室内环境中导航时，更难找到合适的解决方案(图1)像博物馆、火车站、机场、商业中心，等。在这些场景中，周围有许多动态障碍物，机器人必须检测并跟踪所有障碍物，才能找到合适的路径。 在这种情况下，这两种标准方法都有重要的缺点。当使用模型检测障碍物时，执行时间（障碍物可能在识别之前很远）以及环境中可能发现的任何对象的建模都会出现问题。另一方面，不可能使用背景减法，因为它的视觉外观会不断变化；这是因为除了属于机器人所在建筑结构的物体外，机器人视觉环境中的任何元素都可能是障碍物。
由于视觉传感器提供的信息的复杂性，首先可以方便地将图像中的视觉数据组织为至少两类：来自障碍物的测量（障碍物类）；和来自环境的测量（结构特征类）。
一旦这些信息可用，就可以使用环境类中分类的数据重建机器人周围的结构。此过程对于机器人导航特别有趣，因为它可以用于SLAM（同步定位和映射[7])任务。 同时，分配给障碍物类别的数据可以用作科学界提出的任何跟踪算法的输入。考虑到测量特性，位置跟踪器必须考虑与其相关的噪声，以获得可靠的跟踪结果。概率算法，如粒子过滤器（PF[8–10])和卡尔曼滤波器（KF[11,12])，可用于开发此任务，因为它们通过概率模型在估计过程中包含此噪声行为。 总之，目标是计算后验概率（也称为置信度，第页(x⃗t吨|y⃗1:t吨))状态向量的x⃗t吨在输出时y⃗t吨它通过贝叶斯规则和递归两步估计过程（预测-校正）告知目标位置，其中一些涉及的变量是随机的。
这个多跟踪问题的大多数解决方案对每个要跟踪的对象使用一个估计器[12,13]. 这些技术包括在所谓的MHT（多假设跟踪）算法中。如果动态调整状态向量大小以包括对象模型在场景中出现或消失时的状态变量，则也可以对所有目标使用单个估计器[14,15]. 然而，为了在实时应用中使用它们，这两个选项的计算成本都很高。 然后，最合适的解决方案是利用概率算法的多模态，以便在单个密度函数中包含所有需要的估计。有了这个想法，PF被用作多模态估计器[16,17]. 由于PF在处理多模密度时遇到的贫困问题，科学界没有利用这一想法来证明估算的效率低下[18,19]. 无论如何，需要一个关联算法。如果在每个采样时间都可以对每个目标进行单个测量，则关联问题更容易解决[20]. 相比之下，每个模型的信息量最大，估计结果也最可靠。 在这里介绍的工作中，信息源是一个视觉系统，以便从每个跟踪对象中获取尽可能多的位置信息。因此，所需的关联算法也具有较高的计算负载，但提高了跟踪过程的可靠性。
科学界已经测试了关联任务的不同替代方案，包括最大似然（ML）、最近邻（NN）和概率数据关联（PDA）[20]. 在我们的例子中，由于NN解的确定性，我们选择了NN解。最后，如果要跟踪的对象数量是可变的，并不是本引言中提到的所有建议都是合适的：这是对前面提到的算法的必要扩展。 在我们的工作中，使用了PF的多模态能力，并通过使用确定性NN聚类过程来缓解其贫化问题，该过程用作关联过程，并与概率方法相结合，以获得有效的多跟踪结果。我们使用Bootstrap粒子过滤器的扩展版本[9]称为XPFCP（带聚类过程的扩展粒子过滤器），用于通过单个过滤器实时完成位置估计任务，并跟踪车载立体视觉过程检测到的可变数量的对象。图2显示了整个跟踪应用程序的功能描述。 分类为属于结构特征类的数据可以被标准SLAM算法用于环境重建任务；然而，这个问题超出了本文的范围，也超出了对立体视觉系统的详细描述。
本文将描述多跟踪方案的两个主要流程的功能：第2节将详细介绍目标检测器、分类器和3D定位器；第3节将描述多障碍物跟踪器，即XPFCP算法。第4节将显示在一组测试场景下获得的结果。最后，本文对整个系统的行为和所得结果进行了总结。
2.检测、分类和定位过程
立体视觉子系统被认为是获取动态环境中不同元素的重要信息的最充分的方法之一。这是因为： 这种视觉传感器配置的另一种选择是使用提供深度信息的飞行时间（TOF）相机。然而，目前这些相机无法以合理的价格提供，并且使用此传感器获得的信息还远没有通用性（对远距离无效）和准确性（通常需要采集后处理来补偿反射效果）。
基于立体视觉系统极线几何的匹配过程允许获得所需的3D位置输入信息[x个p、 t吨年p、 t吨z（z）p、 t吨]T型一个点的P（P）t吨从它的投影，第页l、 t吨和第页r、 t吨，在一对同步图像中(我l、 t吨= [u个l、 p，tv（v）l、 p、t]T型,我r、 t吨= [u个r、 p、tv（v）r、 p、t]T型)，如所示图3. 在这项工作中，由于其鲁棒性，使用零均值归一化互相关（ZNCC）解决了左右图像匹配过程[22]. 每次采样时间，t吨，针对每个感兴趣的像素(即，如左图所示），我l、 t吨= [u个l、 p、tv（v）l、 p、t]T型)，此过程包括在配对图像（右侧图像）的极线像素中寻找相似的灰度级我r、 吨). 如果仔细校准两个摄像机位置后，旋转的几何外部参数，R（右）爱尔兰和翻译，T型爱尔兰，已知。 正如所料，这个过程非常耗时。因此，要获得的3D信息应限于两幅图像中的一组感兴趣点。在这种情况下，来自物体边缘的点有足够的信息来完成跟踪任务。此外，只有边缘信息才能部分重建进行跟踪的环境的结构。本文提出的全局数据采集过程包括以下主要任务：检测和分类；和3D定位。这两项任务的详细信息如所示图4. 2.1. 检测和分类
检测和分类过程（图4)对每对帧执行(我l、 t吨和我r、 t吨)采样时间同步采集，t吨，来自立体声摄像机。该过程通过以下步骤进行开发。 2.1.1. 检测
使用Canny滤波器从一对摄像机中提取边缘信息[23]. 这些信息足以跟踪漫游机器人环境中的所有对象，并部分重建环境结构。 左侧图像我l、 吨= [u个l、 p、tv（v）l、 p、t]T型用于提取跟踪过程中可能感兴趣的像素。人体轮廓、桌子、门、柱等的图像边缘是可见的，并且可以从背景中区分出来（即使在非常拥挤的场景中），并且可以很容易地从过滤后的图像中提取出来。
为了稳健地找到结构特征，Canny图像在预期会出现障碍物的感兴趣区域（ROI）中归零。因此，对部分Canny图像执行分类步骤，虽然恢复了完整图像以进行三维定位。
2.1.2. 分类：结构和非结构特征
在部分Canny图像中我坎尼，我，不与环境结构相对应的边缘具有形成长线的特征。因此，分类过程开始通过这些典型特征在结果图像中寻找结构形状。霍夫变换用于在部分Canny图像中搜索这些长线段。
功能cvHoughLines2公司[24]从OpenCV[25]库用于完成概率霍夫变换。OpenCV制作的这个版本的Hough变换允许在图像中包含很少的长线性段时查找线段，而不是整个线段。在当前应用中，摄影机前面的障碍物可能会遮挡场景的结构元素。 这种概率形式的霍夫变换有五个参数需要调整：ρ和θ分别是以像素和弧度表示的基本Hough变换距离和角度分辨率参数。
门槛是Hough累加器为了考虑线路存在而对立交桥的基本限制。
长度是霍夫变换的概率版本中需要的，是段检测器的最小线长（以像素为单位）。该参数在相关工作中非常重要，因为它允许考虑由非常短的分段（如在具有许多遮挡的场景中生成的分段）所形成的线。
缺口在霍夫变换的概率版本中也需要。这是要作为单个线段处理的线段线之间的最大像素间距。此参数在此处非常重要，因为它允许生成具有非常分隔的线段的有效线，因为遮挡了障碍物。
由于实验条件中可能出现的条件的多样性，无法进行分析研究，因此所有参数都是根据经验设定的。由于当前应用中障碍物的挑战性情况，并非所有与环境中结构元素相关的线都被归类为结构特征。在任何情况下，该算法都能很好地检测出场景中存在的结构特征：墙、柱、天花板、地板、窗户等。同样，它还可以生成足够整洁的障碍物特征类，以便在跟踪步骤中使用。
因此，在此分类步骤结束时，使用所述的过程获得了两幅图像：与环境结构，形成的长线在部分坎尼图像。
整张坎尼照片都对准了环境建筑。
2.2. 结构和障碍物特征的三维定位
这两幅图像都是3D定位过程的输入，以获取结构的3D坐标和障碍物的特征这是通过基于视觉系统极线几何的匹配过程分两个阶段完成的；这些阶段是：三维定位和障碍物特征过滤。
2.2.1. 第1阶段：3D本地化
功能类Y（Y）结构，t和Y（Y）障碍物，t分别计算相应修改后的左图像中每个非零像素的ZNCC值，我结构，l，t和我障碍物，l，t并使用完整的右图像我r、 t吨对ZNCC值达到阈值的特征进行验证，并最终分类到相应的特征类中，Y（Y）结构，t或Y（Y）障碍物，t.
2.2.2. 阶段2：障碍物特征过滤器
由于遮挡和重复模式，左右图像中的点之间的对应通常不正确，并且出现一些离群值。这种效应主要影响障碍物的特征。为了拒绝这些异常值，在XZ平面上对障碍物类中分类的所有点运行邻域过滤器Y（Y）障碍物，t.
每个3D位置矢量中的高度坐标（Y）还用于滤除杂散噪声。因此，获得了表征障碍物在场景中位置的可行点集，以便在后面的多障碍物跟踪任务中用作测量向量（观测模型）（参见图2).图5和图6最后给出了在整个检测、分类和三维定位过程中取得的一些结果。 图5显示了属于单个实验的特定部分的三帧序列。它分为两行：顶部的一行显示分类结果我结构，l，t.在输入Canny图像上我坎尼，我，不而底部的那张则在原始图像上显示它们。被确定为结构特征班Y（Y）结构，t已在两行图像中高亮显示，以显示算法的行为：在Canny图像中使用颜色，如果是3D定位，则在原始图像中使用黄色已找到。 顺便说一句，图6显示了同一实验的不同部分。有四个帧从左到右依次组织成三行。顶部的行显示Canny图像我坎尼，我，不分类过程的输入；中间的一行显示了一组原始图像，其中这些3D点()分配给障碍物特征班Y（Y）障碍物，t然后根据它们在Y坐标中的高度以颜色投影回来（浅蓝色表示较低的值，深色表示中间的值，绿色表示较高的值）。最后，底部的行是地面（XZ平面）上的一组点的二维投影障碍物特征班Y（Y）障碍物，t二维投影中的点云允许对原始序列中发现的四个人执行跟踪任务。 在最后这张图中，可以注意到障碍物的特征Y（Y）障碍物，t与场景中人的腿相关的边缘点不包括初步Canny图像中与他们相关的所有边缘点我坎尼，我，不然而，正如视频所示，多障碍物跟踪器在任何情况下都能完美工作M履带.avi（请参见补充材料)根据中所示的实验图6.在所有帧中，所有障碍物中都有足够的边缘点，每个人可以跟踪115到150个特征；它们的总数显示在中每列的底部图6（参数nPtosObs，红色文本）。 Canny图像中找到的点与最终障碍物特征类之间的差异与使用的概率霍夫变换有关。如前一节所述，Hough算法被调整为检测短线段并将其分类为结构特征，以便即使在高遮挡水平的情况下也能找到它们，例如图6然后，将人体手臂或腿部的一些线性特征归类为结构类。 3.多障碍追踪系统
如引言所述，概率算法是实现多障碍物跟踪任务的最佳解决方案。XPFCP（带聚类过程的扩展粒子过滤器）是PF的扩展版本，用于开发此过程，以利用其多模态。
这两种技术（概率估计和确定性关联）的结合提高了PF多模态的鲁棒性，当不使用这种组合时，很难发展这种行为，如[18]. 事实上，将概率和确定性技术相结合来跟踪多个目标的想法已经在不同的先前工作中提出，例如[6]或[26]. 然而，他们都没有面临在确定性框架内加强PF多模态的想法。 图7显示了所提出的多障碍物跟踪算法的功能描述。如图左上角所示，XPFCP的输入是障碍物的特征类Y（Y）障碍物，t：在场景中所有障碍物之间不均匀分布的测量集聚集在一组k个英寸，吨组G公司1:k、 t|英寸作为观测密度第页(y⃗t吨) ≈第页(G公司1:k、 t |英寸). 另一方面，中左下角的图像图7显示了基于XPFCP的多障碍物跟踪的输出：一组k个出局，t对象G公司1:k、 输出（t | out）由颜色识别，并在XYZ空间中遵循其相应的位置、速度和轨迹。 Bootstrap PF的三个标准步骤（预测、校正和关联）也可以在中看到图7如图所示，PF实现了信念的离散表示第页(x⃗t吨|y⃗1:t吨)用一套n个加权样本（通常称为粒子）来开发估算任务。由于这种表示，PF生成的离散信念中可以实现不同的模式，适用于允许表征不同跟踪对象的情况。 此外，循环中还包括了预测之前的一个新的重新初始化步骤（中的虚线图7)为了简化新模式的生成t吨−1修正信念p̑(x⃗t吨−1|y⃗1:t吨−1)此步骤的输出。如图所示，这个新的重新初始化步骤是使用从障碍物特征的XPFCP输入数据集分割的簇来执行的G公司1:k、 t吨−1|在里面因此，在跟踪任务中包含一个确定性框架（蓝色块图7). 这套G公司1:k、 t |英寸，也用于XPFCP的校正步骤，修改Bootstrap PF的标准步骤，如中所示图7（虚线）。在这一点上，聚类过程就像神经网络关联过程一样，加强了在选择步骤的输出中保留多种模式（每一时刻都有许多障碍物被跟踪）：最终信念第页(x⃗t吨|y⃗1:t吨). 确定性输出G公司1:k、 输出（t | out）是将粒子组组织成团而获得的这是信仰的特征第页(x⃗t吨|y⃗1:t吨)XPFCP选择步骤结束时。这种新的聚类过程可以区分不同的模式或最大概率峰值第页(x⃗t吨|y⃗1:t吨)，表示状态x⃗t吨所有的k个出局，t此时概率滤波器正在跟踪的对象。以下小节扩展了XPFCP功能的描述。
3.1. 跟踪模型
XPFCP应用于位置估计问题需要一个模型定义。在感兴趣的应用中，使用了恒速（CV）模型[27]，其中驱动和观测模型由方程式（1）和方程式（2），分别为： 如所示方程式（1），估计向量x⃗t | t−1将定义被跟踪障碍物的位置和速度状态。此外，状态噪声矢量v⃗t吨驱动模型中包括（经验特征为高斯和白色），以修改障碍物的恒定速度，并建模与概率估计过程相关的不确定性。 此外，在方程式（2）,y⃗t吨定义状态的可观察部分x⃗t | t−1，在本例中与3D位置信息匹配()通过第2节中描述的立体视觉过程提取。观测噪声矢量o⃗t吨还包括对与视觉过程相关的噪声进行建模，因此，在离线前一步中对其进行了表征。该噪声模型使得在对象被部分遮挡时能够保持跟踪对象。 对测试结果（包括不同的环境和跟踪条件）进行了实证研究，以确定v⃗t吨和在o⃗t吨，从而得出σv、 我= 100毫米/我= {x、 y，z，ẋ，ż}和σo、 我= [150,200]毫米/我= {x、 y，z}. 此外，敏感性研究得出结论，σ的任何修改都是100%o、 我跟踪误差增加约24%，而σ的任何修改都相同v、 我生成的数字低十倍。这一结果表明了观测噪声矢量在多障碍物跟踪任务中的重要性。
3.2. XPFCP的步骤
3.2.1. 聚类测量
聚类过程在3D位置数据集上完成Y（Y）障碍物，t通过立体视觉过程提取。组的输出集G公司1:k、 t |英寸然后在XPFCP的重新初始化和校正步骤中使用此过程生成的。
我们提出了扩展K-Means的改进版本[28]要解决这个集群任务，称为带验证的连续K均值; 有关它的一般描述，请参见图8该聚类过程的简单性和可靠性确保了XPFCP中正确的重新初始化和关联任务，并且计算负载较低，可以实时执行全局跟踪任务，这表明了我们在测试中获得的结果。 该集群提案的主要特点如下所示；而对它的更深入的描述可以在[28]: 凭借这些特点G公司1:k、 t |英寸≡ {克j、 t吨, τj个/j个= 1 :k个英寸，吨}包括相应输入数据的稳健、过滤、紧凑和识别表示，增强了多模态估计任务追踪中的PF可靠性。
3.2.2. 重新初始化
将重新初始化步骤添加到标准Bootstrap PF的主要目的是插入n个m、 t吨−1离散信念的新粒子S公司t吨−1≅第页(x⃗t吨−1|y⃗1:t吨−1)从时间t吨− 1. 因此，新的跟踪事件（场景中任何对象的包含或丢失）会在估计过程中快速更新。
在这个新步骤中插入的粒子是在所有k个英寸，吨−1集群G1:k、 t吨−1|在里面，从障碍物特征的输入数据集分割Y（Y）障碍物，t−1因此，重新初始化步骤生成离散密度S̑t吨−1≅p̑(x⃗t吨−1|y⃗1:t吨−1)，这是对S公司t吨−1≅第页(x⃗t吨−1|y⃗1:t吨−1)由描述方程式（3）: 该过程确保所有观测假设都由密度建模第页(G公司1:k、 t吨−1|在里面)在重新初始化过程中被同等考虑。
为了增加在S̑t吨−1，特定数量的粒子n个米|信息技术−1为每个集群定义j个= 1:k个英寸，吨−1在此步骤中插入，如所示方程式（4）:哪里α初始，j，t−1是一个布尔参数，表示集群的新颖性G公司j、 t吨−1|在里面在集合中G公司1:k、 t吨−1|在里面;n个初始化是每个新簇要附加的粒子数；n个米是每个簇包含的最小粒子数；和n个m、 吨−1是在此步骤中插入的粒子总数S公司t吨−1得到S̑t吨−1. 此外，关联在重新初始化步骤中插入的粒子数n个m、 t吨−1使用数字n个在该步骤的输出中获得的。使用γt吨连续版本的方程式（3）可以表示为方程式（4）和在图7: 的确定性规范n个米| j，t−1对于每个j个= 1:k个英寸，吨−1有助于解决PF在多模式应用中的贫困问题。该过程确保了粒子在PF估计的密度中的所有跟踪假设中的多样化，并增加了最新粒子的概率，否则这些粒子将随着滤波器的演化而消失。第4节中的结果证明了γ值很低的断言t吨，这保持了贝叶斯算法的数学递归严密性。
此重新初始化步骤与MCMC步骤（使用即，英寸[15])移动离散密度p̑(x⃗t吨−1|y⃗1:t吨−1)朝向概率空间中的高似然区域。为了保持恒定的粒子数S公司t吨随着时间的推移（以及XPFCP执行时间）n个m、 t吨−1将在重新初始化步骤中插入的其中一个在选择步骤中被明智地删除t吨− 1. 3.2.3. 预测
这套n个重新初始化步骤生成的粒子S̑t吨−1≅p̑(x⃗t吨−1|y⃗1:t吨−1)通过驱动模型进行更新，以获得先前版本的离散版本S公司t | t−1≅第页(x⃗t吨|y⃗1:t吨−1). 因此，状态噪声分量v⃗t吨−1包含在粒子的状态预测中，有两个主要目标：在状态空间中创建粒子的小分散（需要避免集合的简并问题[9])；以及对状态向量中的速度分量进行轻微修改（在使用CV模型时，需要为跟踪假设提供运动[27]). 所提出的CV模型的简单性使其易于用于所有要跟踪的对象，无需考虑其类型或动态，也无需关联任务的帮助。每个粒子根据信念中表示的对象动力学进行演化，因为相关状态向量包括对象速度分量。
3.2.4. 更正和关联
粒子的权重在校正步骤中使用方程式（7），包括最终归一化：哪里d日最小值，i、 t吨是粒子在观测空间（本例中为XYZ）中的最短距离S⃗i、 t | t−1，在粒子表示的预测状态向量在该空间中的投影之间和所有质心克1:k、 t |英寸在集群集中G公司1:k、 t |英寸，从对象的观测集获得Y（Y）障碍物，t使用聚类质心可确保所应用的观测模型经过过滤、稳健且准确，无论观测对象的可靠性如何。 如所示方程式（7），以获得可能性用于计算权重数组w⃗t吨，由定义的观测模型(2)必须加以利用，因为此外，O（运行）是描述同一模型中定义的观测噪声的协方差矩阵。该噪声对簇中位置的修改进行建模G公司j、 t |英寸质心克j、 t |英寸，当跟踪部分遮挡的对象时。 等权集因此，预测步骤的输出在集合中进行转换.
上述定义d日最小值，i、 t吨涉及集群之间的NN关联，G公司j、 t |英寸，其质心克j、 t |英寸用于粒子的重量粒子表示的计算与跟踪假设S⃗i、 t | t−1自身。事实上，这种联系意味着克j、 t |英寸是从跟踪假设生成的观测值中获得的，跟踪假设表示为S⃗i、 t | t−1.
此关联过程和重新初始化步骤消除了使用单个PF估计不同状态向量值时出现的贫化问题：所有粒子都倾向于集中在最可能的粒子旁边，剩下的值在输出密度处没有概率表示。在[17]，有效粒子的近似数量n̑效率用作质量因子，以评估集合中每个粒子的效率。根据这个因素，n̑效率应高于66%，以防止粒子集的贫化风险。该参数包含在下一节的结果中，以演示XPFCP如何解决贫困问题。 3.2.5。选择
集合中的每个粒子在选择步骤（也称为重采样步骤）根据生成的权重对校正步骤的输出进行重采样。因此，权重相等的粒子集表示贝叶斯滤波器估计的最终信念的离散版本第页(x个t吨|年1:t吨). 这最后一盘S公司t吨由n个−n个m、 吨粒子，以便n个m、 t吨在下一个重新初始化步骤中插入。
3.2.6. 群集粒子
从离散概率分布S公司t吨≅第页(x个t吨|年1:t吨)通过选择步骤输出，XPFCP必须生成确定性解决方案。这个问题在于找到多模密度中包含的不同模式第页(x个t吨|年1:t吨)由粒子集表示S公司t吨; 如果这些模式在该分布中没有明显的不同，那么就没有一个简单的解决方案。
为了实现这一差异化，XPFCP中包含了多种提案。这是因为保持这种多模态第页(x个t吨|年1:t吨)在避免贫困问题的同时，也是本文提出的所有技术的主要目的。以下部分显示了证明这一点的实证结果。
一旦确定了差异，就可以使用简单的算法在聚类中分割信念第页(x个t吨|年1:t吨)在XPFCP循环的末尾。因此，这些群体G公司1:k、 输出（t | out）将成为多重障碍假设的确定性表示Y（Y）障碍物，t由第2节中描述的立体视觉算法检测。
在这项工作中带验证的连续K均值，如中所述图8，用于获取G公司1:k、 输出（t | out）从S公司t吨因此，每个j个= 1 :k个出局，t跟踪假设将是一个簇G公司j、 输出（t | out）带质心g⃗j、 输出（t | out），具有与中定义的状态向量相同的组件(1)和标识参数τj|输出. 4.结果
在非结构化室内环境中进行了不同的测试，其结果如本节所示。实验中使用的立体视觉系统是由两个黑白数码相机组成的，它们之间的间隙为30厘米，距离地面约1.5米。视觉过程是使用OpenCV库开发的[25]并在通用计算机（Intel DUO 1.8GHz）上运行。 本文所述的全局跟踪算法已在移动四轮机器人平台上实现。特别是MobileRobots的先锋2AT©[29]已用于不同的测试。机器人包括一个控制界面，可在玩家项目的玩家控制GNU软件中使用，该界面可在环境中进行引导[30]. 图9显示了一种测试情况下的多跟踪过程的功能。同一实验的三个瞬间如图所示。每一列显示从单个捕获获得的结果；上面一行是输入图像，而下面一行是XZ地平面上对象数据的二维表示。 每个图中都会发现来自检测对象的不同数据。根据输出聚类过程生成的标识，每组G公司1:k、 输出（t | out）有着不同而独特的颜色。这些组用圆柱体标识，因此在图像中显示为矩形，在地面投影中显示为圆形。在这两个图形中，一个箭头（与相应组的颜色相同）显示了在每种情况下跟踪的每个障碍物的估计速度，包括大小和方向。
粒子的状态（取自最后一盘S公司t吨由XPFCP生成）和数据集的3D位置Y（Y）障碍物，t在每个图中分别用红点和绿点表示。此外，每一个障碍物的位置和速度（如果非零）的估计值也显示在顶行图像中其外观的下方。
在每列的任意两个绘图之间，一个文本行显示有关显示结果的一些信息；这是：被跟踪障碍物的数量（k）；整个跟踪应用程序的执行时间，单位为毫秒（texe）n̑效率（neff）和视频序列（iter）中的帧编号。正如在中可以注意到的那样图9，第2节中提出和描述的观测系统正确执行其检测、分类和三维定位任务。在障碍物数据集中检测、定位和分类不属于环境结构的每个物体Y（Y）障碍物，t，以便以后进行跟踪。 该多模态算法还实现了场景中所有障碍物的位置估计目标，而不考虑目标的数量、形状、动力学和类型。XPFCP正确地跟踪可变形和动态物体，如人，以及静态物体，如纸盒，可以在右侧的墙上看到。
此外，每个被跟踪对象都具有相应粒子簇的特征G公司1:k、 输出（t | out）保持其身份τ1:退出（k | out）（中显示为相同颜色图9)当物体停留在场景中时，即使它被视觉系统部分或完全遮挡（一段时间）。这是可能的，因为粒子的聚类算法包括基于窗口的验证过程。 为了详细显示识别任务的行为，图10显示了另一个实验中检测到的四个障碍物在XZ平面上的轨迹。在整个测试过程中，机器人停在障碍物前。 每个彩色点表示连续迭代期间的质心位置克1:4|外面的与相应障碍物相关的集群的G公司1:4，退出; 每种颜色都反映了集群的身份τ1:4|外面的.每个上方有一个虚线方向的箭头克1:4|外面的trace说明了真实障碍所遵循的道路的基本真相。因此可以得出结论，正确识别每个物体τ1:4|外面的保持100%的可靠性，即使发生部分和全部闭塞；这是障碍物3（粉红色）和障碍物4（浅蓝色）的轨迹上显示的情况。
图11以图形方式演示XPFCP提案在多跟踪任务中的多模式功能。在该图中，XPFCP功能与另一个多模式多跟踪方案的功能进行了比较，如[18]. 中的最下面一行图像图11显示了相同的粒子和观测数据集投影，以及跟踪参数texe、neff和iter，如所述图9此外，顶行包括由两种算法的校正步骤的设定输出表示的密度图。 中包含的信息图11允许得出结论，根据不同的估计假设，所提出的XPFCP（左栏）在最终信念中生成了差异化程度很高的模式；信念分布（顶行）上有四个明显的峰值。然而，基于PF的多跟踪方案在[18]不能以与XPFCP相同的效率实现多模态目标，因此它不能用于在单个估计器内鲁棒跟踪多个目标。 如前几节所述，作为确定性关联过程的度量聚类算法在多模态估计任务中具有更好的结果。此外，在图11表明XPFCP获得的多模密度S公司t吨≅第页(x⃗t吨|y⃗1:t吨)，可以很容易地进行分割以生成确定性输出G公司1:k、 时间|t中的提案产生的结果并非如此[18]. 一种快速聚类算法，如本文中提出的基于K-Means的聚类算法，足以以较低的执行时间稳健地完成此任务。如图所示，XPFCP的执行时间（texe=28ms）几乎是其他算法的17倍（texe=474ms）；因此，本文提出的贝叶斯建议比中的建议更适合于实时应用[18]. 最后，中显示的数据图12确认使用观测数据集将与Bootstrap过滤器相关的贫困问题最小化Y（Y）障碍物，t按群组织G公司1:k、 t|英寸在重新初始化和校正步骤中。中的最下面一行图像图12显示的信息和参数与中的相应信息和参数相同图11。在另一侧，上一行绘制权重数组校正步骤的输出。分析中包含的结果图12，可以得出结论，如果建议的分段G公司1:k、 t |英寸未使用clases（左柱图）场景中感测最差的对象（右侧墙上的纸盒），在校正步骤的离散分布输出中的表示减少然而，XPFCP在相同情况下（右列图）生成的结果要好得多。两个离散分布图（顶行）之间的视觉比较显示了所声称的行为。 为了定量分析这种情况，表1显示了集合中指定给场景中每个对象的粒子数（从选择步骤输出）图12，根据其在图像中的位置从左到右进行编号。 根据中所示的数字表1可以看出，在重新初始化和校正步骤中使用粒子时，粒子在所有跟踪假设中的分布更加均匀，避免了上述贫化问题。 归根结底，表2在1098帧（1分13秒的视频序列）的长时间实验中，恢复了使用该系统（具有立体视觉数据输入的XPFCP）获得的结果，其复杂情况类似于图9。场景中的障碍物数量沿序列从0变为5。 表2通过数据可以得出结论，即多跟踪方案可靠且稳健地实现了拟定目标：跟踪应用程序的低计算负载使其能够实时执行。
贫困问题得到了正确解决，因为PF中涉及的有效粒子数超过了设定的阈值（66%）。
XPFCP具有较高的识别可靠性和抗噪声鲁棒性。
跟踪可靠性的详细分析显示，在大约13%的迭代中出现了错误（遗漏、重复或移位的对象）。
然而，在整个实验中，跟踪应用程序中的明显错误（连续三次以上迭代的错误）仅达到5.3%的迭代次数。
5.结论
设计并测试了非结构化和室内环境中障碍物运动的鲁棒估计器。提出的XPFCP基于概率多模态滤波器，并通过聚类过程完成。本文提出的算法在复杂环境中的跟踪任务中提供了高精度和鲁棒性，并获得了比其他最新建议更好的数据。
此外，还为立体视觉观测系统开发了一种特定的检测、分类和三维定位算法。该算法能够在动态复杂的室内环境中处理这些任务。所设计的算法还将从障碍物中获取的测量值与从属于环境的结构元素中获取的那些测量值实时分离。
检测和分类过程的输入数据是来自一对同步摄像机的立体视觉图像。该视觉系统已证明在不同场景和距离达20米的情况下具有鲁棒性。
本文通篇显示了使用所提算法获得的结果。他们证明，公开的目标已得到有力和有效的实现。这些结果显示的可靠性特别重要，因为该系统被认为用于自主机器人导航的跟踪应用。
为了在单个算法中跟踪可变数量的对象，已经指定、开发和测试了一种名为XPFCP的估计器。为了实现这种多模态行为，成功地使用了概率和确定性技术的组合。
XPFCP包括确定性聚类过程，以增加场景中出现新对象的可能性假设。与其他多模态估计器显示的行为相比，该聚类提高了XPFCP的稳健性。
大多数测试都是用固定数量的600个粒子进行的。此数字保持不变，因此XPFCP执行时间也保持不变；为了实现实时性能，这是一个非常重要的事实。
所设计的XPFCP基于简单的观测和驱动模型，因此可以很容易地适应处理来自不同类型传感器和要跟踪的不同类型障碍物的数据。这一事实表明，我们的跟踪方案比相关文献中基于输入数据集刚性模型的其他解决方案更灵活。
