学习几何

子空间和流形是高维信号的两种强大模型。子空间模型为线性相关，非常适合物理系统生成的信号，例如人脸正面图像和天线阵列上的多个源。流形对非线性相关但信号由少量参数决定的源进行建模。例如，不同姿势或表情下的人脸图像，以及不同风格的手写数字。然而，子空间或流形模型与源的真实统计数据之间总是存在一定程度的模型不匹配。本文利用子空间和流形模型作为各种信号处理和机器学习任务中的先验信息。

接近低秩的高斯混合模型测量接近线性或仿射子空间的并集。这种简单的模型可以有效地捕捉每一类接近子空间时的信号分布。本文研究了这些子空间之间的成对几何对分类性能的影响。当模型失配消失时，误分类概率由子空间间主角正弦的乘积决定。当模型失配更严重时，错误分类的概率由主角正弦的平方和决定。分类的可靠性是根据信号能量在主向量上的分布推导出来的。较大的主角会导致较小的分类错误，从而激发优化主角的线性变换。这种称为TRAIT的线性变换还保留了每个类中的一些特定特征，是对最近开发的低秩变换（LRT）的补充。此外，当模型失配更为显著时，TRAIT表现出优于LRT的性能。

流形模型对数据变化的自由度施加了约束。对数据变化具有鲁棒性的学习特征非常重要，特别是当训练集的大小很小时。具有大量参数的学习机，例如深度神经网络，可以很好地描述非常复杂的数据分布。然而，它也更有可能对数据的小扰动敏感，并且在泛化为未看到的（测试）数据时，会受到性能下降的影响。

从函数类复杂性的角度来看，这样的学习机具有巨大的容量（复杂性），往往过盈。流形模型为我们提供了一种对学习机进行正则化的方法，从而减少泛化误差，从而减少过度搜索。提出了两种不同的防过量摄入方法，一种是从数据变化的角度，另一种是通过容量/复杂性控制。在第一种方法中，鼓励学习机器针对流形上的局部邻域中的数据点做出平滑变化的决策。在第二种方法中，导出了流形的图邻接矩阵，并鼓励学习的特征与该邻接矩阵的主成分对齐。在基准数据集上的实验结果表明，当训练集较小时，该方法具有明显的优势。

随机优化使跟踪缓慢变化的子空间流数据成为可能。通过使用仿射子空间逼近局部邻域，可以有效地跟踪缓慢变化的流形，即使有损坏和噪声数据。局部邻域越多，近似效果越好，但计算复杂度越高。提出了一种多尺度近似方案，其中局部近似子空间以树结构组织。然后，树节点的拆分和合并可以有效控制邻里的数量。估计了学习模型的偏差（每个数据的偏差），从而产生了一系列用于异常检测的统计数据。该框架扩展了经典的{\em变化点检测}技术，该技术仅适用于一维信号。仿真和实验表明，该方法在检测缓慢变化的低维流形中的突变时具有鲁棒性和有效性。