零空间的计算和理论分析及正交线性判别分析

叶洁平、熊涛。

年份:2006年,数量:7,第43期,第1183-1204页


摘要

在许多情况下,降维是一个重要的预处理步骤应用。线性判别分析(LDA)是一种经典的监督降维的统计方法。它的目标最大化类间距离与在类内距离,从而最大限度地实现类间歧视。在许多应用中得到了广泛的应用。然而,经典LDA公式要求散布矩阵的非奇异性卷入的。对于欠采样问题,其中数据维度为远大于样本量,所有散布矩阵都是奇异的经典LDA失败。许多扩展,包括空空间LDA(NLDA)和正交LDA(OLDA),过去曾被提议用于克服这个问题。NLDA旨在最大化中间类类内散布矩阵的零空间中的距离,而OLDA通过散射矩阵的同时对角化。他们一直在已成功应用于各种应用中。

在本文中,我们对NLDA和OLDA。我们的主要结果表明,在温和条件下它适用于涉及高维数据的许多应用,NLDA相当于OLDA。我们对各种类型的数据和结果与我们的理论一致分析。我们进一步将正则化应用于OLDA。算法称为正则OLDA(简称ROLDA)。一个高效的提出了一种估计ROLDA中正则化值的算法。分类的比较研究表明,ROLDA非常与OLDA竞争。这证实了ROLDA的正规化。

PDF格式 BibTeX公司