ILRC：一种基于改进L1正则化和微阵列数据聚类的混合生物标记发现算法

摘要

背景

从基因芯片数据中发现重要的基因或蛋白质以用于疾病诊断和药物开发是一项重要任务。然而，挑战来自数据维度的诅咒。使用机器学习方法从数据中发现重要特征并建立准确的分类模型具有重要意义。

结果

在不同的公共微阵列数据集上，该方法优于已发表的高级混合特征选择方法和传统特征选择方法。此外，使用我们的方法选择的生物标记物与合作医院提供的唇腭裂临床数据相匹配。

方法

本文提出了一种基于聚类和改进的L1正则化的特征选择算法ILRC。首先对特征进行聚类，删除子簇中的冗余特征。然后使用ILR对所有剩余特征进行迭代评估。根据累积权重重排序给出了最终结果。

结论

该方法可以有效地去除冗余特征。该算法的输出具有很高的稳定性和分类精度，可以潜在地选择潜在的生物标志物。

背景

微阵列数据是分析基因表达谱的宝贵工具[1]. 这类数据通常包含少量生物或临床样本和大量与目标疾病无关的基因（特征）[2]. 此外，微阵列数据显示出高度复杂性，即基因是直接或相互关联的，这导致高度冗余。这些特征使得许多机器学习算法不能胜任鲁棒性低、分类精度差的微阵列数据[三]. 因此，有必要找到一种合适的方法来减少构建模型的特征数量，以提高分类精度和鲁棒性。

大量研究表明，在挖掘高维大数据集时，特征选择对于构建统计模型至关重要，特别是对于那些由微阵列和质谱分析生成的数据集[4]. 这是在生物数据中选择生物标记物的重要一步。标准特征选择方法可以分为过滤方法、包装方法和嵌入方法[5]. 几种先进的混合特征选择方法[6,7,8,9,10,11,12]已经有报道，它可以使用公共基因数据集以较少的特征实现更高的分类精度。这些方法在相关工作部分中有详细描述。

同时，蛋白质组分析的结果与基于高级质谱的高维基因表达数据存在相同的问题。许多已鉴定的蛋白质可能与疾病无关，并且彼此之间具有高度相关性。在过去的几年里，机器学习方法在处理这些基因和临床数据方面显示出了显著的优势[13,14,15]. 最近，这些方法已被优化以处理从某些疾病的质谱测定中获得的蛋白质组/代谢数据[16,17,18].

现有的研究致力于用较少的特征来提高预测模型的准确性。然而，为了发现标记物，必须强调结果的可靠性和稳定性。如果部分数据被更新或修改，并且算法选择的标记在数据集受到干扰后发生显著变化，使得原始标记对研究人员不再可靠[19]. 虽然文学[20]强调了特征稳定性的重要性，设计了一种排序算法，该方法在特征选择过程中不同时考虑结果的稳定性。

同时，在这些文献中，很少有文献解释和验证所选基因或蛋白质的临床意义。尽管分类精度很高，但先验知识或手动验证对于评估算法识别的任何生物标志物簇的生物学合理性和特异性是必要的。以甲胎蛋白（AFP）为例，它是一种众所周知的妊娠各种问题的生物标志物，如开放性神经管缺陷、腹壁缺陷和唐氏综合症[21]. 然而，脐膨出、腹裂、骶尾部畸胎瘤等患者的AFP水平也升高[22]这使得它不足以区分实际的胎儿异常。

本文提出了一种结合改进的L1正则化和基于聚类的生物标志物选择的混合方法来解决上述问题。整体框架如图所示。1该方法首先对特征进行聚类，并过滤出与每个子簇中种子节点相关性最高的部分特征。然后使用改进的L1正则化方法对每个特征的权重进行多次迭代计算，最后根据特征子集的权重对输出特征进行排序。公共数据集和一组唇腭裂疾病蛋白质组学数据（由合作医院提供，生物标记物已被验证）的结果证明了该方法的有效性。

图1

提出的方法框架。该方法首先对特征进行聚类，过滤出与每个子簇中权重最高的节点高度相关的特征，然后使用改进的L1正则化方法对每个特征的权重进行多次迭代计算。最后，根据特征权重对输出特征子集进行排序

本文的贡献体现在以下几个方面：

• 1 设计了一种用于生物标志物选择的混合特征选择方法。该方法在保证高准确率的同时，注重特征选择过程中结果的稳定性和有效性。

• 2. 将聚类算法与过滤方法和嵌入式方法相结合，用于生物标记物选择。

• 三。 比较评估微阵列数据上各种分类器的性能。

• 4 介绍可用于生物标记物验证的数据集，以证明结果的有效性。

相关工作

传统的特征选择方法可以分为过滤器、包装器和嵌入式方法。通常，过滤方法不涉及分类模型。它只使用数据的内在特征来衡量重要特征得分[23]. 与其他特征选择方法相比，它具有较低的时间复杂度，允许灵活地安排与其他特征选取算法结合，以实现数据预处理、噪声去除和降维[24,25,26]. 常用的过滤方法主要包括ReliefF[27]，T测试[28]，卡方检验[29]，和最大信息系数（MIC）[30]，基尼指数[31]，Kullback–Leibler散度[32]，费希尔得分[33]，拉普拉斯算子得分[34].

包装器方法通常添加一个分类器，该分类器涉及评估特征子集[35]. 它将分类器作为算法的一个组成部分，并根据分类器的性能评估所选特征的重要性，这通常会产生更好的模型精度。常见的包装方法包含稳定性选择[36]，递归特征消除（RFE）[37]，遗传算法（GA）[38]，K-最近邻（KNN）[39]和粒子群优化（PSO）[40].

嵌入式方法的思想类似于包装器方法。它们都涉及分类器。然而，在嵌入式方法中，特征子集的选择直接嵌入到分类器中。换句话说，特征选择与分类器的训练同时进行。常用的嵌入式方法包括支持向量机递归特征消除（SVM-RFE）、决策树（DT）[41]，随机森林算法（RF）[42]和拉索回归（LR）[43].

然而，最近的研究表明，混合特征选择方法可以同时利用滤波方法的效率优势和翘曲方法的精度优势，以获得优异的性能[44]. 此外，一些研究还发现了微阵列数据集中普遍存在的数据不平衡问题[45,46].

对于DNA的微阵列数据，Lu等人结合互信息最大化（MIM）和自适应遗传算法（AGA）提出了一种混合特征选择算法MIMAGA-selection[6]. 该方法有效地降低了原始基因表达数据集的维数，达到了消除数据冗余的目的。它使用MIM来查找同一类别中高度依赖其他基因的基因。实验结果表明，MIMAGA-Selection方法的准确性优于所选的三种现有算法，即ReliefF、顺序前向选择（SFS）和MIM。为了验证MIMAGA-Selection方法选择的基因的有效性，MIMAGAS-election的论文包括反向传播神经网络（BP）、支持向量机（SVM）、极端学习机（ELM）和正则化极端学习机器（RELM）。

Salem等人提出了一种从基因微阵列数据中寻找生物标记物的新方法，该方法结合了信息增益（IG）和用于特征选择的标准遗传算法（SGA），称为IG/SGA[7]. 信息增益用于初始特征选择，以减少冗余特征，并用于提高遗传算法的效率。然后使用遗传算法进行进一步的特征选择，最后使用遗传规划（GP）建立最终的分类模型。在所使用的七个数据集上的实验结果表明，与其他混合特征选择方法相比，本文提出的方法总体上达到了最佳的分类精度，并且在两个数据集中达到了100%的分类精度。

Alshamlan等人提出了一种新的特征选择算法，称为最小冗余最大相关（mRMR）方法，并将其与人工蜂群算法（ABC）相结合，从基因微阵列数据中筛选生物标记[8]. mRMR被用作一种滤波方法，以减少特征数量，提高ABC算法的效率。该方法使用支持向量机（SVM）作为分类器，并在五个数据集上与mRMR结合遗传算法（mRMR-GA）和mRMR联合粒子群优化算法（mRM R-PSO）进行了比较。结果表明，当使用少量特征时，mRMR-ABC方法能够提供更高的分类精度。

Jain等人将基于相关性的特征选择（CFS）与改进的二进制粒子群优化（iBPOS）相结合，提出了一种用于微阵列数据生物标记选择的两阶段混合特征选择方法[9]. 与其他先进的混合特征选择方法一样，CFS用于提高粒子群算法的性能。该方法使用贝叶斯模型作为分类器，并在11个不同的微阵列数据集上进行了实验。将该方法与一些先进的特征选择方法进行了比较，结果表明，该方法在分类精度方面总体上优于比较算法，在7个数据集上达到了100%的分类精度。

Moradi等人提出了一种基于粒子群优化（PSO）算法的混合特征选择方法[10]. 该方法的主要思想是引入局部搜索策略来指导粒子群优化算法的搜索和选择过程。对13个数据集上的五种高级特征选择方法进行了比较。结果表明，该方法能够提高分类精度，与其他方法相比具有显著优势。

Shreem等人提出了一种两阶段特征选择混合方法，用于解决微阵列数据的生物标记识别问题[11]. 该方法结合了对称不确定性（SU）和协调搜索算法（HSA），简称SU-HAS。第一步使用SU方法去除冗余特征，第二步使用HAS选择最佳特征基因。在使用10个微阵列数据的实验中，与其他先进的特征选择方法相比，该方法在五个数据集中获得了最高的分类精度。

Djellali等人研究了两种基于快速相关滤波（FCBF）算法的混合特征选择方法[12]. 第一种方法基于遗传算法（FCBF-GA），第二种方法基于粒子群优化算法（FCBB-PSO）。该方法的第一阶段使用FCBF进行特征滤波，然后将结果反馈给遗传算法或粒子群算法。使用支持向量机作为分类器，在四个微阵列数据集上对该方法进行了评估，结果表明FCBF-PSO优于FCBF-GA。

结果

在本节中，我们根据特征工程管道的处理流程展示了实验结果。在数据预处理过程中，比较了不同采样方法对非平衡数据集的影响。在特征选择过程中，我们将我们提出的方法与典型的特征选择方法进行了比较。在建模阶段，我们比较了不同分类模型的有效性。最后，在结果评估中，将该方法与先进的特征选择方法进行了比较。此外，我们还对提出的方法在唇腭裂（CLP）数据集上进行了评估。

非平衡数据集的采样结果

表1显示了使用两种不同的采样方法（过采样和组合采样）对五个不平衡数据集进行采样后的结果评估。为了确保结果的可靠性，实验选择了多个分类模型并选择了相同数量的特征。这些方法包括支持向量机（SVM）、高斯贝叶斯（GB）、决策树（DT）、神经网络（NN）和K近邻（KNN）。这些分类器通常用于生物信息学分析，并已被证明具有良好的性能[47,48,49]. 可以看出，组合采样取得了最好的结果。

表1不同抽样方法对非平衡数据集的分类精度

特征选择方法的比较结果

图2显示了不同分类模型在平衡数据集上的分类精度。这些方法是随机森林（RF）、线性回归模型（linear）、岭回归模型（Ridge）、改进的基于L1正则化的线性回归模型、递归特征消除（RFE）和决策树（DT）。

图2

不同分类模型的分类精度。结果是所有数据集的平均值。水平轴表示所选特征的数量，垂直轴表示平均分类精度。图中的焦点区域是研究人员关注的特征数量范围

通常，在微阵列数据分析中，研究人员关注的特征数量在5到30个之间，这也是我们关注的焦点。可以看出，ILR在这方面取得了较好的效果，ILR也是我们提出的混合算法的一部分。

图三显示了当特征数量限制为30个时，不同方法的平均分类精度。图4显示了不同指标的变化。结果表明，在感兴趣区域，评价指标能够达到稳定状态。

图3

不同特征选择方法的分类精度。方框图表示交叉验证的分类精度，横轴表示所采用的特征选择方法，纵轴表示分类精度

图4

不同数量特征下每个评估指标的汇总结果。一水平轴表示特征数量，垂直轴表示分类准确率。b水平轴表示特征的数量，垂直轴表示召回率。c（c）水平轴表示特征数量，垂直轴表示精度。d日横轴表示特征数量，纵轴表示不同数量特征的错误发现率（FDR）和未发现率（MDR）

不同分类模型的效果评估

图5显示了不同数据集上不同分类模型的平均分类精度。SVM、GB和NN能够提供良好的分类精度，适合处理微阵列数据。在本文中，我们使用SVM作为所有实验的分类器。

图5

不同分类模型的分类精度。水平轴代表分类器，垂直轴代表分类准确率，每个点代表一个数据集。图中的结果是所有数据集的平均分类精度

评估建议方法ILRC的有效性

表2显示了该方法与公共微阵列数据集上的高级混合特征选择算法的比较。分别对特征数量和分类精度进行了评估。可以看出，ILRC可以用较少的特征实现较高的分类精度。

表2结肠、淋巴瘤和白血病数据集与7种高级混合特征选择算法的比较

ILRC对CLP数据集的影响评估

为了验证所提出的特征选择方法在实际数据集中的性能，我们跟踪了算法中三个已知生物标记在CLP数据集中的排名。这些生物标志物已经被标记并被证实是有效的。

为了确保结果的稳定性，我们用不同的方法重复了1042个实验（与特征数量一致），并分别以每个特征对应的平均权重排名和平均频率作为最终排名。特征权重来自分类器，并在模型构建中生成。平均频率是重复实验中特征的平均出现次数。

表三显示了三种生物标志物在不同方法中的排名。在实验中，如果阈值设置得太小，则无法过滤冗余特征。另一方面，如果阈值设置得太大，一些重要的特征将被过滤掉。通常30%的阈值可以达到最佳效果，20–35%是建议的阈值区间。ILR是一种改进的L1正则化方法。ILRT和ILRM表示使用T检验和互信息作为预处理方法的ILR方法，RF表示随机森林，DT表示决策树。对于ILRC，我们设置了不同的权重，权重系数对应于第页%方法中与种子节点相关性最高的节点。可以看出，三种已知的生物标志物在ILRC中的排名优于其他方法。

表3不同方法对CLP数据集上特征蛋白的排序，“/”表示相应的特征在循环数内，并且该特征没有被算法选择过一次

讨论

根据表中的结果1可以看出，在数据预处理阶段，对不平衡数据集进行采样是必要的。测试了过采样和组合采样方法对分类准确性的影响[50]. 组合抽样可以显著提高不同分类模型下的分类精度。

图中比较了不同特征选择方法对多个数据集的平均分类精度。2和三其中ILR是我们提议的混合方法的一部分。可以看出，ILR在研究人员感兴趣的特征数量区间内取得了较高的结果。图4对我们关注的特征数量内的所有结果评估不同的度量。结果表明，分类器可以在我们关注的特性数量内实现最高的评估，而包含更多特征会降低模型性能。这是因为一些不相关和冗余的特征被输入到分类器中，我们提出的方法将侧重于删除这些特征。

在图中。5，针对微阵列数据评估不同分类模型的分类性能，并为每个分类器输入由所提方法选择的15个特征。结果表明，SVM、GB和NN更适合于微阵列数据的分类任务。然而，不同数据集的结果略有不同。为了解决这个问题，可能需要进行预实验来选择适合微阵列数据集的分类器。

在表中2将我们提出的方法与已发表的高级混合特征选择方法进行了比较。ILRC的性能非常稳定，不到十个特征的准确率达到95%以上，淋巴瘤和白血病数据集的准确率为100%。尽管一些结果稍微落后于其他方法，但这些差异并不显著。总的来说，我们有理由相信ILRC可以在大多数数据集上实现出色的性能。

表三评估ILRC对CLP数据集的影响，其中一部分生物标记物已被临床专家标记和验证。P31946、P35968和P62258是已被验证为临床生物标志物的蛋白质，可以看出，ILRC在发现此类蛋白质方面优于一些传统的特征选择方法和基于不同过滤方法组合的ILR算法。结果表明，ILRC结果稳定，有潜力发现具有临床意义的生物标志物。

ILRC将聚类算法与混合特征选择算法（T-Test和ILR）相结合，可以有效过滤冗余特征，选择具有诊断意义的生物标志物，并确保较高的分类精度。然而，ILRC算法不涉及集成学习。通常对于特征选择任务，特别是生物标志物的选择，使用集成模型和特征排序融合技术可以提高结果的稳健性。我们将在未来的研究中关注这个方向。

结论

微阵列数据分析组织和细胞的遗传差异。在临床医学中，有效的基因选择可以大大提高疾病预测和诊断的过程。用于预测癌症类型的基因也可能为癌症的发病机制和药理学提供支持[51]. 本文提出的ILRC方法对特征进行聚类，并根据评价规则在子簇中建立种子节点。该算法删除种子节点冗余度较高的特征，并使用改进的L1正则化方法对剩余的特征子集进行评估，最后选出最佳子集。在实际数据集上的多次比较实验和验证实验证明了ILRC的准确性和稳定性，并且它有潜力发现具有临床意义的生物标记物。

在我们的研究中，我们发现由不同模型生成的特征子集可能存在较大偏差。研究人员需要一个稳定的特征子集。假设部分数据被更新或修改，算法选择的标记在数据集受到干扰后会发生显著变化。这些标记对研究人员来说可能不可靠[19]. 接下来的研究将集中于特征的稳定性和多模型特征排序融合方法。相关方法已在文献中报道[20]，取得了良好的效果。此外，在未来的工作中，我们将评估相关报告对CLP数据集的影响。

方法

数据集和评估指数

本文使用了17个不同的数据集，包括17个公开可用的遗传数据集和CLP蛋白质数据集，如表所示416个公开的数据集包括弥漫性大B细胞淋巴瘤（DLBCL）[52]，前列腺[53]，急性淋巴细胞白血病（ALL；根据不同表型分为四个亚型）[54]，中枢神经系统胚胎性肿瘤（CNS）[55]，淋巴瘤（Lym）[56]，腺瘤[57]，冒号[58]，白血病[59]、骨髓瘤[60]，胃[61]，冲程[62]唇腭裂（CLP）。其中，DLBCL、结肠、白血病、骨髓瘤、ALL1-4和CNS数据集不平衡。

表4本文涉及的数据集，Ratio表示数据集的不平衡比率

唇腭裂（CLP）是婴儿唇或口常见的先天性口腔面部缺陷。它是由组织和特殊细胞在唇和口（腭）形成过程中的一个失败关节引起的，这发生在怀孕的第四周到第九周之间[63]. 唇腭裂婴儿的上唇（和/或腭前部）有一个开口。在一些严重的病例中，这种裂缝甚至延伸到婴儿的鼻子。平均每700个活产婴儿中就有1个受到口唇腭裂的影响[64]. 患有这些缺陷的儿童会因感染而出现进食困难、说话困难，有时还会出现听力问题。

一般来说，这种先天性畸形可分为两种类型：一种是综合征，主要由基因突变引起，另一种是非综合征，其诱发因素更为复杂，包括基因和环境的组合，如吸烟、糖尿病、孕前和孕期使用某些药物[65,66,67,68]. 已有数百个以上的基因被映射到这些缺陷的遗传原因，这表明疾病的发展具有强大的遗传成分[69]. 然而，根本机制仍不清楚。

CLP的常规产前诊断方法是在妊娠18至20周之间通过解剖超声进行[70]. 修复手术可以在婴儿出生后和出生后的前18个月内直接进行[71]. 除了胎儿的位置和母亲的身体状况外，超声筛查中任何异常的检测灵敏度都在很大程度上取决于所使用的仪器和医学超声医生的经验。在大多数情况下，需要进行进一步的基因或生化测试以获得明确诊断。生物标志物的使用为帮助临床诊断提供了巨大的前景，有可能检测胎儿异常的早期迹象。对这些缺陷的早期诊断将使医生有一个全面的治疗计划。

在本文中，CLP数据集是临床医生标记和验证生物标记物的唯一数据集。该数据集包含60份母亲血清样本（30名患有CLP的胎儿的母亲和30名健康婴儿作为正常对照），这些样本是为本研究在妊娠22-30周期间收集的。基于iTraq的蛋白质组学分析鉴定了1042个蛋白质。这些血清样本是从一家合作医院进行产前检查的孕妇身上采集的。在质谱分析实验中，每十份血液样本混合成一份样本，因此数据集的实际样本大小只有六份。

本文将现有研究中广泛使用的准确度、准确度和召回率作为主要评估指标。我们还引入了错误发现率（FDR）和未发现率（MDR）来评估选定的特征和分类模型。fdr和mdr的估计是根据巴黎分子和细胞蛋白质组学指南分析和记录质谱数据的要求[72]. 这些评价指标在以下公式中定义，其中P（P）和N个表示阳性和阴性样本的数量，TP（转移定价）和TN公司表示正确预测的正负样本数，FP公司和FN公司表示错误预测的正负样本数。本文中使用的评价指标计算公式为(1).

$$\begin{aligned}\begin{aligned}FDR&=\frac{FP}{TN+FP}\quad Accuracy=\frac{TP+TN}{P+N}\\MDR&=\fracc{FN}{TP+FN}\quac Precision=\frac{TP}{TP+FP}\\end{alinged}\end{aligned}$$

(1)

在本实验部分中，使用了十倍交叉验证方法，并将其平均作为最终分类精度，以确保与对比文章的实验方法一致。对于样本数较少的数据集，使用“leave-one-out”方法对这些数据进行验证和平均，以便结果最接近整个训练和测试集中的预期值。

改进的L1正则化方法

改进的L1正则化方法，也称为稳定性选择，基于采样和特征选择的组合[73]. 该方法是对L1正则化方法的补充：当L1正则方法遇到一组相关特征时，它倾向于只选择其中一个特征。稳定性选择使用随机化技术。其主要思想是对不同的数据子集和特征子集运行特征选择算法，不断重复并最终聚合特征选择结果。理想情况下，重要功能的得分接近1，不太重要的功能的得分介于0和1之间，最无用的功能的分数接近0。

L1正则化方法的一个重要特征是能够生成特征权重系数的稀疏矩阵，即某些特征的系数变为零，从而可以基于特征权重实现特征选择。因此，L1正则化通常用于高维数据的特征选择。然而，为了获得正确的结果，L1正则化方法需要数据空间满足特定条件。此外，如果特征之间存在高相关性，L1正则化方法很容易失真，从而难以实现高分类精度。L1正则化方法对正则项系数α也非常敏感，因此选择正确的参数至关重要。面对高维小样本数据时，L1正则化方法选择的特征数量小于\（\分钟（n，p）\）这导致通过估计获得的参数不太稳定和可重复[74].

改进的L1正则化算法的核心思想是首先进行随机采样，然后使用特征选择模型对选择进行评估[75]. 当特征对应系数非零时，该特征被认为是被选中的。该算法将上述过程重复数次，以获得每个选定特征的频率，并选择频率较高的特征作为最终选择结果。根据改进的L1正则化框架，不难看出，它允许根据样本空间选择合适的方法，这也使得稳定性选择框架具有更广泛的应用场景。同时，稳定性选择削弱了最终结果对正则化系数的敏感性\（\字母\），大大减少了工作量；稳定性选择能够有效地控制误报，特别是在高维小样本数据上，这种优势更加明显。

K-均值聚类法

从聚类的角度来看，删除不相关的特征不会对聚类精度产生负面影响，并且可以减少所需的存储和计算时间。因此，聚类算法常被用作特征选择前去除冗余特征的预处理方法之一[76]. 对于样本集\（D=\left\{x{1}，x{2}，x{3}，\ldots，x{m}\right\}\），K-means算法是最小二乘误差E类用于群集分区\（C=\left\{C_{1}，C_{2}，\ldots，C_}k}\right\}\）如公式(2).

$$\开始{aligned}E=\sum_{i=1}^{k}\sum_{x\在C_{i}}\left\|x-\mu_{i{}\right\|_{2}^{2}\end{aligned}中$$

(2)

哪里\（u_{i}=\frac{1}{\left|C_{i{\right|}\sum_{x\在C_{i}}x\中）是平均值的向量\（C_i\）.

方程式(2)描述了围绕簇平均向量的簇内样本的贴近度E类值，则簇内样本的相似性越大。

改进的基于L1正则化聚类的特征选择方法（ILRC）

本小节提出了一种用于生物标志物发现的混合特征选择方法，即改进的基于L1正则化聚类（ILRC）的方法。该方法使用T检验和改进的L1正则化（ILR）方法作为混合特征选择方法，并将改进的K-Means聚类算法结合到ILR中[77]. 实验结果表明，与大多数传统特征选择方法和一些先进的混合算法相比，该方法可以获得更高的分类精度。此外，CLP数据集实验表明，添加K-means可以有效提高所选特征的临床可解释性。

算法的总体流程如图所示。6在ILRC中，首先使用K-means（聚类数）对数据进行聚类(k个)使用弯头方法确定[78]. 原始数据集分为k个子数据集（集群），因此每个集群的功能都是相似的。对于每个集群第页使用T-Test方法计算每个特征（节点）的值。对于每个功能\（x_i\），其第页该值的计算公式为(三).

$$\开始{aligned}P=\frac{{bar{X}}_{1}-{\bar{X}}_{2}}{\sqrt{frac{左（n_{1}-1\右）S_{1}^{2}+\左（n_{2}-1\右）S_{2}^{2}}{n{1}+n_{2}-2}\左（\frac{1}{n{1}}+\frac{1'{n{2}}\right）}}\end{aligned}$$

(3)

哪里\（S_1^2\）和\（S_2^2\）是对应于相同特征的两个样本方差；\（n_1）和\（氮气）是对应于同一特征的两个样本容量，\（{\bar{X}}=\frac{\sum_{i=1}^{n}X{i}}{n}，i=1\ldotsn\）.

然后根据节点的第页值，具有最小值的节点第页值被定义为种子节点，并计算剩余节点和种子节点之间的皮尔逊相关系数。相关系数按降序和顶部排序第页%除去种子节点以外的节点。此步骤的目的是删除每个集群中与种子节点高度相关的节点。每个集群中的其余功能用于形成新的数据集\（D^*\）然后将改进的L1正则化方法应用于\（D ^*\）.考虑到方法的随机性：对于样本数为的数据集n个，实验重复n个特征选择和统计合并了每个特征的权重和每个特征的出现次数，作为最终的特征选择结果。该过程如算法1所示。

图6

ILRC特征选择过程。在预处理输入数据后，执行聚类操作。聚类后，通过T检验对特征进行排序，并选择种子节点。然后评估剩余节点和种子节点之间的相关性，并删除冗余特征。最后，使用ILR评估剩余特征的权重，重复实验，并按照特征的顺序输出结果

该方法可以有效地去除冗余特征。在CLP数据集的实验中，我们在一个簇中去除了以下蛋白质：P37837、P40197、A0AUP5、B2R701。通过审查UniProt的相关信息，我们没有发现任何信息表明这些蛋白与CLP的临床诊断相关，为了临床诊断冗余，将该集群中的这些蛋白删除。