稀疏高维多元回归的正则化估计及其在DNA甲基化研究中的应用

1引言

随着现代数据收集技术的发展，高维数据在许多科学研究领域变得越来越普遍，例如全基因组研究(Lin等人，2015年)，生物医学(Mukherjee等人，2015年)、经济和金融(巴苏和米查利迪斯，2015年). 在这些情况下，参数的数量大于样本量，这使得传统的统计程序不合适。最近，在组学研究中经常会遇到具有高维多元反应的相关数据。我们的鼓舞人心的例子是标准老化研究，其中甲基化标记物被视为多变量结果。DNA的甲基化，即在通常被称为胞嘧啶磷酸鸟嘌呤（CpG）岛的结合位点将甲基添加到DNA中，可能会影响DNA的表达。相邻探针测得的DNA甲基化水平是相关的(Moen等人，2013年)导致高维多元结果。具有类似功能的DNA甲基化标记也可能存在相关性，例如与吸烟等接触有关。因此，有必要在评估过程中考虑受试者之间的相关性。

我们的目的是在高维多元DNA甲基化标记中选择回归系数。这项研究有两个具有挑战性的问题：（1）如何在高维环境中进行变量选择；（2）如何处理多变量结果之间的相关性。对于第一个挑战，许多研究集中于惩罚方法，例如最小绝对收缩和选择算子（LASSO，Tibshirani，1996年)，平滑剪裁的绝对偏差（SCAD，范和李，2001)、弹性网(Zou和Hastie，2005年)、自适应LASSO(邹，2006)和最小最大凹罚（MCP，张，2010). 惩罚方法已应用于许多研究主题，例如线性模型(王和冷，2007;Huang等人，2011年;Fan和Lv，2014年)，广义线性模型(范德格尔，2008;Jiang等人，2016年)，生存模型(范和李，2002;Bradic等人，2011年;林和吕，2013). 最近，Belloni等人（2011年）提出了一种关键的平方根LASSO方法，该方法不依赖于误差项的标准偏差知识。稍后，Belloni等人（2014）在高维非参数回归分析中开发了一种自校正平方根LASSO方法。刘和王（2017）提出了一种利用平方根LASSO优化估计高维高斯图形模型的新方法。有关变量选择的更多主题，请参阅Bühlmann和van de Geer（2011）.

解决第二个挑战的研究非常有限，尤其是当反应是高维的时候。Rothman等人（2010年）提出了一种基于LASSO惩罚的高维多元回归变量选择和估计的迭代算法。Sofer等人（2014）使用惩罚似然法考虑了高维多元回归的变量选择，但多重响应的维数仍远小于样本量。Liu等人（2015）针对高维多元回归模型提出了一种校正的多元回归方法，但它们只考虑了不相关的误差结构。Li等人（2015b）和Wilms和Croux（2017年）研究了LASSO组的高维多元线性回归模型。大多数现有方法都使用交叉验证在完整正则化路径上选择调整参数，这是一种计算昂贵的方法，可能会浪费宝贵的训练数据。为了解决这个问题，我们将延长Belloni等人（2011年）’s（未加权）平方根LASSO关于单结果到加权平方根LASSO的多变量结果。与现有方法相比，我们的过程的主要优势在于调谐不敏感特性，这比交叉验证快得多。另一个优点是我们可以使用整个数据集进行变量选择，这可能会学习到更好的模型(Bishop等人，2003年).

论文的其余部分组织如下。在节中2，我们介绍了具有高维响应的多元线性回归的模型和加权平方根LASSO程序。在节中三，我们为所提出的估计量建立了一个误差界。在节中4，我们开发了一种有效的算法，并进行了蒙特卡罗模拟，以评估我们的方法的性能。关于DNA甲基化在正常年龄研究中的实证分析，见第节5第节给出了一些结论6所有技术证明均归入附录。

2模型和估算

考虑稀疏的高维多元线性回归模型

哪里Y（Y）我=(Y（Y）我1,⋯,Y（Y）我第页)′是一个第页-维度反应，例如DNA甲基化标记；X（X）我=(X（X）我1,⋯,X（X）我q个)′是一个q个-维协变量向量；B类=(B类1,⋯,B类第页)′∈ℝ第页×q个是稀疏回归系数矩阵B类k=(βk1,⋯,βkq个)′∈ℝq个,k= 1, ⋯,第页;ϵ我=(ϵ我1,⋯,ϵ我第页)′∈ℝ第页是均值为0、协方差矩阵为∑的随机误差项_第页。在本文中，我们假设预测器的维度q个是固定的，但反应的维度第页可能大于n个.稀疏回归系数矩阵B类表明只有少数系数是非零的。我们的兴趣是估计系数矩阵B类并建立相应估计量的oracle不等式，同时考虑相关结果。

假设(Y（Y）_我,X（X）_我)是独立且相同分布的（i.i.d.）观测值，我= 1, ⋯,n个.如果ϵ_我∼N个(0, Σ_第页)，负对数似然函数由下式给出

哪里Ω第页=Σ第页−1是精度矩阵(Cai等人，2011年). 表示(B类1′,⋯,B类第页′)′作为β=(β1,⋯,βd日)′，其中d日=pq值.让𝒮={j;βj≠0}成为具有尺寸的真实模型秒=|𝒮|.我们使用Ω_第页解释主题内相关性(Sofer等人，2014年)，并提出以下准则函数：

实际上，精度矩阵Ω_第页可以使用约束的▽进行估计₁最小化方法(Cai等人，2011年)已在R包中实现闪耀(Li等人，2015a). 基本上，稀疏逆协方差矩阵（精度矩阵）Ω的估计_第页可以通过以下优化问题得到：

从属于：

哪里γ>0是一个调整参数Σn个=1n个∑我=1n个(Y（Y）我−B类~X（X）我)′(Y（Y）我−B类~X（X）我)具有B类~是一致估计量（例如岭估计量）。

Belloni等人（2011年）建议为β具有标量结果。他们表明，惩罚（调整参数）是关键的，即它不依赖于误差方差的知识，也不需要预先估计它β对调谐参数不敏感，大大简化了计算，而调谐参数的选择往往需要交叉验证。此外，平方根LASSO方法在估计β相比之下，普通LASSO需要估计误差方差(Belloni等人，2011年)实现近oracle性能，这在高维数据中是一个非常具有挑战性的问题。

动机Belloni等人（2011年），模型中相关结果的相应加权平方根LASSO版本(1)定义为

哪里λ>0是调谐参数，w个_j是已知重量，j= 1, ⋯,d日.我们可以设置w个j=1/|β~j|沿着…的路线邹（2006）具有β~_j是岭估计量，j= 1, ⋯,d日注意，在自适应LASSO中，我们选择岭估计而不是普通的最小二乘估计，因为第页可能大于n个在模型中(1). 为了获得β^英寸(4)，我们考虑优化问题，

对于ρ≥0，我们有问(β;Ω第页)2ρ+ρ2≥问(β;Ω第页)，所以中的目标函数(5)是中的上界(4). 当且仅当ρ=问(β;Ω第页)类似于刘和王（2017），中的优化(4)和(5)产生相同的溶液β^。这两者之间的关系(4)和(5)提供了如下所述的高效算法。

对于给定的λ，我们有以下步骤：

步骤0。计算精度矩阵Ω^第页（使用R包闪耀;Li等人，2015a)和β^第页我d日克e（电子）（使用R包格尔姆奈特;Friedman等人，2010年). 设置β(0)=β^第页我d日克e（电子）和ρ(0)=问(β(0);Ω^第页).

步骤1。用坐标下降算法求解优化问题(Friedman等人，2010年)

步骤2。更新

步骤3。重复步骤1和2，直到收敛。

值得注意的是，Ω^_第页是一致的(Cai等人，2011年)并且在迭代更新过程中保持不变，因此步骤1中的目标函数对于β，保证了算法的快速收敛。以下内容引理1将显示的显式表达式λ，而中调谐参数的最佳值(4)将在第节中进行评估4通过实证研究。估算程序已在R中实施（可根据要求提供）。

3理论结果

在本节中，我们将为β^定义于(4). 以下引理为加权平方罗LASSO过程的调谐不敏感特性奠定了基础，其动机是Bickel等人（2009年）他对LASSO的处罚级别的选择。表示W公司最小值=最小值{w个1,⋯,w个d日},W公司最大值=最大值{w个1,⋯,w个d日}和N个=净现值我们首先有以下引理。

类似Belloni等人（2011年），预测范数如下所示||e（电子）||2,N个2=1N个e（电子）′𝕏′𝕏e（电子），其中𝕏定义见附录和e（电子）∈ℝ^d日为了推导oracle不等式，我们定义了相容因子(Huang等人，2013年)以及限制本征值（RE，Bickel等人，2009年)作为

分别，其中𝒞(ξ,𝒮)={e（电子）∈ℝd日:||e（电子）𝒮c（c）||1≤ξ||e（电子）𝒮||1}具有ξ=c（c）W公司最大值+W公司最小值W公司最小值(c（c）−1).此后，𝒜^c（c）表示集合的补码𝒜;v（v）𝒜=(v（v）j:j∈𝒜)对于向量v（v）然后，我们得出以下结论。

以下定理给出了估计误差的上界。

4模拟研究

在本节中，我们将进行仿真研究以验证所提出的方法。我们假设X（X）来自N个_q个(0, Σ_X（X）)，其中q个=2和∑_X（X）= (σ_ij公司)由提供σ_ij公司= 0.7^|i−j|。随机误差项由N个_第页(0, Σ_E类)，我们考虑以下两种误差协方差设置：

案例（a）。AR（1）误差协方差：∑_E类,标准= 0.8^|秒-吨|.

案例（b）。分数高斯噪声（FGN）误差协方差：

使用Hurst参数H（H）=0.9，因此距离的相关性为（0.74、0.63、0.58、0.55、0.52、0.50、0.49、0.48、0.46、0.45）|秒−t吨|=1:10值得注意的是，情形（a）的逆误差协方差是一个三对角稀疏矩阵，而情形（b）具有稠密的逆误差方差。设置β= (1, 0.6, 0.3, 1.2, 0.8, 0.5, 0, ⋯, 0)^′即，前六个元素为非零，而其余元素均为0。我们接受第页分别为200和300。所有模拟结果均基于100次复制n个=100和200。

根据定理1，调谐参数λ=ηW公司米我n个日志d日N个和一些η> 2. 选择合适的λ，我们考虑η，相应的性能如图所示1–4可以看出，当η∈ [6, 10]. 因此，我们建议η在模拟和实际应用中，加权平方根LASSO（WSR-LASSO）方法均为8。为了进行比较，我们还考虑了LASSO和具有权重的平方根LASSO（SR-LASSO）w个_j=1英寸(4).

图1

具有AR（1）误差协方差的WSR-LASSO模型修正率。

图2

具有AR（1）误差协方差的WSR-LASSO模型误差。

图3

具有FGN误差协方差的WSR-LASSO模型修正率。

图4

具有FGN误差协方差的WSR-LASSO模型误差。

桌子1和2报告结果，包括选择正确模型（CMR）的比率我{𝒮^=𝒮}、假阳性率（FPR）|𝒮^\𝒮|/|𝒮^|、假阴性率（FNR）|𝒮\𝒮^|/(d日−|𝒮^|)和模型错误（ME）信托收据[(B类^−B类)ΣX（X）(B类^−B类)′](袁和林，2007). 可以看出，LASSO和SR-LASSO具有相似的性能，这与Belloni等人（2011年）此外，与LASSO和SR-LASSO相比，WSR-LASSO方法具有更高的正确模型选择率和更小的模型误差。假阳性率和阴性率的结果也表明，该方法在实际应用中优于LASSO和SR-LASSO。

5应用

我们将我们提出的方法应用于来自美国退伍军人事务部标准老化研究（NAS）的DNA甲基化（DNAm）数据。我们排除了（i）非白人或缺少种族信息的参与者，以尽量减少遗传血统的潜在混杂影响，或（ii）因其血液甲基化谱可能受到影响而被诊断出任何癌症和有中风或冠心病史的参与者。共有169人在第一次抽血时采集了样本，目前仍在等待分析。

我们对吸烟对DNA甲基化的影响感兴趣。Gao等人（2015）对成人主动吸烟暴露引起的DNA甲基化变化进行了文献综述。从中，我们考虑了总共151个胞嘧啶-磷酸-鸟嘌呤（CpG）二核苷酸的甲基化标记，这些二核苷酸在文献中已被多次报道（≥2次）。在我们的研究中，151个CpG位点之间的相关性范围为[-0.6440，0.9369]，表明这些CpG之间具有高度相关性。

我们对吸烟包年（packyr）对这些DNAm标记物的影响很感兴趣。我们还将年龄和BMI纳入模型。总的来说，我们需要估计453（151×3）个回归系数。我们在第节中使用了建议的方法2带调谐参数λ= 0.0026.

在表中三，我们将我们的结果与下面列出的原始151个CpG进行了比较Gao等人（2015）。在表中4我们报告了选定的CpG和系数估计值。通过我们的方法在NAS数据中选择了151个CpG中的33个。我们可以看到，文献中报告得更频繁的CpG也更有可能被我们在NAS数据中的方法所选择。例如，在至少7次报告的8个CpG中，我们的方法从NAS数据中选择了5个（62.5%），而在文献中两次报告的89个CpGs中，只有15个（16.9%）是通过我们的方法选择的。表中的下降趋势三显示了我们的方法与文献的一致性。值得注意的是，我们的方法正确识别了前两个CpG–cg03636183和cg05575921（位于F2RL3和AHRR基因中），这两个基因在文献中分别报道了12次和11次。

6结束语

我们提出了一种用于高维多元回归模型的加权平方根LASSO方法。我们通过CLIME方法估计了精度矩阵，以说明响应之间的相关性，并获得了估计量的oracle不等式。提供了模拟研究来说明所建议的程序。我们应用该方法研究吸烟与高维DNA甲基化标记的关系。

未来有几个课题需要研究。首先，高维高斯图形模型的估计是一个活跃的研究领域(Cai等人，2011年;蔡和元，2012;Fan等人，2013年). 考虑回归系数和精度矩阵的联合估计在(1). 一个可能的解决方案是在(4)第二，尽管假设协变量的维数是q个是固定的，将所提出的方法直接扩展到高维协变量设置，主要困难在于超高维参数带来的计算负担。第三，关于加权平方根LASSO的统计推断是一个重要而有趣的话题。第四，由于我们的方法消除了交叉验证的负担，我们的方法在计算上是有效的：对于第节中的DNA甲基化数据5，R软件在个人电脑中聚合大约需要10.3秒。正如一位评论员所建议的那样，使所提出的算法可扩展到全基因组响应和预测标记，这将很有意义，因为这可以在高性能计算设施中实现。第五，我们对高维中介分析感兴趣(Zhang等人，2016年)确定高维DNA甲基化标记物是否介导从干预（如饮食、体育锻炼）到健康结果的途径。