开放式访问
2010 非光滑惩罚目标函数的优化-最小化算法
伊丽莎白·斯基法诺,罗伯特·斯特劳德曼,马丁·威尔斯
电子。J.统计。 4: 1258-1299 (2010). 数字对象标识码:10.1214/10-EJS582

摘要

在高维统计分析中,惩罚或正则化的使用已变得很常见,其中越来越常见的目标是同时选择重要变量并估计其影响。几位作者已经表明,这些目标可以通过最小化一些参数相关的“goodness-of-fit”函数(例如,负对数似然)来实现,该函数会受到促进稀疏性的惩罚。惩罚函数在起源时是单数的,因此受到了广泛关注,可以说从拉索惩罚开始[62]。

目前的文献倾向于关注可微拟合优度函数和在原点奇异的罚函数的特定组合。这种组合特异性的一个结果是,计算算法的数量激增,这些算法旨在解决涉及目标函数的相当窄的优化问题,这些目标函数并非处处都是连续可微的。本文提出了一类通用算法,用于优化满足一定正则性条件的多种非光滑惩罚目标函数。该框架使用优化最小化(MM)算法作为其核心优化引擎。在惩罚回归模型的情况下,生成的算法采用迭代软阈值,以组件方式实现,允许快速稳定的更新,从而避免了反转高维矩阵的需要。我们在比统计文献中先前考虑的更弱的假设下建立了收敛理论。我们还证明了最初为EM算法提出的新加速方法在这类问题中的特殊有效性。仿真结果和微阵列数据示例证明了该算法的能力和通用性。

引用

下载引文

伊丽莎白·斯基法诺(Elizabeth D.Schifano)。 罗伯特·斯特劳德曼。 马丁·威尔斯。 “非光滑惩罚目标函数的优化-最小化算法。” 电子。J.统计。 4 1258 - 1299, 2010 https://doi.org/10.1214/10-EJS582

问询处

发布时间:2010年
首次在欧几里德项目中提供:2010年11月12日

zbMATH公司:1267.65009
数学科学网:MR2738533型
数字对象标识符:10.1214/10-EJS582

学科:
主要用户:62J07型,65C60个
次要:62J05型,62J12型

关键词:凸优化,迭代软阈值,套索惩罚,极小极大凹罚,非凸优化,平滑剪裁绝对偏差惩罚

版权所有©2010 The Institute of Mathematical Statistics and The Bernoulli Society

2010年第4卷
返回页首