×
Yun、Sangwoon;保罗·曾;杜金川

正则化凸可分离优化和协方差选择的块坐标梯度下降法。 （英语） Zbl 1228.90052号

数学。程序。 129，第2（B）号，331-355（2011）.
摘要：我们考虑了一类无约束非光滑凸优化问题，其中目标函数是矩阵开放子集上的凸光滑函数和矩阵集上的可分离凸函数之和。这个问题包括协方差选择问题，可以表示为一个惩罚最大似然估计问题。本文提出了一种块坐标梯度下降法（简称BCGD）来解决这类非光滑可分问题，其坐标块由高斯-赛德尔规则选择。该方法简单，高度并行，适合大规模问题。我们建立了该方法的全局收敛性，并在局部Lipschizian误差界假设下，给出了线性收敛速度。对于协方差选择问题，该方法可以用（{O（n^3/varepsilon）}）最优解在迭代中终止。我们将BCGD方法与Z.Lu先生[SIAM J.Optim.19，第4期，1807–1827（2009；兹比尔1179.90257); SIAM J.矩阵分析。申请。2000年-2016年第4期第31号（2010年；Zbl 1206.90115号)]用于解决随机生成的实例上的协方差选择问题。我们的数值经验表明，BCGD方法可以有效地解决具有约束的大规模协方差选择问题。

引用于5文件

MSC公司：

90C06型 数学规划中的大尺度问题
90C25型 凸面编程
90立方 非线性规划
90 C55 连续二次规划型方法
49平方米27 分解方法
49立方米 基于非线性规划的数值方法
65千5 数值数学规划方法

关键词：

块坐标梯度下降;复杂性;凸优化;协方差选择;全球收敛;线性速率收敛;\（\ell_{1}\）-惩罚;最大似然估计

引文：

Zbl 1179.90257号;Zbl 1206.90115号

软件：

玻璃制品;CHOMPACK公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Yun}等人，《数学》。程序。129，第2（B）号，331--355（2011；Zbl 1228.90052）
全文： 内政部

参考文献：

[1] Borwein J.M.，Lewis A.S.：凸分析与非线性优化：理论与实例。施普林格，纽约（2000年）·Zbl 0953.90001号
[2] Dahl J.，Vandenberghe L.，Roychowdhury V.：通过弦嵌入对非弦图进行协方差选择。优化。方法软件。23, 501–520 (2008) ·Zbl 1151.90514号 ·网址：10.1080/1055678080202693
[3] D'Aspremont A.，Banerjee O.，El Ghaoui L.：稀疏协方差选择的一阶方法。SIAM J.矩阵分析。申请。30, 56–66 (2008) ·Zbl 1156.90423号 ·数字对象标识代码：10.1137/060670985
[4] Friedman J.、Hastie T.、Tibshirani R.：用图形套索进行稀疏逆协方差估计。生物统计9，432–441（2008）·兹比尔1143.62076 ·doi:10.1093/biostatistics/kxm045
[5] Goebel R.，Rockafellar R.T.：凸函数梯度的局部强凸性和局部Lipschitz连续性。J.凸面分析。15, 263–270 (2008) ·Zbl 1149.26022号
[6] Horn R.，Johnson C.：矩阵分析。剑桥大学出版社，剑桥（1999）
[7] 陆志：协方差选择的平滑优化方法。SIAM J.Optim公司。19, 1807–1827 (2009) ·Zbl 1179.90257号 ·doi:10.1137/070695915
[8] 陆志：一般稀疏逆协方差选择的自适应一阶方法。SIAM J.矩阵分析。申请。31, 2000–2016 (2010) ·兹比尔1206.90115 ·doi:10.1137/080742531
[9] Nesterov Y.：一种求解收敛速度为O（1/k2）的凸规划问题的方法。苏联。数学。多克拉迪27372–376（1983年）·Zbl 0535.90071号
[10] Nesterov Y.：非光滑函数的平滑最小化。数学。掠夺。103, 127–152 (2005) ·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5
[11] Nocedal J.，Wright S.J.：数值优化。纽约施普林格出版社（1999年）·Zbl 0930.65067号
[12] Rockafellar R.T.：凸分析。普林斯顿大学出版社，普林斯顿（1970）·Zbl 0193.18401号
[13] Rockafellar R.T.，Wets R.J.-B.：变分分析。施普林格，纽约（1998）
[14] Saad Y.：稀疏线性系统的迭代方法。PWS出版公司，波士顿（1996）·兹比尔1031.65047
[15] Scheinberg，K.，Rish，I.：使用贪婪坐标上升法学习稀疏高斯马尔可夫网络。在：数据库中的机器学习和知识发现。计算机科学课堂讲稿，第6323卷，196-212页（2010年）
[16] Tseng P.：不可微极小化块坐标下降法的收敛性。J.优化。理论应用。109, 473–492 (2001) ·Zbl 1006.65062号
[17] Tseng P.，Yun S.：非光滑可分离极小化的坐标梯度下降法。数学。掠夺。序列号。B 117、387–423（2009年）·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0
[18] Wang C.，Sun D.，Toh K.-C.：使用Newton-CG原始近点算法解决对数确定性优化问题。SIAM J.Optim公司。20, 2994–3013 (2010) ·Zbl 1211.90130号 ·doi:10.1137/090772514
[19] Wong F.，Carter C.K.，Kohn R.：协方差选择模型的有效估计。生物特征90、809–830（2003）·Zbl 1436.62346号 ·doi:10.1093/biomet/90.4.809
[20] Yuan，X.：稀疏协方差选择的交替方向方法。http://www.optimization-online.org/DB_FILE/2009/09/2390.pdf
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。