×
郑千珍;徐平峰

通过优化最小算法实现非凸非光滑稀疏低秩分解的统一框架。 （英语） Zbl 1505.65187号

J.富兰克林研究所。 359，编号16，9376-9400（2022）.
摘要：从观测到的矩阵中恢复低秩矩阵和稀疏矩阵，即稀疏低秩分解（SLRD），是近年来的一个热门话题。SLRD最流行的模型是使用（ell_1）范数和核范数进行稀疏低阶近似。由于这种凸模型有一定的局限性，人们已经探索了各种非凸模型，并发现它们非常有前途。本文引入了SLRD的广义非凸非光滑模型，该模型涵盖了一系列连续、凹且单调递增的非凸代理函数，以逼近（ell_0）范数和秩函数，如（ell_p）范量（（0<p<1）\)、对数、Geman、SCAD和MCP函数。稀疏分量和低秩分量的非凸代理的选择可能不同。由于代理的非凸性和广泛的选项，优化问题是不可处理的。基于优化最小化（MM）算法，我们提出了一个统一的框架MM-ADMM算法来解决这个问题，该框架可以应用于所有合格的代理，只要它们的超梯度可用。在MM框架下建立的约束优化问题可以很容易地用交替方向乘数法（ADMM）求解。研究并证明了理论收敛性，包括所设计算法生成的目标函数值序列的收敛性和与内部ADMM迭代相关的弱收敛结果。对合成数据和实际应用的实验证明了我们设计的MM-ADMM算法的有效性。

MSC公司：

65层55 低阶矩阵逼近的数值方法；矩阵压缩
65层50 稀疏矩阵的计算方法
65K10像素 数值优化与变分技术
94A08型 信息与通信理论中的图像处理（压缩、重建等）

关键词：

低阶分解;优化最小化算法;乘法器的交替方向法

软件：

RASL公司
PDF格式BibTeX公司 XML格式引用
\textit{Q.-Z.Zheng}和\textit{P.-F.Xu}，J.Franklin Inst.359，No.16，9376-9400（2022；Zbl 1505.65187）
全文： 内政部

参考文献：

[1] 坎迪斯，E.J。；李，X。；马云（Ma，Y.）。；Wright，J.，稳健主成分分析？，J.ACM，58、3、11（2011）·Zbl 1327.62369号
[2] Wright，J。；彭，Y。；马云（Ma，Y.）。；Ganesh，A。；Rao，S.，稳健主成分分析：通过凸优化精确恢复损坏的低秩矩阵，神经信息处理系统（NIPS）进展（2009）
[3] 布曼，T。；Zahzah，E.H.，《通过主成分追求实现稳健PCA：视频监控中比较评估的回顾》，计算。视觉。图像理解。，122, 22-34 (2014)
[4] 布曼，T。；新南威尔士州艾巴特。；Zahzah，E.H.，《稳健低秩和稀疏矩阵分解手册：在图像和视频处理中的应用》（2016），CRC出版社：CRC出版社Boca Raton·Zbl 1339.68002号
[5] 刘，X。；赵，G。；姚，J。；Qi，C.，基于低秩和结构化稀疏分解的背景减法，IEEE Trans。图像处理。，24, 8, 2502-2514 (2015) ·兹比尔1408.94411
[6] Luong，H.V。；Joukovsky，B。；埃尔达，Y.C。；Deligiannis，N.，用于视频前景背景分离的基于参考的深度折叠RPCA网络，2020年第28届欧洲信号处理会议（EUSIPCO），1432-1436（2021）
[7] 张，C。；刘杰。；田强。；徐，C。；卢，H。；Ma，S.，基于非负稀疏编码、低秩和稀疏分解的图像分类，CVPR 2011，1673-1680（2011）
[8] 周，X。；杨，C。；赵，H。；Yu，W.，Low-rank建模及其在图像分析中的应用，ACM Compute。调查。，47, 2, 36 (2015)
[9] 董，Z。；太阳，X。；徐，F。；Liu，W.，一种基于低秩稀疏分解的提高斑点图像亚像素灰度质心提取精度的方法，IEEE Sens.J.，20，11，5845-5854（2020）
[10] Chandrasekaran，V。；Parrilo，宾夕法尼亚州。；Willsky，A.S.，通过凸优化选择潜在变量图形模型，Ann.Stat.，40，4，1935-1967（2012）·兹比尔1257.62061
[11] Chandrasekaran，V。；Sanghavi，S。；Parrilo，宾夕法尼亚州。；Willsky，A.S.，稀疏矩阵和低阶矩阵分解，第15届IFAC系统识别研讨会论文集，1493-1498（2009）
[12] Chandrasekaran，V。；Sanghavi，S。；Parrilo，宾夕法尼亚州。；Willsky，A.S.，矩阵分解的秩-部分非相干，SIAM J.Optim。，21, 2, 572-596 (2011) ·Zbl 1226.90067号
[13] Na，S。；科拉尔，M。；Koyejo，O.，估计差异潜在变量图形模型及其在大脑连通性中的应用，生物统计学，108，2，425-442（2021）·Zbl 07458264号
[14] 袁，X。；Yang，J.，通过交替方向法进行稀疏和低阶矩阵分解，Pacific J.Optim。，9, 1, 167-180 (2013) ·Zbl 1269.90061号
[15] Ganesh，A。；林，Z。；Wright，J。；Wu，L。；陈，M。；Ma，Y.，恢复损坏低秩矩阵的快速算法，2009年IEEE多传感器自适应处理（CAMSAP）计算进展国际研讨会，213-216（2009）
[16] Z.Lin，M.Chen，Y.Ma，精确恢复受损低秩矩阵的增广拉格朗日乘子方法，（2010）。可用：https://arxiv.org/abs/1009.5055。
[17] 卢，C。；Tang，J。；Yan，S。；Lin，Z.，广义非凸非光滑低阶极小化，IEEE计算机视觉和模式识别会议论文集，4130-4137（2014）
[18] 卢，C。；Tang，J。；Yan，S。；Lin，Z.，通过迭代重加权核范数实现非凸非光滑低秩最小化，IEEE Trans。图像处理。，25, 2, 829-839 (2016) ·Zbl 1408.94866号
[19] 卢，C。；朱，C。；徐，C。；Yan，S。；Lin，Z.，广义奇异值阈值，AAAI人工智能会议论文集，1805-1811（2015）
[20] Chartrand，R.，正则化低秩+稀疏分解的非凸分裂，IEEE Trans。信号处理。，60, 11, 5810-5819 (2012) ·Zbl 1393.94190号
[21] 孙，Q。；项，S。；Ye，J.，通过上限范数进行鲁棒主成分分析，第19届ACM SIGKDD知识发现和数据挖掘国际会议论文集，311-319（2013）
[22] 文，F。；Chu，L。；刘，P。；邱R.C.，信号处理、统计和机器学习中基于非凸正则化的稀疏低秩恢复研究，IEEE Access，6，69883-69906（2018）
[23] 文，F。；Ying，R。；刘，P。；Trieu-Kien，T.，使用近端块坐标下降算法的非凸正则鲁棒PCA，IEEE Trans。信号处理。，67, 20, 5402-5416 (2019) ·Zbl 07123440号
[24] 文，F。；Ying，R。；刘，P。；Qiu，R.C.，使用广义非凸正则化的鲁棒PCA，IEEE Trans。电路系统。视频技术。，30, 6, 1497-1510 (2020)
[25] Yang，L。；Pong，T.K。；Chen，X.，一类非凸和非光滑问题的交替方向乘法器方法及其在背景/前景提取中的应用，SIAM J.Imaging Sci。，10, 1, 74-110 (2017) ·Zbl 1364.90278号
[26] Yang，Y。；杨，Z。；李杰，基于广义非凸稳健主成分分析的视频前景背景分离，中国科学杂志。仪器。，41, 1, 250-258 (2020)
[27] 杨，Z。；范，L。；Yang，Y。；杨，Z。；Gui，G.，基于广义奇异值阈值算子的非凸低秩稀疏分解运动目标检测，J.Franklin Inst.，356，16，10138-10154（2019）·Zbl 1455.94039号
[28] 杨，Z。；杨，Z。；Han，D.，基于非凸非光滑加权核范数的稀疏低秩分解的交替方向乘子法，IEEE Access，656945-56953（2018）
[29] 李毅。；戴，F。；Cheng，X。；徐，L。；Gui，G.，带非凸正则化的压缩传感图像重建的多重预指定字典稀疏表示，J.Franklin Inst.，356，4，2353-2371（2019）·Zbl 1455.94031号
[30] 李毅。；刘，L。；Zhao，Y。；Cheng，X。；Gui，G.，通过组稀疏表示实现广义图像压缩感知的非凸非光滑低阶最小化，J.Franklin Inst.，357，10，6370-6405（2020）·Zbl 1457.94022号
[31] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号
[32] 曹，F。；陈，J。；Ye，H。；赵，J。；Zhou，Z.，基于截断核范数的低秩稀疏矩阵恢复，神经网络。，85, 10-20 (2017) ·Zbl 1428.68231号
[33] 哦，T.-H。；Tai，Y.-W。；巴赞，J.-C。；Kim，H。；Kweon，I.S.，稳健PCA中奇异值的部分和最小化：算法和应用，IEEE Trans。模式分析。机器。智力。，38, 4, 744-758 (2016)
[34] 钱，W。；Cao，F.，具有截断核范数的低秩和稀疏矩阵恢复的自适应算法，Int.J.Mach。学习。赛博。，1341-1355年6月10日（2019）
[35] 张，Y。；郭杰。；赵，J。；Wang，B.，基于截断核范数最小化的稳健主成分分析，上海交通大学学报，21，5，576-583（2016）
[36] 顾S。；谢，Q。；孟，D。；左，W。；X·冯。；Zhang，L.，加权核范数最小化及其在低水平视觉中的应用，国际计算机杂志。视觉。，121, 2, 183-208 (2017) ·Zbl 1458.68231号
[37] 顾S。；张，L。；左，W。；Feng，X.，加权核范数最小化及其在图像去噪中的应用，IEEE计算机视觉和模式识别会议论文集，2862-2869（2014）
[38] 谢毅。；顾S。；刘，Y。；左，W。；张伟。；张，L.，图像去噪和背景减法的加权schatten范数最小化，IEEE Trans。图像处理。，2016年10月25日，4842-4857·Zbl 1408.94731号
[39] 康，Z。；彭，C。；Cheng，Q.，《基于非凸秩近似的稳健PCA》，2015年IEEE数据挖掘国际会议，211-220（2015）
[40] Chen，T。；赵，D。；Sun，L。；李，S。；Feng，B.，使用非凸低秩近似和全变分正则化的RPCA框架的运动目标检测，信号图像视频处理。(2022)
[41] 杨，Z。；Yang，Y。；范，L。；Bao，B.-K.，截断\（\gamma\）基于范数的低秩稀疏分解，Multimed。工具应用程序。(2022)
[42] Chen，W。；Li，Y.，通过非凸schatten（p\）最小化实现低秩矩阵的稳定恢复，Sci。中国数学。，58, 12, 2643-2654 (2015) ·Zbl 1342.90141号
[43] 施，X。；聂，F。；赖，Z。；Guo，Z.，通过联合（ell_{2，1}）和schatten（p）-范数最小化的最优平均值进行稳健主成分分析，神经计算，283205-213（2018）
[44] 周，T。；Tao，D.，GoDec:噪声情况下的随机低秩和稀疏矩阵分解，第28届机器学习国际会议论文集，ICML 2011，33-40（2011）
[45] Netrapalli，P。；联合国，N。；Sanghavi，S。；Anandkumar，A。；Jain，P.，非凸稳健PCA，神经信息处理系统进展（2014）
[46] 蔡，H。；蔡J.-F。；We，K.，《稳健主成分分析的加速交替投影》，J.Mach。学习。决议，20，1685-717（2019）·Zbl 1483.62098号
[47] 张，X。；Wang，L。；Gu，Q.，非凸低秩加稀疏矩阵恢复的统一框架，第二十届国际人工智能与统计会议论文集，第84卷，1097-1107（2018），PMLR
[48] A.杜塔。；Hanzely，F。；Richtárik，P.，稳健PCA的非凸投影方法，第三十三届AAAI人工智能会议（AAAI-19），1468-1476（2019）
[49] A.杜塔。；Hanzely，F。；梁，J。；Richtárik，P.，非凸主成分追踪的最佳对公式和加速方案，IEEE Trans。信号处理。，68, 6128-6141 (2020) ·Zbl 07591166号
[50] 邵维珍。；Ge，Q。；甘，Z.-L。；邓，H.-S。；Li，H.-B.，低秩矩阵恢复的广义稳健最小化框架，数学。问题。工程，2014，656074（2014）·Zbl 1407.90258号
[51] Wang，J。；王，M。；胡，X。；Yan，S.，统一schatten-\（p\）范数和\（\ell_q\）范数正则化主成分追求的视觉数据去噪，模式识别。，48, 10, 3135-3144 (2015)
[52] 亨特·D·R。；Lange，K.，《MM算法教程》，《美国统计》，58，1，30-37（2004）
[53] Chen，K。；Dong，H。；Chan，K.-S.，通过自适应核规范惩罚进行降阶回归，《生物特征》，100，4，901-920（2013）·Zbl 1279.62115号
[54] 他，B.S。；Yang，H。；Wang，S.L.，单调变分不等式的具有自适应惩罚参数的交替方向方法，J.Optim。理论应用。，106, 2, 337-356 (2000) ·Zbl 0997.49008号
[55] 林，Z。；刘，R。；Li，H.，机器学习中可分离凸程序的具有并行分裂和自适应惩罚的线性交替方向方法，马赫。学习。，99, 2, 287-325 (2015) ·Zbl 1331.68189号
[56] Wang，S.L。；Liao，L.Z.，一类单调变分不等式问题的变参数分解方法，J.Optim。理论应用。，109, 2, 415-429 (2001) ·Zbl 0999.49009号
[57] Z.Zhou，Y.Ma，关于有效奇异值阈值计算的评论，2020。可用：https://arxiv.org/abs/2011.06710。
[58] 张，X。；Zhou，Z。；王，D。；Ma，Y.，张量补全的混合奇异值阈值，AAAI人工智能会议论文集，1362-1368（2014）
[59] Abbott，S.，《理解分析》（2015），Springer:Springer New York·Zbl 1318.26001号
[60] Bartle，R.G.，《真实分析的要素》（The Elements of Real Analysis）（1976年），约翰·威利父子公司：约翰·威利母子公司（John Wiley&Sons New York）·Zbl 0309.26003号
[61] 范，J。；Li，R.，《通过非一致惩罚似然进行变量选择及其预言属性》，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号
[62] Wang，Y。；Jodoin，P.-M。；Porikli，F。；Konrad，J。；Benezeth，Y。；Ishwar，P.，CDnet 2014:扩展的变化检测基准数据集，IEEE计算机视觉和模式识别会议（CVPR）研讨会论文集，387-394（2014）
[63] 张，X。；王，D。；Zhou，Z。；Ma，Y.，带校正和对齐的稳健低阶张量恢复，IEEE Trans。模式分析。机器。智力。，43, 1, 238-255 (2019)
[64] 张，X。；王，D。；Zhou，Z。；Ma，Y.，通过稳健恢复低阶张量进行同步校正和对准，神经信息处理系统进展论文集，1637-1645（2013）
[65] 彭，Y。；Ganesh，A。；Wright，J。；徐伟（Xu，W.）。；Ma，Y.，RASL:线性相关图像的稀疏和低秩分解鲁棒对齐，IEEE Trans。模式分析。机器。智力。，34, 11, 2233-2246 (2012)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。