×
丁明才;宋晓亮;于波

秩约束最小二乘半定规划的一种带筛选策略的非精确近似DC算法。 （英语） Zbl 1494.90069号

科学杂志。计算。 91，第3号，第75号论文，40页（2022年）.
摘要：本文研究了用于数据降维的监督距离保持投影（SDPP）优化问题，该问题等价于秩约束最小二乘半定规划（RCLSSDP）。由于秩函数的组合性质，秩约束优化问题在大多数情况下都是NP-hard问题。为了克服秩约束带来的困难，采用了差分-凸（DC）正则化策略，然后将RCLSSDP转化为DC规划。为了解决相应的DC问题，提出了一种带筛选策略的非精确近似DC算法（s-iPDCA），其子问题采用加速块坐标下降法求解。证明了s-iPDCA生成的序列的全局收敛性。为了说明所提算法求解RCLSSDP的效率，通过在COIL-20数据库上进行降维实验，将s-iPDCA与经典的近似DC算法、近似梯度法、近似梯度-DC算法和带外推的近似DC方法进行了比较。从计算时间和解的质量来看，数值结果表明s-iPDCA优于其他方法。此外，在ORL和YaleB数据库上进行的人脸识别降维实验表明，秩约束核SDPP与核半定SDPP和核主成分分析相比，在识别精度方面具有高效性和竞争力。

引用于2文件

MSC公司：

90C22型 半定规划

关键词：

监督保距离投影;秩约束;非精确近似凸差分算法;筛选策略;加速块坐标下降;数据降维

软件：

ORL面;SDPNAL公司+;耶鲁脸
PDF格式BibTeX公司 XML格式引用
\textit{M.Ding}等人，《科学杂志》。计算。91，第3号，第75号论文，40页（2022年；Zbl 1494.90069）
全文： 内政部 arXiv公司

参考文献：

[1] 朱，Z-X；西米拉，T。；Corona，F.，监督距离保持投影，神经过程。莱特。，38, 3, 445-463 (2013) ·doi:10.1007/s11063-013-9285-x
[2] Jahan，S.，《利用监督距离保持投影进行人脸识别的降维》，Univ.J.Appl。数学。，6, 3, 94-105 (2018) ·doi:10.13189/ujam.2018.060303
[3] Gao，Y.：结构化低秩矩阵优化问题：惩罚方法。新加坡国立大学博士论文（2010年）
[4] Gao，Y.，Sun，D.-F.：用于校准秩约束相关矩阵问题的优化惩罚方法。http://www.math.nus.edu.sg/matsundf/MaterPen_May5.pdf（2010）
[5] 齐，H-D；袁，X-M，计算低嵌入维数的最近欧氏距离矩阵，数学。程序。，147, 1, 351-389 (2014) ·Zbl 1304.49051号 ·doi:10.1007/s10107-013-0726-0
[6] Singer，A.，从局部距离对全球定位的评论，Proc。国家。阿卡德。科学。，105, 28, 9507-9511 (2008) ·Zbl 1205.86043号 ·doi:10.1073/pnas.0709842104
[7] Shang，Y。；鲁米，W。；Zhang，Y。；Fromherz，M.，《传感器网络连通性定位》，IEEE Trans。并行分配系统。，15, 11, 961-974 (2004) ·doi:10.1109/TPDS.2004.67
[8] 托格森，WS，多维标度：I.理论与方法，《心理测量学》，17，4，401-419（1952）·Zbl 0049.37603号 ·doi:10.1007/BF02288916
[9] 巴斯，JF；Frandsen，GS；Shallit，JO，线性代数某些问题的计算复杂性，J.Compute。系统。科学。，58, 3, 572-596 (1999) ·Zbl 0941.68059号 ·文件编号：10.1006/jcss.1998.1608
[10] 坎迪斯，EJ；Plan，Y.，从最少数量的噪声随机测量中恢复低秩矩阵的紧预言不等式，IEEE Trans。《信息论》，57，4，2342-2359（2011）·Zbl 1366.90160号 ·doi:10.1109/TIT.2011.2111771
[11] Recht，B。；法泽尔，M。；Parrilo，PA，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Rev.，52，3，471-501（2010）·Zbl 1198.90321号 ·数字对象标识代码：10.1137/070697835
[12] Toh，K-C；Yun，S.，核范数正则化线性最小二乘问题的加速近似梯度算法，太平洋期刊。，6, 615-640, 15 (2010) ·Zbl 1205.90218号
[13] Jiang，K-F；太阳，D-F；Toh，K-C，核范数正则化矩阵最小二乘问题的部分近点算法，数学。程序。计算。，2014年6月3281-325日·兹伯利1327.90109 ·doi:10.1007/s12532-014-0069-8
[14] 蔡，TT；Zhang，A.，多面体的稀疏表示与稀疏信号和低秩矩阵的恢复，IEEE Trans。Inf.理论，60，1，122-132（2014）·Zbl 1364.94114号 ·doi:10.1109/TIT.2013.2288639
[15] Lee，J.，Recht，B.，Salakhutdinov，R.R.，Srebro，N.，Tropp，J.A.：最大形式正则化的实用大规模优化。神经信息。过程。系统。231297-1305（2010年）
[16] 毕，S-J；Pan，S-H，秩约束优化问题和应用的误差界，Oper。Res.Lett.公司。，44, 3, 336-341 (2016) ·Zbl 1408.90279号 ·doi:10.1016/j.orl.2016.03.002
[17] JY Gotoh；武田，A。；Tono，K.，《稀疏优化问题的Dc公式和算法》，数学。程序。，169, 1, 141-176 (2018) ·Zbl 06869181号 ·doi:10.1007/s10107-017-1181-0
[18] 江，Z-X；Zhao，X-Y；Ding，C.，二次分配问题的近似dc方法，计算。优化。申请。，78, 3, 825-851 (2021) ·兹比尔1469.90104 ·doi:10.1007/s10589-020-00252-5
[19] 陶，PD；dc编程的凸分析方法：理论、算法和应用，数学学报。越南，22，1，289-355（1997）·Zbl 0895.90152号
[20] 安，LTH；Tao，PD，The dc（凸函数差分）编程和DCA用实际非凸优化问题的dc模型重访，Ann.Oper。研究，133，1-4，23-46（2005）·Zbl 1116.90122号 ·doi:10.1007/s10479-004-5022-1
[21] Le Thi，HA；Pham Dinh，T。；Muu，LD，《直流编程中的精确惩罚》，越南数学杂志。，27, 2, 169-178 (1999) ·Zbl 1006.90062号
[22] Le Thi，HA；潘丁，T。；Van Ngai，H.，《dc编程中的精确惩罚和错误界限》，J.Global Optim。，52, 3, 509-535 (2012) ·Zbl 1242.49037号 ·doi:10.1007/s10898-011-9765-3
[23] 苏扎，JCO；奥利维拉，公关；Soubeyran，A.，凸函数差分近似线性化算法的全局收敛性，Optim。莱特。，10, 7, 1529-1539 (2016) ·兹比尔1355.90073 ·doi:10.1007/s11590-015-0969-1
[24] 高迪奥索，M。；Giallonbardo，G。；米利奥尼科，G。；Bagirov，AM，通过连续的dc分段仿射近似最小化非光滑dc函数，J.Global Optim。，71, 1, 37-55 (2018) ·Zbl 1418.90201号 ·doi:10.1007/s10898-017-0568-z
[25] de Oliveira，W.，非光滑dc编程的近似束方法，J.Global Optim。，75, 2, 523-563 (2019) ·Zbl 1428.90130号 ·doi:10.1007/s10898-019-00755-4
[26] 刘，T-X；Pong，T-K；Takeda，A.，pdcae的精细收敛分析及其在同时稀疏恢复和异常值检测中的应用，Comput。优化。申请。，73, 1, 69-100 (2019) ·Zbl 1420.90048号 ·doi:10.1007/s10589-019-00067-z
[27] 温，B。；陈，X-J；Pong，T-K，带外推的近似凸差分算法，计算。优化。申请。，69, 2, 297-324 (2018) ·Zbl 1401.90175号 ·doi:10.1007/s10589-017-9954-1
[28] 太阳，D-F；Toh，K-C；元，Y-C；Zhao，X-Y，Sdpnal+：带约束半定规划的matlab软件（1.0版），Optim。方法软件。，35, 1, 87-115 (2020) ·Zbl 1432.90104号 ·doi:10.1080/10556788.2019.1576176
[29] Bai，S。；Qi，H-D；Xiu，N.，球面上的约束最佳欧氏距离嵌入：矩阵优化方法，SIAM J.Optim。，25, 1, 439-467 (2015) ·Zbl 1326.49043号 ·数字对象标识码：10.1137/13094918X
[30] 刘，T。；卢，Z。；陈，X。；Dai，Y-H，半定箱约束低秩矩阵优化问题的精确惩罚方法，IMA J.Numer。分析。，40, 1, 563-586 (2020) ·Zbl 1464.65066号 ·doi:10.1093/imanum/dry069
[31] Jiang，K-F；太阳，D-F；Toh，K-C，求解大规模线性约束凸sdp的非精确加速近似梯度法，SIAM J.Optim。，22, 3, 1042-1064 (2012) ·Zbl 1401.90120号 ·数字对象标识代码：10.1137/10847081
[32] 太阳，D-F；Toh，K-C；Yang，L-Q，最小二乘半定规划的一种有效的非精确abcd方法，数学，26，2，1072-1100（2015）·Zbl 1346.90658号
[33] Wang，Y-Y；刘，R-S；马，L。；Song，X-L，任务嵌入坐标更新：多元非凸优化的可实现框架，Proc。AAAI Conf.艺术智能。，33277-286（2019）
[34] Beck，A.，优化中的一阶方法（2017），费城：SIAM，费城·Zbl 1384.65033号 ·数字对象标识代码：10.1137/1.9781611974997
[35] Candes，EJ，《受限等距特性及其对压缩传感的影响》，C.R.数学。，346, 9-10, 589-592 (2008) ·Zbl 1153.94002号 ·doi:10.1016/j.crma.2008.03.014
[36] Luo，Y.-T.，Huang，W.，Li，X.-D.，Anru R，Z.：秩约束最小二乘的递归重要性草图：算法和高阶收敛。arXiv预印arXiv:2011.08360（2020）
[37] Bhojanapalli，S.，Neyshabur，B.，Srebro，N.：低秩矩阵恢复局部搜索的全局优化。摘自：《第30届神经信息处理系统国际会议论文集》，第3880-3888页（2016）
[38] Hiriart，JB，凸分析和最小化算法II（1993），纽约：Springer，纽约·数字对象标识代码：10.1007/978-3-662-06409-2
[39] Mishra，B.：算法代数。施普林格，纽约（1993）·Zbl 0804.13009号
[40] Bental，A.，Nemirovski，A.，Overton，M.：现代凸优化讲座：分析、算法和工程应用。纽约SIAM（2001年）·Zbl 0986.90032号
[41] Ioffe，A.，《驯服优化的邀请》，SIAM J.Optim。，19, 4, 1894-1917 (2009) ·邮编：1182.90083 ·doi:10.1137/080722059
[42] Attouch，H。；Bolt，J.，关于涉及分析特征的非光滑函数的近似算法的收敛性，数学。程序。，116, 1, 5-16 (2009) ·Zbl 1165.90018号 ·doi:10.1007/s10107-007-0133-5
[43] 博尔特，J。；Pauwels，E.，半代数和驯化程序的优化-最小化程序和sqp方法的收敛性，数学。操作。第41、2、442-465号决议（2016年）·Zbl 1338.65156号 ·doi:10.1287/门2015.0735
[44] 博尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近似交替线性化最小化，数学。程序。，146, 1, 459-494 (2014) ·兹比尔1297.90125 ·doi:10.1007/s10107-013-0701-9
[45] 乔治亚德斯，AS；Belhumeur，PN；DJ Kriegman，《从少到多：可变光照和姿势下人脸识别的照明锥模型》，IEEE Trans。模式分析。机器。智力。，23, 6, 643-660 (2001) ·doi:10.1109/34.927464
[46] Povh，J。；伦德尔，F。；Wiegele，A.，求解半定程序的边界点方法，《计算》，78，3，277-286（2006）·Zbl 1275.90055 ·doi:10.1007/s00607-006-0182-2
[47] 卢，Z。；Zhang，Y.，通过惩罚分解方法的稀疏近似，SIAM J.Optim。，23, 4, 2448-2478 (2012) ·Zbl 1295.90056号 ·doi:10.1137/100808071
[48] Lu，Z.，Zhang，Y.，Li，X.：秩最小化的惩罚分解方法。优化。方法软件。30(3), 531-558 (2014) ·Zbl 1323.65070号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。