×
Hoai An Le Thi;黎惠明;潘·杜恩哈特;Tran，巴赫

一类特殊非凸问题的基于DCA的新算法及其在机器学习中的应用。 （英语） Zbl 1510.90211号

申请。数学。计算。 409，文章ID 125904，22 p.（2021）.
摘要：我们通过DC（凸函数差分）编程和DCA（DC算法）这两个强大的非凸优化工具来解决最小化非凸、可微函数和复合函数之和的问题。DCA的主要思想依赖于目标函数的DC分解，它包括用一系列凸程序逼近DC（非凸）程序。我们首先开发了一个标准的DCA方案，特别是处理这个问题的非常具体的结构。此外，我们对DCA进行了扩展，从而产生了一种称为DCA-Like的方法，该方法基于一种新的、有效的方法来近似DC目标函数，而不需要知道DC分解。我们进一步改进了基于DCA的算法，将Nesterov的加速技术融入其中。研究了扩展DCA在Kurdyka-Łojasiewicz假设下的收敛性质和收敛速度。我们证明了DCA-Like和加速版本随后从所考虑问题的每个初始点收敛到一个临界点。最后，我们研究了机器学习中的一个重要问题：t分布随机邻居嵌入的所提算法。在几个基准数据集上的数值实验证明了我们算法的有效性。

引用于2文件

MSC公司：

90C26型 非凸规划，全局优化
90 C56 无导数方法和使用广义导数的方法
65千5 数值数学规划方法

关键词：

DC编程;DCA公司;类DCA;加速DCA;加速类DCA;非凸函数与复合函数之和;降维;t-分布随机邻域嵌入（t-SNE）

软件：

L-BFGS公司;t-SNE公司
PDF格式BibTeX公司 XML格式引用
\textit{H.A.Le Thi}等人，应用。数学。计算。409，文章ID 125904，22 p.（2021；Zbl 1510.90211）
全文： 内政部

参考文献：

[1] Attouch，H。；Bolt，J.，关于涉及分析特征的非光滑函数的近似算法的收敛性，数学。程序。序列号。B、 116，5-16（2009）·Zbl 1165.90018号
[2] Attouch，H。；博尔特，J。；Redont，P。；Soubeyran，A.，非凸问题的近似交替最小化和投影方法：基于kurdyka-Łojasiewicz不等式的方法，数学。操作。研究，35，2，438-457（2010）·Zbl 1214.65036号
[3] 巴达克，M。；Borwein，J.M.，局部Lipschitz函数的差分凸性，优化，60，8-9，961-978（2011）·Zbl 1237.46007号
[4] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 183-202 (2009) ·Zbl 1175.94009号
[5] 博尔特，J。；萨巴赫，S。；Teboulle，M.，非凸和非光滑问题的近端交替线性化最小化，数学。程序。，146, 1, 459-494 (2014) ·兹比尔1297.90125
[6] Hartman，P.，关于可表示为凸函数差分的函数，Pac。数学杂志。，9, 707713 (1959) ·Zbl 0093.06401号
[7] 辛顿，G.E。；Roweis，S.T.，随机邻域嵌入，神经信息处理系统进展，857-864（2003）
[8] Le Thi，H.A。；Nguyen，B.T。；Le，H.M.，《基于凸函数差分算法的稀疏信号恢复》，《智能信息和数据库系统》，《计算机科学讲义》，7803，387-397（2013）
[9] Le Thi，H.A。；Pham Dinh，T.，《DC（凸函数的差异）编程和DCA与真实世界非凸优化问题的DC模型重访》，Ann.Oper。第133、1、23-46号决议（2005年）·Zbl 1116.90122号
[10] Le Thi，H.A。；Pham Dinh，T.，DC编程和DCA：三十年的发展，数学。程序。，169, 1, 5-68 (2018) ·Zbl 1387.90197号
[11] Le Thi，H.A。；Pham Dinh，T。；Le，H.M。；Vo，X.T.，稀疏优化的DC近似方法，《欧洲期刊》，Oper。研究，244，1，26-46（2015）·Zbl 1346.90819号
[12] Maaten，L.v.d.，使用基于树的算法加速t-SNE，机器学习研究杂志，15，1，3221-3245（2014）·Zbl 1319.62134号
[13] Maaten，L.v.d。；Hinton，G.，《使用t-SNE可视化数据》，J.Mach。学习。决议，2579-2605年11月9日（2008年）·Zbl 1225.68219号
[14] Mordukhovich，B.S.，变分分析和广义微分I，Grundlehren Der Mathematicschen Wissenschaften，变分分析和广义微分（2006），施普林格出版社：施普林格出版社，柏林-海德堡
[15] Nocedal，J.，用有限存储更新拟Newton矩阵，数学。计算。，35, 151, 773-782 (1980) ·Zbl 0464.65037号
[16] Pham Dinh，T。；Le Thi，H.A.，《dc编程的凸分析方法：理论、算法和应用》，《数学学报》。越南，22,1289-355（1997）·兹伯利0895.90152
[17] 潘丁，T。；Le Thi，H.A.，解决信任区域子问题的直流优化算法，SIAM优化杂志，8，2，476-505（1998）·Zbl 0913.65054号
[18] Pham Dinh，T。；Le Thi，H.A.，《dc编程和DCA的最新进展》，《计算智能学报》第十三期，第1-37页（2014年）
[19] Phan，D.N。；Le，H.M。；Le Thi，H.A.，凸函数加速差分算法及其在稀疏二元逻辑回归中的应用，第27届国际人工智能联合会议和第23届欧洲人工智能会议论文集，1369-1375（2018）
[20] Phan，D.N。；Le Thi，H.A。；Pham Dinh，T.，基于DCA算法的稀疏协方差矩阵估计，神经计算。，29, 11, 3040-3077 (2017) ·Zbl 1418.62276号
[21] 阿科托马蒙杰，A。；火焰，R。；Gasso，G.，非凸优化问题的DC近似牛顿，IEEE Trans。神经网络。学习。系统。，27, 3, 636-647 (2016)
[22] M.Vladymyrov，M.Carreira-Perpina，非线性嵌入快速学习的部分-黑森策略，arXiv:1206.4646（2012）。
[23] 杨，Z。；国王一世。；徐，Z。；Oja，E.，重尾对称随机邻域嵌入，神经信息处理系统进展，2169-2177（2009）
[24] 杨，Z。；Peltonen，J。；Kaski，S.，流形嵌入优化，人工智能与统计，1088-1097（2015）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。