×
Hoai An Le Thi;乐、怀明;潘·杜恩哈特;Tran，巴赫

随机DCA用于最小化大量DC函数，并应用于多类逻辑回归。 （英语） Zbl 1481.90263号

神经网络。 132, 220-231 (2020)。
摘要：我们考虑了几个不同领域中出现的DC（Difference of Convex）函数的大和最小化问题，特别是在随机优化和机器学习中。提出了两种基于DCA（DC算法）的算法：随机DCA和不精确随机DCA。我们证明了两个算法的收敛到临界点的概率为1。此外，我们开发了随机DCA来解决多任务学习中的一个重要问题，即多类logistic回归中的组变量选择。相应的随机DCA非常便宜，所有计算都是显式的。在几个基准数据集和合成数据集上的数值实验表明了我们的算法的效率，以及在分类精度、解的稀疏性和运行时间方面相对于现有方法的优势。

引用于三文件

MSC公司：

90C26型 非凸规划，全局优化
90立方厘米 随机规划

关键词：

大量DC功能;直流编程;数据采集卡;随机DCA;不精确随机DCA;多类logistic回归

软件：

菲尼托;处罚LDA;消息;传奇;拉索
PDF格式BibTeX公司 XML格式引用
\textit{H.A.Le Thi}等人，神经网络。132220-231（2020年；Zbl 1481.90263）
全文： 内政部 arXiv公司

参考文献：

[1] Allen-Zhu，Z.，&Yuan，Y.（2016）。改进的SVRG用于非强凸或非凸和目标。第33届机器学习国际会议论文集（第48卷）（第1080-1089页）。
[2] 南卡罗来纳州巴格利。；白色，H。；Golomb，B.A.，《医学文献中的Logistic回归：使用和报告标准，特别关注一个医学领域》，《临床流行病学杂志》，54，10，979-985（2001）
[3] Bertsekas，D.P.，《凸优化的增量梯度、次梯度和近似方法：一项调查技术报告》（2010），麻省理工学院信息与决策系统实验室：麻省理工大剑桥信息和决策系统实验室
[4] Bertsekas，D.P.，《大规模凸优化的增量近似方法》，《数学规划》，第129、2、163-195页（2011年）·Zbl 1229.90121号
[5] Bertsekas，D。；Nedic，A。；Ozdaglar，A.，《凸分析与优化》（2003），雅典娜科学出版社·Zbl 1140.90001号
[6] Bottou，L.，《在线学习和随机近似》（Saad，D.，《神经网络中的在线学习》（1998），剑桥大学出版社：剑桥大学出版社，纽约州纽约市，美国），9-42·Zbl 0968.68127号
[7] 博伊德，C.R。；托尔森，医学硕士。；Copes，W.S.，《评估创伤护理：TRISS方法》。创伤评分和损伤严重程度评分，《创伤杂志》，27，4，370-378（1987）
[8] 布拉德利，P.S。；Mangasarian，O.L.，通过凹极小化和支持向量机进行特征选择，（第十五届国际会议机器学习会议记录（1998），Morgan Kaufmann），82-90
[9] Cox，D.，《二进制序列的回归分析（讨论）》，《皇家统计学会杂志：B辑》，20，215-242（1958）·Zbl 0088.35703号
[10] Defazio，A.、Bach，F.和Lacoste-Julien，S.（2014）。SAGA：一种支持非强凸复合目标的快速增量梯度方法。神经信息处理系统进展论文集。
[11] Defazio，A.、Caetano，T.和Domke，J.（2014）。Finito：一种用于大数据问题的更快、可置换的增量梯度方法。第31届机器学习国际会议论文集。
[12] Genkin，A。；刘易斯，D.D。；Madigan，D.，文本分类的大规模贝叶斯逻辑回归，Technometrics，49，39291-304（2007）
[13] Healy，K.和Schruben，L.W.（1991）。回顾性仿真响应优化。1991年冬季模拟会议记录（第901-906页）。
[14] 约翰逊，R。；Zhang，T.，使用预测方差减少加速随机梯度下降，（神经信息处理系统进展（第26卷）（2013年），Curran Associates Inc.），315-323
[15] Kim，J。；Kim，Y。；Kim，Y.，LASSO的基于梯度的优化算法，计算与图形统计杂志，17，4，994-1009（2008）
[16] 金·G。；Zeng，L.，罕见事件数据的Logistic回归，《政治分析》，第9期，第137-163页（2001年）
[17] Le Thi，H.A。；Le，H.M。；Nguyen，V.V。；Pham Dinh，T.，《支持向量机学习中用于特征选择的DC编程方法》，《数据分析和分类进展》，2，3，259-278（2008）·Zbl 1284.90057号
[18] Le Thi，H.A.、Le，H.M.、Phan，D.N.和Tran，B.（2017年）。随机DCA用于大数非凸函数问题及其在分类中群体变量选择中的应用。第34届国际机器学习会议记录（第70卷）（第3394-3403页）。
[19] Le Thi，H.A。；Pham Dinh，T.，DC（凸函数的差异）编程和DCA与现实世界非凸优化问题的DC模型重访，运筹学年鉴，133，23-46（2005）·Zbl 1116.90122号
[20] Le Thi，H.A。；Pham Dinh，T.，《DC编程和DCA：三十年的发展》，《数学编程》，1-64（2018）·Zbl 1387.90197号
[21] Le Thi，H.A。；潘丁，T。；Le，H.M。；Vo，X.T.，稀疏优化的DC近似方法，《欧洲运筹学杂志》，244，1，26-46（2015）·Zbl 1346.90819号
[22] Le Thi，H.A。；Phan，D.N.，DC编程和稀疏最优评分问题的DCA，神经计算，186，C，170-181（2016）
[23] Le Thi，H.A。；Phan，D.N。；Pham，D.T.，基于DCA的双水平变量选择方法及其在估计多个稀疏协方差矩阵中的应用，神经计算（2019），修订版
[24] Le Thi（主页），H.A.，DC编程和DCA-Le Thi-Hoai An网站（2005），http://www.lita.univ-loraine.fr/Şlethi/index.php/en/research/dc-programming-and-dca.html
[25] LeCun，Y。；博图，L。；Orr，G.B。；Müller，K.R.，《高效支持》，（神经网络：贸易技巧（1998），施普林格柏林-海德堡：施普林格-柏林-海德堡-柏林，海德堡），9-50
[26] 李，H。；Lin，Z.，非凸规划的加速近似梯度法，（神经信息处理系统进展（2015）），377-387
[27] Liao，J.G。；Chin，K.-V.，使用微阵列数据进行疾病分类的Logistic回归：大p和小n病例的模型选择，生物信息学，23，151945-51（2007）
[28] Mairal，J.，增量优化-最小化优化及其在大规模机器学习中的应用，SIAM优化杂志，25，2，829-855（2015）·Zbl 1320.90047号
[29] Neveu，J.，（离散参数鞅.离散参数鞅，北荷兰德数学图书馆，第10卷（1975），Elsevier）·Zbl 0345.60026号
[30] 北卡罗来纳州帕里赫。；Boyd，S.，近似算法，基础和趋势优化，1，3，127-239（2014）
[31] Pham Dinh，T。；Le Thi，H.A.，《Dc编程的凸分析方法：理论、算法和应用》，越南数学学报，22，1，289-355（1997）·Zbl 0895.90152号
[32] Pham Dinh，T。；Le Thi，H.A.，解决信任区域子问题的DC优化算法，SIAM优化杂志，8，2，476-505（1998）·Zbl 0913.65054号
[33] Pham Dinh，T。；Le Thi，H.A.，DC编程和DCA的最新进展，《计算集体智能汇刊》，8342，1-37（2014）
[34] Pham Dinh，T。；Souad，E.B.，解决一类非凸优化问题的算法。次梯度方法，（Hiriart-Urruti，J.B.，《北荷兰德数学研究》，北荷兰达数学研究，费马85天：优化数学，第129卷（1986），北荷兰），249-271·Zbl 0638.90087号
[35] Phan，D.N。；Le Thi，H.A.，通过（ell p，0）正则化选择组变量并应用于最佳评分，神经网络（2019）·Zbl 1441.62073号
[36] Phan，D.N。；Le Thi，H.A。；Pham Dinh，T.，基于DCA算法的稀疏协方差矩阵估计，神经计算，29，1130400-3077（2017）·Zbl 1418.62276号
[37] 阿科托马蒙杰，A。；火焰，R。；Gasso，G.，非凸优化问题的DC近似牛顿，IEEE神经网络和学习系统汇刊，27，3，636-647（2016）
[38] Reddi，S.J。；Sra，S。；波佐斯，B。；Smola，A.J.，非光滑非凸有限和优化的近似随机方法，（神经信息处理系统进展（2016）），1145-1153
[39] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数理统计年鉴》，22，3，400-407（1951）·Zbl 0054.05901号
[40] 施密特，M。；勒鲁，北。；Bach，F.，用随机平均梯度最小化有限和，数学规划，162，1，83-112（2017）·Zbl 1358.90073号
[41] 沙列夫·施瓦茨，S。；Zhang，T.，正则化损失最小化的随机双坐标提升方法，机器学习研究杂志，14，567-599（2013）·兹比尔1307.68073
[42] 苏巴西，A。；Erçelebi，E.，使用神经网络和逻辑回归对脑电图信号进行分类，生物医学中的计算机方法和程序，78，2，87-99（2005）
[43] 文森特，M。；Hansen，N.R.，稀疏群套索和高维多项式分类，计算统计与数据分析，71，771-786（2014）·Zbl 1471.62200号
[44] Witten，D.M。；Tibshirani，R.，《使用Fisher线性判别法进行惩罚分类》，《皇家统计学会杂志》。B系列，73、5、753-772（2011年）·Zbl 1228.62079号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。