×
孙骏;孔凌晨;周生龙

梯度投影牛顿算法用于稀疏协作学习，使用合成和实际应用数据集。 （英语） Zbl 1524.90262号

J.计算。申请。数学。 422，文章ID 114872，20 p.（2023）.
小结：探索同一组多组数据之间的关系可以使从业者在医学和工程领域做出更好的决策。本文提出了稀疏协作学习（SCL）模型，该模型是一种具有双重稀疏约束的优化方法，用两组数据和一个共享响应变量处理问题。它能够处理依赖于响应变量离散性的分类问题或回归问题，并同时探索两个数据集之间的关系。为了求解SCL，我们首先给出了一些必要和充分的最优性条件，然后设计了一个梯度投影牛顿算法，该算法已证明以至少二次收敛速度全局收敛到唯一的局部最优解。最后，所报道的数值实验说明了所提出方法的有效性。

引用于1文件

MSC公司：

90C26型 非凸规划，全局优化
90立方 非线性规划
65千5 数值数学规划方法

关键词：

稀疏协作学习;双重稀疏性;驻点;梯度投影牛顿;收敛性分析;数值实验

软件：

GQTPAR公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Sun}等人，J.Compute。申请。数学。422，文章ID 114872，20 p.（2023；Zbl 1524.90262）
全文： 内政部 arXiv公司

参考文献：

[1] Lenz，G。；赖特，G。；埃姆雷，N。；科尔哈默，H。；Dave，S。；Davis，R。；Carty，S。；Lam，L。；沙尔，A。；肖伟（Xiao，W.）。；鲍威尔，J。；罗森瓦尔德，A。；Ott，G.等人。；穆勒，H。；Gascoyne，R.公司。；康纳斯，J。；坎波，E。；Jae，E。；德拉比，J。；斯迈兰德，E。；里姆萨。；费希尔，R。；维森伯格，D。；Chan，W。；Staudt，L.，弥漫性大B细胞淋巴瘤的分子亚型由不同的遗传途径引起，Proc。国家。阿卡德。科学。，105, 36, 13520-13525 (2008)
[2] 维斯彻，P.M。；Brown，医学硕士。；M.I.麦卡锡。；Yang，J.，GWAS发现五年，美国J.人类遗传学。，90, 1, 7-24 (2012)
[3] 王，S。；叶海亚，N。；Schadt，E.E。；Wang，H。；Drake，T.A。；Lusis，A.J.，对具有复杂遗传的脂肪量性状的遗传和基因组分析揭示了显著的性别特异性，Plos Genet。，2, 2, 148-159 (2006)
[4] 张，H。；Wang，F。；Xu，H。；刘，Y。；刘杰。；赵，H。；Gelernter，J.，《酒精使用障碍患者死后前额叶皮层的差异共表达基因：对酒精代谢相关通路的影响》，《人类遗传学》。，133, 2, 1383-1394 (2014)
[5] 汤普森，P.M。；N.G.马丁。；Wright，M.J.，《成像基因组学》，Curr。操作。神经生理学。，23, 4, 368-373 (2010)
[6] 冯，Z。；胡，G。；Kittler，J。；圣诞节，西。；Wu，X.，使用具有动态加权的合成图像和真实图像的混合训练的鲁棒人脸地标检测的级联协作回归，IEEE T.图像处理。，24, 11, 3425-3440 (2015) ·Zbl 1408.94181号
[7] 毛重，S.M。；Tibshirani，R.，协同回归，生物统计学，16，2，326-338（2015）
[8] Zille，P。；卡尔霍恩，V.D。；Wang，Y.，在脑成像基因组学回归框架内实施联合表达，IEEE T.Med.imaging，37，12，2561-2571（2018）
[9] 胡，W。；蔡，B。；张，A。；卡尔霍恩，V.D。；Wang，Y.，深度协作学习及其在多模态大脑发育研究中的应用，IEEE T.生物医学工程，66，12，3346-3359（2019）
[10] U.Brefeld，T.Gärtner，T.Scheffer，S.Wrobel，《高效联合正则最小二乘回归》，载《第23届机器学习国际会议论文集》，2006年，第137-144页。
[11] 刘，X。；赵，B。；He，W.，数据自适应核惩罚SVM的同时特征选择和分类，数学，8，10，1846（2020）
[12] 张，X。；吴，Y。；Wang，L。；Li，R.，中等高维支持向量机的变量选择，J.R.Stat.Soc.B，78，1，53-76（2016）·Zbl 1411.62176号
[13] 刘，F。；黄，X。；龚，C。；杨，J。；Suykens，J.，凹不精确凸过程的不确定核逻辑回归，IEEE T.Neur。净值。李尔王。，30, 3, 1-12 (2018)
[14] 平面图，Y。；Vershynin，R.，《稳健的1位压缩感知和稀疏逻辑回归：凸规划方法》，IEEE T.Inform。理论，59,1482-494（2013）·Zbl 1364.94153号
[15] 王，R。；秀，N。；Zhang，C.，稀疏逻辑回归的贪婪投影梯度-Newton方法，IEEE T.Neur。净值。李尔王。，31, 2, 527-538 (2020)
[16] 王，R。；秀，N。；Zhou，S.，（ell_2）正则化稀疏logistic回归的扩展Newton型算法及其对大规模数据集分类的效率，J.Compute。申请。数学。，397，第113656条pp.（2021）·Zbl 1469.90161号
[17] 贝克，A。；Eldar，Y.C.，《稀疏约束非线性优化：优化条件和算法》，SIAM J.Optimiz。，23, 3, 1480-1509 (2013) ·Zbl 1295.90051号
[18] Bahmani，S。；Boufounos，P。；Raj，B.，贪婪稀疏约束优化，J.Mach。学习。研究，第14号，第1号，第807-841页（2013年）·Zbl 1320.90046号
[19] 潘，L。；秀，N。；周，S.，关于稀疏约束优化的解，J.Oper。中国研究社会，3，4，421-439（2017）·Zbl 1332.90216号
[20] 潘·L。；周，S。；秀，N。；Qi，H.，用于稀疏和非负约束优化的收敛迭代硬阈值，Pac。J.Optim。，13, 2, 325-353 (2017) ·Zbl 1384.90078号
[21] 周，S。；秀，N。；Qi，H.，牛顿硬阈值追求的全局和二次收敛，J.Mach。学习。第22、12、1-45号决议（2021年）·Zbl 07370529号
[22] Zhou，S.，稀疏性约束优化的梯度投影牛顿追求，应用。计算。哈蒙。分析。，61, 75-100 (2022) ·Zbl 1501.65023号
[23] Goldfeld，S.M。；Quandt，R.E.，切换回归的马尔可夫模型，计量经济学杂志，1,1,3-15（1973）·Zbl 0294.62087号
[24] Redner，R。；Walker，H.，《混合密度、最大似然和EM算法》，SIAM Rev.，26，2，195-239（1984）·Zbl 0536.62021号
[25] Xiao，Y。；吴杰。；林，Z。；Zhao，X.，基于深度学习的癌症预测多模型集成方法，计算。方法。掠夺。生物，153，1-9（2018）
[26] 赵，L。；Oleson，K。；Bou-Zeid，E。；Krayenhoff，S。；布雷，A。；朱，Q。；郑，Z。；陈，C。；Oppenheimer，M.，《当地城市气候的全球多模型预测》，自然气候杂志。变更，11,1152-157（2021）
[27] 贾拉利，A。；约翰逊，C。；Ravikumar，P.，《关于使用贪婪方法学习离散图形模型》，高级神经信息处理。系统。，24, 1935-1943 (2011)
[28] 阿加瓦尔，A。；内加班，S。；Wainwright，M.J.，《用于高维统计恢复的梯度方法的快速全局收敛》，《高级神经信息处理》。系统。，23, 2452-2482 (2010) ·Zbl 1373.62244号
[29] 沙列夫·施瓦茨，S。；斯雷布罗，N。；Zhang，T.，稀疏约束优化问题中稀疏性的交易精度，SIAM J.Optimiz。，20, 6, 2807-2832 (2010) ·Zbl 1208.68226号
[30] 坎迪斯，E.J。；Tao，T.，《线性规划解码》，IEEE T.Inform。理论，51，12，4203-4215（2005）·Zbl 1264.94121号
[31] 坎迪斯，E.J。；Tao，T.，从随机投影中恢复近最优信号：通用编码策略？，IEEE T.通知。理论，52，12，5406-5425（2006）·Zbl 1309.94033号
[32] Baraniuk，R。；达文波特，M。；DeVore，R。；Wakin，M.，随机矩阵限制等距性的简单证明，Constr。约28,3253-263（2008年）·Zbl 1177.15015号
[33] Rockafellar，R。；Wets，R.，变异分析（2009），施普林格科学与商业媒体·Zbl 0888.49001号
[34] Nesterov，Y.，凸问题的原对偶次梯度方法，数学。程序。，120, 1, 221-259 (2009) ·Zbl 1191.90038号
[35] 莫雷，J.J。；Sorensen，D.C.，《计算信赖域步骤》，SIAM J.Sci。统计计算。，4, 3, 553-572 (1983) ·Zbl 0551.65042号
[36] 袁，X。；Liu，Q.，（l_0）约束极小化的牛顿型贪婪选择方法，IEEE T.模式分析。，39, 12, 2437-2450 (2017)
[37] 罗，C。；刘杰。；戴伊·D。；Chen，K.，典型变量回归，生物统计学，17，3，468-483（2017）
[38] Dai，W。；Milenkovic，O.，压缩传感信号重建的子空间追踪，IEEE T.Inform。理论，55，5，2230-2249（2009）·Zbl 1367.94082号
[39] 赵，C。；秀，N。；Qi，H.等人。；Luo，Z.，稀疏非线性规划的Lagrange-Newton算法，数学。程序。(2021)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。