×
吴润雄;陈欣

基于距离协方差的MM算法的充分降维和充分变量选择。 （英语） Zbl 1510.62080号

计算。统计数据分析。 155，文章ID 107089，第18页（2021）.
摘要：使用距离协方差（DCOV）的充分降维（SDR）是最近提出的一种降维方法。与其他SDR方法相比，该方法无需估计链路函数，且不需要任何特定的预测因子分布。然而，基于DCOV的SDR方法涉及优化Stiefel流形上的非光滑和非凸目标函数。为了应对数值挑战，将原始目标函数等效地公式化为DC（凸函数差分）程序，并构造了一个基于优化最小化（MM）原理的迭代算法。在MM算法的每个步骤中，采用黎曼-牛顿方法的一次迭代来不精确地求解Stiefel流形上的二次子问题。此外，该算法还可以很容易地扩展到使用距离协方差的充分变量选择（SVS）。最后，建立了该算法在某些正则性条件下的收敛性。仿真和实际数据分析表明，与现有方法相比，我们的算法大大提高了计算效率，并且在各种设置下都具有鲁棒性。Matlab公司实现我们重新生成数值结果的方法和脚本的代码可在https://github.com/runxiong-wu/MMRN网址.

引用于2文件

MSC公司：

62-08 统计问题的计算方法
62G08号 非参数回归和分位数回归
65千5 数值数学规划方法

关键词：

充分降维;距离协方差;变量选择;流形优化;优化-最小化;黎曼-牛顿法

软件：

github;马诺普特
PDF格式BibTeX公司 XML格式引用
\textit{R.Wu}和\textit{X.Chen}，计算。统计数据分析。155，文章ID 107089，18 p.（2021；Zbl 1510.62080）
全文： 内政部 arXiv公司

参考文献：

[1] Absil，P.-A.公司。；Mahony，R。；Sepulchre，R.，《矩阵流形上的优化算法》（2009），普林斯顿大学出版社·Zbl 1147.65043号
[2] Aihara，K。；Sato，H.，黎曼-牛顿方法在Stiefel流形上的无矩阵实现，Optim。莱特。，11, 1729-1741 (2017) ·Zbl 1386.90141号
[3] 北布马尔。；米什拉，B。；Absil，P.-A.公司。；Sepulchre，R.，Manopt，用于流形优化的matlab工具箱，J.Mach。学习。第15号决议，1455-1459（2014年）·Zbl 1319.90003号
[4] 陈，X。；Sheng，W。；Yin，X.，高维充分降维的有效稀疏估计，Technometrics，60，161-168（2018）
[5] 陈，X。；邹，C。；Cook，R.，《坐标独立稀疏充分降维和变量选择》，Ann.Statist。，38, 3696-3723 (2010) ·Zbl 1204.62107号
[6] Cook，R.，《关于回归图的解释》，J.Amer。统计师。协会，89177-189（1994）·Zbl 0791.62066号
[7] Cook，R.，《二元响应回归图形》，J.Amer。统计师。协会，91，983-992（1996）·Zbl 0882.62060号
[8] 库克·R。；Forzani，L.，基于Likelihood的充分降维，J.Amer。统计师。协会，104，197-208（2009）·Zbl 1388.62041号
[9] 库克·R。；Ni，L.，《通过逆回归进行充分降维：最小差异方法》，J.Amer。统计师。协会，100，410-428（2005）·Zbl 1117.62312号
[10] 库克·R。；Weisberg，S.，《降维切片逆回归：评论》，J.Amer。统计师。协会，86，328-332（1991）·Zbl 1353.62037号
[11] Edelman，A。；阿里亚斯，T。；Smith，S.，《正交约束算法的几何》，SIAM J.矩阵分析。申请。，20, 303-353 (1998) ·Zbl 0928.6500号
[12] 范，J。；Li，R.，通过非冲突惩罚似然进行变量选择及其预言性质，J.Amer。统计师。协会，96，1348-1360（2001）·Zbl 1073.62547号
[13] 吉尔，体育。；默里，W。；Wright，M.H.，《实用优化》（1981），学术出版社：纽约学术出版社·兹比尔0503.90062
[14] 哈里森，D。；Rubinfeld，D.，《Hedonic房价与清洁空气需求》，J.Environ。经济。管理。，5, 81-102 (1978) ·Zbl 0375.90023号
[15] 亨特，D。；Lange，K.，MM算法教程，Amer。统计人员。，58, 30-37 (2004)
[16] 亨特，D。；Li，R.，使用MM算法的变量选择，Ann.Statist。，33, 1617 (2005) ·Zbl 1078.62028号
[17] Lange，K.，局部等效于EM算法的梯度算法，J.R.Stat.Soc.Ser。《美国统计年鉴》。，57, 425-437 (1995) ·Zbl 0813.62021号
[18] 兰格，K。；Hunter博士。；Yang，I.，使用替代目标函数的优化转移，J.Compute。图表。Stat.，9，1-20（2000），（含讨论）
[19] Le Thi，H。；Pham Dinh，T.，《DC（凸函数的差异）编程和DCA与真实世界非凸优化问题的DC模型重访》，Ann.Oper。Res.，133，23-46（2005）·Zbl 1116.90122号
[20] Le Thi，H。；Pham Dinh，T.，DC编程和DCA：三十年的发展，数学。程序。，169, 5-68 (2018) ·Zbl 1387.90197号
[21] Li，K.-C.，降维切片逆回归，J.Amer。Stat.Assoc.，86，414，316-327（1991），（含讨论）·Zbl 0742.62044号
[22] 李，B。；Wang，S.，《关于降维的方向回归》，J.Amer。统计师。协会，102997-1008（2007）·Zbl 1469.62300号
[23] 马，Y。；Zhu，L.，降维的半参数方法，J.Amer。统计师。协会，107，168-179（2012）·Zbl 1261.62037号
[24] Nocedal，J。；Wright，S.，《数值优化》（2006），Springer Science&Business Media·Zbl 1104.65059号
[25] Pham Dinh，T。；Le Thi，H.，DC编程的凸分析方法：理论、算法和应用，数学学报。越南。，22, 289-355 (1997) ·Zbl 0895.90152号
[26] Pham Dinh，T。；Le Thi，H.，解决信任区域子问题的DC优化算法，SIAM J.Optim。，8, 476-505 (1998) ·Zbl 0913.65054号
[27] Pham Dinh，T。；Le Thi，H.，DC编程和DCA的最新进展，（计算智能学报，第十三卷（2014），施普林格出版社），1-37
[28] Sato，H.，stiefel流形上联合对角化的黎曼-牛顿型方法及其在独立分量分析中的应用，Optimization，662211-2231（2017）·兹伯利1386.90176
[29] Sheng，W。；Yin，X.，通过距离协方差进行单指数模型中的方向估计，J.多元分析。，122, 148-161 (2013) ·Zbl 1279.62097号
[30] Sheng，W。；Yin，X.，通过距离协方差进行充分降维，J.计算。图表。统计人员。，25, 91-104 (2016)
[31] 谢凯利，G。；Rizzo，M.，布朗距离协方差，Ann.Appl。统计，31236-1265（2009）·Zbl 1196.62077号
[32] 谢凯利，G。；里佐，M。；Bakirov，N.，《通过距离相关性测量和测试相关性》，Ann.Statist。，35, 2769-2794 (2007) ·Zbl 1129.62059号
[33] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.Ser。《美国统计年鉴》。，58, 267-288 (1996) ·Zbl 0850.62538号
[34] Wang，H。；Xia，Y.，降维切片回归，J.Amer。统计师。协会，103，811-821（2008）·Zbl 1306.62168号
[35] 夏，Y。；Tong，H。；李伟（Li，W.）。；朱丽霞，降维空间的自适应估计，J.R.Stat.Soc.Ser。《美国统计年鉴》。，64, 363-410 (2002) ·Zbl 1091.62028号
[36] 徐，J。；Chi，E。；杨，M。；Lange，K.，分割可行性问题的优化最小化算法，计算。最佳方案。申请。，71, 795-828 (2018) ·Zbl 1416.90048号
[37] 尹，X。；Cook，R.，单指数回归中的方向估计，Biometrika，92371-384（2005）·Zbl 1094.62054号
[38] 尹，X。；Hilafu，H.，大p，小n问题的序贯充分降维，J.R.Stat.Soc.Ser。《美国统计年鉴》。，77, 879-892 (2015) ·Zbl 1414.62194号
[39] 尹，X。；Li，B.，基于最小平均方差估计集合的充分降维，Ann.Statist。，39, 3392-3416 (2011) ·Zbl 1246.62141号
[40] 尹，X。；李，B。；库克，R.，《多元回归中估计中心子空间的连续方向提取》，《多元分析杂志》。，99, 1733-1757 (2008) ·Zbl 1144.62030号
[41] Yu博士。；J.Won。；Lee，T。；Lim，J。；Yoon，S.，使用优化-最小化和并行处理的高维融合套索回归，J.Compute。图表。统计人员。，24, 121-153 (2015)
[42] 袁，M。；Lin，Y.，《分组变量回归中的模型选择和估计》，J.R.Stat.Soc.Ser。《美国统计年鉴》。，68, 49-67 (2006) ·Zbl 1141.62030号
[43] 曾，P。；朱毅，估计中心平均子空间和中心子空间的积分变换方法，《多元分析》。，101, 271-290 (2010) ·Zbl 1177.62054号
[44] 周，J。；He，X.，基于约束典型相关和变量滤波的降维，Ann.Statist。，36, 1649-1668 (2008) ·兹比尔1142.62045
[45] Zhu，Y。；Zeng，P.，估计回归中中心子空间和中心平均子空间的Fourier方法，J.Amer。统计师。协会，1011638-1651（2006）·Zbl 1171.62325号
[46] Zou，H.，《自适应套索及其预言属性》，J.Amer。统计师。协会，101，1418-1429（2006）·Zbl 1171.62326号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。