摘要
在统计学习中,基于观测数据识别真实目标函数的底层结构对于促进后续建模和分析至关重要。与大多数现有方法在特定模型假设下关注特定设置不同,本文提出了一种通用的新颖框架,用于在再生核希尔伯特空间(RKHS)中使用非结构化M估计恢复目标函数的真实结构。这个框架的灵感来自这样一个事实,即梯度函数可以作为一个有效的工具来学习底层结构,包括稀疏学习、交互选择和模型识别,并且通过利用RKHS的一些优良特性很容易实现。更重要的是,它接受了广泛的损失函数,因此包括许多常用的方法,如特殊情况下的均值回归、分位数回归、基于似然的分类和基于边缘的分类,这些方法通过求解凸优化任务也具有计算效率。该框架的渐近结果建立在一个丰富的损失函数族中,没有任何明确的模型规范。各种模拟示例和实际案例研究也证明了该框架的优越性能。
资金筹措表
新和的研究部分得到了NSFC-11901375、上海浦江计划2019PJC051、中央高校基本科研业务费专项资金和上海财经大学创新研究团队项目的支持。冯兴东的研究部分得到了NSFC-11971292的支持。本研究也得到了上海数据科学与决策技术研究中心的支持。
致谢
作者感谢副主编和两位匿名审稿人提出的建设性建议,这些建议对本文有了显著的改进。作者还感谢王俊晖教授对本书初稿的宝贵意见。
引文
下载引文
新河。
葛叶亨。
冯兴东。
“通过基于非结构化核的M估计进行结构学习。”
电子。J.统计。
17
(2)
2386 - 2415,
2023
https://doi.org/10.1214/23-EJS2153
问询处
收到日期:2022年6月1日;发布日期:2023年
欧几里德项目首次推出:2023年10月5日
数字对象标识符:10.1214/23-EJS2153
学科:
主要用户:62G05型
关键词:一致性,凸优化,梯度学习,再生核希尔伯特空间,结构学习