张量积空间中的筛法回归

@第{章2022出口IT,title={张量积空间中的筛法回归},author={张天宇和诺亚·R·西蒙},journal={电子统计杂志},年份={2022},url={https://api.semanticscholar.org/CorpusID:249431686}}
本文提出了非参数张量积空间中回归的(惩罚)筛估计,它更适合多元回归,并允许我们部分地避免维数灾难。

本文图表

滚动验证在线估计:基于流数据的自适应非参数估计

这项工作提出了一种加权滚动验证程序,这是留一交叉验证的一种在线变体,对于许多典型的随机梯度下降估计量来说,它的额外计算成本最低,并且可以提高基本估计量以实现更好的自适应收敛率。

反事实结果的正交预测

正交元学习者,如DR-学习者、R-学习者和IF-学习者,越来越多地被用于评估条件平均治疗效果。它们提高了相对于na\“{\i}ve的收敛速度

张量积空间方差分析模型

    伊琳
    数学、计算机科学
  • 2000
TPS-ANOVA模型的快速优化速度使其在高维函数估计中具有很好的性能,并给出了Sobolev-Hilbert空间张量积空间的许多性质。

再生核Hilbert空间中非参数回归的在线投影估计。

本文提出了一种在线非参数回归的估计量,它是确定性线性空间中的经验风险最小化器,与现有的使用随机特征和泛函随机梯度的方法截然不同。

SOBOLEV椭球在线非参数回归的一种随机梯度下降估计。

本文提出了假设空间为Sobolev椭球时的筛选随机梯度下降估计(sieve-SGD),并证明了在一组简单和直接的条件下,筛选随机梯度降估计具有率最优均方误差(MSE)。

基于凸规划的核类上稀疏可加模型的极小极大最优速率

本文考虑了每个单变量分量函数fj*位于再生核希尔伯特空间(RKHS)中的情况,并分析了一种基于核与l1型凸正则化相结合的未知函数f*估计方法,获得了许多有趣的稀疏加性模型类的最优极小极大率。

高自适应Lasso估计器

提出了一种新的非参数回归估计量,与许多现有方法相比,它不依赖于局部平滑假设,也不使用局部平滑技术构造,并考虑到全局光滑性约束,因为它属于一类右连续函数,其左极限的变化范数由常数限定。

强遗传相互作用的凸模型

FAMILY是几种现有方法的推广,例如VANISH、hierNet、全对套索和仅使用主要效果的套索,它被表示为凸优化问题的解决方案,该问题是使用高效的交替方向乘法器(ADMM)算法求解的。

一般域上的Mercer定理:关于测度、核和RKHS之间的相互作用

给定紧致度量空间X和X上的严格正Borel测度ν,Mercer经典定理指出正自共轭积分算子的谱分解

lq-ball上高维线性回归的极小极大估计率

证明了在设计矩阵X上适当的正则性条件下,l1-损失和l2-预测损失标度中的最小最大最优速率为Rq,其中Rq是某个q∈[0,1]的lq-ball Bq(Rq)。

高维概率

贯穿始终的插图范围很广,包括协方差估计、聚类、网络、半定规划、编码、降维、矩阵完成、机器学习、压缩感知和稀疏回归的经典和现代结果。

通过套索进行回归收缩和选择

提出了一种新的线性模型估计方法,称为套索,它使系数绝对值之和小于常数时的剩余平方和最小。