约束最小二乘的次优性及其非线性预测的改进

@第{条Vaskevicius2020次优OC，title={约束最小二乘的次优性和通过非线性预测的改进}，作者={托马斯·瓦斯科维修斯和尼基塔·日沃托夫斯基}，日志={ArXiv}，年份={2020年}，体积={abs/2009.09304}，url={https://api.semanticscholar.org/CorpusID:221819149}}
构造了一个有界分布，使得约束最小二乘估计量产生了$\Omega（d^{3/2}/n）$级的超额风险，从而驳斥了Ohad Shamir最近的一个猜想[JMLR 2015]，并且可以观察到非线性预测器可以达到O（d/n）的最佳速率。
[PDF]语义阅读器
10引文
背景引文
8
方法引文
4

询问这篇论文
贝塔
AI供电

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

10引文

无分布稳健线性回归

利用截断最小二乘法、中位数法和聚集理论的思想，构造了一个具有最优次指数尾的d/n阶超额风险的非线性估计量。

基于序列预测的高概率风险边界

这项工作表明，应用于一般在线学习算法的在线到批量转换可以绕过这一限制，并获得一些经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的近似最优高概率风险界。

基于改进人工蜂群算法的磁螺旋胶囊内窥镜定位新方法

提出了一种基于改进的人工蜂群（IABC）算法的无线胶囊内窥镜（WCE）定位新方法，其结果对未来实现WCE闭环主动控制、活检和给药具有重要意义。

外压缩统计学习中的局部规范探索

这项工作提供了一个对广泛的有界扩展损失有效的超额风险界，其中d是凸参考集的维数，n是样本大小，$\delta$是置信水平。

随机设计岭回归的初步分析

在本文中，我们对随机设计岭回归的预测误差进行了初步分析。证据简短而完备。特别是，它绕过了鲁德尔森的…

无Bernstein条件的指数尾局部Rademacher复杂度风险界

这项工作建立在通过偏移Rademacher复杂性进行定位的最新方法的基础上，对于该方法，尚未建立通用的高概率理论，并产生指数尾超额风险界，以抵消Rademacher复杂性表示，其结果至少与通过经典理论获得的结果一样尖锐。

基于扩展器的稀疏贝努利矩阵稳健稀疏恢复

这项工作描述了在很大程度上稀疏性的情况下，最小伯努利矩阵的特征，从而可以用最少的测量次数执行稀疏恢复，并提供匹配下限以确定结果的最佳性。

随机优化的改进学习率：两种理论观点

本文研究了两种常用的随机优化方法：经验风险最小化（ERM）和随机梯度下降（SGD）的超额风险性能和提高学习率，并跨越了两种流行的理论观点：稳定性和一致收敛。

收敛速度为O（1/n）的稳定性和偏差最优风险界

结果表明，如果满足所谓的Bernstein条件，则可以避免项$\Theta（1/\sqrt{n}）$，并且通过一致稳定性可以得到高达$O（1/n）$的高概率超额风险界。

Comptes Rendus数学

在本文中，我们对随机设计岭回归的预测误差进行了初步分析。证据简短而完备。特别是，它绕过了…

71参考文献

线性最小二乘和样本协方差矩阵下尾的精确最小最大风险

主要的技术贡献是研究了$0左右经验协方差矩阵最小奇异值的下尾，它在下尾上建立了一个下限，适用于维数$d\geq 2$的任何分布，以及在必要的正则性条件下的匹配上限。

一般维的等渗回归

我们研究了$[0,1]^d$上一类实值函数的最小二乘回归函数估计，这些实值函数在每个坐标中都在增加。对于一致有界信号，…

形状限制回归中最小二乘估计的夏普不等式

研究了保序回归、单峰回归和凸回归中最小二乘估计的性能。我们的结果以尖锐的预言不等式的形式解释了模型…

稳健线性最小二乘回归

在min-max框架下，基于截断损失差异，提出了一种新的估计量，该估计量在期望和偏差两个方面均满足d/n风险界，即在实现指数偏差的同时，输出分布上不存在指数矩条件。

误指定密度估计和logistic回归中一个最优超额风险的不当估计

SMP（Sample Minmax Predictor）为贝叶斯方法提供了一种计算效率更高的替代方法，该方法需要近似后验抽样，因此部分回答了Foster等人（2018）的问题。

最小二乘次优性及其在凸体估计中的应用

证明了最小二乘法是最小次优的，并且达到了$\tilde{\Theta}_d（n-2/（d-1）}）$的速率，而最小速率是$\Theta_d（n^{-4/（d+3）}。

关于保序和其他形状限制回归问题的风险界

有人认为，该界通过证明非共调性局部极小极大下界，为等渗回归中任何估计量的风险提供了一个基准，并与作者的模型误指定界类似，其中真实的$θ不一定是非递减的。

经验熵、极小极大后悔和极小极大风险

结论是，在区域$p\in（0,2）$中，指定模型（minimax risk）和指定错误模型（minimax require）中的统计估计率是等价的，并且统计学习问题与统计估计问题具有相同的minimax率。

凸约束下最小二乘法的新观点

本文给出了关于高斯随机向量平均值估计问题的三个一般结果，包括通过将估计误差中的主项与高斯过程的期望最大值相关联来精确计算估计误差中主项，一个定理表明，在上述任何一类问题中，最小二乘估计总是可容许的，直到一个普适常数；另一个反例表明，最小二乘估计不一定总是极小极大率最优的。

通过聚合进行统计推断的快速学习率

我们为一般学习任务（包括预测）以及参考集G中的最佳函数（直到可能的最小加法项，称为…
...