ScreeNOT: Exact MSE-optimal singular value thresholding in correlated noise

David Donoho; Matan Gavish; Elad Romanov

doi:10.1214/22-AOS2232

2023年2月 屏幕NOT：相关噪声中的精确MSE-最优奇异值阈值

道能浩,马坦·加维什,埃拉·罗曼诺夫

作者关联+

安。统计师。 51(1): 122-148 （2023年2月）。数字对象标识码：10.1214/22-AOS2232

摘要

推导了相关加性噪声存在下奇异值分解的最优硬阈值公式；虽然它名义上涉及不可观测项，但我们展示了如何应用它，即使在噪声协方差结构未知或无法独立估计的情况下。我们称之为屏幕NOT是卡特尔1966年提出的广受欢迎但模糊的碎石图启发法的一个数学上可靠的替代方案。ScreeNOT有一个令人惊讶的oracle属性：它通常可以实现确切地在大型有限样本中，在每个给定的问题实例上，矩阵恢复的最小可能MSE，即它选择的特定阈值正好给出了所有可能阈值选择中最小的可实现MSE损失那个噪声数据集和那个未知的潜在真实低秩模型。该方法计算效率高，对潜在协方差结构的扰动具有鲁棒性。我们的结果取决于这样的假设，即噪声的奇异值具有紧致支撑的极限经验分布；这一特性是随机矩阵理论中的标准，许多显示出行间相关结构或列间相关结构的模型，以及许多具有更一般的元素间关联结构的情况都满足这一特性。仿真表明，即使在矩阵大小适中的情况下，该方法也是有效的。本文由实现所提算法的现成软件包进行补充：包 $\mathtt{ScreeNOT}$ 在里面 $\mathtt{Python}$ （通过 $\mathtt{PyPI}$ )和 $\mathtt{R}$ （通过 $\mathtt{CRAN}$ ).

资金筹措表

国防部部分得到了NSF拨款DMS-1407813、1418362和1811614的支持。MG获得了以色列科学基金会1523/16和871/22的部分资助。这项工作是由美国-以色列两国科学基金会（BSF）2016201“矩阵恢复的前沿”拨款促成的。ER隶属于耶路撒冷希伯来大学计算机科学与工程学院，以色列科学基金会（Israel Science Foundation）1523/16号拨款和耶路撒冷希伯来语大学（Hebrew University of Jerusalem）爱因斯坦-凯伊奖学金（Einstein–Kaye Fellowship）的部分支持。