马库斯·格雷斯迈尔;李，豪森;阿克塞尔·蒙克 变分多尺度非参数回归：光滑函数。 （英语。法语摘要） Zbl 1393.62014年 普罗巴伯亨利·彭卡雷（Henri Poincaré）安研究所。斯达。 54，第2期，1058-1097（2018）. 摘要：对于光滑函数的非参数回归问题，我们重新考虑并分析了一种约束变分方法，我们称之为多尺度Nemirovski-Dantzig（MIND）估计。这可以看作是Dantzig选择器的多尺度扩展[E.坎迪斯和陶哲轩《Ann.Stat.35》，第6期，第2313–2404页（2007年；Zbl 1139.62019号)]基于早期的想法A.S.内米洛夫斯基【Sov.J.Compute.Syst.Sci.23，No.6，1-11（1985；兹伯利0604.62033); Izv的翻译。阿卡德。Tekh Nauk SSSR公司。基伯恩。1985年，第3期，30-50（1985）]。MIND最小化齐次Sobolev范数，前提是残差的多分辨率范数有一个通用阈值。本文的主要贡献是推导了MIND关于（L^{q}）-损失（1）的收敛速度，几乎可以肯定也可以期望。为此，我们介绍了近似源条件的方法。对于一维信号，这些可以转化为B样条的近似特性。一个显著的结果是，对于大范围的Sobolev和Besov类，MIND同时达到几乎最小最大的最优速率，这提供了一定的适应性。作为渐近分析的补充，我们通过数值模拟检验了MIND的有限样本性能。MATLAB软件包在线提供。 引用于4文件 MSC公司： 62G08号 非参数回归和分位数回归 6220国集团 非参数推理的渐近性质 关键词：非参数回归;适应;收敛速度;极大极小最优性;多分辨率范数;近似源条件 引文：Zbl 1139.62019号;Zbl 0604.62033号 软件：Matlab公司 PDF格式BibTeX公司 XML格式引用 \textit{M.Grasmair}等人，《安娜·Inst.Henri Poincaré，Probab》。Stat.54，No.2，1058--1097（2018；Zbl 1393.62014） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] R.A.Adams和J.J.F.Fournier。Sobolev Spaces，第二版。纯粹与应用数学（阿姆斯特丹）140。爱思唯尔/学术出版社，阿姆斯特丹，2003年·Zbl 1098.46001号 [2] A.Beck和M.Teboule。线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学2（1）（2009）183-202·Zbl 1175.94009号 ·doi:10.1137/080716542 [3] A.S.贝西科维奇。加法函数的覆盖原理和相对微分的一般形式。数学。程序。剑桥菲洛斯。Soc.41（1945）103-110·Zbl 0063.00352号 ·doi:10.1017/S0305004100022453 [4] A.S.贝西科维奇。加法函数的覆盖原理和相对微分的一般形式。二、。数学。程序。剑桥菲洛斯。Soc.42（1946）1-10·Zbl 0063.00353号 ·doi:10.1017/S0305004100022660 [5] P·J·比克尔、Y·里托夫和A·B·齐巴科夫。同时分析套索和Dantzig选择器。《统计年鉴》37（4）（2009）1705-1732·Zbl 1173.62022号 ·doi:10.1214/08-AOS620 [6] N.Bissantz、T.Hohage、A.Munk和F.Ruymgaart。统计反问题的一般正则化方法的收敛速度及其应用。SIAM J.数字。分析45（6）（2007）2610-2636·Zbl 1234.62062号 ·数字对象标识代码：10.1137/060651884 [7] J.P.Boyle和R.L.Dykstra。一种在希尔伯特空间中凸集的交集上寻找投影的方法。《有序限制统计推断进展》28-47。爱荷华州爱荷华市，1985年。统计中的课堂笔记。37。施普林格，柏林，1986年·兹比尔0603.49024 [8] S.C.Brenner和L.R.Scott。有限元方法的数学理论，第3版。应用数学课文15。施普林格，纽约，2008年·Zbl 1135.65042号 [9] T·蔡。自适应小波估计：块阈值和预言不等式方法。《统计年鉴》27（3）（1999）898-924·Zbl 0954.62047号 ·doi:10.1214/aos/1018031262 [10] T·蔡。小波回归中的块阈值：自适应性、块大小和阈值水平。统计师。Sinica 12（4）（2002）1241-1273·Zbl 1004.62036号 [11] T.Cai、L.Wang和G.Xu。稀疏信号的稳定恢复和预言不等式。IEEE传输。通知。理论56（7）（2010）3516-3522·Zbl 1366.94085号 ·doi:10.1109/TIT.2010.2048506 [12] 蔡先生和周先生。一种用于小波估计的数据驱动的块阈值方法。《统计年鉴》37（2）（2009）569-595·Zbl 1162.62032号 ·doi:10.1214/07-AOS538 [13] E.J.Candès和F.Guo。新的多尺度变换，最小总变化合成：在边缘保留图像重建中的应用。《信号处理》82（2002）1519-1543·Zbl 1009.94510号 ·doi:10.1016/S0165-1684（02）00300-6 [14] E.J.Candès和T.Tao。Dantzig选择器：当\（p）远大于\（n）时的统计估计。《统计年鉴》35（6）（2007）2313-2351·兹比尔1139.62019 [15] L.Cavalier、G.K.Golubev、D.Picard和A.B.Tsybakov。Oracle不等式用于反问题。《统计年鉴》30（3）（2002）843-874。献给卢西恩·勒·卡姆·兹比尔1029.62032 ·doi:10.1214/aos/1028674843 [16] A.Chambolle和T.Pock。凸问题的一阶原对偶算法及其在成像中的应用。数学杂志。《成像视觉》40（1）（2011）120-145·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1 [17] H.P.Chan和G.Walther。使用扫描和平均似然比进行检测。统计师。Sinica 23（1）（2013）409-428·Zbl 1257.62096号 [18] T.F.Chan和J.Shen。图像处理和分析：变分、PDE、小波和随机方法。工业和应用数学学会（SIAM），宾夕法尼亚州费城，2005年·Zbl 1095.68127号 [19] C.Chesneau、J.Fadili和J.-L.-L.Starck。基于小波的图像反褶积的Stein块阈值法。电子。《美国联邦法规汇编》第4卷（2010年）第415-435页·Zbl 1329.62392号 ·doi:10.1214/09-EJS550 [20] A.Cohen、M.Hoffmann和M.Rei。线性反问题的自适应小波Galerkin方法。SIAM J.数字。分析42（4）（2004）1479-1501。（电子）·Zbl 1077.65054号 ·doi:10.1137/S0036142902411793 [21] 一、Daubechies。小波十讲。CBMS-NSF应用数学区域会议系列61。工业和应用数学学会（SIAM），宾夕法尼亚州费城，1992年·兹比尔0776.42018 [22] P.L.Davies和A.Kovac。局部极值、运行、字符串和多分辨率。Ann.Statist.29（1）（2001）1-65·Zbl 1029.62038号 ·doi:10.1214/aos/996986501 [23] P.L.Davies、A.Kovac和M.Meise。非参数回归，置信区和正则化。《统计年鉴》37（2009）2597-2625·Zbl 1173.62023号 ·doi:10.1214/07-AOS575 [24] P.L.Davies和M.Meise。使用加权平滑样条曲线逼近数据。J.非参数。统计数据20（3）（2008）207-228·兹比尔1216.62056 ·doi:10.1080/10485250801948625 [25] C.德布尔。关于关于样条投影的（L_{∞}）-有界性的Shadrin定理的（双）无穷情形。程序。Steklov Inst.Math.277（2012）73-78·Zbl 1298.41016号 [26] 邓文华和尹文华。广义交替方向乘子法的全局收敛性和线性收敛性。科学杂志。计算。(2015). 新闻界·Zbl 1379.65036号 ·doi:10.1007/s10915-015-0048-x [27] H.Dette、A.Munk和T.Wagner。估计非参数回归中的方差——什么是合理的选择？J.R.统计社会服务。B.统计方法60（4）（1998）751-764·Zbl 0944.62041号 ·doi:10.1111/1467-9868.00152 [28] Y.Dong、M.Hintermüller和M.M.Rincon-Camacho。用于图像恢复的多尺度全变分模型中的自动正则化参数选择。数学杂志。《成像视觉》40（1）（2011）82-104·Zbl 1255.68230号 ·doi:10.1007/s10851-010-0248-9 [29] D.L.Donoho。通过软阈值去噪。IEEE传输。通知。理论41（3）（1995）613-627·Zbl 0820.62002号 ·doi:10.1109/18.382009年 [30] D.L.多诺霍。线性反问题的小波-小波分解非线性解。申请。计算。哈蒙。分析2（2）（1995）101-126·Zbl 0826.65117号 ·doi:10.1006/acha.1995.1008 [31] D.L.Donoho、M.Elad和V.N.Temlyakov。噪声存在下稀疏超完备表示的稳定恢复。IEEE传输。通知。理论52（1）（2006）6-18·Zbl 1288.94017号 ·doi:10.1109/TIT.2005.860430 [32] D·L·多诺霍和I·M·约翰斯通。通过小波收缩实现理想的空间自适应。《生物特征》81（3）（1994）425-455·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425 [33] D.L.Donoho、I.M.Johnstone、G.Kerkyacharian和D.Picard。小波收缩：渐近？J.R.统计社会服务。B.统计方法57（2）（1995）301-369·Zbl 0827.62035号 [34] D.L.Donoho、I.M.Johnstone、G.Kerkyacharian和D.Picard。小波收缩的普遍近似极小性。为Lucien Le Cam 183-218拍摄的Festschrift。D.Pollard和G.Yang（编辑）。施普林格，纽约，1996年·Zbl 0891.62025号 [35] L.Dümbgen和A.Kovac。通过拉紧的弦延伸平滑。电子。《J.Stat.3》（2009）41-75·Zbl 1326.62087号 ·doi:10.1214/08-EJS216 [36] L.Dümbgen和V.G.Spokoiny。定性假设的多尺度测试。《统计年鉴》29（1）（2001）124-152·Zbl 1029.62070号 ·doi:10.1214操作系统/9996986504 [37] N.Dyn、F.J.Narcowich和J.D.Ward。黎曼流形上广义插值的变分原理和Sobolev型估计。施工。约15（2）（1999）175-208·Zbl 0948.41015号 ·数字标识代码：10.1007/s003659900104 [38] P.P.B.Eggermont和V.N.LaRiccia。最大惩罚可能性估计。第二卷：回归。统计学中的斯普林格系列。施普林格，多德雷赫特，2009年·兹比尔1184.62063 [39] H.W.Engl、M.Hanke和A.Neubauer。反问题的正则化。数学及其应用.375。Kluwer学术出版集团，多德雷赫特，1996年·Zbl 0859.65054号 [40] L.C.埃文斯。偏微分方程，第2版。数学研究生课程19。美国数学学会，普罗维登斯，RI，2010年·Zbl 1194.35001号 [41] J.Fan和I.Gijbels。局部多项式建模及其应用。统计学和应用概率专著。查普曼和霍尔出版社，伦敦，1996年·Zbl 0873.62037号 [42] J.弗莱明。希尔伯特空间中不定方程解的光滑性：四个概念及其交叉连接。申请。分析91（5）（2012）1029-1044·Zbl 1272.47017号 ·网址：10.1080/00036811.2011.563736 [43] J.Flemming和B.Hofmann。用广义残差项正则化方法求解源条件的一种新方法。数字。功能。分析。优化31（2）（2010）254-284·Zbl 1195.47040号 ·doi:10.1080/01630561003765721 [44] K.Frick、P.Marnitz和A.Munk。成像中的统计多分辨率Dantzig估计：基本概念和算法框架。电子。《J Stat.6》（2012）231-268·Zbl 1314.62094号 ·doi:10.1214/12-EJS671 [45] K.Frick、P.Marnitz和A.Munk。变分成像的统计多分辨率估计：在泊松生物光子学中的应用。数学杂志。《成像视觉》46（3）（2013）370-387·Zbl 1312.68222号 ·doi:10.1007/s10851-012-0368-5 [46] K.Frick、A.Munk和H.Sieling。多尺度变化点推断。J.R.统计社会服务。B.Stat.Methodol.76（3）（2014）495-580·Zbl 1411.62065号 [47] J.Glaz和N.Balakrishnan（编辑）。扫描统计信息和应用程序。工业和技术统计。Birkhäuser，波士顿，1999年·Zbl 0919.00015号 [48] A.Goldenshluger和A.Nemirovski。非参数回归的空间自适应估计。数学。方法统计学6（2）（1997）135-170·兹比尔0892.62018 [49] M.诉Golitschek。关于样条正交投影的（L_{∞}）范数。沙德林定理的简短证明。J.近似理论181（2014）30-42·兹比尔1290.41003 [50] P.格林和B.西尔弗曼。非参数回归和广义线性模型。粗糙度惩罚方法。统计学和应用概率专著。查普曼和霍尔出版社，伦敦，1994年·Zbl 0832.62032号 [51] C.W.Groetsch。第一类Fredholm方程的Tikhonov正则化理论。皮特曼，波士顿，1984年·Zbl 0545.65034号 [52] L.Györfi、M.Kohler、A.Krzyżak和H.Walk。非参数回归的无分布理论。统计学中的斯普林格系列。施普林格，纽约，2002年·Zbl 1021.62024号 [53] P.Hall、J.W.Kay和D.M.Titterinton。非参数回归中基于差分的渐近最优方差估计。《生物特征》77（1990）521-528·Zbl 1377.62102号 ·doi:10.1093/biomet/77.3.521 [54] P.Hall、S.Penev、G.Kerkyacharian和D.Picard。块阈值小波估计器的数值性能。《统计计算》第7卷（1997年）第115-124页。 [55] M.Haltmeier和A.Munk。经验框架系数的极值分析和软阈值去噪的含义。申请。计算。哈蒙。分析。(2013). 新闻界·Zbl 1290.42064号 ·doi:10.1016/j.aca.2013.07.004 [56] W.Härdle、G.Kerkyacharian、D.Picard和A.Tsybakov。小波、近似和统计应用。统计学课堂讲稿129。Springer-Verlag，纽约，1998年·Zbl 0899.62002号 [57] T.海因。近似源条件下Banach空间中不适定问题正则化的收敛速度。反问题24（4），045007（2008）。10. ·Zbl 1158.65038号 ·doi:10.1088/0266-5611/24/4/045007 [58] M.Hoffmann和M.Reiss。算子有误差线性反问题的非线性估计。《统计年鉴》36（1）（2008）310-336·Zbl 1134.65038号 ·doi:10.1214/0090536007000000721 [59] B.霍夫曼。Tikhonov-Phillips正则化中的近似源条件和乘法算子反问题的结果。数学。方法应用。科学29（3）（2006）351-371·Zbl 1094.47015号 ·doi:10.1002/mma.686 [60] B.Hofmann、B.Kaltenbacher、C.Pöschl和O.Scherzer。具有非光滑算子的Banach空间中Tikhonov正则化的收敛速度。反问题23（3）（2007）987-1010·Zbl 1131.65046号 [61] B.霍夫曼和M.山本。基于范围包含的Tikhonov正则化的收敛速度。反问题21（3）（2005）805-820·Zbl 1077.65056号 ·doi:10.1088/0266-5611/21/3/002 [62] V.K.Ivanov、V.V.Vasin和V.P.Tanana。线性不适定问题理论及其应用，36，第2版。Walter de Gruyter，柏林，2002年·Zbl 1037.65056号 [63] Z.卡布卢奇科。标准高斯噪声的极值。随机过程。申请121（3）（2011）515-533·Zbl 1225.60084号 ·doi:10.1016/j.spa.2010.11.007 [64] A.Korostelev和O.Korosteleva。数理统计：渐近极小极大理论。数学研究生119。美国数学学会，普罗维登斯，RI，2011年·Zbl 1241.62020号 [65] A.Kovac和M.Meise。在多分辨率约束下最小化总变化。布里斯托尔大学技术报告，2006年。 [66] R.克雷斯。数值分析。数学研究生课文181。Springer-Verlag，纽约，1998年·Zbl 0913.65001号 [67] O.V.Lepski、E.Mammen和V.G.Spokoiny。对非均匀平滑度的最佳空间自适应：一种基于可变带宽选择器的核估计的方法。《统计年鉴》25（3）（1997）929-947·Zbl 0885.62044号 ·doi:10.1214/aos/1069362731 [68] O.V.Lepskiĭ。高斯白噪声中的自适应估计问题。特奥。Veroyatn公司。《引言》35（3）（1990）459-470·Zbl 0725.62075号 [69] E.Mammen和S.van de Geer。局部自适应回归样条。《统计年鉴》25（1）（1997）387-413·Zbl 0871.62040号 ·doi:10.1214/aos/1034276635 [70] A.Munk、N.Bissantz、T.Wagner和G.Freitag。协变量为高维时非参数回归中基于差异的方差估计。J.R.统计社会服务。《英国统计方法》67（1）（2005）19-41·Zbl 1060.62047号 ·数字对象标识代码：10.1111/j.1467-9868.2005.00486.x [71] E.A.纳达拉亚。关于估计回归。理论概率论。应用9（1）（1964）141-142·Zbl 0136.40902号 [72] F.J.Narcowich、R.Schaback和J.D.Ward。通过核展开在Sobolev空间中进行逼近。《近似理论杂志》114（1）（2002）70-83·Zbl 1022.46023号 ·doi:10.1006/jath.2001.3637 [73] F.J.Narcowich、J.D.Ward和H.Wendland。径向基函数插值的精确误差估计。施工。约19（4）（2003）541-564·Zbl 1049.41011号 ·doi:10.1007/s00365-002-0529-7 [74] A.内米洛夫斯基。光滑回归函数的非参数估计。伊兹夫。阿卡德。恶心。SSR Teckhn公司。Kibernet.23（1985）1-11。（俄语），3:50-60。J.计算。《系统科学》，1986年，（英语）·兹伯利0604.62033 [75] A.内米洛夫斯基。非参数统计主题。概率论与统计学讲座85-277。圣弗洛尔，1998年。数学课堂笔记1738。施普林格，柏林，2000年·Zbl 0998.62033号 [76] Y.Nesterov，A.Nemirovskii和Y.Ye.凸规划中的内点多项式算法，13。SIAM，费城，1994年·Zbl 0824.90112号 [77] J.赖斯。非参数回归的带宽选择。《统计年鉴》12（4）（1984）1215-1230·Zbl 0554.62035号 ·doi:10.1214/aos/1176346788 [78] C.里维拉和G.沃尔特。使用似然比统计对泊松过程强度或密度的跳跃进行最佳检测。扫描。《J Stat.40》（2013）752-769·Zbl 1283.62179号 ·doi:10.1111/sjos.12027 [79] K.Scherer和A.Shadrin。B样条基条件数的新上界。二、。德布尔猜想的一个证明。《J近似理论》99（2）（1999）217-229·Zbl 0955.41013号 ·doi:10.1006/jath.1998.3310 [80] O.Scherzer、M.Grasmair、H.Grossauer、M.Haltmeier和F.Lenzen。成像中的变分方法，167。施普林格，纽约，2009年·Zbl 1177.68245号 [81] L.L.舒梅克。样条函数：基础理论，第三版。剑桥大学出版社，剑桥，2007年·Zbl 1123.41008号 [82] A.Y.Shadrin。样条投影的（L{∞}）范数与结序列无关：de Boor猜想的证明。《数学学报》187（1）（2001）59-137·兹比尔0996.41006 [83] J.Sharpnack和E.Arias-Castro。2014年扫描统计和快速替代品的精确渐近性。可从arXiv:1409.7127获取·Zbl 1345.62078号 ·doi:10.1214/16-EJS1188 [84] D.Siegmund和B.Yakir。扫描统计信息的零分布的尾部概率。伯努利6（2）（2000）191-213·Zbl 0976.62048号 ·doi:10.2307/3318574 [85] V.斯波科尼。高维回归模型的方差估计。《多变量分析杂志》82（1）（2002）111-133·Zbl 1010.62033号 ·doi:10.1006/jmva.2001.2023 [86] C.J.斯通。核密度估计的渐近最优窗口选择规则。《统计年鉴》12（4）（1984）1285-1297·Zbl 0599.62052号 ·doi:10.1214/aos/1176346792 [87] R.Tibshirani。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B 58（1）（1996）267-288·Zbl 0850.62538号 [88] H.特里贝尔。函数空间理论。现代Birkhä用户经典。Birkhäuser Verlag，巴塞尔，1983年·Zbl 0546.46027号 [89] H.特里贝尔。函数空间理论。二、。数学专著84。Birkhäuser Verlag，巴塞尔，1992年·兹比尔0763.46025 [90] H.特里贝尔。插值理论，函数空间，微分算子，第二版。约翰·安布罗西斯·巴思（Johann Ambrosius Barth），海德堡，1995年·Zbl 0830.46028号 [91] A.茨巴科夫。非参数估计简介。统计学中的斯普林格系列。施普林格，纽约，2009年·Zbl 1176.62032号 [92] S.A.van de Geer公司。回归分析和经验过程。CWI拖拉机。Stichting Mathematisch Centrum，Centrum voor Wiskunde en Informatica信息中心45。阿姆斯特丹，1988年。 [93] A.W.van der Vaart和J.A.Wellner。弱收敛与经验过程。统计学中的斯普林格系列。Springer-Verlag，纽约，1996年·Zbl 0862.60002号 [94] G.瓦巴。数据有噪声时线性算子方程的实用近似解。SIAM J.数字。分析14（4）（1977）651-667·Zbl 0402.65032号 ·doi:10.1137/0714044 [95] G.瓦巴。观测数据的样条模型。CBMS-NSF应用数学区域会议系列59。SIAM，费城，1990年·Zbl 0813.62001号 [96] G.沃尔特。使用扫描统计优化和快速检测空间簇。《统计年鉴》38（2）（2010）1010-1033·Zbl 1183.62076号 ·doi:10.1214/09-AOS732 [97] W.P.齐默尔。弱可微函数·Zbl 0692.46022号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。