冯云龙;吴强 在力矩条件下学习。 （英语） Zbl 1442.62150号 申请。计算。哈蒙。分析。 49，第2期，495-520（2020年）. 摘要：我们研究了稳健的经验风险最小化（RERM）方案的理论基础，该方案由于对离群值和重尾噪声具有鲁棒性，在各种数据科学领域得到了大量成功的应用。RERM的特点在于它的非凸性，它是由一个具有综合尺度参数的损失函数诱导的，它权衡了鲁棒性和预测精度。RERM的非凸性和综合尺度参数也给理论评估其学习性能带来了障碍。在本文中，关于RERM的研究，我们做出了以下主要贡献。首先，我们建立了一个no-free-lunch结果，表明如果不调整尺度参数，就不可能实现无分布的真理学习。其次，通过对响应变量施加（1+epsilon）-th（且（epsilon>0）阶矩条件，我们建立了一个比较定理，刻画了RERM的过度泛化误差与其预测误差之间的关系。第三，利用发散尺度参数，我们建立了RERM在（1+epsilon）矩条件下几乎确定的收敛速度。值得注意的是，（1+epsilon）矩条件允许存在具有无穷方差的噪声。最后但并非最不重要的是，本研究中对RERM进行的学习理论分析一方面展示了RERM在稳健性方面的优点以及尺度参数所起的权衡作用，另一方面也为我们带来了对稳健机器学习的启发性见解。 引用于9文件 MSC公司： 62J02型 一般非线性回归 62G35型 非参数稳健性 68T05型 人工智能中的学习和自适应系统 关键词：学习理论;经验风险最小化;平均回归校准;无自由午餐定理;弱力矩条件;稳健回归 软件：鲁棒基地 PDF格式BibTeX公司 XML格式引用 \textit{Y.Feng}和\textit{Q.Wu}，应用。计算。哈蒙。分析。49，第2号，495--520（2020；Zbl 1442.62150） 全文： 内政部 参考文献： [1] 阿塞尔比，路易吉；塞图·维贾亚库马尔；Daniel M.Wolpert，《关于人类概率推理中次优性的起源》，《公共科学图书馆·计算》。生物学，10，6，文章e1003661 pp.（2014） [2] 阿塞尔比，路易吉；塞图省维贾亚库马尔；Daniel M.Wolpert，《目标不确定性调解传感器运动误差修正》，《公共科学图书馆·综合》，12，1，文章e0170466 pp.（2017） [3] Allen-Zhu、Zeyuan；李元志；Liang，Yingyu，超参数神经网络的学习和泛化，超越两层，（神经信息处理系统进展（2019）），6155-6166 [4] 鲍林超；杨庆雄，稳健分段常数平滑：重访M-平滑器（2014），预印本 [5] 彼得·L·巴特利特。；尼克·哈维；克里斯托弗·利奥（Christopher Liaw）；Mehrabian，Abbas，分段线性神经网络的近紧vc维和伪维界，J.Mach。学习。第20、63、1-17号决议（2019年）·Zbl 1489.62302号 [6] 费萨尔·鲍霍贝尔（Faysal Boughorbel）；安德烈亚斯·科尚；贝斯玛·阿比迪；Abidi，Mongi，高斯场：三维刚性配准的新标准，模式识别。，37, 7, 1567-1571 (2004) [7] 费萨尔·鲍霍贝尔（Faysal Boughorbel）；默西梅克，穆哈里姆；安德烈亚斯·科尚；Abidi，Mongi，三维点集注册的新方法：高斯场框架，Image Vis。计算。，28, 1, 124-137 (2010) [8] 克里斯蒂安·布朗利；埃米利安·乔利；Lugosi，Gábor，《重大损失的经验风险最小化》，《Ann.Stat.》，第43、6、2507-2536页（2015年）·兹比尔1326.62066 [9] Candes，Emmanuel J.，《通过预言不等式进行现代统计估计》，《数值学报》。，15, 257-325 (2006) ·兹比尔1141.62001 [10] Joshua G.A.Cashaback。；希瑟·R·麦格雷戈（Heather R.McGregor）。；艾曼·莫哈塔勒姆（Ayman Mohatarem）；Gribble，Paul L.，《在感觉运动学习过程中分离基于错误和基于强化的损失函数》，《公共科学图书馆·计算》。生物学，13，7，文章e1005623 pp.（2017） [11] Chui，Charles K。；韩宁宁；Mhaskar，Hrushikesh N.，《从离散盲源数据中瞬时频率提取和信号分量恢复的理论启发深度网络》（2020年），预印本 [12] Chui，Charles K。；林绍波；周定川，用于旋转方差逼近和学习的深度神经网络（2019），预印本·Zbl 1423.68378号 [13] Chui，Charles K。；Mhaskar，Hrushikesh N.，《用于本地流形学习的深层网络》，Front。申请。数学。统计，4，12（2018年） [14] Felipe Cucker；周定轩，《学习理论：一种近似理论观点》（2007），剑桥大学出版社·Zbl 1274.41001号 [15] 伊丽莎白·库德尼（Elizabeth A.Cudney）。；排水管，大卫；Sharma，Naresh K.，《使用反向正态损失函数确定最佳制造目标》，国际期刊Qual。工程技术。，2, 2, 173-184 (2011) [16] 约翰·E·丹尼斯。；Welsch，Roy E.，《非线性最小二乘和稳健回归技术》，Commun。统计、模拟。计算。，7, 4, 345-359 (1978) ·Zbl 0395.62046号 [17] 排水管，大卫；Andrew M.Gough，《上下法向损耗函数的应用》，IEEE Trans。半秒。制造，9，1，143-145（1996） [18] 埃兰·埃尔达尔；Niv，Yael，情绪状态和学习之间的互动是情绪不稳定的基础，《国家通讯》。，6, 1, 1-10 (2015) [19] Fan，Jun先生；胡婷；吴强；周定川，经验最小误差熵算法的一致性分析，应用。计算。哈蒙。分析。，41, 1, 164-189 (2016) ·兹比尔1382.94034 [20] 冯云龙；范军；Johan A.K.Suykens，《模态回归的统计学习方法》，J.Mach。学习。第21、2、1-35号决议（2020年）·Zbl 1497.68418号 [21] 冯云龙；黄小林；石磊；杨玉宁；Johan A.K.Suykens，《使用最大相关熵准则进行学习会导致回归损失》，J.Mach。学习。第16号决议，993-1034（2015）·Zbl 1351.62131号 [22] 冯云龙；Ying，Yiming，对称稳定噪声混合下回归的电流诱导损失学习，应用。计算。哈蒙。分析。，48, 2, 795-810 (2020) ·Zbl 1436.62308号 [23] 火腿、布姆苏布；赵明洙；Ponce，Jean，使用非凸势的鲁棒引导图像滤波，IEEE Trans。模式分析。机器。整数。，40, 1, 192-207 (2018) [24] 弗兰克·R·汉佩尔（Frank R.Hampel）。；Elvezio M.Ronchetti。；彼得·卢梭（Peter J.Rousseeuw）。；Stahel，Werner A.，《稳健统计：基于影响函数的方法》（2011），John Wiley&Sons·Zbl 0593.62027号 [25] 埃里昂·哈桑贝利；桑切斯·吉拉尔多（Sanchez Giraldo），路易斯（Luis）；Príncipe，JoséC.，信息论形状匹配，IEEE Trans。模式分析。机器。整数。，36, 12, 2436-2451 (2014) [26] 他，冉；孙振安；谭铁牛；郑伟石，基于半二次非凸极小化的低秩矩阵恢复，（计算机视觉与模式识别（CVPR），2011年IEEE会议（2011年），IEEE，2889-2896 [27] 他，冉；谭铁牛；王亮；Zheng，Wei Shi，\（\ell_｛2，1｝\）-用于鲁棒特征选择的正则化correntropy，（IEEE计算机视觉和模式识别会议，2012（2012），IEEE），2504-2511 [28] 他，冉；郑伟石；Hu，Bao Gang，鲁棒人脸识别的最大相关准则，IEEE Trans。模式分析。机器。整数。，33, 8, 1561-1576 (2011) [29] 他，冉；郑伟石；谭铁牛；孙振安，稳健稀疏表示的基于半二次迭代最小化，IEEE Trans。模式分析。机器。整数。，36, 2, 261-275 (2014) [30] Holland，Paul W。；Welsch，Roy E.，使用迭代加权最小二乘的稳健回归，Commun。Stat.，理论方法，6，9813-827（1977）·Zbl 0376.62035号 [31] 徐，Daniel；Sabato，Sivan，带广义中位数的重尾回归（机器学习国际会议（2014）），37-45 [32] 胡婷；范军；吴强；周定轩，最小误差熵准则的学习理论方法，马赫。学习。研究，14，377-397（2013）·Zbl 1320.62096号 [33] Peter J.Huber，位置参数的稳健估计，Ann.Math。Stat.，35，1，73-101（1964）·Zbl 0136.39805号 [34] 彼得·J·休伯（Peter J.Huber）。；Ronchetti，Elvezio，稳健统计（2009），威利·Zbl 1276.62022号 [35] 姜云露；纪庆华；谢保建，变系数部分非线性模型的稳健估计，J.Compute。申请。数学。，326, 31-43 (2017) ·Zbl 1368.62137号 [36] 费萨尔·汗；王，杭州；杨明，损失函数在过程经济风险评估中的应用，化学。工程研究设计。，111, 371-386 (2016) [37] 奥努尔·科索伊；Fan，Shu-Kai S.，基于升降正常损耗函数的质量改进方法，工程优化。，44, 8, 935-945 (2012) [38] 科拉德·保罗·科瑞丁（Konrad Paul）；Daniel M.Wolpert，《感觉运动学习的丧失功能》，Proc。国家。阿卡德。科学。，101、26、9839-9842（2004年） [39] 纪尧姆·勒库埃；Lerasle，Matthieu，《通过中间人进行鲁棒机器学习：理论与实践》（2017），预印本·兹比尔1435.62175 [40] Leung，Bartholomew P.K。；Spiring，Fred A.，倒置概率损失函数族的一些性质，Qual。Technol公司。数量。管理。，1, 1, 125-147 (2004) [41] 李少敏；王康宁；Ren，Yanyan，面板数据模型的指数平方损失稳健估计和经验似然推断，Econ。莱特。，164, 19-23 (2018) ·Zbl 1401.62077号 [42] 林、邵波；Chui，Charles K。；周，丁宣，用于平衡能力和近似能力的深网树结构，Front。申请。数学。统计人员。，5, 46 (2019) [43] 刘伟峰；普斯卡尔·波克雷尔。；Príncipe，JoséC.，《纠错熵：非高斯信号处理的特性和应用》，IEEE Trans。信号处理。，55, 11, 5286-5298 (2007) ·Zbl 1390.94277号 [44] 吕灿宜；唐金辉；林敏（Lin，Min）；林，梁；严水成；Lin，Zhouchen，鲁棒子空间聚类的Corr熵诱导l2图，（IEEE国际计算机视觉会议论文集（2013）），1801-1808 [45] 吕靖；杨，胡；郭朝辉，一种有效且稳健的纵向广义线性模型变量选择方法，计算。统计数据分析。，82, 74-88 (2015) ·Zbl 1507.62123号 [46] 马嘉仪；赵姬；马勇；田金文，基于正则高斯场准则的非刚性可见光和红外人脸配准，模式识别。，48, 3, 772-784 (2015) [47] Mallat，Stéphane，理解深层卷积网络，Philos。事务处理。R.Soc.A，数学。物理学。工程科学。，3742065，第20150203条，第（2016）页 [48] 里卡多·玛丽娜；马丁·道格拉斯；Yohai，Victor，《稳健统计学：理论与方法》（2006），John Wiley&Sons出版社：John Wiley&Sons Chichester·邮编1094.62040 [49] 彼得·米尔（Peter Meer）；多龙·明茨；阿兹里尔·罗森菲尔德；Kim，Dong Yoon，《计算机视觉的稳健回归方法：综述》，国际计算机杂志。视觉。，6, 1, 59-70 (1991) [50] David Middleton，《统计传播理论导论》（1960），McGraw-Hill:McGraw-Hill纽约·Zbl 0111.32501号 [51] Middleton，David，《非高斯统计传播理论》（2012），John Wiley&Sons·Zbl 1262.94004号 [52] Azek先生，Pavel；Joachim Weickert；Bruhn，Andrés，《关于空间和色调核的稳健估计和平滑》，（不完全数据的几何特性（2006），Springer），335-352 [53] Poggio、Tomaso；哈斯卡，赫鲁晓吉；洛伦佐·罗萨斯科；白兰度·米兰达；廖倩丽，《为什么以及什么时候深而不浅的网络可以避免维度的诅咒：国际汽车杂志》。计算。，14, 5, 503-519 (2017) [54] Naghizadeh M.库米。；内德Nematolahi；Parsian，Ahmad，在反映正常损失函数下选择后的估算，Commun。统计，理论方法，41，6，1040-1051（2012）·Zbl 1237.62031号 [55] Deutsch，Ralph，估计理论（1965），普伦蒂斯·霍尔：马萨诸塞州剑桥普伦蒂斯霍尔·Zbl 0141.34304号 [56] 弗雷德·斯普林（Fred A.Spiring），《反映出的正常损失函数》（The reflected normal loss function），坎恩（Can）。J.Stat.，21，3，321-330（1993）·Zbl 0788.62089号 [57] 弗雷德·斯普林（Fred A.Spiring）。；Yeung，Anthony S.，《工业应用的一般损失函数类》，J.Qual。技术。，30, 2, 152-162 (1998) [58] 英戈·斯坦沃特；Christmann，Andreas，支持向量机（2008），Springer:Springer New York·Zbl 1203.68171号 [59] 英戈·斯坦沃特；Don R.嘘。；Scovel，Clint，正则化最小二乘回归的最优速率，（COLT（2009））·Zbl 1127.68090号 [60] 孙凤彬；Jean-Yves Laramée；Ramberg，John S.，关于Spiring的正常损失函数，Can。J.Stat.，24，2，241-249（1996）·Zbl 0858.62092号 [61] 王刚；陈宇飞；Zheng，Xiangwei，Gaussian field consensistens:一种用于剔除异常值的稳健非参数匹配方法，模式识别。，74, 305-316 (2018) [62] 王刚；王志成；陈宇飞；周强强；Zhao，Weidong，通过多属性驱动的正则化混合模型消除视网膜图像配准的失配，Inf.Sci。，372, 492-504 (2016) [63] 王刚；周强强；Chen，Yufei，使用空间约束高斯场的鲁棒非刚性点集配准，IEEE Trans。图像处理。，26, 4, 1759-1769 (2017) ·Zbl 1409.94605号 [64] 王康宁；Lin，Lu，部分线性变系数模型中的稳健结构识别和变量选择，J.Stat.Plan。推理，174153-168（2016）·Zbl 1338.62098号 [65] 王雪芹；姜云露；黄勉；张和平，带指数平方损失的稳健变量选择，美国统计协会，108，502，632-643（2013）·Zbl 06195966号 [66] 王增茂；杜波；张乐飞；张良培；方、孟；陶大成，基于最大相关熵准则的多标签主动学习：走向稳健和有区别的标签，（欧洲计算机视觉会议（2016），施普林格），453-468 [67] Weiss，Lionel，高斯增益函数估计，Stat.Decis。，补充发行，47-59（1984）·Zbl 0558.62025号 [68] Weiss，Lionel，使用对称增益函数估计正常平均值，Stat.Probab。莱特。，6, 1, 7-9 (1987) ·兹比尔0638.62027 [69] Weiss，Lionel，使用一类有界损失函数估计多元正态均值，Stat.Risk。型号。，6, 3, 203-208 (1988) ·兹比尔0677.62050 [70] 吴强；Ying，Yiming；周，丁宣，最小二乘正则回归学习率，发现。计算。数学。，6, 2, 171-192 (2006) ·Zbl 1100.68100号 [71] 徐杰；罗磊；邓、程；黄恒，使用最大相关熵准则的新稳健度量学习模型，（第24届ACM SIGKDD国际知识发现与数据挖掘会议论文集（2018），ACM），2555-2564 [72] 于平；朱忠义；Zhang，Zhongzhan，半函数线性回归模型中基于稳健指数平方损失的估计，计算。统计，34，2，503-525（2019）·Zbl 1417.62103号 [73] 梅利斯·泽贝克（Melis Zeybek）；Köksoy，Onur，利用上下正态损失函数优化相关多响应质量工程，工程优化。，48, 8, 1419-1431 (2016) [74] 张英亚；孙振安；他，冉；Tan，Tieniu，通过半二次最小化实现鲁棒子空间聚类，（IEEE国际计算机视觉会议论文集（2013）），3096-103 [75] 周定川，深度分布卷积神经网络：普适性，分析。申请。，16, 06, 895-919 (2018) ·Zbl 1442.68214号 [76] 周定川，深度卷积神经网络的普遍性，应用。计算。哈蒙。分析。，48, 2, 787-794 (2020) ·Zbl 1434.68531号 [77] Jim Zurcher，《分段线性建模中高斯成本函数的使用》（SMC’98会议论文集，1998 IEEE国际系统、人与控制论会议（分类号98CH36218），第2卷（1998），IEEE），1417-1420 [78] Jim Zurcher，基于高斯的分段线性网络，IFAC Proc。第32卷，第2卷，第419-424页（1999年） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。