×
黄寿友

具有重尾噪声的快速最小误差熵。 （英语） 兹比尔1517.94036

J.近似理论 281-282，文章ID 105796，21 p.（2022）.
摘要：本文从理论上研究了最小误差熵（MEE）的性能。由于抗重尾噪声或离群值，作为传统稳健经验风险最小化方案的替代方案，MEE在过去几十年中受到了特别关注，并已成功应用于机器学习。本文的目的是对MEE进行精细学习理论分析，并建立其在无光尾噪声的情况下的改进收敛速度。结果表明，一个新的比较定理不仅刻画了MEE的回归校正特性，而且细化了学习理论分析的方差。

MSC公司：

94甲17 信息的度量，熵
68T05型 人工智能中的学习和自适应系统
68分10秒 模式识别、语音识别

关键词：

最小误差熵;经验风险;集中度不等式;收敛速度;力矩条件;饱和效应
PDF格式BibTeX公司 XML格式引用
\textit{S.Huang}，J.近似理论281--282，文章ID 105796，21 p.（2022；Zbl 1517.94036）
全文： DOI程序

参考文献：

[1] Bartlett，P.L。；O.布斯克。；Mendelson，S.，《局部Rademacher复杂性》，Ann.Statist。，33, 4, 1497-1537 (2005) ·Zbl 1083.62034号
[2] Bartlett，P.L。；Mendelson，S.，经验最小化，Probab。理论相关领域，135，3，311-334（2006）·Zbl 1142.62348号
[3] Bauer，F。；Pereverzev，S。；Rosasco，L.，《学习理论中的正则化算法》，J.Complexity，23，1，52-72（2007）·Zbl 1109.68088号
[4] 贝洛尼，A。；Chernozhukov，V.，高维稀疏模型中模型选择后的最小二乘法，Bernoulli（2013）·Zbl 1456.62066号
[5] 波尔，P。；Kroese博士。；曼诺，S。；Rubinstein，R.Y.，《交叉熵方法教程》，Ann.Oper。第134、1、19-67号决议（2005年）·Zbl 1075.90066号
[6] 布朗利斯，C。；Joly，E。；Lugosi，G.，重大损失的经验风险最小化，《统计年鉴》。，43, 6 (2015) ·Zbl 1326.62066号
[7] Caponetto，A。；米切利，C.A。；庞蒂尔，M。；Ying，Y.，《多任务学习的内核》，J.Mach。学习。第9号决议，1615-1646（2008）·Zbl 1225.68155号
[8] 陈，X。；卡尔·S。；Dan，A.R.，不确定变量的交叉度量，Inform。科学。，201, 53-60 (2012) ·Zbl 1248.94039号
[9] 陈博士。；Li，H.，关于正则回归学习在Hilbert空间中的性能。，神经计算，93，2，41-47（2012）
[10] 陈，B。；刘，X。；赵，H。；Principe，J.C.，最大相关熵卡尔曼滤波器，Automatica，76，70-77（2017）·Zbl 1352.93095号
[11] 陈，J。；Pereverzyev Jr.，S。；Xu，Y.，来自多个观测模型的正则化解的聚合，逆问题，31，7，文章075005 pp.（2015）·Zbl 1369.65078号
[12] 陈，H。；Wang，Y.，基于核的稀疏回归与电流诱导损失，应用。计算。哈蒙。分析。，44, 1, 144-164 (2016) ·Zbl 1378.68133号
[13] 陈，B。；朱，P。；Principe，J.C.，《生存信息潜力：自适应系统训练的新标准》，IEEE Trans。信号处理。，60, 3, 1184-1194 (2012)
[14] Christmann，A。；Steinwart，I.，基于核回归的一致性和稳健性，Bernoulli，13，3（2007）·Zbl 1129.62031号
[15] 科伊夫曼，R.R。；Wickerhauser，M.V.，基于熵的最佳基选择算法，IEEE Trans。通知。理论，38，2713-718（1992）·兹比尔0849.94005
[16] Cucker，F。；周博士，《学习理论：近似理论观点》（2007），剑桥大学出版社·Zbl 1274.41001号
[17] Debruyne，M。；Christmann，A。；休伯特，M。；A.K.Suykens，J.，加权最小二乘核回归的稳健性，J.多元分析。，101, 2, 447-463 (2010) ·Zbl 1178.62035号
[18] 埃尔多姆斯，D。；肯尼思，I.I。；Principe，J.C.，使用renyi’s（alpha）-边缘熵进行盲源分离，神经计算，49，1-4，25-38（2002）·Zbl 1047.68097号
[19] 埃尔多姆斯，D。；Principe，J.C.，非线性自适应系统监督训练的误差熵最小化算法，IEEE Trans。信号处理。，50, 7, 1780-1786 (2002)
[20] 范，J。；胡，T。；吴琼。；周大新，经验最小误差熵算法的一致性分析，应用。计算。哈蒙。分析。，41, 164-189 (2016) ·Zbl 1382.94034号
[21] Feng，Y。；Wu，Q.，矩条件下的学习，应用。计算。哈蒙。分析。，49, 2, 495-520 (2020) ·Zbl 1442.62150号
[22] Feng，Y。；Wu，Q.，胡贝尔回归的统计学习评估（2020），预印本
[23] Feng，Y。；Wu，Q.，Tikhonov正则化在RKHS中高斯经验增益最大化是一致的（2021年），出版
[24] Feng，Y。；Ying，Y.，对称稳定噪声混合回归的电流诱导损失学习，应用。计算。哈蒙。分析。，48, 2, 795-810 (2020) ·Zbl 1436.62308号
[25] 加德，A。；Sornmo，L。；简·R。；Giraldo，B.F.，《应用于慢性心力衰竭患者的基于相关性的非线性测试》，IEEE Eng.Med.Biol。社会委员会，2010，2399-2402（2010）
[26] He，R。；郑维生。；Hu，B.G.，鲁棒人脸识别的最大相关熵准则，IEEE Trans。柔和。工程师，33，8，1561-1576（2011）
[27] He，R。；郑维生。；胡，B.G。；Kong，X.W.，稳健模式识别的正则化相关熵框架，神经计算。，23, 8, 2074-2100 (2011) ·兹伯利1218.68144
[28] Hoeffding，W.，有界随机变量和的概率不等式，Publ。美国统计师。协会，58，301，13-30（1963）·Zbl 0127.10602号
[29] 胡，T。；范，J。；吴琼。；周德兴，最小误差熵准则的学习理论方法，J.Mach。学习。研究，14，377-397（2013）·Zbl 1320.62096号
[30] 胡，T。；范，J。；吴琼。；周德兴，最小误差熵原理的正则化方案，分析。申请。，13, 4, 437-455 (2015) ·Zbl 1329.68216号
[31] 胡，T。；吴琼。；周大新，线性回归中最小误差熵原理梯度下降的收敛性，IEEE Trans。信号处理。，6571-6579 (2016) ·Zbl 1414.94263号
[32] 胡，T。；吴琼。；周，D.，最小误差熵原理的分布式核梯度下降算法，应用。计算。哈蒙。分析。，49, 1, 229-256 (2020) ·Zbl 1434.68416号
[33] 黄，S。；Feng，Y。；Wu，Q.，带重尾噪声的高斯经验增益最大化快速率（2021），提交文件
[34] 黄，S。；Feng，Y。；吴琼，弱矩条件下最小误差熵学习理论，分析。申请。，1-19 (2021)
[35] 黄，S。；Wu，Q.，带huber损失的稳健两两学习，J.复杂性，第101570条，pp.（2021）·Zbl 1528.68344号
[36] Huber，P.J.，位置参数的稳健估计，Ann.Math。Stat.，35，1，73-101（1964）·Zbl 0136.39805号
[37] Kriukova，G。；巴拿马乌。；Pereverzyev，S.V。；Tkachenko，P.，正则化排序的线性函数策略，神经网络。，73, 26-35 (2016) ·Zbl 1394.68295号
[38] 柳叶刀，G。；北卡罗来纳州克里斯蒂亚尼尼。；Bartlett，P.L。；Ghaoui，L.E。；Jordan，M.I.，《用半定规划学习核矩阵》，J.Mach。学习。第5、1、27-72号决议（2002年）·Zbl 1222.68241号
[39] 刘伟。；Pokharel，P.P。；Principe，J.C.，《Corr.entropy:非高斯信号处理的特性和应用》，IEEE Trans。信号处理。，55, 11, 5286-5298 (2007) ·兹比尔139094277
[40] 吕，F。；Fan，J.，《高斯和相关熵损失下的最优学习》，Ana。申请。，19, 1, 107-124 (2021) ·Zbl 1462.68159号
[41] 圣塔玛利亚岛。；Pokharel，P.P。；Principe，J.C.，《广义相关函数：定义、性质和在盲均衡中的应用》，IEEE Trans。信号处理。，54, 6, 2187-2197 (2006) ·Zbl 1374.94594号
[42] Shannon，C.E.，《通信数学理论》，贝尔系统。《技术期刊》，27，4，379-423（1948）·Zbl 1154.94303号
[43] Silva，L.M。；Sá，J。；Alexandre，L.A.，数据分类中的MEE原则：基于感知器的分析，神经计算。，22, 10, 2698-2728 (2010) ·Zbl 1208.68182号
[44] 苏肯斯，J。；Van Gestel，T。；De Brabanter，J.，最小二乘支持向量机（2002），《世界科学》·Zbl 1003.68146号
[45] Vapnik，V.N.，《统计学习理论的本质》（1995），Springer-Verlag:Springer-Verlag纽约·Zbl 0833.62008号
[46] 维托，E.D。；Caponetto，A。；Rosasco，L.，学习理论中正则化最小二乘算法的模型选择，Found。计算。数学。，5, 59-85 (2005) ·Zbl 1083.68106号
[47] Wang，Y。；潘，C。；项，S。；Zhu，F.，具有基于相关性的度量的鲁棒高光谱解混，IEEE Trans。图像处理。，24, 11, 4027-4040 (2015) ·Zbl 1408.94695号
[48] 王，G。；彭，B。；Z.Feng。；杨，X。；Wang，N.，基于递归最小误差熵准则的自适应滤波，信号处理。(2021)
[49] 王，X。；陶，D。；朱，L.，用于最小二乘回归的熵控制拉普拉斯正则化，信号处理。，90, 6, 2043-2049 (2010) ·Zbl 1197.94139号
[50] Yang，Y。；Feng，Y。；Suykens，J.，基于Corrpentary的矩阵补全，熵，20，3，1-23（2018）
[51] Yeo，G。；Burge，C.B.，《短序列模体的最大熵建模及其在RNA剪接信号中的应用》，J.Compute。生物学，11，2-3，377-394（2004）
[52] 周德兴，《学习理论中的覆盖数》，《复杂性杂志》，第18、3、739-767页（2002）·Zbl 1016.68044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。