×
胡婷

基于核的梯度下降最大相关熵准则。 （英语） Zbl 1445.68191号

Commun公司。纯应用程序。分析。 19，第8期，4159-4177（2020年）.
摘要：本文研究了与再生核希尔伯特空间（RKHS）相关的最大相关熵准则（MCC）的梯度下降法的收敛性。MCC由于其鲁棒性和处理非高斯脉冲噪声的能力，在许多实际应用中得到了广泛应用。在回归背景下，我们证明了MCC的梯度下降迭代可以逼近目标函数，并通过选取合适的迭代次数导出了与容量相关的收敛速度。我们的结果几乎可以与前面工作中所述的最佳收敛速度相匹配，从中可以看出，尺度参数对MCC的逼近能力和鲁棒性至关重要。我们工作的新颖之处在于对梯度下降迭代的范数和最后一次迭代的投影运算的精确估计。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
46 E22型 具有再生核的希尔伯特空间（=（适当的）函数希尔伯特空间，包括de Branges-Rovnyak和其他结构空间）
62J02型 一般非线性回归
90C26型 非凸规划，全局优化

关键词：

相关熵;最大相关熵准则;梯度下降;再生核Hilbert空间
PDF格式BibTeX公司 XML格式引用
\textit{T.Hu}，Commun（通信员）。纯应用程序。分析。19，第8号，4159--4177（2020；Zbl 1445.68191）
全文： 内政部

参考文献：

[1] N.Aronszajn，再生核理论，Trans。阿默尔。数学。Soc.，68，337-404（1950）·Zbl 0037.20701号 ·数字对象标识代码：10.2307/1990404
[2] R.J.Bessa；V.米兰达；J.Gama，《离线和在线三日前风力发电预测中针对最小平方误差的熵和相关熵》，IEEE Trans。电力系统。，24, 1657-1666 (2009) ·doi:10.1109/TPWRS.2009.2030291
[3] D.R.Chen；Q.Wu；Y.Ying；D.X.Zhou，支持向量机软边界分类器：误差分析，J.Mach。学习。第5号决议，1143-1175（2004年）·Zbl 1222.68167号
[4] M.Debruyne；A.Christmann；M.Hubert；J.A.K.Suykens，加权最小二乘核回归的稳健性，J.Multi。分析。，101, 447-463 (2010) ·Zbl 1178.62035号 ·doi:10.1016/j.jmva.2009.09.007
[5] Y.Feng；J.Fan；J.A.Suykens，模态回归的统计学习方法，J.Mach。学习。研究，21，1-35（2020年）·Zbl 1497.68418号
[6] Y.Feng；X.Huang；S.Lei；杨毅（Y.Yang）；J.A.K.Suykens，用最大相关熵准则学习导致回归损失，J.Mach。学习。第16993-1034号决议（2015年）·兹比尔1351.62131
[7] Y.Feng；Y.Ying，对称稳定噪声混合回归的电流诱导损失学习，应用。计算。哈蒙。分析。，48, 795-810 (2020) ·Zbl 1436.62308号 ·doi:10.1016/j.acha.2019.09.001
[8] 郭振中，胡涛，石立林，稳健核回归的梯度下降，逆问题。，34（2018），第065009条·Zbl 1486.62106号
[9] R.He；郑维胜；B.G.Hu，鲁棒人脸识别的最大相关准则，IEEE Trans。模式分析。机器。智力。，33, 1561-1576 (2011) ·doi:10.1109/TPAMI.2010.220
[10] R.He；郑维胜；B.G.Hu；孔晓伟，稳健模式识别的正则化相关熵框架，神经计算。，23, 2074-2100 (2011) ·Zbl 1218.68144号 ·doi:10.1162/NECO_a_00155
[11] P.W.Holland；R.E.Welsch，使用迭代加权最小二乘的稳健回归，Commun。统计人员。，6, 813-827 (1977) ·Zbl 0376.62035号 ·doi:10.1016/j.neucom.2016.12.029
[12] 胡锦涛；Q.Wu；周德兴，最小误差熵原理的分布式核梯度下降算法，应用。计算。哈蒙。分析。，49, 229-256 (2020) ·Zbl 1434.68416号 ·doi:10.1016/j.acha.2019.01.002
[13] P.J.Huber，稳健统计。，威利，纽约，2004年。
[14] 林俊杰；L.Rosasco；周德兴，凸损失函数学习的迭代正则化，J.Mach。学习。第172718-2755号决议（2016年）·兹比尔1360.68689
[15] 刘伟；P.P.Pokharel；J.C.Principe，Corr.entropy:非高斯信号处理的特性和应用，IEEE Trans。信号处理。，55, 5286-5298 (2007) ·Zbl 1390.94277号 ·doi:10.1109/TSP.2007.896065
[16] I.Pinelis等人，banach空间鞅分布的最佳界，Ann.Probab。，22, 1679-1706 (1994) ·Zbl 0836.60015号
[17] K.N.Plataniotis；D.安德鲁索斯；A.N.Venetsanopoulos，非高斯噪声的非线性滤波，J.Intell。机器人。系统。，19, 207-231 (1997) ·doi:10.1023/A:1007974400149
[18] J.C.Principe，《信息理论学习：Renyi的熵熵和核心观点》，Springer，纽约，2010年·Zbl 1206.94003号
[19] I.圣塔玛利亚；P.P.Pokharel；J.C.Principe，《广义相关函数：定义、性质和在盲均衡中的应用》，IEEE Trans。信号处理。，54, 2187-2197 (2006) ·Zbl 1374.94594号 ·doi:10.1109/TSP.2006.872524
[20] S.Smale；周德兴，学习理论中近似误差的估计，《论语》。申请。，1, 17-41 (2003) ·Zbl 1079.68089号 ·doi:10.1142/S0219530503000089
[21] S.Smale；D.X.Zhou，通过积分算子及其近似进行学习理论估计，Constr。约26153-172（2007）·Zbl 1127.68088号 ·doi:10.1007/s00365-006-0659-y
[22] I.Steinwart，基于随机熵数的支持向量机的Oracle不等式，J.Complexity，25437-454（2009）·Zbl 1192.68540号 ·doi:10.1016/j.jco.2009.06.002
[23] I.Steinwart和A.Christmann，支持向量机，施普林格科学与商业媒体，2008年·兹比尔1203.68171
[24] X.Wang；Y.Jiang；黄先生；张浩，具有指数平方损失的稳健变量选择，J.Amer。统计师。协会，108632-643（2013）·Zbl 06195966号 ·doi:10.1080/01621459.2013.766613
[25] B.翁；K.E.Barner，脉冲环境中的非线性系统辨识，IEEE Trans。信号处理。，53, 2588-2594 (2005) ·兹比尔1370.93302 ·doi:10.1109/TSP.2005.849213
[26] Q.Wu；Y.Ying；D.X.周。，多核正则分类器，J.Complexity，23，108-134（2007）·Zbl 1171.65043号 ·doi:10.1016/j.jco.2006.06.007
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。