×
梁锡军;张志鹏;宋云泉;简、凌

基于核的渠道损失在线回归。 （英语） Zbl 1487.62035号

欧洲药典。研究。 297，编号1，268-279（2022）.
总结：基于在线凸优化框架的典型在线学习方法取得了丰硕的成果。同时，非凸损失函数因其抗噪性和稀疏性等优点也受到了广泛关注。当前的非凸损失函数通常设计为光滑的，以便于设计优化算法。然而，这些损失函数不再具有稀疏支持向量的特性。在这项工作中，我们专注于具有一种特殊类型的非凸损失函数（即运河损失）的回归，并提出了一种基于核的在线回归算法，\（\anderline｛\text｛n｝｝\）oise-\（\anderline｛\text｛r｝｝｝\）esilient\（\anderline｛\text｛o｝｝\）nline \（\anderline｛\text｛r｝｝｝\）egration（NROR），以处理噪声标签。渠道损失是一种水平截断损失，具有稀疏性的优点。虽然渠道损失是非凸和非光滑的，但正则渠道损失具有类似于凸性的性质，即强伪凸性。此外，在一定的假设下，证明了NROR的次线性后悔界。实验研究表明，在强噪声标签数据集上，NROR在平均绝对误差和均方根误差方面取得了较低的预测误差。特别是，我们检查了收敛假设在实践中是否严格成立，发现收敛所需的假设很少被违反，并且收敛速度没有受到影响。

引用于1文件

MSC公司：

62G08号 非参数回归和分位数回归
62H30型 分类和区分；聚类分析（统计方面）
68T05年 人工智能中的学习和自适应系统
90C25型 凸面编程
90C26型 非凸规划，全局优化

关键词：

数据科学;回归，回归;非凸优化;后悔不已;噪声标签

软件：

帕伽索斯;伦敦银行支持向量机;UCI-毫升
PDF格式BibTeX公司 XML格式引用
\textit{X.Liang}等人，《欧洲期刊》。第297号决议，第1号，268--279（2022；Zbl 1487.62035）
全文： 内政部

参考文献：

[1] 阿伯内西，J.D。；阿加瓦尔，A。；Bartlett，P.L。；Rakhlin，A.，通过极大极小对偶的最优后悔的随机观点，2009年第22届学习理论会议论文集（2009）
[2] Bagirov，A.M。；Ugon，J。；Mirzayeva，H.G.，聚类线性回归问题的非光滑非凸优化方法，《欧洲运筹学杂志》，229，1，132-142（2013）·Zbl 1317.90242号
[3] 博图，L。；夏贝尔，O。；Decoste，D。；Weston，J.，《可扩展性的交易凸性》，机器学习国际会议论文集，201-208（2006）
[4] 博图，L。；柯蒂斯，F.E。；Nocedal，J.，大规模机器学习的优化方法，SIAM评论，60，2223-311（2018）·Zbl 1397.65085号
[5] Calandriello，D。；拉扎里奇，A。；Valko，M.，带自适应嵌入的高效二阶在线内核学习，《2017年神经信息处理系统进展论文集》，6140-6150（2017）
[6] Chang，C.C。；Lin，C.J.，LIBSVM：支持向量机库，ACM智能系统与技术汇刊，2，3，1-27（2011）
[7] 夏邦尼尔，P。；Blanc-Féraud，L.公司。；奥伯特，G。；Barlaud，M.，计算机成像中的确定性边缘保持正则化，IEEE图像处理汇刊，6，2，298-311（1997）
[8] 查特基，新南威尔士州。；帕奇亚诺，A。；Bartlett，P.L.，《带内核丢失的在线学习》，第36届机器学习国际会议论文集，ICML 2019，971-980（2019）
[9] Cheng，L。；Li，J.等人。；坎丹，K.S。；Liu，H.，利用社交流数据追踪灾难足迹，第三十四届AAAI人工智能会议论文集，AAAI 2020，370-377（2020）
[10] Cutkosky，A。；Sarlós，T.，在线学习中的无矩阵预处理，第36届机器学习国际会议论文集，ICML 2019，1455-1464（2019）
[11] Dheeru，D.和Karra Taniskidou，E.（2017年）。UCI机器学习库。http://archive.ics.uci.edu/ml。
[12] 高，X。；李，X。；Zhang，S.，《非凸损失和非平稳遗憾的在线学习》，人工智能与统计国际会议论文集，AISTATS 2018，235-243（2018）
[13] A.哈尔蒂。；Zisserman，A.，《计算机视觉中的多视图几何》（2。（2006），剑桥大学出版社
[14] 哈赞，E。；阿加瓦尔，A。；Kale，S.，在线凸优化的对数遗憾算法，机器学习，69，2-3，169-192（2007）·Zbl 1471.68327号
[15] 哈赞，E。；Kale，S.，《在线子模块最小化》，《机器学习研究杂志》，13，1，2903-2922（2012）·Zbl 1433.68347号
[16] Izenman，A.，《现代多元统计技术：回归、分类和流形学习》（2008），Springer Texts in Statistics·Zbl 1155.62040号
[17] Joki，K。；Bagirov，A.M。；北卡罗来纳州卡米萨。；Mkel，M.M。；Taheri，S.，《集群支持向量线性回归》，《欧洲运筹学杂志》，287，1，19-35（2020）·Zbl 1443.90281号
[18] Kivinen，J。；Smola，A.J。；Williamson，R.C.，使用内核进行在线学习，IEEE信号处理汇刊，52，8，2165-2176（2004）·Zbl 1369.68281号
[19] Le，T。；Nguyen，T.D。；Nguyen，V。；Phung，D.Q.，用于大规模在线学习的近似向量机，《机器学习研究杂志》，18，111:1-111:55（2017）·兹比尔1435.68269
[20] 罗，H。；阿加瓦尔，A。；塞萨·比安奇，N。；Langford，J.，《通过草图进行有效的二阶在线学习》，《2016年神经信息处理系统进展论文集》，902-910（2016）
[21] Mangasarian，O.L.，伪凸函数，工业和应用数学学会杂志，3，2，281-290（1965）·兹伯利0138.15702
[22] McMahan，H.B.，《自适应在线学习算法和分析调查》，《机器学习研究杂志》，18，90:1-90:50（2017）·Zbl 1435.68277号
[23] Myttenaere，A.D。；戈尔登，B。；Grand，B.L。；Rossi，F.，回归模型的平均绝对百分比误差，神经计算，192，38-48（2016）
[24] Rockafellar，R.T.，分段光滑函数的一个性质，计算优化与应用，25，1-3，247-250（2003）·Zbl 1042.90045号
[25] Schölkopf，B。；Smola，A.J.，《使用内核学习：支持向量机、正则化、优化和超越》，自适应计算和机器学习系列（2002年），麻省理工学院出版社
[26] Shalev-Shwartz，S.，在线学习和在线凸优化，机器学习的基础和趋势，4，2，107-194（2012）·Zbl 1253.68190号
[27] 沙列夫·施瓦茨，S。；辛格，Y。；斯雷布罗，N。；Cotter，A.，Pegasos:SVM的原始估计子梯度解算器，《数学规划》，127，1，3-30（2011）·Zbl 1211.90239号
[28] Wang，H。；郑，B。；Yoon，S.W。；Ko，H.S.，一种基于支持向量机的乳腺癌诊断集成算法，《欧洲运筹学杂志》，267，2687-699（2018）·Zbl 1403.92109号
[29] 阿西夫
[30] Zinkevich，M.，在线凸规划和广义无穷小梯度提升，第二十届机器学习国际会议论文集（ICML 2003），928-936（2003）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。