×
弗里克·斯图尔普;奥利维尔·西格

许多回归算法，一个统一模型：综述。 （英语） Zbl 1403.62065号

神经网络。 69, 60-79 (2015).
摘要：回归是从示例数据中学习输入和连续输出之间关系的过程，可以预测新的输入。回归的历史与自F.罗森布拉特[“感知器：大脑中信息存储和组织的概率模型”，《心理学评论》65，第6期，386–408（1958；doi:10.1037/h0042519)]. 本文的目的是概述许多回归算法，并说明其参数回归的函数表示如何分为两类：基函数的加权和或线性模型的混合。此外，我们证明了前者是后者的特例。因此，我们的目标是深入了解这些算法之间的关系，即尽管它们是从非常不同的原理派生出来的，但使用可以在一个统一模型中捕获的函数表示。最后，算法从第一原理逐步推导出来，并可视化其内部工作，这使得本文可以用作那些新回归的教程。

引用于7文件

MSC公司：

62G08号 非参数回归和分位数回归
62H30型 分类和区分；聚类分析（统计方面）
68T05型 人工智能中的学习和自适应系统

关键词：

回归，回归;局部加权回归;高斯混合回归;径向基函数网络;高斯过程回归

软件：

PRMLT公司
PDF格式BibTeX公司 XML格式引用
\textit{F.Stulp}和\textit{O.Sigaud}，神经网络。69、60-79（2015；Zbl 1403.62065）
全文： 内政部 哈尔

参考文献：

[1] Alain，G.和Bengio，Y.（2013年）。正规化的自动编码器从数据生成分布中学到了什么。arXiv:1211.4246v4·Zbl 1311.62053号
[2] 阿特克森，C.G。；Schaal，S.，用于机器人学习的基于记忆的神经网络，神经计算，9，3，243-269，（1995）
[3] Augusteijn，M.F。；Harrington，T.P.，人工神经网络的进化传递函数，神经计算与应用，13，1，38-46，（2004）
[4] Bengio，Y.，《学习人工智能的深层架构，机器学习的基础和趋势》，2，1，1-127，（2009）·Zbl 1192.68503号
[5] 本吉奥，Y。；科尔维尔，A。；Vincent，P.，《表征学习：回顾与新视角》，IEEE模式分析与机器智能汇刊，35，8，1798-1828，（2013）
[6] Bishop，C.M.，用于模式识别的神经网络，（1995），牛津大学出版社
[7] Bishop，C.M.，基于模型的机器学习，《皇家学会哲学学报A》，371，1-17，（2013）·Zbl 1353.68229号
[8] Bishop，C.M.，《模式识别和机器学习》。第1卷，（2006年），纽约施普林格出版社·Zbl 1107.68072号
[9] 布鲁姆菲尔德，P。；Steiger，W.，最小绝对偏差曲线拟合，SIAM科学计算杂志，1，2，290-301，（1980）·Zbl 0471.65007号
[10] 布雷曼，L。；弗里德曼，J。；Olshen，R。；Stone，C.，《分类和回归树》（1984），加利福尼亚州沃兹沃斯和布鲁克斯蒙特里·Zbl 0541.62042号
[11] M.V.布茨。；Herbort，O.，使用XCSF进行上下文相关预测和认知手臂控制，（遗传和进化计算会议，（2008），ACM），1357-1364
[12] M.V.布茨。；佩德森，G.K.M。；Stalph，P.O.，《利用XCSF学习传感器运动控制结构：冗余开发和动态控制》（遗传和进化计算会议，（2009），ACM），1171-1178
[13] Calinon，S.，《机器人编程演示》（2009），EPFL/CRC出版社
[14] 卡利农，S。；Guenter，F。；Billard，A.，《关于学习、表示和概括类人机器人中的任务》，IEEE系统、人与控制论汇刊，B部分：控制论，37，2，286-298，（2007）
[15] Cederborg，T.、Li，M.、Baranes，A.和Oudeyer，P.-Y.（2010年）。用于多任务模拟学习的增量局部在线高斯混合回归。在IEEE/RSJ智能机器人和系统国际会议（第267-274页）。
[16] 科恩，S。；Intrator，N.，《基于投影和径向基函数的混合体系结构：初始值和全局优化》，模式分析与应用，5，2，113-120，（2002）·Zbl 1024.68091号
[17] Dauphin，Y.N。；帕斯卡努，R。；古尔塞，C。；Cho，K。；甘古利，S。；Bengio，Y.，识别和解决高维非凸优化中的鞍点问题，（神经信息处理系统的进展，（2014）），2933-2941
[18] Dempster，A.P。；新墨西哥州莱尔德。；Rubin，D.B.，《通过EM算法从不完整数据中获取最大似然》，英国皇家统计学会杂志。B系列（方法学），1-38，（1977）·兹比尔0364.62022
[19] Dorffner，G.，《MLP和RBFN的统一框架：引入圆锥函数网络，控制论和系统》，25，4，511-554，（1994）·Zbl 0939.68751号
[20] Droniou，A.、Ivaldi，S.、Padois，V.和Sigaud，O.（2012）。iCub上速度运动学的自主在线学习：比较研究。在智能机器人和系统，IROS，2012 IEEE/RSJ国际会议（第3577-3582页）。
[21] Droniou，A.、Ivaldi，S.、Stalph，P.、Butz，M.和Sigaud，O.（2012年）。学习速度运动学：在线回归算法的实验比较。在机器人程序（第15-20页）。
[22] Ebden，M.，《回归的高斯过程：简介》。技术代表（2008），牛津大学工程科学系
[23] Fisher，R.，《研究人员的统计方法》（1925），Oliver&Boyd
[24] 弗里德曼，J.H。；Stuetzle，W.，投影寻踪回归，美国统计协会杂志，76376817-823，（1981）
[25] Geladi，P。；Kowalski，B.，《偏最小二乘回归：教程》，《分析化学学报》，185，1-17，（1986）
[26] 加赫拉马尼，Z。；Jordan，M.I.，通过EM方法从不完整数据中监督学习，（神经信息处理系统进展，第6卷，（1993）），120-127
[27] Gijsberts，A.和Metta，G.（2011年）。使用随机特征的机器人动力学增量学习。在IEEE机器人和自动化国际会议（第951-956页）。
[28] Gijsberts，A。；Metta，G.，使用增量稀疏谱高斯过程回归的实时模型学习，神经网络，（2012）
[29] Grollman，D.和Jenkins，O.C.（2008）。交互式机器人控制策略估计的稀疏增量学习。在IEEE机器人和自动化国际会议（第3315-3320页）。
[30] 赫尔希，M。；Guenter，F。；加利福尼亚州。；Billard，A.，通过动觉演示实现机器人学习的动态系统调制，IEEE机器人学报，24，6，1463-1467，（2008）
[31] Hochreiter，S。；Y.本吉奥。；Frasconi，P。；Schmidhuber，J.，递归网络中的梯度流：学习长期依赖性的困难，（Kremer，Kolen，动态递归神经网络领域指南，（2001），IEEE出版社）
[32] Huang，G.-B。；Chen，L.，基于增强随机搜索的增量极限学习机，神经计算，71，16-18，3460-3468，（2008）
[33] 黄，G.-B。；Chen，L。；Siew，C.K.，使用带有随机隐藏节点的增量构造前馈网络的通用近似，IEEE神经网络汇刊，17，4，879-892，（2006）
[34] 黄，G.-B。；李，M.-B。；Chen，L。；Siew，C.K.，具有完全复杂隐藏节点的增量极端学习机，神经计算，71，4-6，576-583，（2008）
[35] Huang，G.-B。；Wang，D.H。；Lan，Y.，《极限学习机器：一项调查》，《国际机器学习与控制论杂志》，2011年第2期，第107-122页
[36] 黄，G.-B。；朱庆云。；Siew，C.-K.，《极限学习机器：理论与应用》，神经计算，70，1489-501，（2006）
[37] 艾斯佩特，A.J。；Nakanishi，J。；霍夫曼，H。；Pastor，P。；Schaal，S.，《动态运动原语：运动行为的学习吸引子模型》，神经计算，25，2，328-373，（2013）·Zbl 1269.92002号
[38] Lammert，A.C.、Goldstein，L.和Iskarous，K.（2010年）。局部加权回归用于估计几何声道模型的正向运动学。在INTERSPEECH公司（第1604-1607页）。
[39] 马林·D·。；德科，J。；里古。；Sigaud，O.，《利用XCSF学习成本效益控制政策：泛化能力和进一步改进》（第13届遗传和进化计算年会论文集，（2011），ACM），1235-1242
[40] Meier，F.、Hennig，P.和Schaal，S.（2014）。局部高斯回归。ArXiv预打印ArXiv:1402.0645。
[41] Munzer，T.、Stulp，F.和Sigaud，O.（2014）。运动技能习得的非线性回归算法：比较。在JFPDA会议记录（第1-16页）。
[42] Neal，R.M.，神经网络的贝叶斯学习，（1996），Springer-Verlag·Zbl 0888.62021号
[43] Nguyen-Tuong，D。；Seeger，M。；Peters，J.，用局部高斯过程回归进行模型学习，高级机器人，23，15，2015-2034，（2009）
[44] 奥尔，M.J.L。；哈勒姆·J。；Takezawa，K。；A.F.穆雷。；Ninomiya，S。；Oide，M.，结合回归树和径向基函数网络，《国际神经系统杂志》，10，6，453-465，（2000）
[45] Park，J。；Sandberg，I.W.，近似和径向基函数网络，神经计算，5，2，305-316，（1993）
[46] Pascanu，R.、Montúfar，G.和Bengio，Y.（2013）。分段线性激活的深度前馈网络的推理区域数。ArXiv预打印ArXiv:1312.6098。
[47] Plackett，R.L.，《最小二乘中的一些定理》，《生物统计学》，37149-157，（1950）·Zbl 0041.46803号
[48] Poggio，T。；Girosi，F.，近似和学习网络，IEEE学报，78，9，（1990）·Zbl 1226.92005号
[49] Quinlan，R.J.，《连续课堂学习》（第五届澳大利亚人工智能联合会议，（1992年），新加坡世界科学出版社），343-348
[50] Quiñonero Candela，J。；Rasmussen，C.E.，稀疏近似高斯过程回归的统一观点，机器学习研究杂志，61939-1959，（2005）·Zbl 1222.68282号
[51] Rahimi，A。；Recht，B.，大型内核机器的随机特征，（神经信息处理系统的进展，（2007）），1177-1184
[52] Rahimi，A。；Recht，B.，《随机厨房水槽的加权和：用学习中的随机性代替最小化》，（神经信息处理系统进展，第21卷，（2008）），1313-1320，URL:http://books.nips.cc/papers/files/nips21/NIPS2008_0885.pdf
[53] Rosenblatt，F.，《感知器：大脑中信息存储和组织的概率模型》，《心理学评论》，65，6，386-408，（1958）
[54] 桑德斯，C。；Gammerman，A。；Vovk，V.，双重变量中的岭回归学习算法，（第十五届机器学习国际会议论文集，（1998），Morgan Kaufmann），515-521
[55] 沙尔，S。；Atkeson，C.G.，接受域加权回归。技术代表TR-H-209（1997），ATR人类信息处理实验室
[56] Schmidhuber，J.（2014）。神经网络中的深度学习：概述。ArXiv预打印ArXiv:1404.7828。
[57] Schmidt，M.，带l1-范数正则化的最小二乘优化。技术代表，CS542B项目报告，（2005年）
[58] Schmitt，M.，《关于乘法神经网络计算和学习的复杂性》，《神经计算》，第14期，第2期，第241-301页，（2002年）·Zbl 0993.68083号
[59] Schölkopf，B。；Smola，A。；威廉姆森，R。；Bartlett，P.，新支持向量算法，神经计算，12，5，1207-1245，（2000）
[60] 施温克，F。；Kestler，H.A。；Palm，G.，径向基函数网络的三个学习阶段，神经网络，14，4-5，439-458，（2001）
[61] Schwenker，F。；Kestler，H.A。；Palm，G.，径向基函数网络的三个学习阶段，神经网络，14，4，439-458，（2001）
[62] 西高德，O。；萨拉恩，C。；Padois，V.，《用于学习机器人机械模型的在线回归算法：调查》，机器人与自治系统，51，1117-1125，（2011）
[63] Smola，A.J。；Schölkopf，B.，支持向量回归教程，统计与计算，14，3，199-222，（2004）
[64] Stulp，F。；Beetz，M.，用学习的动作模型细化抽象动作的执行，《人工智能研究杂志》（JAIR），32，487-523，（2008）·Zbl 1182.68310号
[65] Stulp，F。；Theodorou，E。；Schaal，S.，《利用动作原语序列进行强化学习以实现稳健操作》，《IEEE机器人学报》，第28期，第6期，第1360-1370页，（2012年），2012年度IEEE机器人杂志金孙福最佳论文奖
[66] Tibshirani，R.，《通过套索进行回归收缩和选择》，《皇家统计学会期刊》（B辑），58267-288，（1996）·Zbl 0850.62538号
[67] Vapnik，V.，《统计学习理论的本质》（1995），纽约斯普林格出版社·Zbl 0833.62008号
[68] Vijayakumar，S.和Schaal，S.（2000年）。局部加权投影回归：用于高维空间增量实时学习的O（n）算法。在第十七届机器学习国际会议记录：第1卷（第288-293页）。
[69] Wang，Y。；Witten，I.H.，预测连续类的模型树归纳，（第九届欧洲机器学习会议海报论文，（1997），Springer）
[70] Werbos，P.J.，《超越回归：行为科学中预测和分析的新工具》（1974年），哈佛大学（博士论文）
[71] Werbos，P.J.，应用于循环天然气市场模型的反向传播推广，神经网络，1，4，339-356，（1988）
[72] 维德罗，B。；格林布拉特，A。；Kim，Y。；Park，D.，《非营利算法：多层神经网络的新学习算法》，神经网络，37，182-188，（2013）
[73] Williams，C.K.I.，无限神经网络计算，神经计算，10，5，1203-1216，（1998）·Zbl 0934.46011号
[74] 威廉姆斯，C.K。；拉斯穆森，C.E.，机器学习的高斯过程，（2006），麻省理工学院出版社·兹比尔1177.68165
[75] Wilson，D.R。；Martinez，T.R.，梯度下降学习批量训练的一般无效性，神经网络，16，10，1429-1451，（2003）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。