研究论文

我们现在在哪里近期符号回归方法的大型基准研究

作者:

帕特里克热霍夫斯基,

威廉拉卡瓦,

杰森·H。摩尔作者信息和声明

GECCO’18：遗传与进化计算会议论文集

页1183-1190

https://doi.org/10.1145/3205455.3205539

出版:2018年7月2日出版历史

获取访问权限

摘要

在本文中，我们提供了最新机器学习方法背景下符号回归的最新遗传编程方法的广泛基准测试。我们使用了一组近100个回归基准测试问题，这些问题都是从网上的开源存储库中筛选出来的。我们对最近的四种符号回归方法以及scikit-learn中的九种机器学习方法进行了严格的基准测试。结果表明，与最先进的梯度增强算法相比，符号回归的性能很强，尽管在运行时间方面是可用方法中最慢的。我们详细讨论了结果，并指出了未来的研究方向，这可能会使符号回归在机器学习社区中获得更广泛的采用。

工具书类

[1]

伊格纳西奥·阿尔纳多（Ignacio Arnaldo）、Krzysztof Krawiec和乌纳梅·奥莱利（Una-May O'Reilly）。2014.多元回归遗传编程。在2014年遗传和进化计算年会论文集。顶点，879-886。

数字图书馆

[2]

J.C.Bongard和H.Lipson。2005.使用模型和测试的共同进化的非线性系统识别。IEEE进化计算汇刊9、4（2005年8月），361--384。

数字图书馆

[3]

利奥·布雷曼（Leo Breiman）。2001.随机森林。机器学习45, 1 (2001), 5--32.

数字图书馆

[4]

毛罗·卡斯泰利（Mauro Castelli）、萨拉·席尔瓦（Sara Silva）和莱昂纳多·范内斯基（Leonardo Vanneschi）。2015.几何语义遗传编程的C++框架。遗传编程与进化机器16，1（2015年3月），73--81。

数字图书馆

[5]

陈田琪（Tianqi Chen）和卡洛斯·盖斯特林（Carlos Guestrin），2016年。Xgboost：一个可扩展的树增强系统。在第22届acm-sigkdd知识发现和数据挖掘国际会议论文集。美国医学会，785--794。

数字图书馆

[6]

格兰特·迪克（Grant Dick）、艾莎·里莫尼（Aysha P.Rimoni）和彼得·怀特姆（Peter A.Whigham）。2015年，重新审查基因编程在口腔生物利用度问题上的应用。ACM出版社，1015--1022。

数字图书馆

[7]

佩德罗·多明戈斯。2012.关于机器学习的一些有用知识。Commun公司。ACM公司55, 10 (2012), 78--87.

数字图书馆

[8]

哈里斯·德鲁克。1997年，使用提升技术改进回归系数。在ICML公司，第97卷。107--115.

数字图书馆

[9]

Chris Drummond和Nathalie Japkowicz。2010年警告：统计基准测试令人上瘾。摒弃机器学习的习惯。实验与理论人工智能杂志22、1（2010年3月）、67-80。

数字图书馆

[10]

布拉德利·埃夫隆（Bradley Efron）、特雷弗·哈斯蒂（Trevor Hastie）、伊恩·约翰斯通（Iain Johnstone）、罗伯特·蒂布什拉尼（Robert Tibshirani）等。2004。最小角度回归。统计年鉴32, 2 (2004), 407--499.

[11]

曼努埃尔·费尔南德斯·德尔加多（Manuel Fernández-Delgado）、伊娃·塞尔纳达斯（Eva Cernadas）、塞恩·巴罗（Senén Barro）和迪纳尼·阿莫林（Dinani Amorim）。2014.我们需要数百个分类器来解决现实世界的分类问题吗。J.马赫。学习。雷斯15, 1 (2014), 3133--3181.

数字图书馆

[12]

Yoav Freund和Robert E Schapire。1997年，在线学习的决策理论概括及其在助推中的应用。计算机与系统科学杂志55, 1 (1997), 119--139.

数字图书馆

[13]

杰罗姆·弗里德曼（Jerome H Friedman）。2001.贪婪函数近似：一种梯度增强机器。统计年鉴(2001), 1189--1232.

[14]

杰弗里·欣顿。1989.连接主义学习程序。人工智能40 (1989), 185--234.

数字图书馆

[15]

格雷戈里·霍恩比。2006.ALPS：减少过早收敛问题的年龄分层人口结构。在第八届遗传与进化计算年会论文集。美国医学会，815--822。

数字图书馆

[16]

Diederik P Kingma和Jimmy Ba.2014年。亚当：一种随机优化方法。arXiv预打印arXiv:1412.6980(2014).

[17]

迈克尔·科恩斯（Michael F.Korns）。2011.符号回归的准确性。在遗传程序设计理论与实践九。斯普林格，129--151。http://link.springer.com/chapter/10.1007/978-1-4614-1770-5_8

[18]

威廉·拉卡瓦（William La Cava）、库罗什·达奈（Kourosh Danai）和李·斯佩克特（Lee Spector）。2016.通过表观遗传局部搜索推断紧凑非线性动力学模型。人工智能的工程应用55（2016年10月），292--306。

数字图书馆

[19]

威廉·拉卡瓦（William La Cava）、库罗什·达奈（Kourosh Danai）、李·斯佩克特（Lee Spector）、保罗·弗莱明（Paul Fleming）、阿兰·赖特（Alan Wright）和马修·拉克纳（。2016.使用进化多目标优化自动识别风力涡轮机模型。可再生能源87，第2部分（2016年3月），892--902。

[20]

威廉·拉卡瓦（William La Cava）、李·斯佩克特（Lee Spector）和库罗什·达奈（Kourosh Danai）。2016.Epsilon-Lexicase回归选择。在2016年遗传和进化计算会议记录（GECCO’16）。美国纽约州纽约市ACM，741-748。

数字图书馆

[21]

詹姆斯·麦克德莫特（James McDermott）、大卫·怀特（David R.White）、肖恩·卢克（Sean Luke）、卢卡·曼佐尼（Luca Manzoni。2012年。基因编程需要更好的基准。在第十四届遗传和进化计算国际会议论文集。美国医学会，791-798。http://dl.acm.org/citation.cfm？id=2330273

数字图书馆

[22]

阿尔贝托·莫拉格利奥（Alberto Moraglio）、科兹托夫·克拉威克（Krzysztof Krawiec）和科林·约翰逊（Colin G.Johnson）。2012.几何语义遗传编程。在Nature-PPSN XII中的并行问题解决。施普林格，21-31岁。http://link.springer.com/chapter/10.1007/978-3642-32937-1_3

数字图书馆

[23]

Quang Uy Nguyen、Tuan Anh Pham、Xuan Hoai Nguyem和James McDermott。2015.遗传编程的子树语义几何交叉。遗传编程与进化机器（2015年10月），1-29。

[24]

Randal S.Olson、William La Cava、Zairah Mustahsan、Akshay Varik和Jason H.Moore。2017.关于将机器学习应用于生物信息学问题的数据驱动建议。在太平洋生物计算研讨会（PSB）。http://arxiv.org/abs/1708.05070arXiv:1708.05070。

[25]

Randal S.Olson、William La Cava、Patryk Orzechowski、Ryan J.Urbanowicz和Jason H.Moore。2017.PMLB：机器学习评估和比较的大型基准套件。生物数据挖掘(2017). https://arxiv.org/abs/1703.00512arXiv预打印arXiv:1703.00512。

[26]

费比安·佩德雷戈萨（Fabian Pedregosa）、加尔·瓦罗佐（Gaöl Varoqueux）、亚历山大·格兰福特（Alexandre Gramfort）、文森特·米歇尔（Vincent Michel）、伯特兰·蒂里昂（Bertrand Thirion）、奥利维尔·格里塞尔（Olivier Grisel）、马修·布隆德尔（Mathieu Blondel。2011.Scikit-learn：Python中的机器学习。机器学习研究杂志2011年10月12日，2825-2830。

数字图书馆

[27]

克里斯汀·罗伯特。2014.机器学习，概率观点。(2014).

[28]

迈克尔·施密特和霍德·利普森。2009年，从实验数据中提取自由形式的自然法则。科学类324, 5923 (2009), 81--85. http://www.sciencemag.org/content/324/5923/81.short网站

[29]

迈克尔·施密特和霍德·利普森。2011.老龄帕累托优化。在遗传程序设计理论与实践VIII。施普林格，129-146。http://link.springer.com/chapter/10.1007/978-1-4419-7747-2_8

数字图书馆

[30]

Michael D Schmidt、Ravishankar R Vallabhajosyula、Jerry W Jenkins、Jonathan E Hood、Abhishek S Soni、John P Wikswo和Hod Lipson。2011.代谢网络分析模型的自动优化和推断。物理生物学2011年10月8日、5日，055011。

[31]

亚历克斯·J·斯莫拉（Alex J Smola）和伯恩哈德·舍尔科夫（Bernhard Schölkopf）。2004.支持向量回归教程。统计与计算14, 3 (2004), 199--222.

数字图书馆

[32]

李·斯佩克特。2012.通过基因编程中词典酶选择的差异性能评估问题模式：初步报告。在第十四届遗传与进化计算国际会议论文集。401--408. http://dl.acm.org/citation.cfm？id=2330846

数字图书馆

[33]

卡罗琳娜·斯坦尼斯拉夫斯卡（Karolina Stanislawska）、Krzysztof Krawiec和Zbigniew W.Kundzewicz。2012年，利用遗传程序对全球温度变化进行建模。计算机与数学及其应用64、12（2012年12月）、3717-3728。

数字图书馆

[34]

罗伯特·提比拉尼（Robert Tibshirani）。1996.通过套索回归收缩和选择。英国皇家统计学会杂志。B系列（方法学）(1996), 267--288.

[35]

Joaquin Vanschoren、Jan N.van Rijn、Bernd Bischl和Luis Torgo。2014.OpenML：机器学习中的网络科学。SIGKDD探索。新闻。第15、2页（2014年6月），第49至60页。

数字图书馆

[36]

E.J.Vladislavleva、G.F.Smits和D.den Hertog。2009.通过Pareto遗传编程通过符号回归生成的模型的非线性顺序作为复杂性度量。IEEE进化计算汇刊13, 2 (2009), 333--349.

数字图书馆

[37]

扬·埃格利茨和彼得·波西克。2017.内置线性回归的符号回归算法。arXiv:1701.03641{cs}（2017年1月）。http://arxiv.org/abs/1701.03641arXiv:1701.03641。

[38]

David R.White、James McDermott、Mauro Castelli、Luca Manzoni、Brian W.Goldman、Gabriel Kronberger、Wojciech Ja she kowski、Una-May O'Reilly和Sean Luke。2012.更好的GP基准：社区调查结果和建议。遗传编程与进化机器14、1（2012年12月）、3--29。D0I公司

数字图书馆

引用人

Cárdenas Florido L公司特鲁希略L埃尔南德斯D穆尼奥斯·孔特雷拉斯J(2024)M5GP：符号回归的多维群体并行多维遗传规划数学和计算应用10.3390/约2902002529:2(25)在线发布日期：2024年3月18日
https://doi.org/10.3390/mca29020025
Leser P公司博马里托G克伦伯格G奥利维蒂·德弗朗萨李XHandl J公司(2024)符号回归中估计边际似然的比较方法遗传和进化计算会议论文集10.1145/3638530.3664142(2058-2066)在线发布日期：2024年7月14日
https://dl.acm.org/doi/10.1145/3638530.3664142
拉加夫S库马尔S巴拉吉R桑杰·M顺穆加C李XHandl J公司(2024)交互式符号回归——噪声敏感性和外推精度研究遗传和进化计算会议论文集10.1145/3638530.3664130(2076-2082)在线发布日期：2024年7月14日
https://dl.acm.org/doi/10.1145/3638530.3664130
显示更多引用者

索引术语

我们现在在哪里近期符号回归方法的大型基准研究
1. 计算方法
  1. 机器学习

建议

基于GP和最新分类器在综合机器学习基准上的比较研究
GECCO’22：遗传和进化计算会议纪要

在本文中，我们比较了基于遗传编程的符号分类器在名为DIGEN的新型合成机器学习基准上的性能。这个框架和40个不同分类问题的集合是专门为。。。
通用布尔函数基准套件
FOGA’23：第17届ACM/SIGEVO遗传算法基础会议记录

就在十多年前，对遗传编程（GP）基准测试状态的第一次全面审查分析了用于测试GP系统性能的问题与现实问题之间的不匹配。从那以后，有几个。。。
基因编程、标准化和随机梯度下降的重新审视：SRBench的初步发现
GECCO’22：遗传和进化计算会议纪要

使用Z评分标准化来提高遗传编程的性能在符号回归中是众所周知的。此外，众所周知，Z评分标准化是有效应用随机梯度下降法的关键因素。。。

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

GECCO’18：遗传与进化计算会议论文集

2018年7月

1578页

国际标准图书编号：9781450356183

内政部：10.1145/3205455

编辑：
埃尔南·阿吉雷
新竹大学
,
总主席：
高达木惠
电子通信大学

版权所有©2018 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

SIGEVO:ACM遗传和进化计算特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2018年7月2日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

资金来源

美国国立卫生研究院

会议

GECCO’18

赞助商：

西格沃

GECCO’18：遗传和进化计算会议

2018年7月15日至19日

日本京都

接受率

4410份提交文件中的总接受率为1669份，占38%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

98
引文总数
查看引文
1,251
总下载次数

下载量（最近12个月）266
下载次数（最近6周）29

反映截至2024年9月22日的下载量

其他指标

查看作者指标

引文

引用人

Cárdenas Florido L公司特鲁希略L埃尔南德斯D穆尼奥斯·孔特雷拉斯J(2024)M5GP：符号回归的多维群体并行多维遗传规划数学和计算应用10.3390/约2902002529:2(25)在线发布日期：2024年3月18日
https://doi.org/10.3390/mca29020025
Leser P公司波马里托G克伦伯格G奥利维蒂·德弗朗萨李XHandl J公司(2024)符号回归中边缘似然估计方法的比较遗传和进化计算会议论文集10.1145/3638530.3664142(2058-2066)在线发布日期：2024年7月14日
https://dl.acm.org/doi/10.1145/3638530.3664142
拉加夫S库马尔S巴拉吉R桑杰·M顺穆加C李XHandl J公司(2024)交互式符号回归——噪声敏感性和外推精度研究遗传和进化计算会议论文集10.1145/3638530.3664130(2076-2082)在线发布日期：2024年7月14日
https://dl.acm.org/doi/10.1145/3638530.3664130
拉勒基尼ASanson M公司加布斯J莫雷诺M多尔森E李XHandl J公司(2024)运行时系统发育分析支持对基于测试的问题进行极端子采样遗传和进化计算会议论文集10.1145/3638530.3654208(511-514)在线发布日期：2024年7月14日
https://dl.acm.org/doi/10.1145/3638530.3654208
文J董杰（Dong J）钟杰李XHandl J公司(2024)基于符号变化检测的隐式方程自动发现的适应度评估遗传和进化计算会议记录10.1145/3638529.3654015(980-987)在线发布日期：2024年7月14日
https://dl.acm.org/doi/10.1145/3638529.3654015
刘C庞C王莉（Wang L）杨B(2024)DICO-NEEP：具有距离信息和持续优化的NEEP2024年国际神经网络联合会议（IJCNN）10.1109/IJCNN60899.2024.10649915(1-8)在线发布日期：2024年6月30日
https://doi.org/10.1109/IJCNN60899.2024.10649915
蒋TChang C公司于特（Yu T）(2024)一种新的基于遗传编程的符号回归增强器2024年IEEE进化计算大会（CEC）10.1109/CEC60901.2024.1061214(1-8)在线发布日期：2024年6月30日
https://doi.org/10.109/CEC60901.2024.1061214
加西米Z内沙特·M奥尔德里奇C卡拉乔戈斯J扎宁M诺依曼F陈雷(2024)多方程改进遗传规划模型在半自磨机产量精确预测中的应用2024年IEEE进化计算大会（CEC）10.1109/CEC60901.2024.10611827(1-9)在线发布日期：2024年6月30日
https://doi.org/10.1109/CEC60901.2024.10611827
瓦斯特尔M库勒内克J库巴利克J德尔纳E巴布什卡R(2024)SymFormer:使用基于Transformer的体系结构的端到端符号回归IEEE接入10.1109/通道2024.337464912(37840-37849)在线发布日期：2024年
https://doi.org/10.109/ACCESS.2024.3374649
什穆埃尔A格利克曼O拉泽布尼克T(2024)符号回归作为机器和深度学习回归任务的特征工程方法机器学习：科学与技术10.1088/2632-1253/ad513a5:2(025065)在线发布日期：2024年6月12日
https://doi.org/10.1088/2632-2153/ad513a
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子