伯恩德·比施尔;帕斯卡·科尔斯克;拉尔斯·科特霍夫;马吕斯·林道尔;尤里·马利茨基;亚历山大·弗雷谢特;霍尔格·胡斯;弗兰克·赫特;凯文·莱顿·布朗;凯文·蒂尔尼;华金·范肖伦 ASlib：用于算法选择的基准库。 （英语） Zbl 1357.68202号 Artif公司。智力。 237, 41-58 (2016). 摘要：算法选择的任务包括从一组算法中逐个实例选择一个算法，以便在一组实例上利用算法的不同性能。算法选择问题越来越受到人工智能研究人员和实践者的关注。多年来，在多个领域的富有成果的应用已经产生了大量的数据，但社区缺乏用于这些数据的标准格式或存储库。这种情况使得很难像其他更成熟的领域那样有效地分享和比较不同的方法。这也不必要地阻碍了想在这一领域工作的新研究人员。为了解决这个问题，我们引入了一种表示算法选择场景的标准格式，以及一个包含文献中越来越多数据集的存储库。我们的格式旨在表达各种不同的场景。为了展示我们平台的广度和功能，我们描述了一项通过通用接口构建和评估算法选择模型的研究。结果显示了算法选择在一系列问题和算法中实现显著性能改进的潜力。 引用于14文件 MSC公司： 68分20秒 人工智能背景下的问题解决（启发式、搜索策略等） 68T05型 人工智能中的学习和自适应系统 关键词：算法选择;机器学习;经验性能估计 软件：ASlib（ASlib）;对夹2;阿祖卡;csp2卫星4j;ElemStatLearn（电子状态学习）;萨特齐拉;变形杆菌属;玲玲;开放多媒体程序库;AClib（AClib）;阳光;汽车-WEKA;随机森林;美洲驼;自动锁相环;最大似然比;阿司匹林;批量实验;科恩拉布;批处理作业;迷你们;帕拉米尔斯;r零件;R（右）;迷你锌;随身听;扣环;韦卡;SMAC公司;自动对开 PDF格式BibTeX公司 XML格式引用 \textit{B.Bischl}等人，Artif。智力。237、41-58（2016；Zbl 1357.68202） 全文： 内政部 arXiv公司 参考文献： [1] 阿马迪尼，R。；加布里埃利，M。；Mauro，J.，《约束求解器组合的增强型特征提取器》，（应用计算研讨会。应用计算研讨会，SAC 2014，韩国庆州-2014年3月24日至28日（2014）），1357-1359 [2] 阿马迪尼，R。；加布里埃利，M。；Mauro，J.，SUNNY：约束求解的懒惰投资组合方法，理论与实践。日志。程序。，14, 509-524 (2014) ·Zbl 1307.68077号 [3] Ansótegui，C。；Malitsky，Y。；Sellmann，M.，MaxSAT通过改进的实例特定算法配置，（第二十八届全国人工智能大会论文集（2014）），2594-2600 [4] Ansótegui，C。；Sellmann，M。；Tierney，K.，算法自动配置的基于性别的遗传算法，（第十五届约束编程原理与实践国际会议论文集（CP'09）（2009）），142-157 [5] Arbelaez，A。；Y.哈马迪。；Sebag，M.，约束编程中的连续搜索，（第二十届IEEE人工智能工具国际会议论文集（2010）），53-60 [6] 阿杰利希，J。；Berre，D.L。；林奇，I。；Marques-Silva，J。；Rapicault，P.，使用布尔优化解决Linux可升级性问题，（组件配置逻辑国际研讨会论文集（2010）），11-22 [7] Argelich，J。；李，C。；Manyá，F。；Planes，J.，第七次MaxSAT评估（2012年） [8] Baral，C.，《知识表示、推理和陈述式问题解决》（2003），剑桥大学出版社·Zbl 1056.68139号 [9] Biere，A.，另一位本地搜索解算器和Lingeling及其朋友参加了2014年SAT竞赛，（2014年的SAT竞赛记录：解算器与基准描述（2014）），39-40 [10] （Biere，A.；Heule，M.；van Maaren，H.；Walsh，T.，《可满足性手册》，《人工智能与应用前沿》，第185卷（2009年），IOS出版社）·Zbl 1183.68568号 [11] 比拉塔里，M。；袁，Z。；巴拉普拉卡什，P。；Stützle，T.，F-race和迭代F-race：概述，（优化算法分析的经验方法（2010），Springer）·Zbl 1204.68280号 [12] Bischl，B。；Kotthoff，L。；林道尔，M。；Malitsky，Y。；弗雷谢特，A。；胡斯，H。；Hutter，F。；科尔斯克，P。；莱顿-布朗，K。；Vanschoren，J.，算法选择格式规范（2014），技术报告，网址： [13] Bischl，B。；朗，M。；O.默斯曼。；Rahnenführer，J。；Weihs，C.，BatchJobs和BatchExperiments:在批处理环境中使用R的抽象机制，J.Stat.Softw。，64, 1-25 (2015) [14] Bischl，B。；朗，M。；J.Richter。；博斯克，J。；Judt，L。；Kuehn，T.等人。；Studerus，E。；Kotthoff，L。；Jones，Z.，mlr：R中的机器学习（2015），R包版本2.7 [15] Bischl，B。；O.默斯曼。；Trautmann，H。；普劳斯，M.，《基于探索性景观分析和成本敏感学习的算法选择》，（第十四届遗传和进化计算年会论文集（2012）），313-320 [16] Bischl，B。；O.默斯曼。；Trautmann，H。；Weihs，C.，元模型验证的重采样方法和进化计算的建议，Evol。计算。，20, 249-275 (2012) [17] Braddil，P。；Giraud-Carrier，C。；苏亚雷斯，C。；Villata，R.，《元学习：数据挖掘应用》（2008），施普林格出版社·Zbl 1173.68625号 [18] Cicirello，V.A。；Smith，S.F.，《最大k武装匪徒：应用于搜索启发式选择的新探索模型》（《第二十届全国人工智能会议论文集》（2005），美国人工智能出版社），1355-1361 [19] 库克，D.J。；Varnell，R.C.，使用机器学习最大化并行搜索的好处，（第十四届全国人工智能会议论文集（1997），AAAI出版社），559-564 [20] 克劳福德，J.M。；Baker，A.B.，可满足性算法应用于调度问题的实验结果，（第十二届全国人工智能会议论文集（1994）），1092-1097 [21] Dan Pelleg，A.M.，《X-means:扩展k-means并有效估计聚类数》，（第十七届机器学习国际会议论文集（2000年），Morgan Kaufmann:Morgan Koufmann San Francisco），727-734 [22] 德梅尔，J。；Dongarra，J。；埃伊霍特，V。；Fuentes，E。；佩蒂特，A。；Vuduc，R。；惠利，R.C。；Yelick，K.，自适应线性代数算法和软件，Proc。IEEE，93，293-312（2005） [23] Domhan，T。；斯普林伯格，J.T。；Hutter，F.，通过学习曲线外推加速深层神经网络的自动超参数优化，（第24届国际人工智能联合会议（IJCAI）会议记录（2015）） [24] Eggensperger，K。；赫特，F。；胡斯，H.H。；Leyton-Brown，K.，通过代理对超参数优化器进行高效基准测试，（第二十届美国人工智能协会人工智能会议论文集（2015）） [25] 福塞特，C。；瓦拉提，M。；Hutter，F。；霍夫曼，J。；胡斯，H。；Leyton-Brown，K.，《域相关规划师运行时预测的改进特征》（《自动规划与调度国际会议论文集》（2014）） [26] 费雷尔，M。；克莱因，A。；埃根斯珀格，K。；斯普林伯格，J。；布鲁姆，M。；Hutter，F.，《高效和稳健的自动机器学习》，（神经信息处理系统进展，第28卷（2015）），2944-2952 [27] 费雷尔，M。；斯普林伯格，J.T。；Hutter，F.，通过元学习初始化贝叶斯超参数优化，（Bonet，B.；Koenig，S.，《第二十届AAAI人工智能会议论文集》，2015年1月25日至30日，美国德克萨斯州奥斯汀（2015），AAAI出版社），1128-1135 [28] Gagliolo，M。；Schmidhuber，J.，《学习重启策略》，（第二十届国际人工智能联合会议（IJCAI）会议记录（2007）），792-797 [29] Gagliolo，M。；朱马蒂，V。；Schmidhuber，J.，搜索算法的自适应在线时间分配，（《欧洲机器学习会议论文集》（2004），Springer），134-143·Zbl 1132.68546号 [30] Gebser，M。；卡明斯基，R。；考夫曼，B。；Schaub，T.，《实践中的答案集求解》，《人工智能和机器学习综合讲座》（2012年），Morgan和Claypool出版社 [31] Gebser，M。；卡明斯基，R。；考夫曼，B。；Schaub，T.等人。；施耐德，M.T。；Ziller，S.，《答案集编程的组合求解器：初步报告》，（第十一届逻辑编程和非单调推理国际会议（2011），Springer），352-357 [32] Gebser，M。；考夫曼，B。；Schaub，T.，《带卡环的多线程ASP求解》，理论与实践。日志。程序。，12, 525-545 (2012) ·兹比尔1260.68061 [33] Gent，I。；杰斐逊，C。；Kotthoff，L。；米格尔，I。；摩尔，N。；南丁格尔，P。；Petrie，K.，《学习何时在约束求解中使用懒惰学习》（《第十九届欧洲人工智能会议论文集》（2010），IOS出版社），873-878 [34] Gent，I.P。；杰斐逊，C.A。；Miguel，I.，《MINION:一种快速、可扩展的约束求解器》（《欧洲人工智能会议论文集》（2006）），98-102 [35] Gent，I.P.公司。；米格尔，I。；Moore，N.C.A.，《约束传播者的懒惰解释》，（第十二届声明性语言实用方面国际研讨会论文集（2010）），217-233 [36] 戈麦斯，C。；塞尔曼，B。；北卡罗来纳州克雷托。；Kautz，H.，可满足性和约束满足问题中的重尾现象，J.Autom。原因。，24, 67-100 (2000) ·Zbl 0967.68145号 [37] 戈麦斯，C.P。；Selman，B.，算法组合，Artif。智力。，126, 43-62 (2001) ·Zbl 0969.68047号 [38] 格拉索，G。；伊利塔诺，S。；塞拉利昂，北卡罗来纳州。；Lio，V。；Ricca，F。；Scalise，F.，《Gioia-Tauro海港基于ASP的团队建设系统》，（第十二届国际声明语言实践方面研讨会论文集（2010年），40-42 [39] 盖里，A。；Milano，M.，《自动算法组合选择的学习技术》，（第十六届欧洲人工智能会议论文集（2004），IOS出版社），475-479 [40] 霍尔，M。；E.弗兰克。；霍姆斯，G。；普法林格，B。；鲁特曼，P。；Witten，I.H.，WEKA数据挖掘软件：更新，ACM SIGKDD Explor。新闻。，11, 10-18 (2009) [41] 哈斯蒂·T·J。；Tibshirani，R.J。；Friedman，J.H.，《统计学习的要素：数据挖掘、推断和预测》，《统计学中的斯普林格系列》（2009年），斯普林格：斯普林格纽约·Zbl 1273.62005年 [42] 赫尔默特，M。；Röger，G。；Karpas，E.，《快速下降的石头汤：构建规划师组合的基准》（2011年第二十届国际自动规划与调度会议规划与学习研讨会论文集），28-35 [43] 胡斯，H。；林道尔，M。；Schaub，T.，Claspfolio 2：答案集编程算法选择的进展，理论与实践。日志。程序。，569-585 (2014) ·Zbl 1307.68016号 [44] 胡斯，H.H。；卡明斯基，R。；林道尔，M。；Schaub，T.，aspeed：通过答案集编程进行求解器调度，理论与实践。日志。程序。，1-26 (2014) [45] 豪，A.E。；Dahlman，E。；Hansen，C。；Scheetz，M。；von Mayrhauser，A.，《开发竞争性规划师绩效》（第五届欧洲规划会议论文集（1999年），斯普林格出版社），第62-72页 [46] B.赫尔利。；Kotthoff，L。；Malitsky，Y。；O'Sullivan，B.，Proteus:求解器和变换的层次组合，（第十一届组合优化问题约束编程AI和OR技术集成国际会议论文集（2014）），301-317 [47] Hutter，F。；Babić，D。；胡斯，H.H。；Hu，A.J.，通过决策过程的自动调整来促进验证，（计算机辅助设计中的形式化方法（2007），IEEE计算机学会），27-34 [48] Hutter，F。；Y.哈马迪。；胡斯，H.H。；Leyton-Brown，K.，随机和参数算法的性能预测和自动调整，（第十二届约束编程原理与实践国际会议论文集（2006）），213-228·Zbl 1160.68551号 [49] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，混合整数规划求解器的自动配置，（AI和OR技术在组合优化问题约束编程中的集成（2010）），186-202 [50] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，通用算法配置的基于序列模型的优化，（国际学习与智能优化会议论文集（2011）），507-523 [51] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，《使用正向选择识别关键算法参数和实例特征》（LION 7（2013）） [52] Hutter，F。；胡斯，H.H。；莱顿-布朗，K。；Stützle，T.，ParamILS：一个自动算法配置框架，J.Artif。智力。决议，36，267-306（2009）·Zbl 1192.68831号 [53] Hutter，F。；López-Ibáñez，M。；福塞特，C。；林道尔，M。；胡斯，H。；莱顿-布朗，K。；Stützle，T.，Aclib:算法配置的基准库，（国际学习与智能优化会议论文集（2014）），36-40 [54] Hutter，F。；徐，L。；胡斯，H.H。；Leyton-Brown，K.，《算法运行时预测：方法与评估》，Artif。智力。，206, 79-111 (2014) ·Zbl 1334.68185号 [55] Ishebabi，H。；Mahr，P。；Bobda，C。；Gebser，M。；Schaub，T.，Answer set vs.integer linear programming for automatic synthesis of multiprocessor systems from real-time parallel programmes，Int.J.可重构计算。(2009) [56] 卡迪奥格鲁，S。；马利茨基，Y。；Sabharwal，A。；萨穆洛维茨，H。；Sellmann，M.，算法选择与调度，（《约束编程原理与实践国际会议论文集》，《约束编程原则与实践国际大会论文集》（Proceedings of the International Conference on Principles and Practice of Constraint Programming），第6876卷（2011），施普林格出版社），454-469 [57] 卡迪奥格鲁，S。；Malitsky，Y。；Sellmann，M。；Tierney，K.，ISAC-实例特定算法配置，（《第十九届欧洲人工智能会议论文集》（2010年），IOS出版社），751-756 [58] 卡拉佐格鲁，A。；Smola，A。；霍尼克，K。；Zeileis，A.，kernlab—R，J.Stat.Softw中内核方法的S4包。，11, 1-20 (2004) [59] 考茨，H。；Selman，B.，《统一基于SAT和基于图形的规划》，（第十六届国际人工智能联合会议（1999年），Morgan Kaufmann），318-325 [60] 科尔斯克，P。；普劳斯，M。；埃尔南德斯，C。；Schütze等人。；孙建清。；Grimme，C。；鲁道夫，G。；Bischl，B。；Trautmann，H.，探索性景观分析的细胞映射技术，（EVOLVE 2014年会议记录：概率、面向集合的数值和进化计算之间的桥梁（2014），Springer），115-131·Zbl 1306.90175号 [61] Kohavi，R。；John，G.H.，特征子集选择包装器，Artif。智力。，97, 273-324 (1997) ·Zbl 0904.68143号 [62] Kotthoff，L.，LLAMA：利用学习自动管理算法（2013年），技术报告 [63] Kotthoff，L.，组合搜索问题的算法选择：一项调查，AI Mag.，35，48-60（2014） [64] 拉古达基斯，M。；Littman，M.，使用强化学习的算法选择，（第十七届机器学习国际会议论文集（2000）），511-518 [65] 拉古达基斯，M。；Littman，M.，《学习在DPLL程序中选择分支规则以实现可满足性》（《可满足性国际会议论文集》（2001）），344-359 [66] Le Berre，D。；林奇，I.，CSP2SAT4J：一个简单的CSP到SAT翻译，（第二届国际CSP解决方案竞赛论文集（2008）），43-54 [67] 莱特·R。；布拉兹迪尔，P。；Vanschoren，J.，《使用主动测试选择分类算法》，（模式识别中的机器学习和数据挖掘（2012），Springer），117-131 [68] 莱顿-布朗，K。；Nudelman，E。；安德鲁·G。；麦克法登，J。；Shoham，Y.，《算法选择的组合方法》，（第十八届国际人工智能联合会议论文集（2003），摩根·考夫曼），1542-1543 [69] Liaw，A。；Wiener，M.，《随机森林分类与回归》，R News，2，18-22（2002） [70] 林道尔，M。；胡斯，H。；Hutter，F。；Schaub，T.，Autofolio：自动配置的算法选择器，J.Artif。智力。，53, 745-778 (2015) [71] Malitsky，Y。；梅塔，D。；O'Sullivan，B.，《进化实例特定算法配置》（第六届组合搜索年度研讨会（2013）） [72] Malitsky，Y。；奥沙利文，B。；Previti，A。；Marques-Silva，J.，《枚举可满足性问题最小校正子集的组合方法》（第十一届约束编程中人工智能与运筹学技术集成国际会议论文集（2014）） [73] Malitsky，Y。；Sabharwal，A。；萨穆洛维茨，H。；Sellmann，M.，SAT的非模型算法组合，（第十四届可满足性测试理论与应用国际会议论文集（2011），Springer），369-370 [74] O.默斯曼。；Bischl，B。；Trautmann，H。；瓦格纳，M。；博斯克，J。；Neumann，F.，一种新的基于特征的方法，用于表征旅行推销员问题的算法性能，Ann.Math。Artif公司。智力。，1-32 (2013) [75] 尼科利奇，M。；Marić，F。；Janićić，P.，SAT求解者基于实例的政策选择，（第十二届可满足性测试理论与应用国际会议论文集（2009），Springer），326-340 [76] Nogueira，M。；Balduccini，M。；Gelfond，M。；沃森·R。；Barry，M.，《航天飞机的A-Prolog决策支持系统》，（第三届声明语言实践方面国际研讨会论文集（2001），施普林格），169-183 [77] Nudelman，E。；莱顿-布朗，K。；安德鲁·G。；戈麦斯，C。；麦克法登，J。；塞尔曼，B。；Shoham，Y.，Satzilla 0.9（2003年） [78] Nudelman，E。；莱顿-布朗，K。；胡斯，H.H。；Devkar，A。；Shoham，Y.，《理解随机SAT：超越子句与变量之比》（Constraint Programming的原理与实践-CP 2004（2004），Springer），438-452·Zbl 1152.68569号 [79] O'Mahony，E。；希伯拉德，E。；荷兰，A。；Nugent，C。；O'Sullivan，B.，在约束求解的算法组合中使用基于案例的推理，（第十九届爱尔兰人工智能和认知科学会议论文集（2008）） [80] 普法林格，B。；本苏珊，H。；Giraud-Carrier，C.，通过标记各种学习算法的元学习，（第十七届机器学习国际会议论文集（2000）），743-750 [81] Prasad，M.R。；Biere，A。；Gupta，A.，基于SAT的形式验证的最新进展调查，Int.J.Softw。技术工具。传输。，7, 156-173 (2005) [82] Pulina，L。；Taccella，A.，量化布尔公式的多引擎求解器，（第十三届约束编程原理与实践国际会议论文集（2007），Springer），574-589 [83] Pulina，L。；Taccella，A.，量化布尔公式的自适应多引擎求解器，约束，14，80-116（2009）·Zbl 1183.68589号 [84] R： A Language and Environment for Statistical Computing（2014），R Foundation for Statistic Computing：R Foundation for Statistical Competing奥地利维也纳 [85] 赖斯，J.R.，算法选择问题，高级计算。，15, 65-118 (1976) [86] 罗伯茨，M。；Howe，A.，《从规划师的表现中学习》，Artif。智力。J.，173，536-561（2009）·兹比尔1191.68640 [87] 罗伯茨，M。；Howe，A.E.，《许多规划师的学习绩效模型》（第十七届国际自动规划与调度会议人工智能规划与学习研讨会论文集（2007年）） [88] 罗伯茨，M。；豪，A.E。；威尔逊，B。；desJardins，M.，是什么让规划师可以预测？，（ICAPS（2008）），288-295 [89] Sabharwal，A。；萨穆洛维茨，H。；Sellmann，M。；Malitsky，Y.，《推进顺序求解器组合：知识共享和准确性预测》（LION 7（2013）） [90] 萨穆洛维茨，H。；Memisevic，R.，《学习解决QBF》，（第二十二届全国人工智能会议论文集（2007），AAAI出版社），255-260 [91] 塞族人，F。；Vanschoren，J。；Kietz，J.U。；Bernstein，A.，《数据分析智能助手调查》，ACM Compute。调查。，45，1-35（2013） [92] Silverthorn，B。；Miikkulainen，R.，算法组合方法的潜在类模型，（第二十四届AAAI人工智能会议论文集（2010）），167-172 [93] Smith-Miles，K.A.，《算法选择的元学习的跨学科观点》，ACM Compute。调查。，41, 6:1-6:25 (2008) [94] Smith-Miles，K.A。；巴塔，D。；Wreford，B.J。；Lewis，R.，面向跨实例空间的算法性能客观度量，计算。操作。决议，45，12-24（2014）·Zbl 1348.90646号 [95] 大豆蛋白，T。；Niemelä，I.，为产品配置中的应用程序开发声明性规则语言，（第一届声明性语言实用方面国际研讨会论文集（1999），Springer），305-319 [96] 斯塔尔博克，R。；Voß，S.，《集装箱码头运营研究：文献更新》，OR Spektrum，30，1-52（2008）·Zbl 1133.90313号 [97] Stergiou，K.，约束满足问题中动态适应传播的启发式，AI Commun。，22, 125-141 (2009) ·Zbl 1185.90191号 [98] 斯特里特，M.J。；Golovin博士。；Smith，S.F.，《在线组合多种启发式》（《第二十二届全国人工智能会议论文集》（2007），AAAI出版社），1197-1203 [99] 斯特里特，M.J。；Golovin，D。；Smith，S.F.，问题实例集合的重新启动时间表，（第二十二届全国人工智能会议论文集（2007），AAAI出版社），1204-1210 [100] Stuckey，P.J。；Feydy，T。；舒特，A。；塔克，G。；Fischer，J.，《2008-2013年微型锌挑战》，AI Mag.，35，55-60（2014） [101] 北田村。；Tanjo，T。；Banbara，M.，基于SAT的CSP求解器糖的系统描述，（第三届国际CSP解算器竞赛论文集（2008）），71-75 [102] Tanjo，T。；北田村。；Banbara，M.，Azucar:一种基于SAT的紧凑顺序编码CSP求解器，（可满足性测试的理论与应用——SAT 2012（2012），Springer），456-462 [103] 塞尔诺，T。；阿特金森，B。；Ripley，B.，rpart：递归分区和回归树（2014），R包版本4.1-8 [104] 桑顿，C。；Hutter，F。；胡斯，H。；Leyton-Brown，K.，Auto-WEKA:分类算法的组合选择和超参数优化，（第十九届ACM SIGKDD国际知识发现和数据挖掘会议论文集（2013），ACM），847-855 [105] 蒂尔尼，K。；Malitsky，Y.，集装箱预编组问题的算法选择基准，（Dhanens，C.；Jourdan，L.；Marmion，M.E.，《学习与智能优化》（2015），Springer International Publishing），17-22 [106] 蒂尔尼，K。；帕西诺，D。；Voß，S.，用A*和IDA*将预编组问题求解到最优（2014），帕德博恩大学决策支持与优化实验室，技术报告工作文件#1401 [107] 瓦拉提，M。；Chrpa，L。；Grzes，M。；McCluskey，T.L。；罗伯茨，M。；Sanner，S.，《2014年国际规划竞赛：进展与趋势》，AI Mag.，36，90-98（2015） [108] 瓦拉提，M。；Chrpa，L。；Kitchin，D.，《基于投资组合的规划：最新技术、常见实践和开放挑战》，AI Commun。，28, 717-733 (2015) [109] 瓦拉蒂，M。；福塞特，C。；Gerevini，A。；胡斯，H.H。；Saetti，A.，从通用参数化规划师自动生成有效的区域优化规划师，（组合搜索国际研讨会（SoCS）（2013）） [110] Van Gelder，A.，通过命题可满足性研究图着色，离散应用。数学。，156, 230-243 (2008) ·兹比尔1131.05090 [111] Vanschoren，J.，《利用实验数据库了解机器学习性能》（2010年），鲁汶大学博士论文 [112] Vanschoren，J。；Blockeel，H。；普法林格，B。；Holmes，G.，实验数据库。分享、组织和从实验中学习的新方法，马赫。学习。，87, 127-158 (2012) ·Zbl 1238.68134号 [113] Vanschoren，J。；van Rijn，J.N。；比施，B。；Torgo，L.，OpenML:机器学习中的网络科学，ACM SIGKDD Explor。新闻。，15, 49-60 (2013) [114] Ward，J.，优化目标函数的分层分组，美国统计协会，22，236-244（1963） [115] Xu，H。；Rutenbar，R。；Sakallah，K.，Sub-SAT：松弛布尔可满足性公式及其在路由中的应用，（IEEE集成电路和系统计算机辅助设计汇刊（2003）），814-820 [116] 徐，L。；胡斯，H.H。；Leyton-Brown，K.，SAT的层次硬度模型，（第十三届约束编程原理与实践国际会议论文集（2007），Springer），696-711·Zbl 1145.68534号 [117] 徐，L。；胡斯，H.H。；Leyton-Brown，K.，Hydra:基于投资组合选择的自动配置算法，（第二十四届AAAI人工智能会议论文集（2010），AAAI出版社），210-216 [118] 徐，L。；Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，SATzilla:SAT基于组合的算法选择，J.Artif。智力。决议，32，565-606（2008）·Zbl 1182.68272号 [119] 徐，L。；Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，Hydra-MIP：混合整数规划的自动算法配置和选择，（第二十届人工智能国际联合会议（2011年）RCRA组合爆炸问题解决算法实验评估研讨会论文集） [120] 徐，L。；赫特，F。；胡斯，H.H。；Leyton-Brown，K.，评估组件求解器对基于组合的算法选择器的贡献，（第十五届可满足性测试理论与应用国际会议论文集（2012），Springer），228-241 [121] 徐，L。；Hutter，F。；沈，J。；胡斯，H.H。；Leyton-Brown，K.，Satzilla2012：基于成本敏感分类模型的改进算法选择，（2012年SAT挑战会议录：求解器和基准描述（2012）），55-58 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。