弗兰克·哈特;徐，林;霍尔格·H·胡斯。;凯文·莱顿·布朗 算法运行时预测：方法与评估。 （英语） Zbl 1334.68185号 Artif公司。智力。 206, 79-111 (2014). 小结：也许令人惊讶的是，使用机器学习技术建立一个算法的运行时间模型，作为特定问题实例特征的函数，可以预测一个算法在以前看不见的输入上运行多长时间。此类模型在算法分析、基于投资组合的算法选择和参数化算法的自动配置方面具有重要应用。在过去的十年中，人们研究了各种各样的技术来构建此类模型。在这里，我们描述了现有模型的扩展和改进，新的模型系列，以及——也许最重要的是——将算法参数作为模型输入进行更彻底的处理。我们还全面描述了用于预测命题可满足性（SAT）、旅行销售员（TSP）和混合整数规划（MIP）问题的算法运行时间的新的和现有的特征。我们通过同类最大的实证分析来评估这些创新，并与文献中广泛的运行时建模技术进行比较。我们的实验考虑了11个算法和35个实例分布；它们还涉及范围非常广泛的SAT、MIP和TSP实例，其中结构化程度最低的实例是随机生成的，结构化程度最高的实例是从实际工业应用中产生的。总的来说，我们证明了我们的新模型在对新问题实例、从参数化空间到新算法以及同时对这两者进行推广方面，比以前的方法产生了更好的运行时预测。 引用于34文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 65年第68季度 算法和问题复杂性分析 90立方厘米 混合整数编程 90C27型 组合优化 关键词：监督机器学习;性能预测;经验绩效模型;响应面模型;高度参数化算法;命题可满足;混合整数规划;旅行推销员问题 软件：加密MiniSat;PRMLT公司;超小卫星;minFunc（最小功能）;Zchaff2004型;SCIP公司;CPLEX公司;古罗比;lp_解决;LKH（小时）;萨特齐拉;协和式飞机;现场;小型计算机 PDF格式BibTeX公司 XML格式引用 \textit{F.Hutter}等人，Artif。智力。206、79-111（2014年；Zbl 1334.68185） 全文： 内政部 arXiv公司 参考文献： [1] Ahmadizadeh，K。；Dilkina，B。；戈麦斯，C。；Sabharwal，A.，《网络中最大化扩散的优化实证研究》，（第16届约束编程原理与实践国际会议论文集（CP10）。《第十六届约束程序设计原理与实践国际会议论文集》（CP10），LNCS，第6308卷（2010），Springer-Verlag，514-521 [2] Applegate，D.L。；比克斯比，R.E。；查塔尔，V。；库克，W.J.，《旅行推销员问题：计算研究》（2006），普林斯顿大学出版社·Zbl 1130.90036号 [3] Babić，D.，《开发可扩展软件验证的结构》（2008），加拿大温哥华不列颠哥伦比亚大学，博士论文 [4] Babić，D。；Hu，A.J.，软件验证条件的结构抽象，（第19届计算机辅助验证国际会议论文集）。第19届计算机辅助验证国际会议记录（CAV’07），LNCS，第4590卷（2007），Springer-Verlag，366-378·Zbl 1135.68463号 [5] Babić，D。；Hutter，F.，Spear定理证明器。解算器描述（2007年），2007年SAT竞赛 [6] Bartz-Beielstein，T.，《进化计算的实验研究：新实验主义》，《自然计算系列》（2006），施普林格出版社·兹比尔1106.68037 [7] Bartz-Beielstein，T。；拉萨尔茨克，C。；普劳斯，M.，序列参数优化，（2004年进化计算大会论文集（CEC’05）（2005）），773-780 [8] Bartz-Beielstein，T。；Markon，S.，为现实世界的应用调整搜索算法：一种基于回归树的方法，（2004年进化计算大会论文集（CEC’04）（2004）），1111-1118 [9] Bergstra，J。；Bengio，Y.，超参数优化的随机搜索，J.Mach。学习。研究，13，281-305（2012）·兹比尔1283.68282 [12] Bishop，C.M.，模式识别和机器学习（2006），Springer·Zbl 1107.68072号 [13] 盒子，G.E.P。；德雷珀，N.，《响应面、混合物和脊分析》（2007），威利·兹比尔1267.62006 [14] 盒子，G.E.P。；Wilson，K.，《关于最佳条件的实验实现（讨论）》，J.R.Stat.Soc.B，13，1，1-45（1951）·Zbl 0043.34402号 [15] Breiman，L.，《随机森林》，马赫。学习。，45, 1, 5-32 (2001) ·Zbl 1007.68152号 [16] 布雷曼，L。；弗里德曼，J.H。；Olshen，R。；Stone，C.J.，《分类和回归树》（1984），沃兹沃斯·Zbl 0541.62042号 [17] Brewer，E.A.，《便携式高性能超级计算：高层平台相关优化》（1994），麻省理工学院，博士论文 [18] Brewer，E.A.，通过自动统计建模实现高级优化，（第五届ACM SIGPLAN并行编程原理与实践研讨会论文集（PPOPP-95）（1995）），80-91 [19] Cheeseman，P。；Kanefsky，B。；Taylor，W.M.，《真正困难的问题在哪里》，（第九届全国人工智能会议论文集（1991），331-337·Zbl 0747.68064号 [20] Chiarandini，M。；Goegebeur，Y.，优化算法分析的混合模型，（Bartz-Bielstein，T.；Chiarandini，M.；Paquete，L.；Preuss，M.，优化算法的分析实验方法（2010），Springer-Verlag），225-264·Zbl 1508.62200号 [21] Cook，W.，《TSP的应用》（2012），上次访问日期：2012年4月10日 [22] Cook，W.，协和式飞机下载页面（2012年），上次访问时间：2012年10月24日 [23] 埃恩，n。；Biere，A.，通过变量和子句消除在SAT中进行有效的预处理，（第七届可满足性测试理论与应用国际会议论文集（SAT’04）。第七届可满足性测试理论与应用国际会议论文集（SAT’04），LNCS，第3569卷（2005），Springer-Verlag），61-75·Zbl 1128.68463号 [24] 埃恩，n。；Sörensson，N.，可扩展SAT解决方案，（第六届可满足性测试理论与应用国际会议论文集（SAT？03）（2004）），502-518·Zbl 1204.68191号 [25] Ertin，E.，删失传感器读数的高斯过程模型，（IEEE统计信号处理研讨会论文集2007（SSP’07）（2007）），665-669 [26] Fink，E.，《如何自动解决：问题解决方法的选择》，（《第四届人工智能规划系统国际会议论文集》（1998年），AAAI出版社），128-136 [27] Gagliolo，M。；罗格朗，C.，《算法生存分析》（Bartz-Beielstein，T.；Chiarandini，M.；Paquete，L.；普劳斯，M.，《优化算法分析的实验方法》（2010），施普林格），161-184·Zbl 1214.68480号 [28] Gagliolo，M。；Schmidhuber，J.，《动态算法组合》，（国际人工智能与数学研讨会（ISAIM’06）（2006））·Zbl 1113.68101号 [29] Gebruers，C。；游击队，A。；Hnich，B。；Milano，M.，《在基于案例的推理框架中使用实例级的结构进行选择》，（《组合优化问题约束编程中人工智能和操作规则技术集成国际会议论文集》（CPAIOR？04）。《组合优化问题约束编程中人工智能与或技术集成国际会议论文集》（CPAIOR’04），LNCS，第3011卷（2004），Springer-Verlag），380-386·Zbl 1094.68642号 [30] Gebruers，C。；Hnich，B。；桥梁，D。；Freuder，E.，《使用CBR选择约束规划中的解决策略》，（第六届基于案例推理国际会议论文集（ICCBR’05）。第六届基于案例推理国际会议论文集（ICCBR’05），LNCS，第3620卷（2005），Springer-Verlag，222-236 [31] 戈麦斯，C.P。；塞尔曼，B。；北卡罗来纳州克雷托。；Kautz，H.，可满足性和约束满足问题中的重尾现象，J.Autom。原因。，24, 1, 67-100 (2000) ·Zbl 0967.68145号 [32] 戈麦斯，C.P。；van Hoeve，W.-J。；Sabharwal，A.，《网络中的连接：一种混合方法》，《组合优化问题约束规划中人工智能和OR技术集成国际会议论文集》（CPIOR’08）。《组合优化问题约束编程中人工智能和操作规则技术集成国际会议论文集》（CPAIOR？08），LNCS，第5015卷（2008），Springer-Verlag，303-307 [33] 游击队，A。；Milano，M.，《自动算法组合选择的学习技术》，第16届欧洲人工智能会议论文集（ECAI？04）（2004），475-479 [34] 郭，H。；Hsu，W.H.，实时MPE问题的基于学习的算法选择元推理器，（第17届澳大利亚人工智能会议论文集（AI？04）。《第17届澳大利亚人工智能会议论文集》（AI？04），LNCS，第3339卷（2004），斯普林格·弗拉格出版社，307-318 [35] Gurobi Optimization Inc.古罗比2.0，上次访问时间：2012年8月6日 [36] 盖恩，I。；Gunn，S。；Nikravesh，M。；Zadeh，L.，《特征提取、基础和应用》（2006），Springer [37] Haim，S。；Walsh，T.，SAT求解时间的在线估计，（第十一届可满足性测试理论与应用国际会议论文集（SAT’08）。第十一届可满足性测试理论与应用国际会议论文集（SAT’08），LNCS，第4996卷（2008），Springer-Verlag，133-138·Zbl 1138.68540号 [38] Hansen，E.A。；Zilberstein，S.，《监控任何时候解决问题的进展》（《第十三届全国人工智能会议论文集》，第十三届国家人工智能会议，俄勒冈州波特兰市（1996）），1229-1234 [39] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.H.，《统计学习的要素》，《统计学中的斯普林格系列》（2009），斯普林格出版社·Zbl 1273.62005年 [40] Helsgaun，K.，《Lin-Kernighan旅行推销员启发式的有效实施》，Eur.J.Oper。研究，126，1，106-130（2000）·Zbl 0969.90073号 [41] Herwig，P.，《使用图形更好地了解可满足性问题》（2006），代尔夫特理工大学电气工程、数学和计算机科学系，硕士论文 [42] 胡斯，H.H。；Stützle，T.，《随机局部搜索-基础与应用》（2005），摩根考夫曼出版社·Zbl 1126.68032号 [43] 霍维茨，E。；阮，Y。；戈麦斯，C.P。；考茨，H。；塞尔曼，B。；Chickering，D.M.，《解决复杂计算问题的贝叶斯方法》，（第17届人工智能不确定性会议论文集（UAI？01）（2001）），235-244 [44] Hothorn，T。；劳森，B。；A.本纳。；Radespiel-Tröger，M.，《打包存活树木》，《统计医学》，第23期，第77-91页（2004年） [45] 豪，A.E。；Dahlman，E。；Hansen，C。；Scheetz，M。；Mayrhauser，A.，《开发竞争性规划师绩效》（Biundo，S.；Fox，M.，《人工智能规划的最新进展》（ECP’99）。人工智能规划的最新进展（ECP’99），计算机科学讲义，第1809卷（2000），施普林格：施普林格柏林，海德堡），62-72 [46] 徐，E.I。；Muise，C。；贝克，J.C。；McIlraith，S.A.，《概率估计主干和变量偏差：实验综述》，（第14届约束编程原理与实践国际会议论文集（CP？08）。《第十四届约束编程原理与实践国际会议论文集》（CP′08），LNCS，第5202卷（2008），Springer-Verlag，613-617 [47] Huang，L.等人。；贾，J。；Yu，B。；Chun，B。；马尼亚提斯，P。；Naik，M.，使用稀疏多项式回归预测计算机程序的执行时间，（第23届神经信息处理系统进展会议论文集（NIPS？10）（2010）），883-891 [48] Hutter，F.，《解决难计算问题的算法自动配置》（2009），不列颠哥伦比亚大学计算机科学系：不列颠·哥伦比亚大学，加拿大温哥华计算机科学系，博士论文 [49] Hutter，F。；Babić，D。；胡斯，H.H。；Hu，A.J.，通过自动调整决策过程来促进验证，（第七届计算机辅助设计形式化方法国际会议论文集（FMCAD？07）（2007）），27-34 [50] Hutter，F。；Y.哈马迪。；胡斯，H.H。；Leyton-Brown，K.，《随机和参数算法的性能预测和自动调整》，（第十二届约束编程原理与实践国际会议论文集（CPิ06）。《第十二届约束编程原理与实践国际会议论文集》（CP′06），LNCS，第4204卷（2006），Springer-Verlag，213-228·Zbl 1160.68551号 [51] Hutter，F。；胡斯，H。；Leyton-Brown，K.，《基于截尾响应数据的贝叶斯优化》（2013），ArXiv电子打印 [52] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，混合整数规划求解器的自动配置，（AI和OR技术在组合优化问题约束编程中的集成国际会议论文集）。《组合优化问题约束编程中人工智能与或技术集成国际会议论文集》（CPAIOR？10），LNCS，第6140卷（2010），Springer-Verlag，186-202 [53] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，竞争算法设计实证评估中的权衡，学习与智能优化专题。学习与智能优化专题，数学年鉴。Artif公司。智力。，60, 1, 65-89 (2010) [54] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，《基于截尾响应数据的贝叶斯优化》（NIPS 2011年贝叶斯最优化、顺序实验设计和Bandits研讨会（2011）），在线发布 [55] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，通用算法配置的基于序列模型的优化，（第五届学习与智能优化研讨会论文集（LION’11）。第五届学习与智能优化研讨会论文集（狮子座11），LNCS，第6683卷（2011年），Springer-Verlag，507-523 [56] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，并行算法配置，（第六届学习与智能优化研讨会论文集（LION’12）。第六届学习与智能优化研讨会论文集（狮子座12），LNCS（2012），Springer-Verlag），55-70 [57] Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，《使用正向选择识别关键算法参数和实例特征》（LION-7 Proc.（2013）），出版社 [58] Hutter，F。；胡斯，H.H。；莱顿-布朗，K。；Murphy，K.P.，《基于模型的参数优化的实验研究：SPO及其以外》，（遗传与进化计算会议论文集（GECCO’09）（2009）），271-278 [59] Hutter，F。；胡斯，H.H。；莱顿-布朗，K。；Murphy，K.P.，《有时限序列参数优化》，（第四届学习与智能优化研讨会论文集（狮子座10）。第四届学习与智能优化研讨会论文集（狮子座10），LNCS，第6073卷（2010），施普林格-弗拉格出版社，281-298 [60] Hutter，F。；汤普金斯，D.A.D。；Hoos，H.H.，《尺度和概率平滑：SAT的有效动态局部搜索》，第八届约束编程原理与实践国际会议论文集。《第八届约束编程原理与实践国际会议论文集》（CP′02），LNCS，第2470卷（2002），Springer-Verlag，233-248 [61] 国际商业机器公司，IBM ILOG CPLEX Optimizer-数据表（2012），上次访问日期：2012年8月6日 [64] Jones，D.R。；佩特顿，C.D。；Stuckman，B.E.，《无利普希茨常数的利普希兹优化》，J.Optim。理论应用。，79, 1, 157-181 (1993) ·Zbl 0796.49032号 [65] Jones，D.R。；Schonlau，M。；Welch，W.J.，《昂贵黑盒函数的高效全局优化》，J.Glob。最佳。，13455-492（1998年）·Zbl 0917.90270号 [66] 琼斯，T。；Forrest，S.，适应度距离相关性作为遗传算法问题难度的度量，（第六届遗传算法国际会议论文集（ICGA’95）（1995）），184-192 [67] 卡迪奥格鲁，S。；马利茨基，Y。；Sellmann，M。；Tierney，K.，ISAC-实例特定算法配置，（第19届欧洲人工智能会议论文集（ECAI？10）（2010）），751-756 [68] 基尔比，P。；斯莱尼，J。；蒂堡，S。；Walsh，T.，估计搜索树大小，（第21届全国人工智能大会论文集（AAAI’06）（2006）），1014-1019 [69] Knuth，D.，估算回溯程序的效率，数学。计算。，29, 129, 121-136 (1975) ·Zbl 0297.68037号 [70] Kotthoff，L。；Gent，I.P。；Miguel，I.，《搜索问题算法选择中机器学习的评估》，AI Commun。，25, 3, 257-270 (2012) [71] Krige，D.G.，《威特沃特斯兰德一些基本矿山估价问题的统计方法》，J.Chem。金属。最小Soc.S.Afr。，52, 6, 119-139 (1951) [72] 劳伦斯，N.D。；Seeger，M。；Herbrich，R.，《快速稀疏高斯过程方法：信息向量机》，（第15届神经信息处理系统进展会议论文集（NIPS’02）（2003）），609-616 [73] 莱顿-布朗，K。；胡斯，H.H。；Hutter，F。；Xu，L.，理解NP-完全问题的经验硬度，Commun。ACM（2013），出版中 [74] 莱顿-布朗，K。；Nudelman，E。；安德鲁·G。；麦克法登，J。；Shoham，Y.，《Boosting作为算法设计的隐喻》（第九届约束编程原理与实践国际会议论文集，CP’03）。《第九届约束编程原理与实践国际会议论文集》（CP’03），LNCS，第2833卷（2003），Springer-Verlag，899-903 [75] 莱顿-布朗，K。；Nudelman，E。；Shoham，Y.，《学习优化问题的经验硬度：组合拍卖案例》，（第八届约束规划原理与实践国际会议论文集（CP塣02）。《第八届约束程序设计原理与实践国际会议论文集》，LNCS，第2470卷（2002），Springer-Verlag，556-572 [76] 莱顿-布朗，K。；Nudelman，E。；Shoham，Y.，《经验硬度模型：组合拍卖的方法和案例研究》，J.ACM，56，4，1-52（2009）·Zbl 1325.68110号 [77] 莱顿-布朗，K。；Pearson，M。；Shoham，Y.，《走向组合拍卖算法的通用测试套件》，（EC？00:第二届ACM电子商务会议论文集（2000）），66-76 [78] Lin，S。；Kernighan，B.W.，旅行售货员问题的有效启发式算法，Oper。第21、2、498-516号决议（1973年）·Zbl 0256.90038号 [79] Lobjois，L。；Lemaêtre，M.，《通过性能预测选择分枝定界算法》，（第十五届全国人工智能会议论文集（AAAI98）（1998）），353-358 [80] Mahajan，Y.S。；傅，Z。；Malik，S.，Zchaff2004：一个高效的SAT求解器，（第八届可满足性测试理论与应用国际会议论文集（SAT？05）。第八届可满足性测试理论与应用国际会议论文集（SAT05），LNCS，第3542卷（2005），Springer Verlag），360-375·Zbl 1122.68610号 [81] Meinshausen，N.，分位数回归森林，J.Mach。学习。第7号决议，983-999（2006）·Zbl 1222.68262号 [82] O.默斯曼。；Bischl，B。；Trautmann，H。；瓦格纳，M。；博斯克，J。；Neumann，F.，一种新的基于特征的方法，用于表征旅行推销员问题的算法性能，Ann.Math。Artif公司。智力。（2013），32页，在线发布：2013年3月28日·Zbl 1291.90327号 [83] 米切尔，D。；塞尔曼，B。；Levesque，H.，SAT问题的难易分布，（第十届全国人工智能会议论文集（AAAI’92）（1992）），459-465 [84] Nabney，I.T.，NETLAB:模式识别算法（2002），施普林格·Zbl 1011.68116号 [85] 南宁，V。；Eiben，A.E.，进化算法参数的相关性估计和值校准，（第20届国际人工智能联合会议论文集（IJCAI？07）（2007）），975-980 [86] Nelson，W.，《应用生命数据分析》，Wiley Series in Probability and Statistics（2003），John Wiley&Sons [87] Nocedal，J。；Wright，S.J.，《数值优化》（2006），施普林格出版社·兹比尔1104.65059 [88] Nudd，G.R。；Kerbyson，D.J。；Papefstathiou，E。；南卡罗来纳州佩里。；哈珀，J.S。；Wilcox，D.V.，《Pace-并行和分布式系统性能预测工具集》，《国际高性能计算》。申请。，14, 3, 228-251 (2000) [90] Nudelman，E。；莱顿-布朗，K。；胡斯，H.H。；Devkar，A。；Shoham，Y.，《理解随机SAT：超越条款与变量之比》，（第十届约束编程原理与实践国际会议论文集（CP’04）。第十届约束程序设计原理与实践国际会议论文集（CP′04），LNCS，第3258卷（2004），Springer-Verlag，438-452·Zbl 1152.68569号 [91] 普法林格，B。；Bensusan，H。；Giraud-Carrier，C.，通过标记各种学习算法的元学习，（第17届机器学习国际会议论文集（ICML’00）（2000）），743-750 [92] Prasad，M.R。；Biere，A。；Gupta，A.，基于SAT的形式验证的最新进展调查，Int.J.Softw。技术工具。传输。，7, 2, 156-173 (2005) [93] 基诺内罗·坎德拉，J。；拉斯穆森，C.E。；Williams，C.K.，《高斯过程回归的近似方法》（Bottou，Léon；Chapelle，Olivier；DeCoste，Dennis；Weston，Jason，Large-Scale Kernel Machines（2007），麻省理工学院出版社），203-223 [94] 拉斯穆森，C.E。；Williams，C.K.I.，《机器学习的高斯过程》（2006），麻省理工学院出版社·Zbl 1177.68165号 [95] 赖斯，J.R.，算法选择问题，高级计算。，15, 65-118 (1976) [96] 里奇，E。；Kudenko，D.，调整MMAS启发式算法的性能，（工程随机局部搜索算法国际研讨会论文集（SLS？2007）。工程随机局部搜索算法国际研讨会论文集（SLS’2007），LNCS，第4638卷（2007），Springer-Verlag），46-60 [97] 罗伯茨，M。；Howe，A.，《许多规划师的学习绩效模型》（ICAPS 2007 AI规划与学习研讨会（2007）） [98] Sacks，J。；Welch，W.J。；韦尔奇，T.J。；Wynn，H.P.，《计算机实验的设计与分析》，统计科学。，4, 4, 409-423 (1989) ·兹比尔0955.62619 [99] 桑特纳，T.J。；威廉姆斯，B.J。；诺茨，W.I.，《计算机实验的设计与分析》（2003），施普林格出版社·Zbl 1041.62068号 [100] Schmee，J。；Hahn，G.J.，《截尾数据回归分析的简单方法》，《技术计量学》，第21、4、417-432页（1979年） [101] Schmidt，M.，minfunc（2012），上次访问时间：2012年8月5日 [102] Segal，M.R.，《审查数据的回归树》，《生物统计学》，44，1，35-47（1988）·Zbl 0707.62224号 [103] 谢尔曼，J。；Morrison，W.J.，《与原始矩阵中给定列或给定行的元素变化相对应的逆矩阵调整》（摘要），《数学年鉴》。Stat.，20，621（1949） [104] Smith-Miles，K.，《算法选择的元学习的跨学科观点》，ACM Compute。调查。，41, 1, 6:1-6:25 (2009) [105] Smith-Miles，K。；Lopes，L.，测量组合优化问题的实例难度，计算。操作。研究，39，5，875-889（2012）·Zbl 1251.90339号 [106] Smith-Miles，K。；Tan，T.，测量实例空间中的算法足迹，（《2012年进化计算大会论文集》（CEC’12）（2012），3446-3453 [107] Smith-Miles，K。；van Hemert，J.，《通过学习进化实例发现优化算法的适用性》，《数学年鉴》。Artif公司。智力。，61, 87-104 (2011) ·Zbl 1236.49008号 [108] Smith-Miles，K。；van Hemert，J。；Lim，X.Y.，通过从进化实例中学习来理解TSP困难，（第四届学习与智能优化研讨会论文集（LION’10）。第四届学习与智能优化研讨会论文集（狮子座10），LNCS，第6073卷（2010），施普林格-弗拉格出版社，266-280 [109] Soos，M.，CryptoMiniSat 2.5.0。求解器描述（2010），SAT竞赛 [110] Tresp，V.，贝叶斯委员会机器，神经计算。，12, 11, 2719-2741 (2000) [111] 维拉尔塔，R。；Drissi，Y.，元学习的透视图和调查，Artif。智力。修订版，18、2、77-95（2002） [112] 魏伟（Wei，W.）。；Li，C.M.，SAT本地搜索中两种自适应噪声机制的切换。解算器描述（2009），SAT竞赛 [113] Weinberger，E.，《相关和不相关的健身景观以及如何区分差异》，Biol。赛博。，63, 325-336 (1990) ·Zbl 0703.92016号 [114] N.A.Weiss，《概率课程》（2005），Addison-Wesley [115] 徐，L。；胡斯，H.H。；Leyton Brown，K.，SAT的层次硬度模型，（第13届约束规划原理与实践国际会议论文集（CP'07））。《第十三届约束编程原理与实践国际会议论文集》（CP′07），LNCS，第4741卷（2007），Springer-Verlag，696-711·Zbl 1145.68534号 [116] 徐，L。；胡斯，H.H。；Leyton-Brown，K.，Hydra：基于投资组合选择的自动配置算法，（第25届全国人工智能会议论文集（AAAI？10）（2010）），210-216 [117] 徐，L。；Hutter，F。；胡斯，H。；Leyton-Brown，K.，SATzilla-07：SAT算法组合的设计与分析，（第13届约束编程原理与实践国际会议论文集（CP洗07）。《第十三届约束编程原理与实践国际会议论文集》（CP′07），LNCS，第4741卷（2007），Springer-Verlag，712-727 [118] 徐，L。；Hutter，F。；胡斯，H。；Leyton-Brown，K.，SATzilla2009:卫星自动算法组合。解算器描述（2009），sat竞赛 [119] 徐，L。；Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，SATzilla:SAT基于组合的算法选择，J.Artif。智力。决议，32，565-606（2008）·Zbl 1182.68272号 [120] 徐，L。；Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，《评估组件求解器在基于组合的算法选择器中的贡献》，（第15届可满足性测试理论与应用国际会议论文集（SAT？12）。第十五届可满足性测试理论与应用国际会议论文集（SAT’12），LNCS，第7317卷（2012），Springer-Verlag，228-241 [121] 徐，L。；Hutter，F。；胡斯，H.H。；Leyton-Brown，K.，Satzilla2012：基于成本敏感分类模型的改进算法选择，（第十五届可满足性测试理论与应用国际会议，2012年SAT挑战：求解器描述（2012）） [122] Zarpas，E.，《有界模型检验的SAT求解器基准测试》，（第八届可满足性测试理论与应用国际会议论文集（SAT？05）。第八届可满足性测试理论与应用国际会议论文集（SAT’05），LNCS，第3569卷（2005），Springer-Verlag，340-354·Zbl 1128.68368号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。