2014年可配置SAT解决方案挑战赛(CSSC)

2014年中国证监会是一项评估解决者最佳表现的竞赛项目用于布尔可满足性(SAT)问题。广泛的SAT解算器公开参数以实现自动定制针对不同的实例分布。实际上,这种定制通常会产生与解算器默认值相比有了很大改进。本次比赛认识到因此,SAT解算器的性能通常来自其可定制性而不仅仅是在默认配置中的性能。

解算器中的灵活性最为有用如果可以自动利用它将解算器自定义为给定的应用程序域(由一组训练基准实例定义)。今年的比赛紧随其后去年的开幕式2013年中国证监会.

新闻

机械

解算器开发人员将一如既往地在SAT竞赛中提交解算器,但他们也会提交一个文件,列出解算器参数及其可能的值,并确保可以在对其解算器的命令行调用中设置这些参数。(请参阅“解决方案提交”。)组同质实例,然后组织者将应用识别良好参数的自动算法配置程序设置并根据这些优化设置的性能为解算器评分。提交参赛作品的解算器开发人员将获得反馈从经验上看,哪些参数是重要的,哪些值产生了高性能。

根据2014年SAT竞赛的重点,今年的竞赛重点是核心解决者。专有解决方案有资格提交,但奖品只颁发给开发者同意的解决者制作源代码(和参数规范/求解器包装器)可在竞赛网站上找到。解算器将在2014年SAT竞赛中排名,重要的区别是,2014年CSSC竞赛将衡量最高绩效(即优化参数的性能),而不是求解器的默认性能。

类别

与之前的SAT竞赛类似,将分为四类:

  1. 工业SAT+UNSAT
  2. 手工SAT+UNSAT
  3. 随机SAT+UNSAT
  4. 随机SAT(今年新增)

在提交时,您必须指定要使用的类别每个类别将包括基准实例的多个子类别,其中每个此类子类别都是相对同质的(例如,创建的实例使用相同的生成器),并分为训练集和测试集。对于每个子类别,将自动配置提交的解算器在训练集部分,将对找到的最佳配置进行评估测试集部分。各测试集的性能(在子类别中大小相等)将被合并并用于评分解决者就像SAT比赛中的一样。为了简单起见,在这种情况下,将不支持并行解算器。

奖品

在每一个类别中,将颁发金牌、银牌和铜牌面向定制版本性能最佳的开源解算器,只要曲目接收到足够的条目。(具体来说,只有在至少有三个解算器参与一个轨迹;银币和铜币,分别需要四名和五名求解者参与。)解算器将被取消赛道资格如果由算法配置确定的最终配置返回错误的解决方案。欢迎闭源解算器参与,但没有资格获得奖品。

重要日期(2014年全年;协调在2014年SAT竞赛之后)

自动算法配置

获得可获得的峰值性能的代表性结果通过自动算法配置,我们将使用一个组合几种最先进的算法配置方法。具体来说,我们计划在每个配置过程中至少运行4次参数ILSSMAC公司, 和一次GGA公司使用4个处理器核心(GGA本质上是并行的)。我们将使用这些运行中找到的最佳配置(在训练性能方面最好;只对该配置进行测试运行)。每个配置运行的时间预算为48小时。

求解器提交

配置器通过运行解算器数百或数千次进行操作,在不同的实例上,并对其参数进行不同的赋值。因此,除了源代码(或二进制)之外,解算器设计者需要提供解算器参数的规范及其可能的值。因为每个解算器都有自己的格式来在命令行上指定参数值(因为我们不想强迫算法设计者支持我们定义的格式),我们还需要一个包装器方法,用于将参数值的赋值转换为命令行调用。

我们提供测试环境这反映了我们将在比赛中使用的环境。此测试环境包含几个参数化解算器示例,它们都位于solvers/目录的子目录中。您的提交将只是solvers/的另一个子目录,位于自述.txt. 该自述文件还描述了如何为解算器定义参数文件(使用.pcs格式ParamILS、SMAC和GGA支持),如何定义求解器包装器,以及如何测试和调试包装器和参数化求解器。一旦您可以用解算器运行下面的SMAC运行示例,只需将解算器子目录压缩即可并通过电子邮件将其提交给cssc.organizers@gmail.com. (如果文件太大,无法作为附件,您也可以通过电子邮件向我们发送链接)。比赛结束后,我们将在本网站上公开所有参赛作品;为此,请在提交时为您的解算器提供参考(例如bibtex条目)。

除了您的解算器存档外,请在您的电子邮件中包括以下信息:

基准的贡献

我们邀请您贡献基准。我们对具有生成实例的设置的基准生成器特别感兴趣其中至少20-40%可以在最近的机器上约300 CPU秒内解决通过在SAT竞赛中表现相当好的SAT解算器的默认配置。如果可能,基准生成器和集合应附带基本事实(可满足性状态)。预先制作的基准实例集应包含至少150个(最好是500到2000个)CNF公式。请通过电子邮件联系我们(见下文)以提交基准。

执行环境和资源

对于每次求解器运行,我们将在弗莱堡的META集群上使用单个核心,使用Olivier Roussel的runsolver工具将每个解算器运行的内存限制为3GB,时间限制为300秒。

群集节点具有以下规范:

组织者

请将提交的资料以及任何问题、顾虑或意见发送至cssc.organizers@gmail.com.