2020年TACAS伪影评估

与2019年一样，TACAS’20将对所有类型的论文进行人工制品评估（AE）。将有两轮AE：对于常规工具文件和工具演示文件，工件评估是强制性的（参见TACAS的20份论文征集），工件必须提交给第一轮；对于研究和案例研究论文，这是自愿的，工件可以提交给第一轮或第二轮。所有被接受的带有被接受文物的论文都将获得徽章。

工件和评估标准

人工制品是证明论文中所述内容并使其完全可复制的任何附加材料（软件、数据集、机器可检查的证据等）。例如，典型工件包括工具（二进制或源代码形式）及其文档、用于本文中工具评估的输入文件（例如，分析的模型或验证的程序），以及描述实验中使用的参数的配置文件或文档。工件评估委员会将阅读相应的论文，并根据以下标准评估提交的工件：

工具和工具演示文件的强制AE

常规工具文件和工具演示文件需要附有工件，以便工件评估委员会在提交文件时进行评估。评估结果将在TACAS’20的论文审查和反驳阶段予以考虑。并非所有实验都是可重复的（例如，由于高计算要求）并不意味着论文会被自动拒绝。通过工件评估并被接受的论文将收到一个徽章，该徽章可以显示在相应论文的标题页上。

研究和案例研究论文的人工制品评估

研究论文和案例研究论文的作者也被邀请提交工件。在这种情况下，提交是自愿的。如果工件与论文同时提交，则工件评估委员会（AEC）将立即对其进行审查，并在TACAS’20的论文审查和反驳阶段考虑评估结果。未提交工件的已接受论文的作者将被邀请在收到通知后提交工件。AEC接受的工件的作者将收到一个徽章，该徽章可以显示在相应论文的标题页上。

工件提交

工件提交包括

工件提交通过伊西查尔.

人工制品指南

我们希望提交的工件将其工件打包并编写说明，以便工件评估委员会（AEC）成员可以使用TACAS的20个工件评估虚拟机VirtualBox评估工件无花果虚拟机基于Ubuntu 18.04.3 LTS GNU/Linux操作系统，并带有以下附加包：build-essential、cmake、clang、openjdk-8-jdk、ruby和32位libc。此外，虚拟机上安装了VirtualBox来宾添加；因此，可以从主机连接共享文件夹（请参阅HOME目录中的how-to文件）。凭证存储在名为credentials.txt的文件中（用户：tacas20ae，密码：tacas20 ae）。

如果工件需要不属于虚拟机的其他软件或库，则说明必须包括安装和设置这些软件或库的所有必要步骤。任何不属于虚拟机的软件都必须包含在.zip文件中。AEC成员不会从外部来源下载软件或数据，并且工件必须在没有网络连接的情况下工作。如果你觉得这个虚拟机不允许在你的论文中充分复制结果，请在提交工件之前联系AEC主席。

编写一个易于AEC评估的工件对作者来说是有利的。一些准则：

AEC成员将使用提交的工件进行工件评估。然而，我们鼓励作者公开并永久使用他们的作品。

重要日期

所有日期均指当天23:59“地球上任何地方”（UTC-12）。

第一轮：

2019-10-24 工件提交截止日期（工具和工具演示论文为必填项，研究和案例研究论文为可选项）
2019-11-08 在工件出现技术问题时与作者沟通
2019-12-04 AE评审通知（结果也将传达给TACAS论文评审员，并考虑论文验收决定）

第二轮：

2020-01-11 工件提交截止日期（未提交第一轮的已接受研究和案例研究论文可选）
2020-01-21 在工件出现技术问题时与作者沟通
2020-02-13 不良事件审查通知

工件评估椅

人工制品评估委员会