帮助别人在你论文的贡献上再接再厉！
人工制品评估过程是由社区提供的一项服务，旨在帮助已被接受论文的作者为其论文提供更多实质性的补充，以便未来的研究人员能够更有效地借鉴和比较以前的工作。
人工制品评估委员会已经成立，以评估论文作者准备人工制品的情况，以支持未来的研究人员。大致上，希望参与的论文作者被邀请提交支持论文结论的人工制品。人工制品评估委员会将阅读论文并探索人工制品，以向作者提供第三方反馈，说明人工制品对论文的支持程度，以及委员会认为未来研究人员使用人工制品的容易程度。
此提交是自愿的，不会影响有关文件的最终决定。在OOPSLA程序中，通过工件评估流程的论文成功地获得了印在论文首页的批准印章。鼓励论文作者在论文发表后公开这些材料，将其作为“源材料”纳入ACM数字图书馆。
提交初步要求
建议打算提交工件进行评估的作者尽快开始准备工件进行评估，并遵循以下打包指南。由于评估过程是单盲的（作者不知道谁评估了他们的工件），我们将要求作者在网站上提供他们的工件，AE委员会主席将从网站上传工件到一个单独的站点，供整个工件评估委员会（AEC）访问。作者应该尽最大努力不去了解他们的审稿人的身份。如果有必要进行跟踪，作者必须提前警告审阅者。
这一过程受简·维泰克（Jan Vitek）、埃里克·恩斯特（Erik Ernst）和施里拉姆·克里希纳穆斯（Shriram Krishnamurthi）的ECOOP 2013工件评估过程的启发。ECOOP和OOPSLA的流程相似但不相同。
将根据论文设定的期望对工件进行评估。因此，除了运行工件外，评估人员还将阅读论文，并可能尝试调整提供的输入，或以其他方式稍微概括论文中工件的使用，以测试工件的限制。
工件应：
- 一致的用纸，
- 作为完成尽可能，
- 另外其文档也很齐全、和
- 易于重复使用，促进进一步研究。
展望未来，当您的工件有助于未来的研究时，社区受益最大。例如，未来的研究人员可能会在您的工件上进行构建，可能会将其扩展以涵盖新的情况，或者使用新的组件（以预处理或后处理的方式）对其进行扩充，以解决不同类别的问题。其他未来的研究人员可能会尝试另一种方法来解决您的问题，并从直接与您的解决方案进行比较（作为基线）和更深入地理解您所做的各种权衡和工程决策中获益。
你的贡献和工件的性质决定了如何最好地考虑建立在它之上的其他人。一般原则是工件帮助我们作为一个社区更有效。
AEC努力站在这些未来研究者的立场上，然后问：这个人工制品对我有多大帮助？
您的提交应该由三部分组成：工件概述、指向包含工件的单个文件的URL以及该文件的md5散列（使用md5或md5sum命令行工具生成散列）。URL必须是Google Drive或Dropbox URL，以帮助保护审核人员的匿名性。如果工件小于15MB，可以直接上传工件，而不是URL。如果你的论文通过了OOPSLA审查流程的第1轮，你将收到一封来自Artifacts项目主席的电子邮件，其中说明了在哪里提交你的工件。
概述应包括两部分：
- 入门指南和
- 关于如何评估工件的分步说明（与论文的相关部分有适当的联系）；
这个入门指南应包含设置说明（例如，包括指向VM播放器软件的指针、其版本、密码（如果需要）等）和您的工件的基本测试，您希望审查人员能够在30分钟内完成这些测试。在评估期的初始阶段，评审员将遵循指南中的所有步骤，如果评审员遇到困难，组织者可以转达问题。您应该尽可能简单明了地编写入门指南，但它应该强调工件的关键元素。如果写得好，任何成功完成《入门指南》的人都不应该对您的工件的其余部分有任何技术困难。本指南是您唯一允许“调试”工件的机会。一旦审查人员完成了这一阶段，就没有机会再与作者进行互动。
这个分步说明应该详细解释如何重现支持论文结论的任何实验或其他活动。为未来对你的工作感兴趣的研究人员写这篇文章，他们正在研究你的工作以改进它或忠实地与之进行比较。如果您的工件是一个工具，并且运行它来重现您的实验需要几分钟以上的时间，请指出这一点，并指出在可能的情况下在较小的输入上运行它的方法。
在适当的情况下，包括对代表预期输出的文件（包括在档案中）的描述和链接（例如，预期由您的工具根据给定输入生成的日志文件）；如果有可以安全忽略的警告，请说明是哪些警告。
在包装您的工件时，请记住：a）您使其他研究人员能够访问您的工件，以及b）OOPSLA AEC成员对每个工件进行评估的时间有限。工件的设置应在30分钟内完成，否则不太可能仅仅因为AEC没有足够的时间进行评估而得到认可。
理想情况下，您的工件应该包含一个可引导的虚拟机映像，其中安装了所有必要的库，以便能够运行它。使用虚拟机可以为工件提供一个易于复制的环境，它不太容易受到位腐烂的影响。这也有助于评估委员会确信错误或其他问题不会对其机器造成伤害或泄露其身份（因为网络可以从VM映像外部禁用）。虽然虚拟机不是强制性的，但我们鼓励使用虚拟机。
您应该将工件作为单个存档文件提供，并使用命名约定<paper#><后缀>，其中适当的后缀用于给定的存档格式。请使用广泛可用的压缩存档格式，如ZIP（.ZIP）、tar和gzip（.tgz）或tar和bzip2（.tbz2）。请使用开放格式的文件，我们希望实验数据以csv格式提交。
通过2016年OOPSLA AEC HotCRP网站提交您的作品（信息将发送给作者）。
有关更多信息、澄清或问题答案，请联系OOPSLA工件联合主席(迈克尔·邦德和迈克尔·欣德)在artifacts@splashcon.org.
