帮助别人在你论文的贡献上再接再厉!
人工制品评估过程是由社区提供的一项服务,旨在帮助已被接受论文的作者为其论文提供更多实质性的补充,以便未来的研究人员能够更有效地借鉴和比较以前的工作。
通过PACMPL(OOPSLA)第一轮考试的论文作者将被邀请提交支持其论文结论的工件。AEC将阅读该论文并探索该人工制品,以反馈该人工制品对论文的支持程度以及未来研究人员使用该人工制品的容易程度。
此提交是自愿的。成功通过工件评估流程的论文将在论文的第一页上获得批准印章。鼓励论文作者在论文发表后公开这些材料,将其作为“源材料”纳入ACM数字图书馆。
被评估为功能性和/或可重复使用的工件
要求人工制品
这一过程受简·维泰克(Jan Vitek)、埃里克·恩斯特(Erik Ernst)和施里拉姆·克里希纳穆斯(Shriram Krishnamurthi)的ECOOP 2013工件评估过程的启发。
根据论文设定的期望对工件进行评估。因此,除了运行工件外,评估人员还将阅读论文,并可能尝试调整提供的输入,或以其他方式稍微概括论文中工件的使用,以测试工件的限制。
工件应:
- 一致的用纸,
- 作为完成尽可能,
- 另外其文档也很齐全、和
- 易于重复使用,促进进一步研究。
AEC努力站在这些未来研究者的立场上,然后问:这个人工制品对我有多大帮助?
如果你的论文通过了第一轮审查过程,AEC主席将与你联系并提供提交说明。
您的提交应该由三部分组成:工件概述、指向包含工件的单个文件的URL以及该文件的md5散列(使用md5或md5sum命令行工具生成散列)。URL必须是Google Drive或Dropbox URL,以帮助保护审阅者的匿名性。如果小于15MB,您可以直接上传工件。
概述应包括两部分:
- 入门指南和
- 关于如何评估工件的分步说明(与论文的相关部分有适当的联系);
这个入门指南应该包含设置说明(例如,包括指向VM播放器软件的指针、其版本、密码(如果需要)等)和工件的基本测试,您希望审阅者能够在30分钟内完成这些测试。审查人员将在初始启动阶段遵循指南中的所有步骤。入门指南应该尽可能简单,但它应该强调工件的关键元素。任何遵循过《入门指南》的人都应该对您的其他工件没有技术困难。
这个分步说明解释如何重现任何实验或其他活动来支持你论文中的结论。为那些对你的工作有浓厚兴趣并正在研究它以改进它或与之进行比较的读者写下这篇文章。如果你的工件运行了几分钟以上,请指出这一点并解释如何在较小的输入上运行它。
在适当的情况下,包括对代表预期输出的文件(包括在档案中)的描述和链接(例如,预期由您的工具根据给定输入生成的日志文件);如果有可以安全忽略的警告,请解释是哪些警告。
工件的文档应包括以下内容:
- 工件支持的论文中的声明列表,以及如何/为什么。
- 该工件不支持的论文中的声明列表,以及如何/为什么。
例如:性能声明不能在VM中复制,作者不允许重新发布特定基准等。然后,工件评审员可以围绕这些特定声明进行评审/评估。
在包装您的工件时,请记住:a)您使其他研究人员能够多容易地访问您的工件,以及b)AEC成员对每个工件进行评估的时间有限。
您的工件可以包含一个安装了所有必要库的可引导虚拟机映像。使用虚拟机提供了一种创建易于复制的环境的方法,它不太容易发生比特腐烂。这也有助于AEC确信错误或其他问题不会对其机器造成伤害。
您应该将工件作为单个存档文件提供,并使用命名约定<paper#><后缀>,其中适当的后缀用于给定的存档格式。请使用广泛可用的压缩存档格式,如ZIP(.ZIP)、tar和gzip(.tgz)或tar和bzip2(.tbz2)。请使用文档的开放格式。
AEC成员的利益冲突由主席处理。涉及两个AEC主席之一的利益冲突由另一位AEC主席或会议PC处理,如果两个主席发生冲突。为了进行验证,工件必须被明确接受,并且可能不会被考虑用于区分工件。