2018年SPLASH
2018年11月9日星期日至星期五美国马萨诸塞州波士顿
2018年11月6日星期二13:30-14:00纽伯里-

程序分析研究通常使用专门的微基准测试或测试套件、现实世界代码的自定义集合或已建立的评估语料库(如Qualitas语料库、XCorpus或DaCapo基准套件)进行评估。在某些情况下,研究人员可以直接将他们的方法与其他研究人员的方法进行比较,从而显示出比先前确定的基线有所改进。由于该过程建立了不同方法或方法的不同实例之间的可比性,因此被认为是可取的。

然而,这并不容易实现。作为研究人员,我们使用各种方法和程序语料库来评估我们的方法,并且重用研究工件,例如分析本身或评估结果几乎是不可能的。原因是多方面的:首先,我们都使用不同的平台和框架来驱动我们的研究,因此输入和输出格式不兼容。其次,我们的输入和输出数据有时无法向公众提供。第三,我们的实验不可重复,因为它们的实现要么不可用,要么不再可运行。第四,现有的研究很难与之进行比较。

在德尔菲项目中,我们旨在缓解和缓解阻碍研究人员为项目分析研究进行比较评估的这些问题。我们将介绍输入程序集规范化的当前解决方案,该解决方案有助于研究人员找到具有代表性的输入数据,以便于其他研究人员进行分析。此外,我们还提出了扩展平台的计划,使其具有更好的互连性和分析实现和研究数据的可查找性。通过这些变化,我们相信可以促进输出格式的协调和程序分析社区内结果数据的重用。

幻灯片(德尔菲.pdf)96.2亿

11月6日星期二

显示的时区:瓜达拉哈拉,墨西哥城,蒙特雷 改变