ProvDB：协作分析工作流的生命周期管理

随着数据驱动方法在各种学科中的普及，迫切需要开发可扩展和可持续的工具，以简化数据科学的过程，使用户更容易跟踪正在执行的分析和正在生成的数据集，并使用户能够理解和分析工作流。在本文中，我们描述了我们对统一来源和元数据管理系统的愿景，以支持复杂协作数据科学工作流的生命周期管理。我们认为，有关分析过程和数据工件的信息可以而且应该以半被动的方式捕获；我们还表明，查询和分析这些信息不仅可以简化簿记和调试任务，还可以实现一组丰富的新功能，例如识别数据科学过程本身的缺陷。它还可以通过自动分析和监控显著减少用户在解决部署后问题上花费的时间。我们在git和Neo4j之上实现了一个原型系统PROVDB，并描述了其关键特性和功能。