×

SciServer计算

swMATH ID: 29411
软件作者: 梅德韦杰夫,D.,Lemson,G.,Rippin,M
说明: SciServer计算:使分析接近数据。SciServer Compute使用Jupyter笔记本电脑运行在连接到大型关系数据库和文件存储的服务器端Docker容器中,从而使高级分析功能接近数据。SciServer Compute是SciServer的一个组件,SciServer是约翰霍普金斯大学开发的一个大数据基础设施项目,将为计算研究提供一个通用环境。SciServer Compute与天文学、宇宙学、湍流、基因组学、海洋学和材料科学领域现有的大型数据库集成。这些可以通过CasJobs服务进行直接SQL查询。SciServer Compute通过Python、R和MATLAB中的笔记本、用于运行异步任务的API以及用于存储中间结果的超大(数百TB)暂存空间,添加了交互式服务器端计算功能。科学研究结果可以存储在Dropbox类服务SciDrive上,以便与合作者共享并向公众传播。笔记本和批处理作业在用户拥有的Docker容器中运行。这提供了安全性和隔离性,并允许通过特定于域的映像和特定于域数据集的装载来灵活配置计算上下文。我们演示了SciServer Compute的功能:使用Jupyter笔记本,对来自不同科学领域的数据选择执行分析,以及在Docker容器中运行异步作业。演示将突出显示文件存储、数据库和计算组件之间的数据流。
主页: https://dl.acm.org/citation.cfm?doid=2949689.2949700
相关软件: xgcm公司;沙雷;达克;蟒蛇;海洋间谍
引用于: 0个文档