克里斯蒂安·拉蒙·科尔特斯;波兰阿尔瓦雷斯;弗朗西斯科·洛丹;哈维尔·阿尔瓦雷斯;豪尔赫·埃扎克;罗莎·巴迪亚（Rosa M.Badia）。 分布式计算堆栈综述。 （英语） Zbl 1486.68018号 计算。科学。版次。 42，文章ID 100422，22 p.（2021）. 摘要：在本文中，我们回顾了分布式计算软件栈的背景和发展现状。我们旨在通过提供最新技术的详细大图，为读者提供该领域的全面概述。首先，我们介绍了分布式计算的一般背景，并提出了最新可用软件的分层自顶向下分类。接下来，我们关注每个抽象层，即。应用程序开发（包括基于任务的工作流、数据流和图形处理），站台（包括数据共享和资源管理），通信（包括远程调用、消息传递和消息队列），以及基础设施（包括批处理和交互系统）。对于每一层，我们给出了一般背景，讨论了它的技术挑战，回顾了最新的编程语言、编程模型、框架、库和工具，并提供了一个汇总表，比较了每种替代方案的特性。最后，我们在结束这项调查时讨论了悬而未决的问题和未来的方向。 MSC公司： 64岁以下 分布式系统 68宽15 分布式算法 68-02 与计算机科学有关的研究博览会（专著、调查文章） 关键词：分布式系统;分布式编程模型;分布式计算;云计算;基于任务的工作流;数据流;图形处理;流动;数据共享;资源管理;基础设施经理 软件：MapReduce;阿帕奇萨姆扎;沙发DB;阿帕奇·卡夫卡;通用产品代码;PBGL公司;导线;CoArray公司;STAPL公司;打开星云;MongoDB数据库;太阳网格引擎;MySQL数据库;Apache闪烁;泰坦;ZooKeeper（缩放管理员）;阿帕奇火花;开放MPI;Hadoop公司;PyCOMPS公司;零MQ;卡桑德拉;开放式HMEM;泥浆;CombBLAS公司;github;OpenStack（开放堆栈）;GASNet公司;TensorFlow公司;气流;促进;斯威夫特;小教堂;弹性搜索;普雷格尔;GoFFish鱼;扎比克斯;J组;兔子MQ;全球定位系统;朱莉 PDF格式BibTeX公司 XML格式引用 \textit{C.Ramon-Cortes}等人，《计算》。科学。第42版，文章编号100422，22页（2021；Zbl 1486.68018） 全文： 内政部 链接 参考文献： [1] Asanovic，K.，《并行计算研究的前景：伯克利观点》，第2卷，技术报告UCB/EECS-2006-183（2006），加利福尼亚大学EECS系：加利福尼亚大学伯克利分校EECS系 [2] 我·福斯特。；Kesselman，C.，《网格2：新计算基础设施蓝图》（2003），爱思唯尔出版社 [3] Krauter，K。；Buyya，R。；Maheswaran，M.，分布式计算网格资源管理系统的分类和调查，Softw.-实际。实验，32，2，135-164（2002）·Zbl 0987.68786号 [4] 库马尔，V.，《并行计算导论：算法的设计与分析》，第400卷（1994年），本杰明/卡明斯：本杰明/Cummings Redwood City·Zbl 0861.68040号 [5] Asanovic，K.，《并行计算领域的观点》，Commun。ACM，52，10，56-67（2009） [6] Kaisler，S.，《大数据：前进中的问题和挑战》（第46届夏威夷系统科学国际会议（2013），IEEE），995-1004 [7] 萨吉罗格鲁，S。；Sinanc，D.，《大数据：综述》，（国际协作技术与系统会议（CTS）（2013），IEEE），42-47 [8] Russom，P.，《大数据分析》（TDWI最佳实践报告，第四季度19（2011）） [9] Dongarra，J.，国际Exascale软件项目路线图，国际J.高性能计算。申请。，25, 1, 3-60 (2011) [10] 里德·D·A。；Dongarra，J.，Exascale计算和大数据，Commun。ACM，58，7，56-68（2015） [11] Deelman，E.，《通过工作流和虚拟化实现大数据分析和高性能计算融合》（大数据和极端规模计算（2016）） [12] 加利福尼亚州洛雷斯。；伊莎拉，F。；Carretero，J.，混合HPC和大数据应用的数据软件支持，（2017年第17届IEEE/ACM集群、云和网格计算国际研讨会（CCGRID）（2017）），719-722 [13] 徐，C。；福克斯·G。；最小值，G。；Sharma，S.，《大数据编程、系统软件和HPC收敛的进展》，超级计算杂志。，75, 489-493 (2019) [14] Fox，G.，《大数据、模拟和HPC收敛》（Rabl，T.等，大数据基准（2016），Springer:Springer-Cham），3-17 [15] Zaharia，M.，Spark:使用工作集的集群计算，HotCloud，10，10-10，95（2010） [16] Toshniwal，A.，Storm@twitter，（2014年ACM SIGMOD国际数据管理会议论文集（2014），ACM），147-156 [17] Abadi，M.，Tensorflow:异构分布式系统上的大规模机器学习，1-19（2016），arXiv-print:1603.04467，arXiv [18] Liu，J.，《数据密集型科学工作流管理研究》，J.Grid Comput。，1457-493年4月13日（2015年） [19] 里马尔，B.P。；Choi，E。；Lumb，I.，《云计算系统的分类和调查》，（2009年第五届INC、IMS和IDC国际联合会议（2009年）），44-51 [20] Kacfah Emani，C。；北卡罗尔。；Nicolle，C.，《可理解的大数据：一项调查》，Comp。科学。版次：17，70-81（2015） [21] Apache Airflow（2019），http://airlow.apache.org，2019年10月2日访问 [22] 维奇奥拉，C。；朱，X。；Buyya，R.，Aneka:的软件平台。基于NET的云计算，（高速和大规模科学计算，第18卷（2009）），267-295 [23] Fahringer，T.，Askalon:网格应用程序开发和计算环境，（第六届IEEE/ACM网格计算国际研讨会论文集（2005），IEEE），122-131 [24] Manubens-Gil，D.，在HPC平台上无缝管理集合气候预测实验，（2016年高性能计算模拟国际会议（2016）），895-900 [25] 芹菜（2019），http://www.celeryproject.org，2019年10月2日访问 [26] D.G.Murray等，《CIEL：分布式数据流计算的通用执行引擎》，载于《第八届ACM/USENIX网络系统设计与实现研讨会论文集》，2011年，第113-126页。 [27] COMP超标量（COMPS）（2019年），https://compss.bsc.es网址，2019年10月2日访问 [28] Pronk，S.，《哥白尼：并行自适应分子动力学的新范式》，（2011年高性能计算、网络、存储和分析国际会议论文集（2011），ACM），60:1-60:10 [29] Apache Crunch（2013），https://crunch.apache.org网站，2019年10月2日访问 [30] Dask：动态任务调度库（2019），http://dask.pydata.org，2019年10月2日访问 [31] EcFlow（2019），https://confluence.ecmwf.int/display/ECFLOW，于2019年10月2日访问 [32] Anubhav，J.，FireWorks：为高吞吐量应用程序设计的动态工作流系统，Concurr。计算：实际。专家。，27 (2015) [33] Afgan，E.，《可访问、可重复和协作生物医学分析的银河平台：2016年更新》（核酸研究（2016）），gkw343 [34] 迪安·J。；Ghemawat，S.，MapReduce:大型集群上的简化数据处理，（第六届操作系统设计与实现研讨会论文集第6卷）。程序。第六届操作系统设计与实现研讨会第6卷，OSDI’04（2004），USENIX协会：美国USENIX协会），10 [35] Montesi，F.，Jolie：Java编配语言解释器引擎Electron。注释Theor。计算。科学。，181, 19-33 (2007) [36] Altintas，I.，《开普勒：设计和执行科学工作流程的可扩展系统》（第16届国际科学和统计数据库管理会议论文集，2004年），IEEE，423-424 [37] Netflix导体（2019），https://netflix.github.io/conductor网站，2019年10月2日访问 [38] Deelman，E.，Pegasus，科学自动化的工作流管理系统，Future Gener。计算。系统。，46, 17-35 (2015) [39] Wilde，M.，Swift:分布式并行脚本语言，并行计算。，37, 9, 633-652 (2011) [40] Hull，D.，Taverna:构建和运行服务工作流的工具，核酸研究，34，Web服务器问题，W729-W732（2006） [41] Apache许可证2.0版（2019年），https://www.apache.org/licenses/LICENSE-2.0，2019年10月2日访问 [42] GNU通用公共许可证，版本2（2017），https://www.gnu.org/licenses/old-licenses/gpl-2.0.html，2019年10月2日访问 [43] GNU通用公共许可证，版本3（2016），https://www.gnu.org/licenses/gpl-3.0.en.html，2019年10月2日访问 [44] GNU Lesser通用公共许可证，2.1版（2018），https://www.gnu.org/licenses/old-licenses/lgpl-2.1.html，2019年10月2日访问 [45] BSD许可证（2005），http://www.linfo.org/bsdlicense网站，访问时间：2019年10月2日 [46] 麻省理工学院许可证（2019），https://opensource.org/licenses/MIT，2019年10月2日访问 [47] 学术免费许可证3.0版（2005），https://opensource.org/licenses/AFL-3.0，2019年10月2日访问 [48] Mozilla公共许可证2.0版（2019），https://www.mozilla.org/en-US/MPL/2.0网址，2019年10月2日访问 [49] Eclipse公共许可v1.0（2019），https://www.eclipse.org/legal/epl-v10.html，2019年10月2日访问 [50] Apache Apex（2019），https://apex.apache.org，访问时间：2019年10月2日 [51] Apache Beam（2019），https://beam.apache.org，2019年10月2日访问 [52] 级联（2018），http://www.cascading.org，2019年10月2日访问 [53] Apache齿轮泵（2019），https://gearpump.apache.org，2019年10月2日访问 [54] Hazelcast Jet（2019），https://jet.hazelcast.org，2019年10月2日访问 [55] Kulkarni，S.，推特苍鹭：大规模流处理，（2015年ACM SIGMOD国际数据管理会议论文集（2015），ACM），239-250 [56] Hirzel，M.，《IBM流处理语言：动态分析大数据》，IBM J.Res.Dev.，57，3/4，7-11（2013） [57] Schmaus，B.，网飞博客：螳螂流处理（2016），https://media.com/netflix-techblog/stream-processing-with-mantis-78af913f51a6，2019年10月2日访问 [58] Apache Samza（2019），http://samza.apache.org，2019年10月2日访问 [59] Zaharia，M.，《离散流：大型集群上流处理的高效容错模型》，HotCloud，12，10-16（2012） [60] Apache Hama（2016），https://hama.apache.org，于2019年10月2日访问 [61] 布卢索，A。；Gilbert，J.R.，《组合BLAS：设计、实现和应用》，国际高性能计算杂志。申请。，25, 4, 496-509 (2011) [62] 阿扎德，A。；布卢索，A。；Gilbert，J.R.，组合BLAS（Combinatrial BLAS）（2018年），https://people.eecs.berkeley.edu/aydin/CombBLAS/html/index.html，2019年10月2日访问 [63] 阿梅尔金，V。；布卢索，A。；Gilbert，J.R.，知识发现工具箱（KDT）（2013），http://kdt.sourceforge.net，2019年10月2日访问 [64] 分布式R（2019），https://marketplace.microfocus.com/vertica/content/distributed-r，2019年10月2日访问 [65] 吉拉夫（2019），网址：http://giraph.apache.org，2019年10月2日访问 [66] Simmhan，Y.，GoFFish:一个以子图为中心的大规模图形分析框架，（Euro-Par 2014并行处理（2014），Springer），451-462 [67] GoFFish（2017），http://dream-lab.cds.iisc.ac.in/projects/goffish，2019年10月2日访问 [68] Xin，R.S.，《Graphx：基于火花的弹性分布式图形系统》（graph Data Management Experiences and Systems第一届图形数据管理经验与系统国际研讨会（2013），美国计算机学会），1-6 [69] Apache Spark-GraphX（2018），https://spark.apache.org/graphx，2019年10月2日访问 [70] 邵，B。；Wang，H。；Li，Y.，Trinity：内存云上的分布式图形引擎，（2013年ACM SIGMOD国际数据管理会议论文集（2013），ACM），505-516 [71] 微软三位一体项目（2019），https://www.microsoft.com/en-us/research/project/trinity，2019年10月2日访问 [72] 图形引擎（2017），https://www.graphengine.io，2019年10月2日访问 [73] 萨利霍格鲁，S。；Widom，J.，《GPS：图形处理系统》，（第25届国际科学与统计数据库管理会议论文集（2013），ACM），1-12 [74] Widom，J.，《全球定位系统：图形处理系统》（2014），http://infolab.stanford.edu/gps，2019年10月2日访问 [75] Wang，P.，用于大规模图形处理的基于复制的容错，（2014年IEEE/IFIP第44届可靠系统和网络国际会议（DSN）（2014），IEEE），562-573 [76] 模仿者（2014），http://ipads.se.sjtu.edu.cn/projects/samutor.html，2019年10月2日访问 [77] Gregor博士。；Lumsdaine，A.，《并行BGL：分布式图形计算的通用库》（parallel Object-Oriented Scientific Computing（POOSC），第2卷（2005），Citeser），1-18 [78] 北卡罗来纳州埃德蒙兹。；Gregor博士。；Lumsdaine，A.，并行增强图库（2009），http://www.boost.org/doc/libs/1_53_0/libs/graph_parallel/doc/html/index.html，于2019年10月2日访问·Zbl 1209.05239号 [79] Gonzalez，J.E.，《PowerGraph:自然图形上的分布式图形并行计算》，（作为第十届USENIX操作系统设计与实现研讨会（OSDI 12）（2012）的一部分，USENIX），17-30 [80] Chen，R.，PowerLyra：微分图计算与偏斜图分割，（第十届欧洲计算机系统会议论文集（2015），ACM），1:1-1:15 [81] Chen，R.，PowerLyra（2013），http://ipads.se.sjtu.edu.cn/projects/powerlyra.html，2019年10月2日访问 [82] Malewicz，G.，Pregel:一个用于大规模图形处理的系统，（2010年ACM SIGMOD国际数据管理会议论文集（2010），ACM），135-146 [83] Bu，Y.，Pregelix：数据流引擎上的大（ger）图形分析，Proc。荷兰VLDB。，8, 2, 161-172 (2014) [84] Pregelix（2014），http://pregelix.ics.uci.edu，2019年10月2日访问 [85] Venkataraman，S.，Presto：使用稀疏矩阵的分布式机器学习和图形处理，（第八届ACM欧洲计算机系统会议论文集（EuroSys 2013）（2013），ACM），197-210 [86] Xue，J.，用解耦计算模型处理并发图分析，IEEE Trans。计算。，66, 5, 876-890 (2017) ·Zbl 1368.68269号 [87] Zandifar，M.，STAPL框架，（并行计算语言和编译器国际研讨会（2014），Springer），176-190年 [88] STAPL：标准模板自适应并行库（Parasol）（2017），https://parasol.tamu.edu/groups/rwergergroup/research/stapl，2019年10月2日访问 [89] 《泰坦Hadoop（Faunus）》（2015），https://github.com/thinkaurelius/faunus，2019年10月2日访问 [90] Low，Y.，《分布式图形实验室：云中机器学习和数据挖掘的框架》，Proc。荷兰VLDB。，5, 8, 716-727 (2012) [91] Turi create（2018），网址：https://turi.com，2019年10月2日访问 [92] Doekemeijer，N。；Varbanescu，A.L.，《并行图形处理框架调查技术报告》PDS-2014-003（2014），代尔夫特理工大学 [93] Valiant，L.G.，《用于并行计算的桥接模型》，Commun。ACM，33，8，103-111（1990） [94] El-Ghazawi，T.，统一并行C（2005），http://upc.gwu.edu，2019年10月2日访问 [95] UPC语言规范V1.2技术。UPC财团代表（2005） [96] Coarfa，C.，全球地址空间语言的评估：共数组fortran和统一并行C，（第十届ACM SIGPLAN并行编程原理与实践研讨会论文集（2005），ACM），36-47 [97] 张伯伦，B.L。；卡拉汉，D。；齐马，H.P.，《并行编程与教堂语言》，《国际高性能计算》。申请。，21, 3, 291-312 (2007) [98] chapel并行编程语言（2019），https://chapel-lang.org，于2019年10月2日访问 [99] Fürlinger，K。；Fuchs，T。；Kowalewski，R.，DASH:分布式数据结构和并行算法的C++PGAS库，（2016年IEEE第18届高性能计算与通信国际会议；IEEE第14届智能城市国际会议；第二届IEEE数据科学与系统国际会议（HPCC/SmartCity/DSS）（2016），IEEE），983-990 [100] DASH（2018），http://www.dash-project.org，2019年10月2日访问 [101] Allen，E.，《堡垒语言规范》，太阳微晶公司。，139, 140, 116 (2005) [102] Numrich，R.W。；Reid，J.，并行编程的Co-array fortran，SIGPLAN fortran论坛，17，2，1-31（1998） [103] GPI-2：下一代超级计算机编程（2019年），http://www.gpi-site.com，2019年10月2日访问 [104] Chapman，B.，《OpenSHMEM:PGAS社区的SHMEM简介》（第四届分区全球地址空间编程模型会议记录（2010年），计算机械协会），1-3 [105] OpenSHMEM（2019），http://www.openshmem.org，2020年2月12日访问 [106] Yelick，K.，Titanium:一种高性能Java方言Concurr。计算：实际。专家。，10, 11-13, 825-836 (1998) [107] Hilfinger，P.N.，《Titanium语言参考手册》（2006） [108] 《钛》（2014），http://titanium.cs.berkeley.edu，2019年10月2日访问 [109] Charles，P.，X10:一种面向对象的非均匀集群计算方法，SIGPLAN Not。，40, 10, 519-538 (2005) [110] Saraswat，V.，X10语言规范-2.6.2版（2019年） [111] X10并行编程语言（2018），http://x10-lang.org，2019年10月2日访问 [112] PGAS：分区全球地址空间（2016），网址：http://www.pgas.org，2019年10月2日访问 [113] Tardieu，O.，《APGAS库：Java 8中的弹性并行和分布式编程》（ACM SIGPLAN X10研讨会论文集）。ACM SIGPLAN研讨会会议记录，X10，X10 2015（2015），ACM），25-26 [114] 布莱巴特，J。；Schmidtobreick，M。；Heuveline，V.，全球地址空间编程接口（GASPI）评估，（2014 IEEE国际并行分布式处理研讨会研讨会（2014）），717-726 [115] GASPI:全局地址空间编程接口（2019），http://www.gasi.de，2019年10月2日访问 [116] Alrutz，T.，GASPI-分区全球地址空间编程接口，（《面对多核挑战III：并行计算中新范式和技术的方面》（2013），施普林格出版社），135-136 [117] 什么是RDMA？(2019), https://community.mellanox.com/s/article/what-is-rdma-x，2020年2月12日访问 [118] Bonachea，D。；Hargrove，P.H.，GASNet-EX:一个用于exascale的高性能便携式通信库（并行计算语言和编译器国际研讨会（2018），Springer），138-158 [119] GASNet（2020），https://gasnet.lbl.gov网站，2020年2月12日访问 [120] Heichler，J.，《BeeGFSTech简介》。代表（2014），BeeGFS，URLhttps://www.beegfs.io/docs/whitepapers/Introduction_to_beegfs_by_ThinkParQ.pdf [121] BeeGFS（2019），https://www.beegfs.io，2019年10月2日访问 [122] Weil，S.A.，Ceph：一种可扩展、高性能的分布式文件系统，（第七届操作系统设计与实现研讨会论文集。第七届作业系统设计与实施研讨会论文集，OSDI’06（2006），USENIX协会：USENIX Association USA），307-320 [123] DataPlow nasan文件系统（2019年），http://www.datapowl.com/Products.htm#Nasan，2019年10月2日访问 [124] Vef，M.-A.，GekkoFS-用于HPC应用的临时分布式文件系统，（2018 IEEE集群计算国际会议（Cluster）（2018），IEEE），319-324 [125] GekkoFS（2020），https://github.com/NGIOproject/GekkoFS，2020年5月22日查阅 [126] Boyer，E.B。；布罗姆菲尔德，M.C。；Perrotti，T.A.，Glusterfs One Storage Server将统治AllTech。代表（2012年），洛斯阿拉莫斯国家实验室（LANL），美国新墨西哥州洛斯阿拉莫斯，URLhttps://www.osi.gov/biblio/1048672 [127] 戴维斯，A。；Orsaria，A.，使用GlusterFS进行横向扩展，Linux J.，2013，235（2013） [128] Ghemawat，S。；戈比奥夫，H。；Leung，S.，谷歌文件系统，SIGOPS Oper。系统。修订版，37、5、29-43（2003） [129] Shvachko，K.，hadoop分布式文件系统，（2010年IEEE第26届大规模存储系统和技术研讨会（MSST）（2010），IEEE），1-10 [130] 施穆克，F。；Haskin，R.，《GPFS:大型计算集群的共享磁盘文件系统》，（第一届USENIX文件和存储技术会议论文集。第一届USENIX文件与存储技术会议文献集，FAST’02（2002），USENIX-协会：USENIX-Association USA），16 [131] 无限存储平台（2015），https://infinit.sh/参考，2019年10月2日访问 [132] 蜥蜴FS（2019），https://蜥蜴fs.com，2019年10月2日访问 [133] Faibish，S.，Lustre文件系统（2017），美国专利9779108 [134] D'amato，A.，集群共享卷（2010年），美国专利7840730 [135] MooseFS（2019），https://moosefs.com，2019年10月2日访问 [136] Nagle，D。；Serenyi，D。；Matthews，A.，《Panasas ActiveScale存储集群：提供可扩展的高带宽存储》（2004年ACM/IEEE超级计算会议论文集（2004），IEEE），53 [137] Panasas ActiveStor架构概述技术。代表（2017），白皮书，URLhttp://performance.panasas.com/wp-architecture-hp-thanks.html [138] Carns，P.H.，《PVFS：Linux集群的并行文件系统》，（第四届Linux年度展示与会议论文集-第4卷）。第四届Linux年度展示和会议记录-第4卷，ALS’00（2000），USENIX协会），28-29 [139] OrangeFS项目（2018年），http://www.orangefs.org（英文），2019年10月2日访问 [140] Whitehouse，S.，GFS2文件系统，（Linux研讨会论文集（2007），Citeseer），253-259 [141] Red Hat Global File SystemTech。代表（2004），RedHat，URLhttps://listman.redhat.com/whitepapers/rha/gfs/gfs_INS0032US.pdf [142] Shepard，L。；Eppe，E.，SGI®InfiniteStorage共享文件系统CXFS：SGITech的高性能多操作系统。代表（2003），白皮书2691，URLhttps://jarrang.com/client/sgi/storage/StorageCD/Collateral/DataSheets/GeneralAndWhitepapers/SGIInfiniteStorageSharedFilesystemCXFSwhitepaper.pdf [143] Stender，J。；M.柏林。；Reinefeld，A.，《XtreemFS:云文件系统》，（云环境数据密集型存储服务（2013），IGI Global），267-285 [144] DynamoDB（2019），2019年12月4日访问，https://aws.amazon.com/es/dynamodb [145] 拉克希曼，A。；Malik，P.，Cassandra：分散式结构化存储系统，Oper。系统。修订版，44，2，35-40（2010） [146] J.C.安德森。；Lehnardt，J。；Slater，N.，CouchDB：《最终指南》（2010），O'Reilly Media Inc。 [147] Apache CouchDB（2019），2019年12月4日访问，https://couchdb.apache.org [148] Martí，J.，《Dataclay:有效实现层间数据共享的分布式数据存储》，J.Syst。软质。，131, 129-145 (2017) [149] DataClay（2019），2019年12月4日查阅，https://www.bsc.es/research-and-development/software-and-apps/software-list/dataclay [150] Hazelcast IMDG（2019），https://hazelcast.com/products/imdg，2019年12月4日访问 [151] Vora，M.N.，大型数据Hadoop数据库，（2011年计算机科学和网络技术国际会议论文集，第1卷（2011），IEEE），601-605 [152] Apache HBase（2019），https://hbase.apache.org，2019年12月4日访问 [153] 阿洛马尔，G。；贝塞拉，Y。；托雷斯，J.，赫库巴：《Nosql变得容易》（BSC博士研讨会（第二届：2015年：巴塞罗那）（2015年），巴塞罗那超级计算中心），136-137 [154] Tejedor，E.，《Pycomss:python中的并行计算工作流》，《国际高性能计算》。申请。（IJHPCA），31，1，66-82（2017） [155] 赫库巴（2019），https://github.com/bsc-dd/hecuba，于2019年12月4日访问 [156] 系统间缓存（2019年），https://www.intersystems.com/products/cache，2019年12月4日访问 [157] JanusGraph（2019），https://janusgraph.org，2019年12月4日访问 [158] Thinkaurelius，E.，《泰坦：分布式图形数据库》（2015），http://titan.thinkaurelius.com，2020年5月11日查阅 [159] Memcached（2018），https://memcached.org，2019年12月4日访问 [160] Banker，K.，MongoDB in Action（2011），曼宁出版公司。 [161] MongoDB：现代应用程序最受欢迎的数据库（2019），于2019年12月4日访问，https://www.mongodb.com [162] Suehring，S.，MySQL Bible（2002），John Wiley&Sons Inc。 [163] MySQL（2019），https://www.mysql.com，2019年12月4日访问 [164] Tesoriero，C.，《开始使用OrientDB》（2013），Packt Publishing Ltd [165] OrientDB：为现代世界设计的数据库（2019年），https://orientdb.com，2019年12月4日访问 [166] Ousterhout，J.，RAMClouds案例：完全在DRAM中的可扩展高性能存储，Oper。系统。版本：43、4、92-105（2010年） [167] Ousterhout，J.，RAMCloud项目（2019年），https://ramcloud.atlassian.net/wiki/spaces/RAM/overview，2020年5月22日查阅 [168] 马其顿，T。；Oliveira，F.，《Redis Cookbook:快速数据操作的实用技术》（2011），O'Reilly Media Inc。 [169] Redis（2019），https://redis.io网址，2019年12月4日访问 [170] Riak（2019），https://riak.com/riak，2019年12月4日访问 [171] Virtuoso：数据驱动的敏捷性不折不扣（2019年），https://virtualoso.openlinksw.com，2019年12月4日访问 [172] 领事（2019年），https://www.consus.io网站，2019年12月4日访问 [173] Rarick，K.，《Doozerd简介》（2011年），https://xph.us/2011/04/13/introducting-doozer.html，于2019年12月4日访问 [174] Etcd：分布式系统中最关键数据的分布式可靠密钥值存储（2019），网址：https://etcd.io，2019年12月4日访问 [175] Netflix Eureka-GitHub存储库（2019年），https://github.com/Netflix/eureka网站，2019年12月4日访问 [176] Burrows，M.，松耦合分布式系统的chubby锁服务，（第七届操作系统设计与实现研讨会论文集（2006年），USENIX协会），335-350 [177] 《查比：分布式协调的锁服务》（2018），Inhttps://media.com/coinmonks/chubby-a-centralized-lock-service-for-distributed-applications-390571273052，2019年12月4日访问 [178] 塞尔夫（2019），网址：https://www.serf.io，2019年12月4日访问 [179] Hunt，P.，ZooKeeper:互联网规模系统的无等待协调，（USENIX年度技术会议，第8卷（2010），美国马萨诸塞州波士顿），1-14 [180] Apache ZooKeeper（2019），https://zookeeper.apache.org，2019年12月4日访问 [181] Serf vs.ZooKeeper，doozerd等（2019年），https://www.serf.io/intro/vs-zookeeper.html，2019年12月4日访问 [182] Glushkov，I.，《ZooKeeper与领事之比较》（2014），https://es.slideshare.net/IvanGlushkov/zookeeper-vs-consul-41882991，2019年12月4日访问 [183] Farcic，V.，《服务发现：Zookeeper vs etcd vs consul》（2015），https://technologyconversations.com/2015/09/08/service-discovery-zookeeper-vs-etcd-vs-consul，2019年12月4日访问 [184] Lamport，L.，Paxos made simple，ACM Sigact News，32，4，18-25（2001年） [185] Ongaro，D。；Ousterhout，J.，《寻求可理解的共识算法》（2014年USENIX年度技术会议（USENIXATC 14）（2014）），305-319 [186] 伯曼，K.，《八卦协议的承诺和限制》，Oper。系统。修订版，41，5，8-13（2007） [187] Datadog:云监控服务（2019年），https://www.datadoghq.com，2019年12月4日访问 [188] Willnecker，F。；Brunnert，A。；哥特塞姆，W。；Krcmar，H.，使用dynatrace监控数据生成java EE应用程序的性能模型，（第六届ACM/SPEC国际性能工程会议论文集（2015），计算机械协会），103-104 [189] Dynatrace：云监控领域的领导者（2021年），https://www.dynatrace.com，2021年5月21日访问 [190] Elasticsearch，B.V.，ELK堆栈：Elasticsearch，Logstash，Kibana（2019），https://www.elastic.co/what-is/elk-stack网站，2019年12月4日访问 [191] Graylog（2019），https://www.graylog.org，2019年12月4日访问 [192] 维莱拉，P。；Petersen，C.，原木收集、结构和处理（2010），美国专利7653633 [193] LogRhythm：安全情报公司（2019年），https://logrhythm.com，2019年12月4日访问 [194] Barth，W.，Nagios：《系统和网络监控》（2008），无淀粉出版社 [195] Nagios——IT基础设施监控行业标准（2019年），https://www.nagios.org，2019年12月4日访问 [196] 新遗迹（2021），https://newrelic.com网站，2021年5月21日访问 [197] loggly的日志管理（2019年），https://www.loggly.com，2019年12月4日访问 [198] Carasso，D.，Exploring Splunk（2012），美国纽约CITO Research [199] Splunk:SIEM、AIOps、应用程序管理、日志管理、机器学习和法规遵从性（2019年），https://www.splunk.com，2019年12月4日访问 [200] Massie，M.L。；Chun，B.N。；Culler，D.E.，神经节分布式监控系统：设计、实现和经验，并行计算。，30, 7, 817-840 (2004) 【201】 神经节监测系统（2018），http://ganglia.info，2019年10月2日访问 [202] Icinga（2019），https://icinga.com，于2019年12月4日访问 [203] 潘多拉FMS：大企业灵活监控软件（2019），https://pandorafms.com网站，2019年12月4日访问 [204] Sensu（2019），https://sens.io网站，2019年12月4日访问 [205] Olups，R.，Zabbix网络监控（2016），Packt出版有限公司 [206] Zabbix：企业级开源网络监控解决方案（2019年），https://www.zabbix.com，2019年12月4日访问 [207] Badger，M.，Zenoss核心网络和系统监控（2008），Packt Publishing Ltd [208] Zenoss：智能应用和服务监控+aiops（2019年），https://www.zenoss.com，2019年12月4日访问 [209] Forster，F.，Collectd（2019年），https://collected.org网站，2019年12月4日访问 [210] Fluentd：开源数据采集器和统一日志层（2019），https://www.fluentd.org，2019年12月4日访问 [211] Hoffman，S.，《Apache Flume:Hadoop分布式日志收集》（2013），Packt Publishing Ltd [212] 阿帕奇水槽（2019），https://flume.apache.org，2019年12月4日访问 [213] 《普罗米修斯：从量度到洞察力》（2019），https://prometheus.io网址，2019年12月4日访问 [214] 抄写员：通过分布式缓冲排队系统每小时传输数PB（2019年），https://engineering.fb.com/data-infrastructure/scribe，2019年12月4日访问 [215] 开源监控工具（2016），http://opentica.com/en/2016/02/02/open-source-monitoring-tools，2019年12月4日访问 [216] Kufel，L.，《分布式系统监控工具》，Found。计算。Decis公司。科学。，41, 4, 237-260 (2016) [217] Bhargava，R.，《2018年最佳记录：日志监测与分析：比较ELK、Splunk和Graylog》（2018），https://devops.com/log-monitoring-and-analysis-comparing-elk-splunk-and-graylog，于2019年12月4日访问 [218] Keary，T.，Nagios与zabbix的对比——哪一个更适合网络监控？(2018), https://www.comparitech.com/net-admin/nagios-vs-zabbix，2019年12月4日访问 [219] Peri，N.，《Fluentd vs.Logstash：原木采集器的比较》（2015），https://logz.io/blog/fluntd-logstash网站，于2019年12月4日访问 [220] Gartner应用程序性能监控幻方图（2020年），https://www.gartner.com/en/documents/3983892/magic-quadrant-for-application-performance-monitoring网站，2021年5月21日访问 [221] Elasticsearch，B.V.，《Elastic搜索：官方分布式搜索和分析》（2019年），https://www.elastic.co/products/elasticsearch网站，2019年12月4日访问 [222] Turnbull，J.，《Logstash Book》（2013），詹姆斯·特恩布尔 [223] Elasticsearch，B.V.，Logstash：收集、分析、转换日志（2019），https://www.elastic.co/products/logstash网站，2019年12月4日访问 [224] Elasticsearch，B.V.，Kibana：探索、可视化、发现数据（2019年），https://www.elastic.co/products/kibana，2019年12月4日访问 [225] 协议缓冲区（2019年），https://developers.google.com/protocol-buffers网站，2019年12月3日访问 [226] 斯奈德，B。；Bosnanac，D。；Davies，R.，《ActiveMQ行动》，第47卷（2011年），康涅狄格州曼宁格林威治。 [227] Apache activeMQ（2019），https://activemq.apache.org，2019年12月3日访问 [228] Gupta，M.，Akka Essentials（2012），Packt Publishing Ltd [229] AKKA文档-经典演员（2019），https://doc.akka.io/docs/akka/current/actors.html，2019年12月3日访问 [230] AKKA文件-流（2019），https://doc.akka.io/docs/akka/current/stream/index.html，2019年12月3日访问 [231] Apache Qpid（2015），网址：https://qpid.apache.org，2019年12月3日访问 [232] Cap’n proto:简介（2013），https://capnproto.org网址，2019年12月3日访问 [233] Carbone，P.，Apache flink:单一引擎中的流和批处理，Bull。IEEE计算。社会技术承诺。数据工程，36，4（2015） [234] GRPC动机和设计原则（2015），https://grpc.io/blog/principles网站，2019年12月3日访问 [235] Java远程方法调用规范（2017），https://docs.oracle.com/javase/9/docs/specs/rmi，2019年12月3日访问 [236] Ban，B.，JGroups，可靠多播通信工具包（2002） [237] J.Kreps、N.Narkhede、J.Rao等人，《卡夫卡：用于日志处理的分布式消息传递系统》，收录于：《NetDB学报》，2011年，第1-7页。 [238] Apache Kafka（2017），https://kafka.apache.org，2019年12月3日访问 [239] Gabriel，E.，《开放MPI:下一代MPI实现的目标、概念和设计》，（欧洲并行虚拟机/消息传递接口用户小组会议（2004），Springer），97-104 [240] 维德拉，A。；Williams，J.J.，RabbitMQ in Action:Distributed Messaging for Everyone（2012），曼宁 [241] 传播工具包（2006） [242] Prunicki，A.，Apache ThriftTech。对象计算公司代表（2009）。 [243] Hintjens，P.，ZeroMQ：多应用程序消息传递（2013），O'Reilly Media Inc。 [244] Tanenbaum，A.S。；Van Steen，M.，《分布式系统：原理和范例》（2007），Prentice-Hall·Zbl 1157.68323号 [245] Enduro/x分布式事务处理中间件平台（2015），https://www.endorox.org，2019年12月3日访问 [246] Gentzsch，W.，《太阳网格引擎：建立计算电网》（Cluster Computing and the grid，2001）。诉讼程序。第一届IEEE/ACM国际研讨会（2001年），IEEE，35-36 [247] Vavilapalli，V.K.，《Apache hadoop yarn:又一位资源谈判代表》（第四届云计算年度研讨会论文集（2013），ACM），5 [248] Apache Hadoop YARN（2019），https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/yarn.html，2019年12月3日访问 [249] 塞恩，D。；Tannenbaum，T。；Livny，M.，《分布式计算在实践中的应用：秃鹰的经验》，Concurr。计算：实际。专家。，17, 2-4, 323-356 (2005) [250] HTCondor-高吞吐量计算（2019年），https://research.cs.wisc.edu/htcondor网站，2019年12月3日访问 [251] IBM LSF（2016），https://www.ibm.com/support/knowledgecenter/en/SSETD4/product_welcome_platform_lsf.html，2019年12月3日访问 [252] Joshi，P。；Babu，M.R.，《Openlava:高性能计算的开源调度器》，（2016年国际集成导航系统研究进展会议（RAINS）（2016）），1-3 [253] Henderson，R.L.，便携式批处理系统下的作业调度，（并行处理作业调度策略研讨会（1995），Springer），279-294 [254] PBS专业-开源项目（2019年），https://www.pbspro.org，2019年12月3日访问 [255] Yoo，A.B。；Jette，医学硕士。；Grondona，M.，Slurm:资源管理的简单linux实用程序，（并行处理作业调度策略研讨会（2003），Springer），44-60 [256] Slurm工作量管理器（2019年），https://slurm.schedmd.com，2019年12月3日访问 [257] TORQUE资源经理（2019年），https://www.adaptivecomputing.com/products/torque网站，2019年12月3日访问 [258] Kumar，R.，《Apache云堆栈：开源基础设施即服务云计算平台》，Proc。Int.J.高级工程技术。管理。申请。科学。，111, 116 (2014) [259] Apache CloudStack-开源云计算（2017），https://cloudstack.apache.org，2019年12月3日访问 [260] Naik，N.，在多云中使用docker群构建系统的虚拟系统，（2016 IEEE国际系统工程研讨会（ISSE）（2016）），1-3 [261] Swarm模式概述（2019年），https://docs.docker.com/engine/swarm，2019年12月3日访问 [262] Nurmi，D.，《桉树开源云计算系统》（2009年IEEE/ACM第九届集群计算与网格国际研讨会论文集（2009），IEEE计算机学会），124-131 [263] 桉树（2018），https://www.eucalyptus.cloud网站，访问日期：2019年12月3日 [264] Hightower，K。；伯恩斯，B。；Beda，J.，《Kubernetes:Up and Running:Dive Into the Future of Infrastructure》（2017年），O'Reilly Media Inc。 [265] Kubernetes（2019），https://kubernetes.io网址，2019年12月3日访问 [266] Hindman，B.，Mesos:数据中心细粒度资源共享平台，（NSDI，Vol.11（2011）），22 [267] Apache Mesos（2018），http://mesos.apache.org，2019年12月3日访问 [268] Toraldo，G.，Opennebula 3云计算（2012），Packt Publishing Ltd [269] OpenNebula（2019），https://opennebula.org，2019年12月3日访问 [270] 塞夫拉乌伊，O。；M.Aissaoui。；Eleuldj，M.，《OpenStack：面向云计算的开源解决方案》，国际计算杂志。申请。，55, 3, 38-42 (2012) [271] OpenStack（2019），https://www.openstack.org，2019年12月3日访问 [272] RedHat OpenShift（2019），https://www.openshift.com，2019年12月3日访问 [273] Wen，X.，开源云管理平台的比较：OpenStack和OpenNebula，（2012年第九届模糊系统与知识发现国际会议（2012）），2457-2461 [274] Milojić，D。；洛伦特，I.M。；Montero，R.S.，Opennebula:云管理工具，IEEE互联网计算。，15, 2, 11-14 (2011) [275] Kubernetes和docker swarm的比较（2017年），https://platform9.com/blog/kubernetes-docker-swarm-compared网站，访问日期：2019年12月3日 [276] Kubernetes和mesos对比（2016年），https://platform9.com/blog/compare-kubernetes-vs-mesos，2019年12月3日访问 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。