{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{-“日期-部件”：[[2024,7,15]]，“日期-时间”：“2024-07-15T15:18:47Z”，“时间戳”：1721056727699}，“引用-计数”：41，“发布者”：“MDPI AG”，“问题”：“10”，“许可证”：[{“开始”：{:“日期-零件”：[2016,9,27]]-09-27T00:00:00Z“，”时间戳“：1474934400000}，“content-version”：“vor”，“delay-in-days”：0，“URL”：“https:\/\/creativecommons.org\/licenses\/by\/4.0\/”}]，“内容域”：{“域”：[]，“crossmark-restriction”：false}，“short-container-title”：[“IJGI”]，“抽象”：“高效处理大型地理空间数据对于应对气候变化和自然灾害等全球和区域挑战至关重要，但这不仅是因为数据量巨大，还因为地理空间数据集的内在复杂性和高维性。虽然传统的计算基础设施无法随着数据量的快速增长而很好地扩展，但Hadoop因处理大型地理空间数据而在地球科学界引起了越来越多的关注。最近，人们进行了许多研究，以探讨采用Hadoop处理大型地理空间数据，但如何调整计算资源以有效处理动态地理处理工作负载，这方面的研究很少。为了弥补这一差距，我们提出了一个新的框架，在云环境中自动扩展Hadoop集群，以基于动态地理处理工作负载分配适当数量的计算资源。介绍了框架和自动缩放算法，并开发了一个原型系统，以数字高程模型（DEM）插值为例，验证了所提缩放机制的可行性和效率。实验结果表明，该自动缩放框架可以（1）显著降低计算资源利用率（在我们的示例中降低80%），同时提供与全功能集群相似的性能；（2）通过自动增加计算资源来有效处理峰值处理工作量，以确保在可接受的时间内完成处理。这种自动缩放方法为优化地理空间应用程序的性能以更经济高效的方式解决地理信息科学中的数据和计算密集型挑战提供了宝贵的参考<\/jats:p>“，”DOI“：”10.3390\/ijgi5100173“，”type“：”journal-article“，”created“：{”date-parts“：[[2016,9,27]]，”date-time“：”2016-09-27T09:57:13Z“，”timestamp“：1474970233000}，”page“：10.3390“，“体积”：”5”，“作者”：[{“给定”：“振龙”，“家族”：“李”，“序列”：“第一”，“从属关系”：[}“名称”：“美国哥伦比亚南卡罗来纳大学地理系，SC 29208”}]}，{“ORCID”：“http://\/ORCID.org\/00000-0001-7768-4066”，“authenticated-ORCID”：false，“给定”:“朝伟”，“家庭”：“杨”，“顺序”：“附加”，“附属关系”：[{“名称“：”美国弗吉尼亚州费尔法克斯乔治·梅森大学时空创新中心“}]}，{“given”：“Kai”，“family”：“Liu”，“sequence”：“additional”，“affiliation”：[{“name”：“美国弗吉尼亚州22030费尔法克斯乔治·梅森大学空间创新中心”}]，{”ORCID“：”http://\/ORCID.org\/00000-0001-5231-2303“，”authenticated-ORCID“：false，”given“：“Fei”，”family“：”Hu“，”sequence“：”additional“，”affiliation“：[{”name“：”George Mason University时空创新中心，Fairfax，VA 22030，USA“}]}，{”given“：”Baoxuan“，”family”：“Jin”，“sequence”：“additional”，“affiliation:”[{“name”：“云南省地理信息中心，中国昆明650034”}]}]，“member”：“1968”，“published on”：{“”date-parts“：[[2016,9,27]]}，”reference“：[{”key“：”ref_1“，”doi-asserted-by“：”crossref“，“first page”：“74”，“doi”：“10.1016\/j.bdr.2015.01.003”，“article-title”：“地理空间大数据：挑战与机遇”，“volume”：”2“，”author“：”Lee“，”year“：”2015“，”journal-title“：”big data Res.“}，{”key“：“ref_2”，“doi-assert-by”y“：”crossref“，”首页“：”5498“，”DOI“：”10.1073\/pnas.0909315108“，”article-title“：”利用空间原理优化分布式计算以实现物理科学发现“，”volume“：”108“，”author“：”Yang“，”year“：”2011“，”journal-title”：“Proc。国家。阿卡德。科学。“}，{”key“：”ref_3“，”doi-asserted-by“：”crossref“，“first page”：“535”，“doi”：“10.1080\/00045601003791243”，“article-title”：“用于综合网络基础设施、GIS和空间分析的网络GIS框架”，“volume”：”100“，”author“：”Wang“，”year“：”2010“，”journal-title“：”Ann.Assoc.Am.Geogr.“}”，{“key”：“交叉引用”，“非结构化”：“Asimakopoulou，E.（2010）。用于灾害管理和威胁检测的先进ICT：协作和分布式框架：协作和分布框架，IGI Global。“，”DOI“：”10.4018\/978-1-61520-987-3“}，{“key”：”ref_5“，”DOI-asserted-by“：”crossref“，”first page“：”305“，“DOI”：”10.1080\/17538947.2011.587547“，”article-title“：”空间云计算：“地理空间科学如何使用和帮助塑造云计算？”，“volume”：“4”，“author”：“Yang”，“year”：“2011”，“journal-title”：“Int.J.Digit.Earth”}，{“键”：“参考6”，“doi-asserted-by“：”crossref“，”unstructured“：”Karimi，H.A.（2014）。《大数据：地理信息学中的技术与技术》，CRC出版社。“，”DOI“：“10.1201\/b16524”}，{“key”：“ref_7”，“unstructured”：“Schnase，J.L.，Duffy，D.Q.，Tamkin，G.S.，Nadeau，D.，Thompson，J.H.，Grieg，C.M.，and Webster，W.P.（2014）。MERRA分析服务：通过支持云的气候分析——作为服务——应对气候科学的大数据挑战。计算。环境。城市系统。”}doi-asserted-by“：”crossref“，”first page“：”165“，“doi”：“10.1016\/j.cageo.2010.05.015”，“article-title”：“为地理空间分析优化网格计算配置和调度：插值DEM示例”，“volume”：“37”，“author”：“Huang”，“year”：“2011”，“journal-title“：”Compute。地质科学。“}，{”key“：”ref_9“，”doi-asserted-by“：”crossref“，”unstructured“：”Buck，J.B.，Watkins，N.，LeFevre，J.，Ioannidou，K.，Maltzahn，C.，Polyzotis，N.和Brandt，S.（2011年1月12日\u201318）SciHadoop：Hadoop中基于数组的查询处理。《2011年高性能计算、网络、存储和分析国际会议论文集》，美国华盛顿特区西雅图空间Hadoop的演示：一个高效的MapReduce空间数据框架”，“卷”：“6”，“作者”：“Eldawy”，“年份”：“2013”，“期刊标题”：“Proc。荷兰VLDB。“}，{”key“：”ref_11“，”doi-asserted-by“：”crossref“，”unstructured“：”Li，Z.，Hu，F.，Schnase，J.L.，Duffy，D.Q.，Lee，T.，Bowen，M.K.，and Yang，C.（2016）。利用MapReduce高效处理基于大数组的气候数据的时空索引方法。国际地理信息科学杂志，2013年1月19日。“，”doi“：”10.1080\/13658816.2015.11131830“}”，{“key”：“”ref_12“，“非结构化”：“Gao，S.，Li，L.，Li.，W.，Janowicz，K.，and Zhang，Y.（2014）。基于Hadoop从自愿提供的大地理数据构建地名录。计算。环境。城市系统。“}，{”key“：”ref_13“，”doi-asserted-by“：”crossref“，”unstructured“：”Li，Z.，Yang，C.，Jin，B.，Yu，M.，Liu，K.，Sun，M.和Zhan，M.（2015）。使用基于云、支持MapReduce和面向服务的工作流框架实现大地球科学数据分析。PLoS ONE.“，”doi“：”10.1371 \/journal.pone.0116781“}”，{“key”：“ref_14”，“unstructure”：“”Pierce，M.E.、Fox，G.C.、Ma，Y.和Wang，J.（2009年）。云计算和空间网络基础设施。J.计算。科学。印第安纳大学“}，{”key“：”ref_15“，”doi-asserted-by“：”crossref“，”first page“：“553”，”doi“：”10.1080\/13658810902733682“，”article-title“：”distributed geographic information processing research“介绍分布式地理信息处理研究”，“volume”：“23”，“author”：“Yang”，“year”：“2009”，“journal-title”：“Int.J.Geogr.Inf.Sci.”}，”{“key”：”ref_16“，”“doi-assert-by”：“crossref.“，”首页”：“451”，“DOI”：“10.1080\/17538947.2014.929750”，“文章标题”：“采用云计算优化空间门户网站，以获得更好的性能，支持数字地球和其他全球地理空间举措”，“卷”：“8”，“作者”：“Xia”，“年份”：“2015”，“期刊标题”：“国际数字。Earth“}，{“key”：“ref_17”，“doi-asserted-by”：“crossref”，“unstructured”：“Tu，S.，Flanagin，M.，Wu，Y.，Abdelguerfi，M..，Norman，E.，Mahadevan，V.，and Shaw，K.（2004年1月5日\u20137）设计策略以提高GIS web服务的性能。《信息技术：编码和计算国际会议论文集》，美国内华达州拉斯维加斯，“DOI”：“10.1109\/ITCC.2004.1286692”}，{“key”：“ref_18”，“DOI-asserted-by”：“crossref”，“first page”：”647“，“DOI:”10.1038\/nrg2857“，“article-title”：“大规模数据管理和分析的计算解决方案”，“volume”：：“11”，“author”：“Schadt”，“年份”：“2010年”，“期刊标题”：“自然科学出版社，Genet。“}，{”key“：”ref_19“，”doi-asserted-by“：”crossref“，”first-page“：”107“，”doi“：”10.1145\/1327452.1327492“，”article-title“：”MapReduce:“大型集群上的简化数据处理”，“volume”：“51”，“author”：“Dean”，“year”：“2008”，“journal-title”：“Commun.ACM”}，“key”：，“doi”：“10.1007\/s11036-013-0489-0”，“article-title“：“大数据：一项调查”，“卷”：“19”，“作者”：“陈”，“年份”：“2014年”，“新闻标题”：“暴徒”。Netw公司。申请。“}，{”key“：”ref_21“，”doi-asserted-by“：”crossref“，”first page“：“322”，”doi“：”10.1080\/15481603.2013.810976“，”article-title“：”使用新型云计算平台存储和处理海量遥感图像“，”volume“：“，”非结构化”：“Krishnan，S.、Baru，C.和Crosby，C.（2010）。评估MapReduce对LIDAR数据进行网格化。云计算。Technol公司。科学。“，”DOI“：”10.1109\/CloudCom.2010.34“}，{”key“：”ref_23“，”DOI-asserted-by“：”crossref“，”first page“：“1009”，“DOI”：“10.14778\/2536222.2536227”，“article-title”：“Hadoop GIS：MapReduce上的高性能空间数据仓库系统”，“volume”：“6”，“author”：“Aji”，“year”：“2013”，“journal-title“：”Proc.VLDB Endow.“}”，{“key”“：”ref_24“，”DOI-asserted-by“：”crossref“，”first-page“：”61“，”DOI“：”10.1145\/1740390.1740405“，”article-title“：”On the energy（in）efficiency of Hadoop clusters“，”volume“：”44“，”author“：”Leverich“，”year“：”2010“，”journal-title”：“ACM SIGOPS Oper。系统。Rev.“}，{“key”：“ref_25”，“unstructured”：“Kaushik，R.T.和Bhandarkar，M.（2010年1月23日\u201325）。GreenHDFS：迈向节能高效的混合Hadoop计算集群。USENIX年度技术会议论文集，马萨诸塞州波士顿”}，}，“key“：”ref_26“，”doi-asserted-by“：”crossref“，”first page“：“119”，“doi”：“10.1016\/j.future.2011.07.001“，“article-title”：“MapReduce框架的动态节能数据布局和集群重构算法”，“volume”：“28”，“author”：“Maheshwari”，“year”：“2012”，“journal-title“：“Futur”。通用。计算。系统。“}，{”key“：”ref_27“，”first-page“：”1“，”article-title“：”NIST云计算定义“，”volume“：“53”，”author“：”Mell“，”year“：”2009“，”journal-title”：“Natl.Ins.Stand.Technol.”}，”{“key”：“ref_28”，”unstructured“：”使用Amazon\u2019s Elastic MapReduce开始Hadoop。在线获取：http://www.slideshare.net\/DrSkippy27\/amazon-elastic-map-reduce-getting-started-with-hadoop。“}，{”key“：”ref_29“，”doi-asserted-by“：”crossref“，”unstructured“：”Baheti，V.K.（2014）。Windows azure HDInsight:大数据在何处与云相遇。IT Bus.Ind.Gov.“，”doi“：”10.1109\/CSIBIG.2014.7056928“}”，{“key”：“ref_30”，“doi-assert-by”：“Crosref”，“unstructure”：“Herodotou，H.，Dong，F.，and Babu，S.（2011年1月26日\u201328）。无（cluster））size fits all：为数据密集型分析自动调整集群大小。第二届ACM云计算研讨会论文集，葡萄牙卡斯凯斯。“，”DOI“：”10.1145\/2038916.2038934“}，{”key“：”ref_31“，”DOI-asserted-by“：”crossref“，”unstructured“：”Agrawal，D.，Das，S.，and Abbadi，A.（2011年1月21日\u201325）。大数据和云计算：现状和未来机遇。第十四届国际扩展数据库技术会议论文集，瑞典乌普萨拉。“，”10.1145\/1951365.1951432“}，{“key”：“ref_32”，“doi-asserted-by”：“crossref”，“unstructured”：“Wang，Y.，Wang，S.，and Zhou，D.（2009）.在云计算环境中检索和索引空间数据，Springer。”，“doi”：“10.1007\/978-3642-10665-1_29”}，}，“key“：”ref_33“，“首页”：“275”，“文章标题”：“数据、计算、并发访问和时空模式的处理强度”，“卷”：“第16卷”，“作者”：“杨”，“年份”：“2015年”，“期刊标题”：“空间云计算：实用方法”}，{“关键”：“ref_34”，“非结构化”：“李，Z.，杨，C.，黄，Q.，刘，K.，孙，M.，夏，J.（2014）.将模型构建为支持地球科学的服务。计算。环境。城市系统。“｝，｛”key“：”ref_35“，”非结构化“：”R\u00f6me，T.（2010）。自动缩放Hadoop集群。[塔尔图大学硕士学位论文]。“｝，｛”key“：”ref_36“，”doi断言“：”crossref“，”非结构化“：”Gandhi，A.，Thota，S.，Dube，P.，Kochut，A.，and Zhang，L.（2016年1月16日\u201318）。Hadoop群集的自动缩放。《2016年美国国家科学院院刊》，加州圣克拉拉，美国亚马逊EC2定价。在线获取：https:\/\/aws.amazon.com//ec2\/pricing\/。“}，{”key“：”ref_39“，”first-page“：”10“，”article-title“：”Spark:使用工作集的群集计算“，”volume“：“10”，”author“：”Zaharia“，”year“：”2010“，”journal-title”：“HotCloud”}，“{”密钥“：”ref_40“，”doi-asserted-by“：”crossref“，”首页“：”264“，”doi“：”10.1016\/j.compenvurbsys.2010.04.001“，”article-title“：”地理空间网络基础设施：过去、现在和未来”，“卷”：“34”，“作者”：“杨”，“年份”：“2010年”，“新闻标题”：“计算”。环境。城市系统。“}，{”key“：”ref_41“，”doi-asserted-by“：”crossref“，”first page“：“169”，”doi“：”10.1080\/13658810801918509“，”article-title“：”地理分析中使用网络基础设施的理论方法“，”volume“：ISPRS国际地理信息杂志“]，“original-title”：[]，“language”：“en”，“link”：[{“URL”：“https:\\/www.mdpi.com\/2220-9964\/5\/10\/173\/pdf”，“content-type”：“unspecified”，“content-version”：“vor”，“intended-application”：“similarity-checking”}]，“deposed”：{“date-parts”：[2024,6,6]]，“date-time”：”2024-06-06T05:54:49Z“，”时间戳”：1717653289000｝，“分数”：1，“资源”：｛“主要”：｛“URL”：“https://www.mdpi.com/2220-9964\/5\/10\/173”｝，“副标题”：[]，“短标题”：[]，“已发布”：｛“日期部分”：[[2016,9,27]]｝，“参考文献数”：41，“期刊发行”：｛“发行”：“10”，“在线发布”：｛“日期部分”：[[2016,10]]｝，“替代id”：[“ijgi5100173”]，“URL”：“http:\/\/dx.doi.org\/10.3390\/ijgi5100173“，”关系“：{}，”ISSN“：[”2220-9964“]，”ISSN-type“：[{”值“：”2220-9964“，”类型“：”电子“}]，”主题“：[]，”发布“：{”日期部分“：[[2016,9,27]]}}}}