一种基于Spark的大规模语义数据分布式推理框架

doi:10.11896/j.issn.1002-137X.2016.11A.020

计算机科学››2016,第43卷››发行（Z11）: 93-96.数字对象标识：10.11896/j.issn.1002-137X.2016.11A.020

一种基于火花的大规模语义数据分布式推理框架

陈恒

大连外国语大学软件学院大连116044

出版日期:2018-12-01 发布日期:2018-12-01
基金资助:
本文受国家自然科学基金项目(61371090),辽宁省自然科学基金项目(2015020017),大连外国语大学校级科研项目（2014XJQN09）资金

基于Spark的大规模语义数据分布式推理框架

陈恒（音）

在线：2018-12-01 出版：2018-12-01

摘要/摘要

摘要：随着大规模语义数据的涌现,研究高效的并行化语义推理成为热点问题之一。现有推理框架大多存在可扩展性方面的不足,难以满足大规模语义数据的需求。针对现有推理框架的不足,提出一种基于火花的大规模语义数据分布式推理框架。该框架主要包括语义建模、规则提取和基于火花的并行推理机等三个模块。通过过程分析和推理实例验证,提出的分布式并行推理的计算性能（T（n）＝O（对数₂n））远远优于顺序式推理的计算性能（T（n）＝O（n））

关键词: 火花，并行化语义推理,分布式框架,语义大数据

摘要：随着大规模语义数据的出现，高效并行语义推理的研究已经成为一个热门话题。在可扩展性方面，现有的大多数推理框架仍存在不足，难以满足大规模语义数据的需求。为了解决这个问题，本文提出了一个基于Spark的大规模语义数据分布式推理框架，该框架由语义建模、规则提取和基于Spark的并行推理三个模块组成。过程分析和推理实例的结果表明，所提出的分布式并行推理的计算性能（T（n）＝O（log₂n））远远优于顺序推理（T（n）＝O（n））。

关键词： Spark、并行语义推理、分布式框架、语义大数据

陈恒.一种基于火花的大规模语义数据分布式推理框架[J] ●●●●。计算机科学, 2016年，43（Z11）：93-96。https://doi.org/10.11896/j.issn.1002-137X.2016.11A.020

陈恒。基于Spark的大规模语义数据分布式推理框架[J] ●●●●。计算机科学，2016，43（Z11）：93-96。https://doi.org/10.11896/j.issn.1002-137X.2016.11A.020

参考文献

[1] W3C公司。资源描述框架[EB/OL]。[2015-01-25].网址：http://www.w3.org/RDF
[2] W3C公司。链接开放数据[EB/OL]。[2015-01-25].http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/Linking-OpenData
[3] Dean J，Ghemawat S.MapReduce：大型集群上的简化数据处理[J]。ACM通讯，2008,51（1）：107-113
[4] 顾荣,王芳芳,袁春风,等.YARM：MapReduce的高效可扩展的语义推理引擎[J] .《财政报告》，2015年，38（1）：74-85
[5] 陈曦,陈华钧,顾珮嵌,等.一种基于Hadoop公司的语义大数据分布式推理框架[J] ●●●●。计算机研究与发展,2013(2):103-113
[6] Urbani J，Kotoulas S，Oren E，et al.使用mapreduce的可扩展分布式推理[C]‖第八届国际语义网络会议论文集。美国华盛顿，2009:634-649
[7] Mika P，Tummarello G.云中的Web语义[J]。智能系统，IEEE，2008,23（5）：82-87
[8] Apache软件基金会。火花[EB/OL]。[2016-02-01].https://spark.apache.org
[9] Urbani J，Kotoulas S，Maassen J，et al.WebPIE:一种使用MapReduce的Web-scale并行推理引擎[J]。网络语义：万维网上的科学、服务和代理，2012,10:59-75
[10] Broekstra J，Kampman A，Van Harmelen F.Sesame：用于存储和查询RDF和RDF模式的通用架构[C]‖第一届语义Web国际会议论文集。意大利撒丁岛，2002:54-68
[11] Kaoudi Z，Koubarakis M.分布式RDFS推理超结构覆盖网络[J]。数据语义学杂志，2013，2（4）：189-227
[12] 方清，赵勇，杨刚，等.基于DHT划分的可扩展分布式本体推理[C]‖第三届亚洲语义网会议论文集.柏林：Springer，2008:91-105
[13] Soma R，Prasanna V K。第37届国际并行处理会议OWL知识库的并行推理[C]‖处理。美国波特兰，2008:75-82
[14] Weaver J，Hendler J A.数亿个三元组有限rdfs闭包的并行物化[C]‖第八届国际语义网络会议论文集。美国华盛顿，2009:682-697
[15] Kotoulas S，Oren E，Van Harmelen F.注意数据倾斜：通过弹性区域的快速约会进行分布式推断[C]‖第19届万维网国际会议论文集。美国医学会，2010:531-540
[16] Tsatsanifos G，Sacharidis D，Sellis T。关于增强分布式RDF/S存储的可扩展性[C]‖第14届国际扩展数据库技术会议论文集。瑞典乌普萨拉，2011:141-152
[17] Muhleisen H，Dentler K.使用群对语义数据进行大规模存储和推理[J]。IEEE计算智能杂志，2012,7（2）：32-44
[18] 吴华，刘杰，叶德，等.基于MapReduce的语义数据可伸缩Horn-Like规则推理[C]‖第七届国际会议论文集（KSEM 2014）。罗马尼亚锡比乌，2014:270-277
[19] 吴华，刘杰，叶德，等。基于MapReduce的语义web推理分布式规则执行机制[C]‖第五届亚太互联网研讨会论文集。美国医学会，2013:6
[20] Liu B，Huang K，Li J，et al.基于MapReduce范式的大规模本体增量分布式推理方法[J]。IEEE控制论汇刊，2015,45（1）：53-64
[21]顾R，王S，王F，等.Cichlid：利用Spark进行高效大规模RDF/OWL推理[C]‖2015 IEEE国际并行与分布式处理研讨会（IPDPS）。IEEE，2015:700-709
[22]Kim J M，Park Y T.可扩展OWL-Horst本体论推理SPARK[C]‖2015年大数据与智能计算国际会议（BigComp）。IEEE，2015:79-86
[23]Zaharia M，Chowdhury M，Franklin M J，et al.Spark：基于工作集的集群计算[J]。热云，2010（10）：10

韵律学

已查看

全文

摘要

引用

共享

讨论

一种基于火花的大规模语义数据分布式推理框架

基于Spark的大规模语义数据分布式推理框架

PDF（PC）

摘要/摘要

引用本文

使用本文

参考文献

相关文章0

韵律学

本文评价

推荐阅读0