×

兹马思-数学第一资源

查询引擎中基于推拉的循环融合。(英语) Zbl公司 06913648
摘要:数据库查询引擎使用基于拉或基于推的方法来避免跨查询运算符的数据物化。本文对这两种类型的查询引擎进行了深入的研究,指出了每种引擎的局限性和优势。类似地,编程语言社区已经开发了循环融合技术,以删除集合编程上下文中的中间集合。通过演示流水线查询引擎和循环融合技术之间的联系,我们将数据库(DB)和编程语言(PL)研究进行了比较。基于这种联系,我们提出了一种新型的基于拉的引擎,其灵感来自于环路融合技术,它结合了两种方法的优点。然后,我们第一次在公平的环境中,在查询编译的上下文中实验性地评估各种引擎,消除了传统上只用于其中一种方法的辅助优化的偏差影响。我们表明,对于实际的分析工作负载,与最近的研究相比,这两种形式的管道查询引擎都没有明显的优势。此外,通过使用微基准测试,我们展示了某种方法或另一种方法表现更好的某些边缘情况,我们表明我们提出的引擎通过结合两种方法的优点来控制现有引擎。
理学硕士:
68N18 函数规划与lambda演算
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 阿巴迪,D.,马登,S.&费雷拉,M(2006)在面向列的数据库系统中集成压缩和执行。2006年ACM SIGMOD国际数据管理会议记录。ACM,第671-682页。
[2] 阿巴迪,D。J、 ,迈尔斯,D。S、 ,德维特,D。J、 和马登,S。R(2007)面向列的DBMS中的物化策略。IEEE第23届国际数据工程会议论文集,ICDE 2007。IEEE,第466-475页。
[3] 艾哈迈德,Y。;Koch,C.,DBToaster:用于在主存数据库中进行高性能增量处理的SQL编译器,PVLDB,21566-1569,(2009)
[4] 阿姆布鲁斯特,M.,辛,R。S、 ,Lian,C.,Huai,Y.,Liu,D.,布拉德利,J。K、 ,Meng,X.,Kaftan,T.,富兰克林,M。J、 戈德西,A.&扎哈里亚,M(2015)Spark SQL:Spark中的关系数据处理。在15年SIGMOD会议上。美国纽约:ACM。
[5] 福瑞斯,伯拉迪斯斯马拉格达基斯,Y(2015)溪流à 点菜:对象代数的可扩展管道。第29届欧洲面向对象编程会议论文集,第页。591
[6] Binnig,C.,Hildenbrand,S.和Fä罗贝尔,F(2009)针对主存列存储的基于字典的保序字符串压缩。在2009年SIGMOD会议记录中。ACM,第283-296页。
[7] Bö嗯,C。;Berarducci,A.,类型的自动合成λ-关于项代数的程序,理论。计算机。科学,39135-154,(1985年)·Zbl公司 597.68017
[8] 布雷祖坦南,V。;Subrahmannyam,R.,《使用集合/包/列表编程的逻辑和计算方面》(1991),Springer·Zbl公司 769.68080
[9] 布雷祖坦南,V。;布内曼,P。;《自然嵌入查询语言》(1992),施普林格
[10] 布赫洛夫斯基,P。;Thielecke,H.,《访客模式的类型理论重构》,《电子》。理论笔记。计算机。科学,155309-329,(2006)·Zbl公司 1273.68079
[11] Chhugani,J。;阮,A。D、 。;李,V。W、 。;梅西,W。;哈戈,M。;陈永康。;巴兰西,A。;库马尔,S。;Dubey,P.,多核SIMD CPU体系结构上排序的高效实现,PVLDB,1313-1324,(2008)
[12] 崔,J.-D。;古普塔,M。;塞拉诺,M。;斯雷德哈,V。C、 。;Midkiff,S.,《java转义分析》,ACM SIGPLAN Notices,34,1-19,(1999年)
[13] 库茨,D.,莱什钦斯基,R.&斯图尔特,D(2007)流融合。从列表到流再到什么都没有。在2007年ICFP会议记录中。
[14] 克罗蒂,A.,加拉卡托斯,A.,杜尔松,K.,克拉斯卡,T。,Ç埃蒂特梅尔,U.&兹多尼克,S。B(2015年)Tupleware:“大”数据、大分析、小集群。在CIDR诉讼中。
[15] 迪亚科努,C.,弗里德曼,C.,伊斯默特,E.,拉尔森,P.-A.,米塔尔,P.,斯通密码,R.,维尔马,N.&Zwilling,M(2013)Hekaton:SQL server的内存优化OLTP引擎。2013年ACM SIGMOD国际数据管理会议记录,SIGMOD'13。美国纽约:ACM,第1243-1254页。
[16] 埃米尔,B.,奥德斯基,M.&威廉姆斯,J(2007)用模式匹配对象。在2007年经济合作组织会议上。柏林,海德堡:斯普林格·维拉格。
[17] 费加拉,L。;Maier,D.,使用有效微积分优化对象查询,TODS,25457-516,(2000)·Zbl公司 1136.68380
[18] Gedik,B.,Andrade,H.,Wu,K.-L.,Yu,P.&杜,M(2008)SPADE:系统的安全流处理引擎。在SIGMOD会议记录中。
[19] 吉本斯,J。;奥利维拉,B。C。D。S、 ,迭代器模式的本质,J。功能。计划,2009年7月19日,(402-377)·Zbl公司 1191.68160
[20] 吉尔,A.,Launchbury,J.&佩顿琼斯,S。L(1993年)砍伐森林的捷径。在FPCA的诉讼中。ACM公司。
[21] Graefe,G.,Volcano–一个可扩展的并行查询评估系统,IEEE Trans。知道。数据工程,6120-135,(1994)
[22] Graefe,G.,大型数据库的查询评估技术,CSUR,2573-169,(1993)
[23] 格鲁斯特,T。;《如何从功能上理解查询》,J。因特尔。通知。系统,12191-218,(1999)
[24] 格鲁斯特,T.,迈尔,M.,里丁格,J.&施赖伯,T(2009)FERRY:数据库支持的程序执行。2009年SIGMOD会议记录。ACM公司。
[25] 格鲁斯特,T。;里丁格,J。;Schreiber,T.,雪崩安全LINQ编译,PVLDB,31262-172,(2010)
[26] 赫尔斯坦,J。M、 。;Stonebraker,M。;汉密尔顿,J.,一个数据库系统的架构,发现。趋势® 数据库,1141-259,(2007年)·Zbl公司 1183.68245
[27] Hinze,R.,Harper,T.和詹姆斯,D。W。H(2011)融合理论与实践。在第22届国际功能语言应用与应用会议记录中,IFL'10。柏林,海德堡:斯普林格·韦拉格,第19-37页。
[28] 赫泽尔,M。;灵魂é, R、 。;施耐德S。;盖迪克,B。;Grimm,R.,《流处理优化目录》,ACM Comput。Surv.,46,46:1-46:34,(2014年)
[29] 霍弗,C.&奥斯特曼,K(2010)scala中模块化的领域特定语言组件。第九届生成式程序设计与组件工程国际会议论文集,GPCE'10。美国纽约:ACM,第83-92页。
[30] Hudak,P.,构建领域特定的嵌入式语言,ACM计算机。Surv.,28,196,(1996年)
[31] 伊德里欧公司。;格罗芬,F。;不另说明,N。;曼格尔德。;穆伦德,S。K、 。;克尔斯滕,M。五十、 《MonetDB:面向列数据库体系结构的二十年研究》,IEEE Data Eng.Bull.,35,40-45,(2012年)
[32] 琼斯,S。L。P、 ,霍尔,C.,哈蒙德,K.,帕坦,W.&韦德勒,P(1993)格拉斯哥-哈斯克尔编译器:技术概述。英国信息技术联合框架论文集,技术会议,第93卷。城市人。
[33] Jonnalagedda,M.和斯图基,S(2015)Fold-based fusion as a library:生成性编程明珠。第六届ACM-SIGPLAN学术讨论会论文集。ACM,第41-50页。
[34] Karpathiotakis,M.,Alagiannis,I.,Heinis,T,Branco,M.和Ailamaki,A(2015)实时数据虚拟化:使用ViDa进行轻量级数据管理。在CIDR诉讼中。
[35] Karpathiotakis,M.,阿拉吉安尼斯,I.&Ailamaki,A(2016)通过引擎定制快速查询异构数据。VLDB捐赠记录9(12),972-983。14710.299.4578美元/299.45美元
[36] Klonatos,Y.,科赫,C.,Rompf,T.&查菲,H(2014a)用高级语言构建高效的查询引擎。PVLDB7(10),853-864。
[37] Klonatos,Y.,科赫,C.,Rompf,T.&查菲,H(2014b)“用高级语言构建高效查询引擎”勘误表7(10):853-864。PVLDB7(13),1784-1784年。
[38] 科赫,C(2010)数据库环中的增量查询评估。在2010年PODS会议记录中。ACM公司。
[39] Koch,C.,《数据库系统建设中无遗憾的抽象:宣言》,IEEE数据工程,Bull.,37,70-79,(2014)
[40] 科赫,C。;艾哈迈德,Y。;肯尼迪,O。;尼科利奇,M。;Nötzli,A。;卢佩,D。;Shaikhha,A.,DBToaster:动态、频繁刷新视图的高阶增量处理,Vldbj,23253-278,(2014)
[41] 克里凯拉斯,K.,维格拉斯,S.&辛特拉,M(2010)为整体查询求值生成代码。ICDE会议记录,第613-624页。
[42] 李,Z。;罗斯,K。A、 《使用连接索引的快速连接》,VLDB J.,8,1-24,(1999)
[43] 洛莉,R。A、 ,XRM:扩展(N元)关系内存,(1974),IBM
[44] 大陆,G.,Leshchinskiy,R.&佩顿琼斯,S(2013)利用广义流融合开发向量指令。在ICFP’13会议记录中。美国纽约:ACM·Zbl公司 1323.68133
[45] Meijer,E.,Beckman,B.和比尔曼,G(2006)LINQ:在.NET框架中协调对象、关系和XML。在2006年SIGMOD会议记录中。ACM公司。
[46] 默里,D。G、 ,伊萨德,M.&Yu,Y(2011)Steno:声明性查询的自动优化。在11年的诉讼中。美国纽约:ACM。
[47] 纳格尔,F。;比尔曼,G。;维格拉斯,S。D、 《托管运行时中高效查询处理的代码生成》,PVLDB,71095-1106,(2014)
[48] Neumann,T.,为现代硬件高效地编译查询计划,PVLDB,4539-550,(2011)
[49] Padmanabhan,S.,Malkemus,T.,Jhingran,A.&阿加瓦尔,R(2001)现代计算机体系结构中关系数据库操作的面向块的处理。ICDE会议记录,第567-574页。
[50] 帕雷丹斯,J.&古赫特,D。五(1988)在嵌套代数表达式中使用平面运算符的可能性和局限性。第七届ACM SIGACT-SIGMOD-SIGART数据库系统原理研讨会论文集,1988年3月21-23日,美国德克萨斯州奥斯汀,第29-38页。
[51] 帕克,Y.,Seo,S.,Park,H.,Cho,H。K、 和马尔克,S(2012)SIMD碎片整理程序:在数据并行架构上实现高效的ILP。ACM SIGARCH计算机体系结构新闻,第40卷。ACM,第363-374页。
[52] 佩顿琼斯,S.,莱辛斯基,R.,凯勒,G.&查克拉瓦蒂山,M(2008)利用多核:Haskell中的嵌套数据并行性。在《利普斯-莱布尼茨国际信息学会议录》,第2卷。施洛斯·达格斯图尔·莱布尼兹Zentrum fü情报员·Zbl公司 1248.68134
[53] 皮尔斯,B。C、 《类型和编程语言》(2002),麻省理工学院出版社
[54] 美国奥兰多州拉格哈文市Polychroniou罗斯,K。A(2015)反思内存数据库的SIMD矢量化。2015年ACM SIGMOD国际数据管理会议记录,SIGMOD’15。美国纽约:ACM,1493-1508页。
[55] Schuh,S.,Chen,X.和迪特里希,J(2016)13个关系equi连接在主内存中的实验比较。在16年SIGMOD会议记录中。美国纽约:ACM,1961-1976页。
[56] 谢赫,A。;克洛纳托斯,Y。;《用高级语言构建高效的查询引擎》,Trans。数据库系统,43,(2018年)
[57] Shaikhha,A.,Klonatos,Y.,Parroux,L.,Brown,L.,Dashti,M.&科赫,C(2016)如何构建查询编译器。在16年SIGMOD会议记录中。
[58] 瑟瑟发抖可能,M(2006)延续和传感器组成。在2006年的诉讼中。ACM公司·Zbl公司 1321.68350
[59] Stonebraker,M.,阿巴迪,D。J、 ,Batkin,A.,Chen,X.,Cherniack,M.,Ferreira,M.,Lau,E.,Lin,A.,Madden,S.,O'Neil,P.,Rasin,A.,Tran,N.&兹多尼克,S(2005)C-store:一个面向列的DBMS。在2005年VLDB会议记录中。VLDB捐赠。
[60] Svenningsson,J(2002)参数积累的快捷融合&类zip函数。在2002年ICFP会议记录中。ACM公司·Zbl公司 1322.68050
[61] 蒂贝茨,R.,杨,S.,麦克尼尔,R.&雷德佐夫斯基(2011)StreamBase LiveView:基于推送的实时分析。《StreamBase系统学报》(2012年1月)。
[62] (2017年)
[63] 特里德,P(1992)理解,DBPLs的查询符号。第三届DBPL研讨会论文集,DBPL3。旧金山,加利福尼亚州,美国:摩根考夫曼出版社公司,第55-68页。
[64] 韦尔德胡岑,T。L(2014)Leapfrog triejoin:一种简单、最坏情况下的最优连接算法。2014年3月24日至28日,希腊雅典,第17届数据库理论国际会议论文集。
〔65〕 维格拉斯。;比尔曼,G。M、 。;Nagel,F.,通过在托管运行时生成命令性代码来处理声明性查询,IEEE数据工程,Bull.,37,12-21,(2014)
[66] 弗利塞德斯,J。;赫尔姆,右。;约翰逊,R。;《设计模式:可重用面向对象软件的元素》,阅读:Addison Wesley,49,11,(1995)
[67] 韦德勒,P(1988年)毁林:改造计划以消除树木。在88年职工持股计划的程序中。斯普林格,第344-358页·Zbl公司 701.68013
[68] 韦德勒,P(1990)理解单子。在1990年ACM会议上关于LISP和函数编程的会议记录,LFP'90。美国纽约:ACM,第61-78页·Zbl公司 798.68040
〔69〕 Zaharia,M.,Chowdhury,M.,Das,T.,Dave,A.,Ma,J.,M.,Mccauley,M.,富兰克林,M。J、 斯多克,S(2012)弹性分布式数据集:内存集群计算的容错抽象。在NSDI'12会议记录中。USENIX协会。
[70] 周杰罗斯,K。A(2002)使用SIMD指令实现数据库操作。在2002年SIGMOD会议记录中。美国纽约:ACM。
[71] 祖科夫斯基,M。;邦茨,P。A、 。;不另说明,N。;Héman,S.,MonetDB/X100-CPU缓存中的DBMS,IEEE数据工程,28,17-22,(2005)
[72] Zukowski,M.,Heman,S.,Nes,N.和Boncz,P(2006)超级标量RAM-CPU缓存压缩。第22届国际数据工程会议记录,ICDE'06。华盛顿特区,美国:IEEE计算机学会。59
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。