研究文章

DBSP：富查询语言的自动增量视图维护

作者:

米哈伊布迪乌,

泰姬（Tej）查杰德,

弗兰克麦克雪莉,

狮子座 Ryzhyk公司、和

瓦尔 Tannen公司作者信息和声明

VLDB捐赠会议记录,体积16,问题7

页1601-1614

https://doi.org/10.14778/35871136.3587137

出版:2023年3月1日出版历史

获取访问权限

摘要

增量视图维护（IVM）一直是数据库理论的中心问题。针对数据库语言的受限类，如关系代数或Datalog，已经提出了许多解决方案。这些技术并不能自然地推广到更丰富的语言。在本文中，我们通过三个步骤给出了这个问题的一个通用的、无启发式的解决方案：（1）我们描述了一种简单但富有表现力的语言DBSP，用于描述数据流上的计算；（2）我们给出了IVM的一个新的数学定义和求解任意DBSP程序IVM的通用算法，（3）我们展示了如何使用DBSP建模许多丰富的数据库查询语言（包括完整关系代数、集合和多集合上的查询、任意嵌套关系、聚合、平面映射（unnest）、，单调和非单调递归、流聚合以及所有这些的任意组合）。SQL和Datalog都可以在DBSP中实现。因此，我们为所有这些语言编写的查询获得了高效的增量视图维护算法。

工具书类

[1]

【未注明日期】。极光项目。http://cs.brown.edu/research/aurora/。上次访问时间：2022年11月。

[2]

【未注明日期】。平方逻辑测试。https://www.sqlite.org/sqllogictest/doc/trunk/about.wiki。上次访问时间：2023年3月。

[3]

马丁·阿巴迪（Martín Abadi）、弗兰克·麦克谢里（Frank McSherry）和戈登·普洛特金（Gordon Plotkin）。2015年，差分数据流基础。在软件科学与计算结构基础（FoSSaCS）。英国伦敦。http://homepages.inf.ed.ac.uk/gdp/publications/differentialweb.pdf

[4]

苏普恩·阿贝辛格、何启阳和蒂亚克·隆普夫。2022.使用相对部分聚合索引（RPAI）高效增量相关嵌套聚合查询。在ACM SIGMOD国际数据管理会议（宾夕法尼亚州费城，美国）。136--149.

数字图书馆

[5]

谢尔盖·阿比特布尔（Serge Abiteboul）、理查德·赫尔（Richard Hull）和维克托·维亚努（Victor Vianu）。1995数据库基础。艾迪森·韦斯利。http://webdam.iria.fr/Alice/

数字图书馆

[6]

亚尼夫·艾哈迈德和克里斯托夫·科赫。DBToaster:Main-Memory数据库中高性能增量处理的SQL编译器。程序。荷兰VLDB。2、2（2009年8月），1566-1569。

数字图书馆

[7]

马里奥·阿尔瓦雷斯·皮卡略（Mario Alvarez-Picallo）、亚历克斯·埃弗斯·泰勒（Alex Eyers-Taylor）、迈克尔·佩顿·琼斯（Michael Peyton Jones）和C.-H.卢克·翁（C.-H.Luke Ong）。2019.修正增量计算。在欧洲编程语言和系统研讨会（ESOP）。捷克共和国布拉格，525-552。https://link.springer.com/chapter/10.1007/978-3-030-17184-1_19

[8]

Krzysztof R.Apt和Jean-Marc Pugin。1987.将分层数据库的维护视为一种信念修正系统。在ACM SIGMOD国际数据管理会议。加利福尼亚州圣地亚哥，136-145。

数字图书馆

[9]

Arvind Arasu、Shivnath Babu和Jennifer Widom。2002流和关系上连续查询的抽象语义和具体语言。2002-57年技术报告。斯坦福信息实验室。http://ilpubs.stanford.edu:8090/563/

[10]

埃德蒙·贝戈利、杰苏斯·卡马乔·罗德里格斯、朱利安·海德、迈克尔·迈尔和丹尼尔·莱米尔。2018年，Apache Calcite：异构数据源上优化查询处理的基础框架。在国际数据管理会议（IDMD）（美国德克萨斯州休斯顿）。221--230.

数字图书馆

[11]

安吉拉·博尼法蒂（Angela Bonifati）、斯蒂芬妮娅·邓布拉娃（Stefania Dumbrava）和埃米利奥·杰苏（Emilio Jesús Gallego Arias）。2018.使用常规数据日志进行认证的图形视图维护。逻辑程序设计的理论与实践18, 3--4 (2018), 372--389.

[12]

Mihai Budiu、Frank McSherry、Leonid Ryzhyk和Val Tannen。2022.DBSP：一种用于表示富查询语言的增量视图维护的语言。https://github.com/vmware/database-stream-processor/blob/main/doc/spec.pdf。

[13]

斯特凡诺·塞里和詹妮弗·维多姆。1991.推导增量视图维护的生产规则。在国际超大数据库会议（VLDB）。西班牙巴塞罗那，577-589。http://www.vldb.org/conf/1991/P577.PDF

[14]

Tej Chajed。2022.DBSP正式化。https://github.com/tchajed/dbsp-theory网站

[15]

苏拉吉特·乔杜里（Surajit Chaudhuri）、拉维·克里希纳穆尔西（Ravi Krishnamurthy）、斯皮罗斯·波塔米亚诺（Spyros Potamianos）和Kyuseok Shim。1995.使用物化视图优化查询。在国际数据工程会议（ICDE）。190--200.

[16]

Rada Chirkova和Jun Yang。2012物化视图。Now Publishers Inc.，美国马萨诸塞州汉诺威。

[17]

Zaheer Chothia、John Liagouris、Frank McSherry和Timothy Roscoe。2016.解释现代数据分析的输出。程序。荷兰VLDB。9，12（2016年8月），1137-1148。

数字图书馆

[18]

莱昂纳多·德·莫拉（Leonardo de Moura）、宋浩刚（Soonho Kong）、杰里米·阿维加德（Jeremy Avigad）、弗洛里斯·范·道恩（Floris van Doorn）和雅各布·冯·劳默（Jakob von Raume。2015.精益定理证明器。在国际自动扣除会议（CADE-25）。德国柏林。

[19]

哈萨纳特·德万（Hasanat M.Dewan）、大卫·奥西（David Ohsie）、萨尔瓦多·J·斯托尔福（Salvatore J.Stolfo）、乌里·沃尔夫森（Ouri Wolfson）和苏希尔·达席尔瓦（Sushil Da Silva）。1992.PARADISER中的增量数据库规则处理。J.智力。信息系统。1, 2 (1992), 177--209.

[20]

J.Nathan Foster、Ravi Konuru、Jerome Simeon和Lionel Villard。2008。XQuery视图维护的代数方法。在ACM SIGPLAN XML编程语言技术研讨会。加利福尼亚州旧金山。

[21]

塞尔吉奥·格雷科和克里斯蒂安·莫里纳罗。2015.数据日志和逻辑数据库。数据管理综合讲座7, 2 (2015), 1--169.

[22]

Todd J Green、Zachary G Ives和Val Tannen。2011.可调节差异。计算系统理论49, 2 (2011), 460--488. https://web.cs.ucdavis.edu/~绿色/papers/tocs11_differences.pdf

数字图书馆

[23]

托德·格林（Todd J.Green）、格里戈里斯·卡沃纳拉基斯（Grigoris Karvounarakis）和瓦尔·坦宁（Val Tannen）。2007年，原产地半环。在数据库系统原理研讨会。中国北京，31-40。

数字图书馆

[24]

蒂莫西·格里芬（Timothy Griffin）和列奥尼德·利金（Leonid Libkin），1995年。具有重复项的视图的增量维护。在ACM SIGMOD国际数据管理会议（美国加利福尼亚州圣何塞）。328--339.

数字图书馆

[25]

Ashish Gupta，Inderpal Singh Mumick等人，1995年。物化视图的维护：问题、技术和应用。IEEE数据工程牛。18, 2 (1995), 3--18.

[26]

Ashish Gupta、Inderpal Singh Mumick和V.S.Subrahmanian。1993.增量维护视图。在ACM SIGMOD国际数据管理会议。美国华盛顿特区，157-166。

数字图书馆

[27]

约翰·哈里森（John V.Harrison）和苏珊娜·迪特里希（Suzanne W.Dietrich）。1992.演绎数据库中物化视图的维护：更新传播方法。在演绎数据库研讨会（技术报告）。华盛顿特区，56-65。

[28]

穆罕默德·伊德里斯（Muhammad Idris）、马丁·乌加特（Martin Ugarte）和斯迪恩·范萨梅伦（Stijn Vansummeren）。2017.动态Yannakakis算法：更新下紧凑高效的查询处理。在ACM SIGMOD国际数据管理会议（美国伊利诺伊州芝加哥）。1259--1274.

数字图书馆

[29]

穆罕默德·伊德里斯（Muhammad Idris）、马丁·乌加特（Martín Ugarte）、斯迪恩·范萨梅伦（Stijn Vansummeren）、汉内斯·沃伊格特（Hannes Voigt）和沃尔夫冈·莱纳（Wolfgang Lehner）。2018年，更新下带有不平等的连接查询。程序。荷兰VLDB。11、7（2018年3月），733--745。

数字图书馆

[30]

穆罕默德·伊德里斯（Muhammad Idris）、马丁·乌加特（Martín Ugarte）、斯迪恩·范萨梅伦（Stijn Vansummeren）、汉内斯·沃伊格特（Hannes Voigt）和沃尔夫冈·莱纳。2019.动态变化数据集的高效查询处理。SIGMOD记录。48，1（2019年11月），33-40。

数字图书馆

[31]

Hojjat Jafarpour、Rohan Desai和Damian Guy。2019.KSQL:Apache Kafka的流式SQL引擎。在国际扩展数据库技术会议（EDBT）。葡萄牙里斯本，524-533。http://openproceedings.org/2019/conf/edbt/EDBT19_paper_329.pdf

[32]

Ahmet Kara、Hung Q.Ngo、Milos Nikolic、Dan Olteanu和Haozhe Zhang。2020年，在更新下维护三角查询。ACM事务处理。数据库系统。第45、3条，第11条（2020年8月），46页。

数字图书馆

[33]

克里斯托夫·科赫。2010.数据库环中的增量查询评估。在数据库系统原理研讨会。印第安纳波利斯，印第安纳州，美国，87-98。

数字图书馆

[34]

Christoph Koch、Daniel Lupei和Val Tannen。2016.集合编程的增量视图维护。在数据库系统原理研讨会。美国加利福尼亚州旧金山，75-90。

数字图书馆

[35]

雅库布·科托夫斯基（Jakub Kotowski）、弗朗索瓦·布里（François Bry）和西蒙·布罗德（Simon Brodt）。2011.公理改变时的推理——重新考虑增量视图维护。在Web推理和规则系统RR（计算机科学讲义，第6902卷）。爱尔兰戈尔韦施普林格，139-154。

[36]

James J.Lu、Guido Moerkotte、Joachim Schü和V.S.Subrahmanian。1995.有效维护具体化的调解意见。在ACM SIGMOD国际数据管理会议。加利福尼亚州圣何塞市，340-351。

数字图书馆

[37]

mathlib社区。2020年，精益数学图书馆。在第九届ACM SIGPLAN认证程序和证明国际会议记录（美国洛杉矶新奥尔良）（CPP 2020）。美国纽约州纽约市计算机协会，367--381。

数字图书馆

[38]

Frank McSherry、Andrea Lattuada、Malte Schwarzkopf和Timothy Roscoe。2020年。共享安排：流数据流的实际查询间共享。程序。荷兰VLDB。第13、10页（2020年6月），1793-1806。

数字图书馆

[39]

Frank McSherry、Derek Gordon Murray、Rebecca Isaacs和Michael Isard。2013.差异数据流。在创新数据系统研究会议。加利福尼亚州阿西洛马尔，12页。https://www.cidrdb.org/cidr2013/Papers/CIDR13_Paper111.pdf

[40]

鲍里斯·莫蒂克（Boris Motik）、亚沃·内诺夫（Yavor Nenov）、罗伯特·皮罗（Robert Piro）和伊恩·霍洛克斯（Ian Horrocks）。2019.重新审查数据日志实体化维护。Artif公司。智力。269 (2019), 76--136.

数字图书馆

[41]

鲍里斯·莫蒂克（Boris Motik）、亚沃·内诺夫（Yavor Nenov）、罗伯特·埃德加·菲利克斯·皮罗（Robert Edgar Felix Piro）和伊恩·霍洛克斯（Ian Horrocks）。2015.数据日志物化的增量更新：向后/向前算法。在人工智能会议（AAAI）。得克萨斯州奥斯汀，1560-1568年。http://www.aaai.org/ocs/index.php/aaai/AAAI15/paper/view/9660

[42]

德里克·穆雷、弗兰克·麦克谢里、丽贝卡·艾萨克斯、迈克尔·伊萨德、保罗·巴勒姆和马丁·阿巴迪。2013年，Naiad：一个及时的数据流系统。在ACM操作系统原理研讨会（SOSP）。宾夕法尼亚州法明顿，439-455。

数字图书馆

[43]

米洛斯·尼科利奇和丹·奥尔特阿努。2018.具有三重锁因子分解优势的增量视图维护。在国际数据管理会议（美国德克萨斯州休斯顿）。365--380.

数字图书馆

[44]

L.R.Rabiner和B.Gold（编辑）。1975数字信号处理的理论与应用。普伦蒂斯·霍尔。

[45]

列奥尼德·雷日克（Leonid Ryzhyk）和米海·布迪乌（Mihai Budiu）。2019.差异数据记录。在数据日志2.0。宾夕法尼亚州费城，12页。http://budiu.info/work/ddlog.pdf

[46]

马丁·斯塔特（Martin Staudt）和马蒂亚斯·贾克（Matthias Jarke），1996年。外部实体化视图的增量维护。在国际超大数据库会议（VLDB）。印度孟买，75-86。http://www.vldb.org/conf/1996/P075.PDF

[47]

Kanat Tangwongsan、Martin Hirzel、Scott Schneider和Kun-Long Wu。2015年，通用增量滑动窗口聚合。程序。荷兰VLDB。2015年2月8日、7日，702--713。

数字图书馆

[48]

王启晨和柯毅。2020年，在更新中维护非循环外国密钥加入。在ACM SIGMOD国际数据管理会议。俄勒冈州波特兰，美国，1225-1239。

数字图书馆

[49]

Ouri Wolfson、Hasanat M.Dewan、Salvatore J.Stolfo和Yechiam Yemini。1991.规则的增量评估及其与并行性的关系。在ACM SIGMOD数据管理国际会议（SIGMOD）。ACM出版社，科罗拉多州丹佛，78-87。

数字图书馆

引用人

布迪乌M查杰德·TMcSherry F公司Ryzhyk L公司坦能五世(2024)DBSP：流的增量计算及其在数据库中的应用ACM SIGMOD记录10.1145/3665252.366527153:1(87-95)在线发布日期：2024年5月14日
https://dl.acm.org/doi/10.1145/366525.23665271
奥尔特阿努DGeerts F公司马滕斯W(2024)增量视图维护中的最近增量第43届数据库系统原理研讨会之友10.1145/3635138.3654763(8-17)在线发布日期：2024年6月9日
https://dl.acm.org/doi/10.1145/3635138.3654763
卡内罗·阿尔夫斯·德利马B克莱默MApinis K公司(2023)差分数据流对高动态环境下数据测井解释的适用性研究2023年第6届人工智能和云计算会议记录10.1145/3639592.3639622(218-225)在线发布日期：2023年12月16日
https://dl.acm.org/doi/10.1145/3639592.3639622

建议

使用外部联接对物化视图进行增量维护

使用外部联接的查询在数据仓库等传统应用程序中经常出现。最近，它们被广泛应用于对象关系映射（ORM）工具、模式集成和信息交换等新兴系统中。。。
阅读更多
嵌入式语言的增量具体语法
SAC’11：2011 ACM应用计算研讨会会议记录

众所周知，嵌入式领域特定语言（EDSL）可以提高开发人员的生产效率。然而，对于许多域，没有可用的DSL实现。两个重要原因是：第一，实现嵌入式DSL的努力提供了领域“。。。
阅读更多
论查询语言的表达能力

讨论了两个主要主题。首先，提出了一种代数方法来定义表达能力的一般概念。异构代数表示信息系统，而形态表示数据库实例之间的对应关系。。。
阅读更多

评论

信息和贡献者

问询处

发布于

VLDB捐赠的封面图片

VLDB捐赠会议记录第16卷第7期

2023年3月

203页

国际标准编号：2150-8097

编辑：
乔治亚·库特里卡
雅典娜研究中心
,
杨军
杜克大学

出版商

VLDB捐赠

出版历史

出版：2023年3月1日

在PVLDB中发布体积16,问题7

检查更新

徽章

可用工件/v1.1

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

三
引文总数
查看引文
116
总下载次数

下载次数（过去12个月）99
下载次数（最近6周）9

其他指标

查看作者指标

引文

引用人

布迪乌M查杰德·TMcSherry F公司Ryzhyk L公司坦能五世(2024)DBSP：流的增量计算及其在数据库中的应用ACM SIGMOD记录10.1145/3665252.366527153:1(87-95)在线发布日期：2024年5月14日
https://dl.acm.org/doi/10.1145/366525.23665271
奥尔特阿努DGeerts F公司马滕斯W(2024)增量视图维护中的最近增量第43届数据库系统原理研讨会之友10.1145/3635138.3654763(8-17)在线发布日期：2024年6月9日
https://dl.acm.org/doi/10.1145/3635138.3654763
卡内罗·阿尔夫斯·德利马B克莱默MApinis K公司(2023)差分数据流对高动态环境下数据测井解释的适用性研究2023年第6届人工智能和云计算会议记录10.1145/3639592.3639622(218-225)在线发布日期：2023年12月16日
https://dl.acm.org/doi/10.1145/3639592.3639622

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子

查看问题目录