摘要
补充材料
Abadi，D.J.、Carney，D.、Chetintemel，U.、Cherniack，M.、Convey，C.、Lee，S.、Stonebraker，M.，Tatbul，N.和Zdonik，S.Aurora：数据流管理的新模型和架构。 VLDB（2003）。 谷歌学者 
数字图书馆 
Akidau，T.、Balikov，A.、Bekiroglu，K.、Chernyak，S.、Haberman，J.、Lax，R.、McVeety，S.，Mills，D.、Nordstrom，P.和Whittle，S.Millwheel:互联网规模下的容错流处理。 VLDB（2013），第734-746页。 谷歌学者 数字图书馆 Akidau，T.、Bradshaw，R.、Chambers，C.、Chernyak，S.、Fernández-Moctezuma，R.J.、Lax，R.，McVeety，S.，Mills，D.、Perry，F.、Schmidt，E.和Whittle，S.。数据流模型：在大规模、无界、无序数据处理中平衡正确性、延迟和成本的实用方法。 VLDB（2015），1792-1803。 谷歌学者 数字图书馆 Ananthanarayanan，G.，Ghodsi，A.，Shenker，S.，和Stoica，I.，有效的分散者缓解：克隆人的攻击。 在NSDI（2013）中。 谷歌学者 数字图书馆 Ananthanarayanan，G.、Ghodsi，A.、Wang，A.、Borthakur，D.、Kandula，S.、Shenker，S.和Stoica，I.Pacman：并行作业的协调内存缓存。 在NSDI（2012）中。 谷歌学者 数字图书馆 Ananthanarayanan，G.、Kandula，S.、Greenberg，A.、Stoica，I.、Lu，Y.、Saha，B.和Harris，E.使用Mantri对Map-Reduce集群中的异常值进行Reining。《OSDI》（2010）。 谷歌学者 数字图书馆 Apache Hadoop NextGen MapReduce（YARN）。 2013年9月24日检索，URL: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/yarn.html。 谷歌学者 Armbrust，M.、Xin，R.S.、Lian，C.、Huai，Y.、Liu，D.、Bradley，J.K.、Meng，X.、Kaftan，T.、Franklin，M.J.、Ghodsi，A.等人。《Spark SQL：Spark中的关系数据处理》。SIGMOD（2015）。 谷歌学者 数字图书馆 Bingmann，T.，Axtmann，M.，Jöbstl，E.，Lamm，S.，Nguyen，H.C.，Noe，A.，Schlag，S.、Stumpp，M.、Sturm，T.和Sanders，P.Thrill:使用C++进行高性能算法分布式批处理。 CoRR abs/1608.05634（2016）。 谷歌学者 Boncz，P.A.、Zukowski，M.和Nes，N.Monetdb/x100：超管道查询执行。 CIDR（2005），第5卷，第225-237页。 谷歌学者 Boutin E.、Ekanayake J.、Lin W.、Shi B.、Zhou J.、Qian Z.、Wu M.和Zhou L.Apollo:云计算的可伸缩协调调度。 在OSDI（2014）中。 谷歌学者 数字图书馆 Brakmo，L.S.和Peterson，L.L.TCP Vegas:全球互联网上的端到端拥塞避免。 IEEE通信领域选择期刊13，8（1995年10月），1465-1480。 谷歌学者 数字图书馆 Carbone，P.、Fóra，G.、Ewen，S.、Haridi，S.和Tzoumas，K.分布式数据流的轻量级异步快照。 CoRR abs/1506.08603（2015）。 谷歌学者 Carbone，P.、Katsifodimos，A.、Ewen，S.、Markl，V.、Haridi，S.和Tzoumas，K.Apache Flink：单引擎中的流和批处理。 IEEE数据工程公告（2015）。 谷歌学者 Chaiken，R.、Jenkins，B.、Larson，P.奥勒、。， Ramsey，B.、Shakib，D.、Weaver，S.和Zhou，J.SCOPE：简单高效的大规模数据集并行处理。 VLDB（2008），1265--1276。 谷歌学者 数字图书馆 Chambers，C.、Raniwala，A.、Perry，F.、Adams，S.、Henry，R.、Bradshaw，R.和Nathan。 FlumeJava：简单、高效的数据并行管道。 PLDI（2010）。 谷歌学者 数字图书馆 Chandrasekaran，S.、Cooper，O.、Deshpande，A.、Franklin，M.J.、Hellerstein，J.M.、Hong，W.、Krishnamurthy，S.R.、Madden，S.R.、Reiss，F.和Shah，M.A.电报CQ：连续数据流处理。 在SIGMOD（2003）中，ACM。 谷歌学者 数字图书馆 Chandy，K.M.和Lamport，L.分布式快照：确定分布式系统的全局状态。 美国计算机学会计算机系统学报（TOCS）3，1（1985），63-75。 谷歌学者 数字图书馆 Chowdhury，M.、Zaharia，M.，Ma，J.、Jordan，M.I.和Stoica，I.与管弦乐队一起管理计算机集群中的数据传输。 在SIGCOMM（2011）中。 谷歌学者 数字图书馆 Das，T.、Zhong，Y.、Stoica，I.和Shenker，S.使用动态批量调整的自适应流处理。 SOCC（2014）。 谷歌学者 数字图书馆 扩展雅虎！ 流媒体基准。 http://data-artisans.com/extending-the-yahoo-streaming-benchmark。 谷歌学者 Apache Spark中的结构化流媒体：一种新的流媒体高级API。 https://databricks.com/blog/2016/07/28/structured-streaming-in-apache-spark.html。 谷歌学者 Datanami公司。 卡夫卡在LinkedIn网站上的每日信息量超过1万亿条。 https://goo.gl/cY7VOz。 谷歌学者 Dean，J.和Ghemawat，S.MapReduce：大型集群上的简化数据处理。 ACM通讯51，1（2008）。 谷歌学者 数字图书馆 Dragojević，A.、Narayanan，D.、Nightingale，E.B.、Renzelmann，M.、Shamis，A.，Badam，A.和Castro，M.。无妥协：具有一致性、可用性和性能的分布式事务。 SOSP（2015）。 谷歌学者 数字图书馆 Floratou，A.、Agrawal，A.、Graham，B.、Rao，S.和Ramasamy，K.Dhalion：苍鹭的自我调节流处理。 VLDB捐赠会议记录10，12（2017），1825-1836。 谷歌学者 数字图书馆 Ford，D.、Labele，F.、Popovici，F.I.、Stokely，M.、Truong，V.-A.、Barroso，L.、Grimes，C.和Quinlan，S.在全球分布式存储系统中的可用性。 OSDI（2010），第61-74页。 谷歌学者 数字图书馆 Ghodsi，A.、Zaharia，M.、Hindman，B.、Konwinski，A.，Shenker，S.和Stoica，I.主导资源公平：多种资源类型的公平分配。 在NSDI（2011）中。 谷歌学者 数字图书馆 Graefe，G.火山查询处理系统中并行性的封装。 在SIGMOD（1990）中，第102-111页。 谷歌学者 数字图书馆 Gray，C.和Cheriton，D.Leases:分布式文件缓存一致性的高效容错机制。 SOSP（1989），第202-210页。 谷歌学者 数字图书馆 Grosvenor，M.P.，Schwarzkopf，M.，Gog，I.，Watson，R.N.M.，Moore，A.W.，Hand，S.和Crowcroft，J.Queues不在乎你什么时候可以跳过它们！ 在NSDI（2015）中。 谷歌学者 数字图书馆 Hindman，B.、Konwinski，A.、Zaharia，M.、Ghodsi，A.，Joseph，A.D.、Katz，R.、Shenker，S.和Stoica，I.Mesos：数据中心细粒度资源共享平台。 在NSDI（2011）中。 谷歌学者 数字图书馆 Isard，M.和Abadi，M.Falkirk wheel:数据流系统的回滚恢复。 arXiv预印本arXiv:153.08877（2015）。 谷歌学者 Isard，M.、Budiu，M.、Yu，Y.、Birrell，A.和Fetterly，D.Dryad：来自顺序构建块的分布式数据并行程序。 在Eurosys（2007）中。 谷歌学者 数字图书馆 Isard，M.、Prabhakaran，V.、Currey，J.、Wieder，U.、Talwar，K.和Goldberg，A.Quincy：分布式计算集群的公平调度。 SOSP（2009）。 谷歌学者 数字图书馆 雅各布森，V.拥堵避免和控制。 ACM SIGCOMM计算机通信评论18，4（1988），314--329。 谷歌学者 数字图书馆 Jiang，J.、Sekar，V.、Milner，H.、Shepherd，D.、Stoica，I.和Zhang，H.CFA:视频QoE优化的实用预测系统。 在NSDI（2016）中，第137-150页。 谷歌学者 数字图书馆 Johnston，W.M.、Hanna，J.和Millar，R.J.数据流编程语言进展。 ACM计算调查（CSUR）36，1（2004），1-34。 谷歌学者 数字图书馆 Ke，Q.，Isard，M.和Yu，Y.Optimus：数据并行执行计划的动态重写框架。 在Eurosys（2013）中，第15-28页。 谷歌学者 数字图书馆 Kreps，J.、Narkhede，N.、Rao，J.等人。Kafka：用于日志处理的分布式消息传递系统。 在NetDB（2011）中。 谷歌学者 Kulkarni，S.、Bhagat，N.、Fu，M.、Kedigehalli，V.、Kellogg，C.、Mittal，S.，Patel，J.M.、Ramasamy，K.和Taneja，S.推特苍鹭：大规模流处理。 在SIGMOD（2015）中，第239--250页。 谷歌学者 数字图书馆 Lin，W.，Qian，Z.，Xu，J.，Yang，S.，Zhou，J，and Zhow，L.Streamscope：大数据流的连续可靠分布式处理。 在NSDI（2016）中，第439-453页。 谷歌学者 数字图书馆 Mashayekhi，O.、Qu，H.、Shah，C.和Levis，P.，可扩展的快速云计算，带执行模板。 CoRR abs/1606.01972（2016）。 谷歌学者 McSherry，F.、Isard，M.和Murray，D.G.可扩展性！ 但代价是什么？ 第十五届操作系统热点研讨会（HotOS XV）（2015年）。 谷歌学者 数字图书馆 Meisner，D.、Sadler，C.M.、Barroso，L.A.、Weber，W.-D.和Wenisch，T.F.在线数据密集型服务的电源管理。 ISCA（2011）。 谷歌学者 数字图书馆 流分析SLA。 https://azure.microsoft.com/en-us/support/legal/sla/stream-analytics/v1_0/。 谷歌学者 Motwani，R.、Widom，J.、Arasu，A.、Babcock，B.、Babu，S.、Datar，M.、Manku，G.、Olston，C.、Rosenstein，J.和Varma，R.数据流管理系统中的查询处理、资源管理和近似。 CIDR（2003）。 谷歌学者 Murray，D.G.、McSherry，F.、Isaacs，R.、Isard，M.、Barham，P.和Abadi，M.Naiad：一个及时的数据流系统。 SOSP（2013），第439-455页。 谷歌学者 数字图书馆 Murray，D.G.、Schwarzkopf，M.、Smowton，C.、Smith，S.、Madhavapedy，A.和Hand，S.Ciel：分布式数据流计算的通用执行引擎。 在NSDI（2011）中，第113-126页。 谷歌学者 数字图书馆 螳螂流处理。 http://techblog.netflix.com/2016/03/stream-processing-with-mantis.html。 谷歌学者 Ousterhout，K.，Panda，A.，Rosen，J.，Venkataraman，S.，Xin，R.，Ratnasamy，S.、Shenker，S.和Stoica，I.计算集群中微小任务的情况。 在HotOS（2013）中。 谷歌学者 数字图书馆 Ousterhout，K.、Wendell，P.、Zaharia，M.和Stoica，I.Sparrow：分布式低延迟调度。 在SOSP（2013）中，第69-84页。 谷歌学者 数字图书馆 Rech，B.、Re，C.、Wright，S.和Niu，F.Hogwild！： 一种并行化随机梯度下降的无锁方法。 《神经信息处理系统进展》（2011年），第693-701页。 谷歌学者 数字图书馆 Schelter，S.、Ewen，S.，Tzoumas，K.和Markl，V.。条条大路通罗马：分布式迭代数据处理的乐观恢复。 在CIKM（2013）中。 谷歌学者 数字图书馆 Selinger，P.G.、Astrahan，M.M.、Chamberlin，D.D.、Lorie，R.A.和Price，T.G.关系数据库管理系统中的访问路径选择。 在SIGMOD（1979）中，第23-34页。 谷歌学者 数字图书馆 Stonebraker，M.、Ch etintemel，U.和Zdonik，S.实时流处理的8项要求。 SIGMOD记录34，4（2005年12月），42-47。 谷歌学者 数字图书馆 Toshniwal，A.、Taneja，S.、Shukla，A.、Ramasamy，K.、Patel，J.M.、Kulkarni，S.，Jackson，J.、Gade，K.，Fu，M.、Donham，J.等。推特上的风暴。 在SIGMOD（2014）中。 谷歌学者 Twitter的可观察性：技术概述。 https://goo.gl/wAHi2I。 谷歌学者 Apache Spark，为下一波反应性大数据做准备。 http://goo.gl/FqEh94。 谷歌学者 Verma，A.、Cho，B.、Zea，N.、Gupta，I.和Campbell，R.H.打破mapreduce阶段障碍。 集群计算16，1（2013），191--206。 谷歌学者 数字图书馆 Verma，A.、Pedrosa，L.、Korupolu，M.、Oppenheimer，D.、Tune，E.和Wilkes，J.《谷歌与borg的大规模集群管理》（2015）。 谷歌学者 数字图书馆 Yadwadkar，N.J.、Ananthanarayanan，G.和Katz，R.Wrangler：可预测且更快的工作，使用更少的资源。 SOCC（2014）。 谷歌学者 数字图书馆 雅虎流计算引擎基准测试！ https://yahooeng.tumblr.com/post/135321837876。 谷歌学者 Yu，Y.、Isard，M.、Fetterly，D.、Budiu，M.和Erlingsson，美国。， Gunda，P.和Currey，J.Dryadlinq：使用高级语言进行通用分布式数据并行计算的系统。 OSDI（2008）。 谷歌学者 数字图书馆 Zaharia，M.、Borthakur，D.、Sen Sarma，J.、Elmelegy，K.、Shenker，S.和Stoica，I.延迟调度：在集群调度中实现局部性和公平性的简单技术。 在Eurosys（2010）中。 谷歌学者 数字图书馆 Zaharia，M.、Chowdhury，M.，Das，T.、Dave，A.、Ma，J.、McCaley，M.和Franklin，M.以及Shenker，S.和Stoica，I.弹性分布式数据集：内存集群计算的容错抽象。 在NSDI（2012）中。 谷歌学者 数字图书馆 Zaharia，M.、Das，T.、Li，H.、Hunter，T.，Shenker，S.和Stoica，I.离散流：大规模容错流计算。 SOSP（2013）。 谷歌学者 数字图书馆 Zhang，T.、Chowdhery，A.、Bahl，P.V.、Jamieson，K.和Banerjee，S.无线视频监控系统的设计和实现。 《第21届移动计算与网络国际年会论文集》（2015），ACM，第426-438页。 谷歌学者 数字图书馆
索引术语
小雨：大规模快速适应性水流处理
建议
ReHype:在虚拟机监控程序出现故障时支持虚拟机生存 VEE’11：第七届ACM SIGPLAN/SIGOPS虚拟执行环境国际会议记录 对于现有的虚拟化系统，虚拟机监控程序故障会导致整个系统故障，并导致系统上运行的虚拟机（VM）的所有正在进行的工作丢失。 我们引入ReHype，一种通过以下方式从虚拟机监控程序故障中恢复的机制。。。 减少微备份流工作负载中的尾部延迟 SoCC’17：2017年云计算研讨会论文集 Spark Streaming将数据流离散化为微备份，每个微备份进一步细分为任务并并行处理，以提高作业吞吐量。 之前的工作[2,3]降低了Spark Streaming中的端到端延迟。 然而，两个。。。
