多提供者对等内容交付网络中动态负载共享的资源发现和请求重定向

https://doi.org/10.1016/j.jnca.2009.03.003获取权限和内容

摘要

一个星座内容交付网络(CDN),称为对等CDN,当传入的请求负载对单个提供者来说是压倒性的时,努力保证足够的传递性能。就网络成本而言,即使在高负载条件下,也可以为每个用户提供最佳的Web服务器。在理解之前,应该建立适当的资源发现和请求重定向机制,再加上最佳服务器选择策略,以执行高度倾斜负载的分配。本文通过采用分布式资源发现和动态请求重定向机制,并考虑流量负载和网络邻近性,设计了一种有效的负载分配策略。负载分配策略对任何主CDN服务器中的过载情况作出反应,并立即将负载分配到目标服务器,从而最大限度地降低网络成本并遵守实际限制。在这种情况下,我们使用了一个异步资源发现协议,这让人联想到公共/订阅概念,并制定了由此产生的重定向方案。大量的仿真分析证明了我们方法的新颖性。特别是,我们证明了我们的方法通过保持局部性来有效地处理高负载偏差,从而实现服务的“响应性”。我们还进行了敏感性分析,以表明我们的重定向方案在处理峰值负载方面优于其他方案。

介绍

内容交付网络(CDN)(Buyya等人,2008年;Pallis和Vakali,2006年)发展成为一种解决互联网服务退化的解决方案,例如,由于最终用户对Web访问服务提出了大量需求,导致拥塞和瓶颈。为了有效运行,CDN通常需要通过过度配置其容量或根据需要利用外部资源来打破系统孤岛以提高利用率。通过全球覆盖提供高质量服务的要求可以通过CDN群实现,称为“对等CDN”(Pathan等人,2007年)。这种利用现有基础设施的协作不仅从可达性角度,而且从质量和性能角度来看都很重要。可以短期或长期观察CDN之间的对等,以处理工作负载变化。

对等CDN系统中对等的成功和内容交付操作的有效性取决于其执行资源发现,服务器选择动态请求重定向在退化负载条件下(例如闪发人群)。资源发现过程指定如何发现不同CDN提供的外部资源。有效的服务器选择策略可确定最适合满足用户请求的负载不足的边缘服务器。服务器选择阶段通常选择与请求用户“最近”的最佳服务器。动态请求重定向机制有助于将用户请求定向到目标边缘服务器,以缓解负载不平衡的情况。这些阶段可以交错进行,以通过对多提供者对等CDN系统中的过载情况作出反应来共同执行负载分配,从而努力实现可扩展性。

此前的许多研究(Cardellini等人,1999a,Cardelline等人,1999b;Colajanni等人,1998;Conti等人,2001;Harchol-Balter等人,1999;Lamnitchi和Foster,2003;Schwartz等人,1992;Shnayder,2003;Zhu和Hu,2005)都专注于为分布式Web服务器设计资源发现和重定向算法,覆盖网络、互联网、大规模网格和基于对等(P2P)的系统。然而,由于需要处理动态环境,它们不能直接应用于对等CDN中的负载平衡,因此需要有关广泛分布的资源的最新信息。此外,提供者应该快速了解可用资源,而不需要使用过多的通信,并且可以重复使用资源发现和重定向算法来获取更新的资源状态信息。还有其他挑战,包括多个提供商的虚拟化,以及基于成本、性能和负载将来自过载提供商的请求卸载到其负载不足的对等方。在这种协作式多提供者环境中,请求被定向到跨多个CDN部署的服务器集,而不是属于单个实体的单个服务器。因此,必须在跨越多个CDN的分布式服务器集上进行资源发现和请求重定向,而不需要完整的状态信息。

在本文中,我们提出分布式的资源发现和动态有效负载分配策略的请求重定向算法。我们的目标是:(i)通过将多余的请求重定向到负载最轻的Web服务器,在流量激增的情况下执行动态负载分配,从而将用户绑定到最佳副本(及时性); (ii)在过载条件下(例如蜂拥而至的突发访问); (iii)扩展到分散在全球的分布式CDN间资源(动态查找); (iv)维持对当地资源及其所在州的行政控制(资源封装).

具体来说,用于帮助资源发现的通信协议保守地实现了公共/订阅范式。公共/订阅概念的使用致力于感知可伸缩性和与其他系统操作的完全脱钩;由于资源发现的异步特性,可能采用“离线”方法;和间接寻址以实现负载平衡。负载分配策略的核心是考虑流量负载和网络邻近性的重定向方案。在我们的方法中,通过一个异步反馈机制网络接近度使用pinger逻辑低消息开销。为了评估我们的方法的性能,开发了一个捕获关键系统组件的仿真模型。实验结果表明,即使在重负载情况下,也可以达到可接受的吞吐量水平,并且所提出的重定向方案优于其他方案。本文的主要贡献是:

  • 一种异步资源发现算法,无需任何中央协调机构来识别来自不同CDN的资源。

  • 一种负载和近邻感知的请求重定向算法,通过将多余的用户请求转向负载最轻的服务器,对多提供者对等CDN中的服务器过载情况作出反应。

  • 基于比较的仿真分析,以评估我们的方法的性能和感知效益,并使用关键系统参数对建议的重定向方案进行敏感性分析。

本文的其余部分结构如下。第2节简要介绍了对等CDN。其次是提出的资源发现和请求重定向算法。第4节描述了模拟方法,第5节给出了结果。接下来将对我们对现有工作的方法进行比较分析。最后,第7节对本文进行了总结。

节代码段

对等CDN:概述

对等安排是物理CDN网络上的一个概念层,即覆盖层,通过建立共享对等资源的协议,以及通过合作创建用于有效内容交付的丰富计算环境,它发挥着主要作用。对等协商的发起方称为初级的CDN;而同意提供资源的其他CDN则被称为窥视CDN或同龄人。属于CDN对等安排的资源分布在全球各地,

算法

在本节中,我们描述了对等CDN中资源发现协议的工作原理。我们还提供了负载和近邻感知请求重定向策略的描述,以及最佳服务器选择,以便在对等CDN中执行动态负载分配。

方法

当实际的系统测试台或原型可用时,基于度量的性能研究可能是有利和合适的。然而,它们可能不会重现解决方案设计所针对的问题和场景,因为在实际试验台中,无法控制几个重要参数,例如服务器和网络负载条件。此外,要让大量分散在不同地理位置的最终用户同时产生流量,从而导致闪屏,这是极为困难的

实验性评价

在本节中,将提供仿真结果以评估性能并对我们的方法进行关键评估。我们对Section 4的参考仿真模型进行了实验,其中一个提供商作为主提供商(CDN 1),其他提供商作为对等提供商。结果来自十次模拟运行,每次运行持续时间为10000 s(约3 h) 对等CDN系统活动。虽然我们的模拟旨在收敛到模型的“真实解”,但运行

相关工作

资源发现是大规模分布式系统中的一个热门话题;然而,请求重定向是CDN不可或缺的支持基石。许多研究工作分别集中在网格计算、基于P2P的系统、覆盖网络、多代理系统和自组织网络等不同领域的这两个主题上。对以往有关内容互联的研究成果的分析表明,在处理资源方面只取得了微小的进展

结论和未来工作

本文提出了一种动态负载分配策略的资源发现和请求重定向算法,该策略可以缓解对等CDN系统中的任何负载不平衡。我们的方法中的资源发现遵循分布式和异步特性,使用保守地实现公共/订阅范式的通信协议。此外,请求重定向发生在分布式服务器集上,将重定向成本降至最低。具体来说,在我们的方法中

致谢

我们感谢克里斯蒂安·维奇奥拉在模拟设置和实验期间的无私帮助和支持。我们要感谢澳大利亚墨尔本大学的马科斯·阿桑桑、宋金·崔、穆斯塔菲祖尔·拉赫曼、拉吉夫·兰扬和索拉巴·加格分享了他们的想法,并对本文提出了尖锐的评论和建议。我们还感谢匿名审稿人为改进论文的结构、质量和可读性而提出的宝贵和建设性意见。

工具书类(30)

  • 答:。比利斯等。

    CDN经纪

    计算机通信

    (2002)
  • R。Chand公司等。

    Arigatoni覆盖网络的强大资源发现

    未来一代计算机系统

    (2008)
  • 高级管理人员。阿尔祖比等。

    重访任意广播CDN

  • L。阿米尼等。

    在地理位置不同的服务器集中建模重定向

  • Barbir A、Cain B、Nair R、Spatscheck O。已知内容网络(CN)请求处理机制。RFC 3568,7月。。。
  • Broberg J,Tari Z.MetaCDN:利用存储云实现高性能内容交付。摘自:第六届会议记录。。。
  • 五、。卡尔代利尼等。

    web服务器系统上的动态负载平衡

    IEEE互联网计算

    (1999)
  • Cardellini V,Colajanni M,Yu PS。分布式Web服务器系统中负载共享的重定向算法。输入:。。。
  • Colajanni M,Yu PS,Cardellini V.地理分布异构Web服务器中的动态负载平衡。输入:。。。
  • M。康迪等。

    基于QoS的地理复制web服务器体系结构

  • 机械工程师。克罗韦拉等。

    万维网流量的自相似性:证据和可能的原因

    IEEE/ACM网络事务

    (1997)
  • 机械工程师。克罗韦拉等。

    万维网中的重尾概率分布

  • Day M,Cain B,Tomlinson G,Rzewski P.内容互联网模型。IETF RFC 3466,2月。。。
  • Ercetin O,Tassiulas L.内容分发网络中的请求路由。土耳其萨班奇大学技术报告,。。。
  • 引用人(19)

    • 分布式计算系统的资源发现:综述

      2018年,《并行与分布式计算杂志》
    • 基于云的视频点播服务模型,确保服务质量和可扩展性

      2016年,《网络与计算机应用杂志》
      引文摘录:

      它与主模型不同,因为云提供商通常没有允许对等的机制,并且没有访问云内信息的中心实体或主管。主要挑战之一是在不实时了解每个云间网络的请求和响应负载的情况下工作,这对于对等CDN方案和算法至关重要(Buyya,2009)。为了克服这些局限性,我们根据响应或启动延迟得出结论。

    • Space4time:优化云中的潜在敏感内容服务

      2014年,《网络与计算机应用杂志》
      引文摘录:

      当CSP独立提供云计算和内容服务时,他们可以通过合作优化性能(Jiang等人,2009)。因此,影响潜在敏感应用程序的因素很多,如应用服务器上的负载(Alicherry and Lakshman,2013)、请求路由机制(Pathan and Buyya,2009)、流量工程(DiPalantino and Johari,2009)和数据访问瓶颈(Zheng et al.,2011)等。影响对延迟敏感的应用程序的一个主要因素是从应用程序服务器到存储服务器的访问延迟。

    • 云计算环境下基于本地搜索的内容服务优化

      2014年,《网络与计算机应用杂志》
    查看Scopus上的所有引用文章
    查看全文