分享这个故事
我们有几十种工具,但没有集成的方式来查看数据。
多人在线战场视频游戏英雄联盟它每天在世界各地托管近800万名并发玩家,属于自己的联盟。由开发英雄联盟《传奇联盟》是世界上玩得最多的电脑游戏,也是电子竞技爆炸式增长的关键驱动力。
年度英雄联盟世界锦标赛由来自13个国际联盟的合格电子竞技团队组成,是观看人数最多、关注度最高的电子竞技赛事,也是世界上规模最大、最受欢迎的游戏和体育赛事之一。
Riot Games成立于2006年,其使命一直是开发、发布和支持世界上最专注于玩家的游戏。这种对玩家体验的独特关注是Riot Games一切背后的驱动力。这也是为什么Riot Games转向New Relic开发其可观察性平台的原因,使公司能够端到端地了解玩家体验以及驱动它的许多系统和微服务。
“我们的团队专注于如何大规模运营微服务,”防暴游戏工程经理贾斯汀·霍金斯(Justin Hawkins)表示。“具体来说,我们的工作是为所有不同的DevOps团队、站点可靠性工程团队和网络运营中心[NOC]提供可观察性,以便他们能够监控、分类和操作其游戏,以获得最佳玩家体验。”
在类似Riot Games的微服务架构中,了解提供玩家体验所涉及的不同服务对于快速查明可能影响玩家体验的问题至关重要。霍金斯说:“如果球员不能参加比赛,这对我们来说是一件大事。”。“我们需要了解玩家体验如何受到所有组件的影响,这些组件必须完美协调才能实现这一点。”
为了满足可观察性的需求,Riot Games为其开发的第一款游戏开发了自己的指标、日志和警报功能。在新游戏进入开发阶段之前,这项工作做得很好。霍金斯说:“当我们开始接近推出新游戏的时候,我们的内部解决方案开始达到规模的极限。”。“我们必须做出决定,是投资扩展我们的基础设施,还是寻求其他人为我们解决这个问题,这样我们才能专注于为玩家打造体验。”
与此同时,该公司希望获得其遥测数据的单一视图。霍金斯说:“我们有几十种工具,但没有综合的方法来查看数据。”。“有很多不同的方法可以对问题进行分类和调查,数据分散在各处。我们真的想集中所有这些数据。”为了解决可扩展性和工具蔓延的问题,Riot Games决定部署一个可观察性平台来替换其自己的系统和其他不同的工具。
包括Justin在内的Riot Developer Experience(RDX)团队收集了整个公司的需求,对市场领导者和新兴技术进行了广泛评估,还考虑了进一步开发其内部系统的成本。在运行了几次概念验证后,Riot Games选择New Relic作为其可观察性的标准平台New Relic日志管理和取代内部功能的New Relic指标。公司的一些团队已经在使用New Relic应用程序性能监控(APM),并发现这是非常直观的,使得将每个团队转移到New Relic的决定变得更加容易。
霍金斯说:“虽然New Relic在概念验证方面取得了很高的分数,但正是对New Relic的熟悉以及Rioters对New Relc APM产品的信任让我们信服。”。做出这个决定后,他的团队开始了部署过程,首先是那些尚未解决其可观察性需求的团队,即那些正在开发新游戏的团队,然后是那些使用传统监控工具的团队。
凭借其内部开发的系统,Riot Games对日志功能进行了单一共享部署。霍金斯说:“这是一个巨大的平台,在特定规模下运行良好。”。“但有时一个团队会运行一个看起来合理的查询,比如,‘显示我的服务最近24小时的日志,并查找错误消息。’如果当天的索引中有18 TB的日志数据,其他人的查询就会变慢。缺乏可伸缩性会影响每个人的工作流程。”
现在,使用NewRelic日志,团队可以对日志数据和New-Relic计算资源进行分段,大大提高了所有查询的响应时间。霍金斯说:“总体经验更好,因为团队有他们熟悉的工具,但反应能力更好。”。“因为数据的范围是由团队划分的,而且New Relic是按规模建造的,所以我们能够快速搜索详细的日志。”
在切换到New Relic后,Riot Games的度量数据的可扩展性也有了显著改善。霍金斯说:“我们需要我们的度量存储始终可用、可搜索和可用,而不必担心在任何方面都会受到影响的情况下达到可扩展性限制。”。
他说:“从历史上看,当我们建立警报时,团队必须考虑哪个指标是重要的,并为每个数据中心建立一个基线。”。“有很多手动管理来确保您的警报是可操作的和有意义的,如果您弄错了,您要么没有可见性,要么您的团队会感到警报疲劳。”
使用新遗迹警报,Riot Games可以使用以基线为中心的警报来帮助团队在哪些服务是健康的,哪些不是健康的之间建立有意义的平衡。霍金斯说:“根据历史表现,新遗迹可以帮助我们发现什么是重要的。”。
New Relic不仅提供了您的服务的可见性,还提供了它们如何与您可能不拥有和运营的其他服务交互的可见性。它是关于依赖链的,并了解它以解决正确的问题。
只有一个平台,Riot Games就可以通过多个微服务将玩家体验上的点点滴滴联系起来。霍金斯说:“New Relic不仅提供了您的服务,还提供了它们如何与您可能不拥有和运营的其他服务交互的可见性。”。“这是关于依赖链的问题,并了解它以解决正确的问题。”
除了新遗迹技术的好处之外,霍金斯还看到了他认为与新遗迹合作的潜在价值。他说:“这是我们已经建立的关系,事实上,在New Relic支持我们的每个人都乐于听取我们的反馈。”。“作为一家公司,我们有意愿和响应能力去理解什么对我们来说是重要的,听取我们的反馈,并在这方面取得成果。我们已经看到了有助于提高生活质量和推动采用的产品变化。”