在CodeSandbox中打开Web编辑器|VS代码|VS代码内幕人士

尺寸变化：+223亿（0%）

总大小：1.34 MB

_{压缩尺寸作用}

@dmsnell公司打电话给你，好像你以前也做过类似的事情，可能对此感兴趣😉 .

@凯文940726我可以监控此公关，并开始收集数据，了解其是否具有预期影响。

我们认为两分钟的时间值得增加缓存的复杂性和可预测的缓存失效问题吗？

我还没有看过其他工作流，但性能工作流中有很多性能改进，没有增加新的复杂性。

作为参考，在处理性能测试套件时，我试图收集分支中至少30个测试运行的数据以进行比较大旅行箱并确定这些改变是否值得；并不是所有我认为有帮助的事情都做到了。

对性能测试工作流的影响

• 此分支，64个样本，µ=21.02 min
• 大旅行箱，26个样品，µ=23.76分钟
• 数据强烈建议此分支对于性能测试套件更快，具有重要意义P=0.0001
• 平均运行时间的减少量为2米44秒

对端到端测试工作流的影响

• 该分支，1868个样本，µ=15.57分钟
• 大旅行箱，608个样品，µ=17.22分钟
• 数据最终表明，对于端到端测试工作流，此分支更快
• 平均运行时间的减少量为1米39秒

现在，我们正在将所有四个端到端测试合并为一个测试。这解释了偏离常态的原因。我会看看是否可以将这四个测试作业分开，因为它们是独立测试。我不认为这会使总体结果无效。

@dmsnell公司感谢您的测试！我很好奇你是怎么测试的。这里有测试脚本的代码吗？

我认为您在性能测试中遗漏了一些重要的变量，我们必须考虑缓存。如果我们想将其与主干进行比较，我们需要确保它们具有相同的基线，运行缓存命中和缓存未命中，并比较结果。

此外，本次公关的主要动机是提高跑步成绩npm-ci公司与性能测试没有直接关系。将性能测试纳入等式中会使结果出现偏差，并且更难进行比较，尤其是当性能测试本身具有非常广泛的运行时间范围时。由于没有证据表明缓存节点_模块会降低测试的性能（我们可以对此进行单独测试以确保），我们只需进行比较npm-ci公司明确地。我认为这就是为什么E2E测试的指标提高了1分钟，而不太稳定的性能测试的结果却没有那么有价值。

我认为你在性能测试中遗漏了一些重要的变量，

我相信我是！

我很好奇你是怎么测试的。

我正在做的是让GitHub在测试工作流完成后重新运行它们。我不会在本地进行测试，也不会以任何不同于任何典型公关经验的方式进行测试。也就是说，我正在测量的结果是查看GitHub的API报告的CI工作流的wall-clock运行时，该API提供了每次运行的结果。

如果我们想将其与主干进行比较，我们需要确保它们具有相同的基线，运行缓存命中和缓存未命中，并比较结果。

我不确定我是否同意这一点。我试图衡量的是对CI工作流运行时间的真正影响，如果我们声称缓存会有所帮助，那么我认为我们必须根据实际测试运行进行测试。

有理由认为，如果我们合并这一点，那么更多的PR将从缓存数据开始，但我认为我们仍有可能这种假设不成立，因为在我们的1700个分支机构中，有很多PR不会从最新的分支中分叉大旅行箱因此，合并基的多样性将使缓存失效，其方式与在此分支中运行测试与针对大旅行箱意志。

由于没有证据表明缓存node_modules会降低测试的性能（我们可以对此进行单独测试以确保），因此我们应该专门比较npm-ci。

在改进CI工作流方面，我研究了大量优化，这些优化看起来很有前景孤立地但在系统内部考虑时，效果并不相同。有些事情似乎不直观，这就是为什么我如此强调测量实际结果。

一种可能性是GitHub自己的净现值法当缓存在我们的测试容器中运行时，它的性能足够高，与处理缓存的速度一样快（或几乎一样快），或者在某些情况下，缓存可能会造成更大的危害。

我的脚本这很俗气，因为我是在探索问题的同时开发它的，而不是专注于构建可维护的代码。主要是轮询GitHub以运行CI工作流并解析数据；脚本中一些看起来不必要的内容是由于我报告的GitHub API响应中的错误导致的，他们正在努力修复（当为给定的工作流运行尝试请求作业时，他们只报告最近运行的作业的链接）。

我不小心停止了运行脚本，所以我会再次使用它。很高兴接受建议！

首先，我认为性能测试的比较在这种情况下没有意义。他们甚至没有在中继和PR中做同样的工作。在PR中，性能测试是运行“Compare performance with trunk”，而在trunk中，它是运行“比较性能with base branch”。比较它们不是一个简单的比较，我们至少应该控制变量，使它们尽可能接近。

然而，我认为我们不需要将全面的性能测试纳入我们的方程式。我们将工作分为多个步骤，以便单独调试它们。主干中的“使用所需版本的NodeJS”和“Npm安装”步骤负责设置Node.js和安装依赖项。在这个PR中，我们将它们替换为“安装节点和安装依赖项”。这是工作流中唯一的更改，其他都不重要。我们应该调整基准，只包括它们（以及它们的清理步骤，如果有的话）。

在我们的1700个分支中，有许多PR不会从最新的主干分叉，因此合并基的多样性将使缓存失效，就像在该分支中运行测试与针对主干运行测试一样。

是的！这是一个值得关注的问题，但这已经是当前CI中npm缓存的工作方式。此增强不会对每个PR都有好处，但在缓存命中时应该会有好处。最后，缓存就是这样工作的，不是吗😆?

值得注意的是，只有在以下情况下，我们才会重新验证缓存包装-锁.json已更改，因此PR不必基于最新的主干。这也遵循了官方NPM缓存工作原理的相同逻辑。

这里的一种可能性是，GitHub自己的npm缓存在我们的测试容器中运行时性能足够好，与处理缓存的速度一样快（或几乎一样快），或者在某些情况下，缓存可能会造成更多危害。

好吧，如果你看看GH Actions报告的安装时间，你会发现当节点_模块缓存，因此此假设无效。

可能存在缓存的情况节点_模块I/O运行时开销比已安装的长，但我对此深表怀疑🤔.

感谢您分享脚本！不过，我很难理解其中的一些上下文。哪个大旅行箱你在运行测试时使用了吗？你也在主干上重新运行相同的提交吗？或者您是在主干上执行最近30次提交吗。GH操作默认在“合并提交”上运行，因此我们应该将基本提交用作比较的“主干”。请注意，如果有新的提交推送到，则基础将更改大旅行箱与此同时。

首先，我认为性能测试的比较在这种情况下没有意义。

也许有误解。我正在测量CI中“端到端测试”和“性能测试”工作流的运行时。我选择这些是因为它们是受此PR影响的两个工作流，所以我假设如果PR更改了它们，我们应该会受到影响。

我不是在将端到端测试与性能测试进行比较。

这是工作流中唯一的更改，其他任何更改都不重要。我们应该调整基准，只包括它们（以及它们的清理步骤，如果有的话）。

我仍然受到这一断言的挑战，因为目标似乎是“通过缓存node_modules来加快CI管道”。我的测量是查看当前两个工作流的CI管道运行时，即端到端测试（耗时最长）和性能测试（过去耗时最久）。我们可以开始测量任何或所有工作流，以了解这对一切的影响，但性能测试很方便，因为我在过去一个月左右一直在监视这些测试，而端到端测试似乎很相关，因为整个流程中的任何加速都必须加快这些测试，否则，任何人都不会感觉到这些改进（因为他们仍在等待最慢的工作流完成）。

所以我不想限制我们自己，当一个片段被放置在一个更复杂的系统中，而这个系统的效果可能不同时，我只想孤立地观察一个片段。

可以看到，当缓存nodemodules时，时间会显著缩短，因此这个假设是无效的。

这对于E2E测试来说似乎是准确的，但对于性能测试来说却不准确。

这种增强不会对每个PR都有好处，但在缓存命中时应该会有好处。

理论上这是完全正确的，考虑到我们只是坐在这里告诉GitHub在CI测试完成后立即重新运行，我们应该预期缓存命中的最佳案例当测试这种PR的影响时。如果理论是正确的，那么从测量中应该可以清楚地看出，这实现了它的目标。

在每个工作流中安装所有包仍然需要大约2分钟。通过缓存node_modules，我们可以显著减少75%的安装时间。

根据我70次测试的最新数据，它看起来相当有说服力是端到端测试速度更快，平均运行时间的测量差异为1m37s。在大约30个性能测试运行之后，这还不是决定性的，但它希望以这种方式证明这一点在性能测试中速度较慢当前测得的平均CI工作流运行时增加47秒的速度减慢。

我刚刚开始重新运行Playwright工作流（上次完成需要26分钟）和JS Unit Tests工作流（上次结束需要4分钟）。看看这对这些工作流有什么影响将很有趣。

但我对此深表怀疑🤔.

这就是说，考虑到我在优化性能测试工作流程时发现了多少错误假设，我希望我们能够有一个可信的理由来声称，相对于从观点、猜测或怀疑中争论，我们所做的更改值得额外的复杂性😄

很明显，这将减少E2E工作流的一些时间，但可能会增加性能测试的时间。当收到更多数据时，我们可以更好地描述“我想要这个权衡”或“我不想要这个权衡。”

运行测试时您使用的是哪个主干？你也在主干上重新运行相同的提交吗？

我在用#44907作为比较的基础。两周后了大旅行箱，但我会更新它。在进行性能测试时，我意识到了merge-branch元素，但发现实际上，如果出现一点延迟，也没有多大关系，因为大多数上游提交都不会对测试产生重大影响。我们会发现，因为我可以很容易地过滤，只使用更新后的数据大旅行箱.

@凯文940726似乎许多工作流都由于犬科动物问题。我不确定分支是否只需要重新设置基址，但我希望这不是缓存的问题npm-ci公司期间由于非确定性而失败npm-ci公司

也许有误解。

啊，当然。我以为你在用大旅行箱的工作流与公关的工作流不同。实际上，您正在使用#44907作为“主干”的基线。

我仍然受到这种说法的挑战

这很公平！我的观点是，可以孤立地查看此PR中的增强，而单是性能测试带来的许多改进无法轻易剥离。我认为这个PR仍然可以改进性能测试运行时间，只是我们还没有足够的数据来证明这一点。性能测试的运行时间变化很大，由于随机因素，以前的运行可能表现不佳。如果我们有更多的样品，我们可能会得到不同的结果。这只是我的猜测，因为结果对我来说是反直觉的，我现在没有任何解释。

我希望我们能够有一个可信的理由来声称，相对于从观点、猜测或怀疑中争论，我们正在做出的改变值得额外的复杂性😄

这也很公平！但我认为，我们不应该在创建基准之后就停下来，我们应该设法弄清楚那里发生了什么。基准测试只是一个帮助验证某些东西是否有效的工具。如果它产生了意外的结果，那么我们就有机会在代码（TN）或基准本身（FN）中调试它。

当收到更多数据时，我们可以更好地描述“我想要这个权衡”或“我不想要这个权衡。”

当然！我也很好奇，可能会花一些时间自己创建一个基准。我会分享更多信息。

似乎许多工作流都由于caniuse问题而失败。我不确定分支是否只需要重新设置基址，但我希望这不是因为在npmci期间由于非确定性而导致缓存npmci失败的问题

是的，这是一个非常有趣的观察结果！我会调查的！谢谢！🙇

似乎许多工作流都由于犬科动物问题。我不确定该分支是否需要重新设置基址

哦，看来我们只需要在#46093!

对单元测试工作流的影响

• 此分支，1061个样本，µ=5.18 min
• 主干，871个样品，µ=6.81分钟
• 数据最终表明，对于单元测试套件来说，这个分支更快
• 平均运行时间的减少量为1米38秒

@凯文940726不知道为什么在重新设定基之后事情发生了变化，但现在我一直在测量的所有三个测试都报告了该分支的改进。

我想尝试将其与没有--签名。那面旗帜似乎至少有点可疑，现在我想知道它是否与犬科动物错误。可能加速的部分原因是缓存，部分原因是我们跳过了以前依赖的步骤。

出于好奇，是什么让你把国旗添加到npm-ci公司?

@凯文940726我认为对此可以做的最好的事情之一就是在部署后对其进行监控，以衡量它是否具有预期的影响。我预计一旦出现这种情况，缓存的影响就会降低大旅行箱我们发现依赖关系有多个版本，而这个分支的依赖关系基本上保持不变。

我不知道它会下降多少，我也不知道在合并之前有什么好的测试方法。更重要的问题是，为了平衡增加的维护成本、缓存失败时的额外调试成本，以及当有人试图理解为什么有些东西不正确时引起的沮丧，我们希望它降低多少。

看起来最近的一些反应性测试完成的时间类似于E2E套件。这是一个好消息，因为只要这些程序的运行时间超过30-40分钟，这个缓存为所有其他套件带来的好处就会被锁定，但如果最长的工作流现在需要20分钟，那么大约1分钟半的估计速度就可以转化为大约8%的速度，这是非常好的。

我们可能可以通过迭代所有工作流都已完成的开放PR来进行测试，并查看完成时间最长的PR。事实上，我们甚至可以从检查运行或检查API端点来自Github。即使在我专心研究了一段时间之后，我仍然不清楚这个术语。我想，只要是在周中，我们就应该在一两天内对数据进行合理猜测。实验长度的决定因素可能是频率任何PR涉及节点模块或版本的更改，因为这是PR中所有值所依赖的。我还认为旧数据会保留一个月左右？因此，我们可能被限制为最长两周的实验期，并且在部署后立即开始，因为在此之后，我们开始丢失来自之前次。

在某种程度上，这带来的好处将不值得开发成本，无论是在检查套件运行时持续时间的原始减少还是其中的一部分。我很想知道你的目标是什么，以及你认为该折衷点的合理阈值应该是什么。

我预计一旦出现这种情况，缓存的影响就会降低大旅行箱我们发现依赖关系有多个版本，而这个分支的依赖关系基本上保持不变。

我们很少更改依赖项，至少与我们运行的工作流数量相比是这样的。我对trunk上的运行进行了快速搜索，在642次运行（将受此PR影响的工作流）中，只有10次更改了包装-锁.json文件。我甚至没有计算给定运行中的多个作业（aend2end测试例如，run可以有6个作业）。这大约是缓存命中率的98%。这只是在主干上，如果我们也计算PR，我预计数字会更大。

更重要的问题是，我们希望它降低多少，以平衡增加的维护成本、缓存失败时的额外调试成本，以及当有人试图理解为什么有些事情不对劲时所引起的挫败感。

维护费用是多少？如果缓存未命中常规贡献者，则无需调试，只需恢复到现在的状态：重新安装所有内容。

在某种程度上，这带来的好处将不值得开发成本，无论是在检查套件运行时持续时间的原始减少还是其中的一部分。我很想知道你的目标是什么，以及你认为该折衷点的合理阈值应该是什么。

目标很简单：减少在CI上花费的时间，这只是第一步。我仍然无法理解为什么你认为这不值得。如果缓存命中率达到99%，那么大约需要90到120秒的改进。如果缓存未命中，那么什么都没有改变，它只会做我们现在正在做的事情。

本次公关中收集的所有数据都显示出积极的结果。除非你有具体的理由反对，否则我建议我们试一试大旅行箱来测试它。如果它的行为与我们想的不一样，我们可以随时恢复🙂 . WDYT？

维护费用是多少？

成本是理解和修改运行脚本。

如果缓存未命中，则无需调试

这里有两个成本：

• 如果缓存突然无法命中，则需要有人找出原因
• 更大的问题是缓存在不应该命中的情况下命中

为什么你认为这不值得

这绝对是不我说的话或意思。我所说的意思是，在所有优化中都有一个点，即通过增加复杂性来平衡收益和成本。我不是说这不值得，而是我们衡量影响利用这些知识来确认它做了我们想要的事情，如果没有，这是一条线索，我们可以将其还原。

为什么我总是提起这个？我只是个混蛋吗？🙃
不，因为我发现了多起案件补充为了加快速度，在测量时，它要么没有加快速度，要么实际上减缓了速度。这一切都是本着诚意完成的，但由于影响没有得到衡量，我们被留给了更复杂的代码，没有人意识到这一点。

所以这个问题很好，因为如果你说“90年代是成功的”，而我们衡量的是120年代，那么你就知道你的工作产生了积极的影响。如果我们测量10s，我们会怎么做？或者，如果出于某种奇怪的原因无意中让事情变慢了，我们怎么知道呢？

我建议我们在后备箱上试试看

我的最后一句话就是这样开始的，所以我们意见一致😄
我不认为有一种实用的方法可以在合并之前衡量这一点的全部影响，或者衡量任何涉及平台级缓存的影响。

谢谢你@dmsnell公司!

最好还是为此设置一个目标性能影响，以便在合并后我们可以测量并查看它是否达到了我们预期的效果。

我预计，如果缓存命中，受此PR影响的所有工作流都将获得1米30到2米的性能提升。让我们看看是不是这样！

是的，我忘了把这个标记出来供审查😅. 不过，我会等其他人一有时间就插话！

请注意，“向GitHub报告”工作流当前失败，因为它依赖于上的工作流大旅行箱，它还没有这个复合动作。一旦合并，这个问题就会消失。

@德斯罗什谢谢你的评论！我处理了反馈🙇‍♂️

当我昨天查看时，Gutenberg存储库的容量约为25GB，GHA没有自行清理。但看看今天，我们的容量是8.67GB。最旧的缓存上次使用是在12小时前。

是的，公关描述中也提到了缓存限制的权衡。请注意，虽然我们仍在试验此PR，但将有两个单独的缓存。当我们处于对包装-锁.json文件。我认为从长远来看，这不会是一个问题，尽管我们仍然应该监视它可能带来的缓存效果。