主持人注意:-这个实验被推迟了。有关解释和讨论,请参阅上面的复制帖子。
自从我们上次讨论单声望投票变更。我们仍在追求这一点,因为网络参与的停滞是我们所有人都关心的问题,我们想思考如何在网络上发展活跃社区。我们设计利用rep作为授予特权和防止不良行为的门槛。虽然这有效地创造了当前的现状,但也使得以一些最基本的方式参与网络变得困难。
通过进行这项实验,我们可以更好地了解当我们消除这些障碍时会发生什么,以及我们需要解决什么问题,以确保这样做不会造成伤害。我们希望找到一个更健康的中间地带,在那里我们可以找到打开参与大门的方法,同时更有效地解决选民欺诈等问题。
上次我们交流时,我们询问了志愿者网站,并提出了我们想要如何进行实验。我们有一些时间来反思我们收到的反馈。我们回到了绘图板上,看看我们可以做些什么改变,让每个人都能更顺畅地体验到这一点。我们现在向您介绍更多的变化和实验的新方向。该计划已提交给主持人团队,以收集他们的见解,并确定其他风险和改进实验的必要步骤。值得注意的是,虽然我们收到了宝贵的反馈,但我们有不同的观点,其中包括不同的观点。我们将这些因素考虑在内,以进一步完善实验。
其中许多更改都是您反馈的结果。我们打算开展这项实验,以获得我们需要的数据,以确定减少投票障碍是否会产生积极或消极影响,以及如果我们确定要追求的积极信号,我们需要投入哪些资源。
定义的术语
- 已建立用户:这些用户已经获得了向上投票(15代表)和/或向下投票(125代表)的权限。
- 测试用户:作为测试的一部分,这些用户被授予投票特权,否则他们将无法进行。
主要变化
一个测试站点
以前,我们要求提供志愿者网站;虽然这条路线可能奏效了,但我们真的宁愿不走这条路,然后发现我们没有收集到足够的数据来学习任何东西,然后不得不再进行一段时间的测试。为此,我们将专门在堆栈溢出上进行测试。我们计划将这个实验进行四到六周。
共享数据分析
对于这个特殊的测试,我们了解到一些人可能会担心选民会如何参与,以及可能发生的欺诈程度。我们将在分析数据时牢记这一点,并将与社区分享我们用于决策的数据分析。我们还将与主持人分享匿名数据,以便他们在感兴趣时进行审查。请注意,这并不是我们能够为我们运行的每个测试都做的事情,但我们认为这个实验有必要具有这样的透明度。
两阶段测试方法
我们就主持人提出的担忧进行了几次内部对话。Stack Exchange同意,我们需要更好地处理获得特权的用户数量,以便更好地监视他们的行为。为了满足这一要求,我们通过将选民特权测试变成两阶段测试进行了以下更改。
阶段1:登录用户可以投票
假设:验证允许更多用户投票不会过度增加欺诈行为。
这是一个“无害”测试,而不是a/B测试。我们将从一小部分用户开始,即30000个用户,然后从那里进行扩展。首先,我们不会让现有用户知道他们可以投票,但如果我们没有看到足够的活动以这种或那种方式获得结果,我们将打开提示以明确这一点。如果投票活动没有太大变化,我们可以将此视为1.5阶段。随着我们密切关注活动,我们将扩大关闭投票要求权限的登录用户的比例。前几天,我们将向测试组添加更多用户,以确保测试组处于良好水平,没有出现严重错误。我们不会在周四或周五这样做,所以我们有更好的洞察力,周末活动高峰的可能性较小。第一周后,我们将只更改每周有权访问的用户数量。
在我们完成第一阶段后,我们将暂停对投票欺诈、参与以及我们看到的支持性投票进行分析,并与主持人分享数据。稍后,我们将与Meta Stack Overflow上的每个人分享结果。我们估计第一阶段将需要四到六周的时间。如果在此之前情况开始恶化,我们将停止实验。如果我们成功运行实验并决定需要对第2阶段进行更改,也将进行沟通。
阶段2:A/B向匿名用户测试向上投票提示
假设:告诉用户他们可以投票将鼓励他们注册,而不会过度增加欺诈。
这将是一个A/B测试,我们将提示用户注册投票,并测量是否发生任何投票活动。新用户将看到一个投票提示,您可以在下面的实物模型部分看到。假设第1阶段已经完成,这个实验将研究提示用户投票是否会鼓励他们注册,假设登录用户有投票权。与上述类似,我们将增加匿名用户的投票提示频率,让他们知道该选项的存在。我们将对这组人与其他人分开进行监控,以了解他们的行为差异。
我们预计这里会有某种形式的投票舞弊。我们看到了解这一变化如何影响事物非常重要。也就是说,如果事情偏离轨道,我们将关闭实验。我们不需要将此阶段运行得那么长,也可以最快在一周内获得所需的数据,但为了明确起见,我们认为可能需要一到四周的时间。
这些变化将使我们能够获得注册和参与数据,同时降低个人在实验期间试图利用这些数据作为不良行为者的风险。因为我们更保守地对待这一点,否则我们可能不会看到那么多的选民欺诈或坏演员企图。这要求我们在一定程度上假设它会存在的情况下运作。如果我们认为这应该是一个永久性的改变,我们将与主持人合作,确定需要什么工具来防止投票舞弊。
协会奖金
在实验期间,关联奖金不会发放给任何从堆栈溢出操作中获得该奖金的用户。实验结束后,我们将在适当的地方进行回填。无论测试用户是否通过从已建立用户那里获得声誉来赢得他们,我们只是在实验进行期间暂停这一奖金。在实验结束后,通过获得已建立用户的声誉而赢得测试用户的测试用户将获得此奖项。
我们希望关闭此功能,因为可能会滥用此测试来获取网络上其他站点的权限。我们有兴趣整体查看关联奖金,但不会作为此测试的一部分重新访问它。
实验期间的投票
我们希望我们的测试计划包括反转测试组中用户的投票行为的选项,以及完全删除用户特权的可能性。最终,我们无法真正知道会发生什么,以及用户行为会因该测试而发生什么变化。我们需要数据来了解其利弊。我们不想假设坏票会多于好票,但我们也不想假设根本不会有坏票。为此,特权将在结束时恢复正常。此外,我们还考虑了一些场景来逆转测试组的部分或全部投票行为。
投票摩擦和投票提示
在第1阶段的第一天开始的实验期间,任何投反对票的实验用户都会收到此提示。另一个选项将提供一个文本框来分享他们的推理。这让我们有机会从用户那里收集一些关于他们为什么投票的数据。结果不会与问题或答案的作者共享。
![给出以下选项的否决提示:答案对我不起作用,答案不正确,答案有效,但有更好的方法,其他。](https://i.sstatic.net/BbhOd.png)
对于问题,只有一个如下所示的开放文本字段:
![用于开放式解释问题被否决原因的文本框](https://i.sstatic.net/6XCnC.png)
在某些情况下,未登录的用户也会显示此提示,以鼓励他们注册并支持他们认为有帮助的内容。
![Stack Overflow主页上有一个弹出窗口,上面写着“这有帮助吗?投票!”。两个常规注册按钮选项和一个谷歌注册选项](https://i.sstatic.net/AmeOw.png)
可能的场景
我们已经为这个实验在启动时的发展规划了一些场景。虽然这一切的结局肯定有很多不同的方式(也许还有下面列出的几种方式的组合),但我们将其简化为四种不同的场景:
场景A:一切都很好
我们运行了这个实验,发现欺诈是最小的,甚至根本不存在,新用户通常会投票,而且不会产生任何问题。我们保持现状,但要注意以后可能出现的任何问题。回滚到以前的特权阈值,我们将准备使其成为堆栈溢出的永久特权更改.
场景B:好东西,但也有一些不好的东西
我们进行了实验,出现了一些问题,但存在的欺诈很少。我们保持现状,但要注意可能出现的任何新的或更大的问题。我们将围绕额外的调节器工具优先进行一些工作,并考虑额外的产品更改以防止出现问题。回滚到以前的特权阈值,我们将准备使其成为堆栈溢出的永久特权更改.
场景C:一些好的信号,但同样多的不良信号。
许多已知问题和担忧。选民舞弊的不成比例增加。回滚到以前的权限阈值。我们进行了实验,提出了许多已知的问题和担忧。我们看到选民舞弊大幅增加。我们将回滚到以前的特权阈值并反转有问题的投票。然后,我们将优先考虑解决问题的工作,并沟通下一步。
场景D:房子着火了。这很好
出现了完全无法预见的问题,需要解决重大关切。回滚到以前的权限阈值。我们将恢复测试用户组中的部分(如果不是全部的话)投票然后回到绘图板,看看不同的途径是否会引发更少的问题。如果事情真的偏离轨道,我们可以尽早停止实验。
注意:如果“测试用户”组中的用户通过来自“已建立用户”的合法向上投票获得了投票权限,则他们将保留投票权限。任何在测试结束后失去特权的用户都将有一个特定的通信来解释发生了什么。如果由于问题而不得不回滚特权,这两种方法都是为了尽可能地保留用户体验。
理论基础
最终,我们不知道会发生什么:我们可以猜测,但这些只是一天结束时的预感。我们需要运行一个测试来确定什么是正确的,什么是不正确的,以查看这是一个值得的更改还是一个可怕的更改。话虽如此,我确实想提请大家注意有关工具不足的担忧,以应对选民舞弊的潜在增加。我们正在启动一项新的欺诈监控和警报实验。
这些工具,以及我们在此交界处未共享的其他工具,将更好地通知我们此测试发生的任何恶意活动。
这种测试可能会导致潜在的不可预见的阳性结果。选民特权扩展可以确定值得追求的线索。我不会重述过去关于新用户体验的帖子的内容,但例如,如果这个实验表明投票有助于用户保留,该怎么办?假设有投票权的用户提问/回答问题的速度更快,或者只是经常闲逛。在这种情况下,我们知道我们有一个线索可以帮助用户激活,这可能会导致围绕改善这些体验以及如何在网络上采取更多行动(如登录)的倡议。
我们不希望任何人在读到这篇文章后感到他们的具体担忧被忽视了。事实上,通过本次测试的各种沟通提出的许多(如果不是全部)担忧都是可能发生的。然而,我们发现,找出应该做什么或不应该做什么来帮助解决可能出现的结果的最简单、最快速的方法是,我们收集一些数据进行处理,而不是继续讨论哪些更可能发生。因此,虽然我们理解我们在这里提出的更改可能无法充分解决您的担忧,但我们希望有机会让我们了解到底发生了什么。一旦掌握了必要的数据,我们就可以确定是否需要放弃此计划,或者是否只是实施适当的工具或保护措施,以防止由于此权限更改而导致的不良行为。
接下来的步骤
我们有意不宣布这个实验的开始日期。这背后的原因是,我们不想向测试用户发出信号,告诉他们他们是实验的一部分。为此,这篇文章将在2024年4月10日,即今天之后的一周内脱稿。这样做的目的不是向社区隐藏实验,而是尽我们所能保持实验的质量,以免向测试用户发出他们是实验的一部分的信号。
实验的第一阶段将持续四到六周。第二阶段将持续一到四周。如有必要,我们准备过早结束这一进程。在第1阶段结束时,我们将与主持人分享数据集,然后留出时间讨论我们取得的成果以及我们认为数据表明了什么。然后,在开始第2阶段并重复该过程之前,我们将分享一个关于事情进展情况的概要。之后,我们将与更广泛的社区分享一份报告,分享我们所学到的知识以及我们计划从中采取的方向。