决定什么是仇恨或极端主义网站是一项困难而主观的任务。为了制定我们的名单,我们征求了美国追踪极端主义的主要组织——南方贫困法律中心和反腐败联盟的意见。
我们部分依赖2016年的“主动仇恨团体“2月由苏丹人民解放军出版。它追踪十类仇恨团体:三K党、新纳粹党、白人民族主义者、种族主义光头党、基督教身份、新联邦党、黑人分离主义者、反左派、反穆斯林和仇恨将军。
苏丹人民解放军的名单在一些圈子里有争议,但该组织确实对其许多名称提供了详细的公开解释。例如,苏丹人民解放军以家庭研究委员会(一个福音派游说团体)依赖于不可信的科学和未经证实的攻击关于同性恋者。
我们补充了苏人解名单,列出了反腐败联盟向我们提供的顶级极端主义网站。ADL并未发布此列表,并将其提供给我们用于研究目的。
我们找到了与苏人解仇恨组织相关的网站,并将其与ADL的仇恨网站列表相结合。然后,我们将合并的SPLC/ADL列表与Alexa的前百万网站和已过滤我们的名单只使用有足够流量出现在全球前百万网站中的网站。
然后我们编写了软件,自动浏览每个网站,并收集每个网站联系的外部域列表。夏洛茨维尔事件之后,一些受欢迎的白人民族主义网站,如《每日风暴》被关闭,我们将其从名单中删除。其他人,如理查德·斯宾塞的国家政策倡议,在我们完成数据收集后被关闭,因此我们将其纳入我们的结果。
为了确定哪些域为仇恨网站加载了广告或提供了支付表单,并消除只提供基本功能的域,我们根据AdBlock Easylist检查了在这些网站上发现的外部域。这个众包列表被广告屏蔽软件用来在用户浏览互联网时隐藏广告。
然而,仅仅因为网站联系了第三方广告网络或支付网络,并不总是意味着网页上会出现广告或捐款表会接受付款。为了验证我们的结果,我们访问了每个网站并点击支付链接,以确定是否加载了有效的信用卡表单,并且我们目视检查了每个网站,以确保在加载页面时广告网络确实在发送广告。
然后我们联系了所有网站和科技公司,请他们验证我们的结果是否正确。在某些情况下,例如谷歌自定义搜索,该公司为我们澄清,尽管一些网站正在使用该技术,但没有任何网站因使用该技术而付费。
尽管如此,我们的研究仍有一些局限性。例如,每个站点很可能有更多的支付处理器和广告连接。我们只是在展示那些我们有信心验证的东西。此外,无论是在公开声明中还是在接受ProPublica的采访中,许多网站都对苏丹人民解放军或ADL将其定性为极端主义者提出了质疑。