一种构建仇恨语音检测数据集的信息检索方法

的一部分神经信息处理系统程序跟踪数据集和基准1（NeurIPS数据集和标准2021）第2轮

作者

Md Mustafizur Rahman、Dinesh Balakrishnan、Dhiraj Murthy、Mucahid Kutlu、Matt Lease

摘要

构建仇恨语音检测的基准数据集面临着各种挑战。首先，因为仇恨言论相对较少，所以对tweet进行随机采样以进行注释在查找仇恨言论方面效率很低。为了解决这个问题，以前的数据集通常只包含与已知“仇恨词”匹配的推文。然而，将数据限制在预定义的词汇表中可能会排除我们试图建模的现实世界现象的一部分。第二个挑战是，仇恨言论的定义往往变化很大，而且很主观。注释员对仇恨言论有着不同的先验概念，他们不仅可能彼此不一致，而且可能会努力遵守特定的标签准则。我们的主要观点是，仇恨言论的罕见性和主观性与信息检索中的相关性相似。这种联系表明，创建IR测试集合的成熟方法可以有效地应用于创建更好的仇恨言论基准数据集。为了智能高效地选择要注释的tweet，我们应用了标准的IR技术{em池}和{em主动学习}。为了提高注释的一致性和价值，我们应用了{\em任务分解}和{\em-注释器基本原理}技术。我们在推特上分享了一个新的仇恨语音检测基准数据集，该数据集提供了比以前数据集更广泛的仇恨覆盖范围。在对这些更广泛形式的仇恨进行测试时，我们还发现现有检测模型的准确性急剧下降。我们收集的注释器原理不仅证明了标记决策的合理性，而且还为建模中的双重监督和/或解释生成提供了未来的工作机会。有关我们方法的更多详细信息，请参阅补充材料{rahman21-neurips21-amplementation}。