计算机科学>计算与语言
职务: 自然语言处理研究预注册的双向讨论
摘要: Van Miltenburg等人(2021年)建议NLP研究应采用预注册,以防止捕鱼探险,并促进负面结果的公布。 从表面上看,这是一个非常合理的建议,似乎解决了NLP研究中的许多方法学问题。 我们讨论了利弊——一些旧的,一些新的:a)预注册受到了已知结果后检索假设的实践的挑战; b) 预注册可能会使NLP偏向验证性研究; c) 预注册必须允许将研究重新分类为探索性研究; d) 预注册可能会增加出版偏见; e) 预注册可能会增加鞭毛; f) 预注册可能会增加p-hacking; 最后,g)预注册可能会降低我们的风险承受能力。 我们把我们的讨论当作对话,提出了辩论的双方。