定性治疗效果的在线序贯测试

史成春、罗世凯、朱宏图、宋瑞。

年份:2021年,数量:22,第286期,第1−51页


摘要

科技公司(如谷歌或脸书)通常使用随机在线实验和/或A/B测试,主要基于平均治疗效果来比较新产品和旧产品。然而,检测定性治疗效果也至关重要,这样新的治疗效果可能仅在某些特定情况下显著优于现有的治疗效果。本文的目的是开发一种强大的测试程序,以有效检测此类定性处理效果。我们提出了一种可扩展的在线更新算法来实现我们的测试过程。它有三个创新点,包括自适应随机化、顺序监控和在线更新,并保证I型错误控制。我们还深入研究了测试过程的理论性质,包括测试统计量的极限分布和有效引导方法的合理性。我们进行了大量的实证研究,以检验我们测试程序的有限样本性能。

PDF格式 BibTeX公司