计算机科学>机器学习
职务: 从对称差分假设空间上的Rademacher复杂性看鲁棒性传递的困难
摘要: 最近的研究表明,$\ell_\infty$攻击下的对抗性鲁棒学习比标准域自适应更难推广到不同的域。 如何跨域传递鲁棒性是领域自适应领域的一个关键问题。 为了研究对抗性鲁棒域自适应(或鲁棒性转移)背后的基本困难,我们建议分析一个控制跨域泛化的关键复杂性度量:{em对称差分假设空间}$\mathcal{H}\Delta\mathcal{H}$上的对抗性Rademacher复杂性。 对于线性模型,我们表明这种复杂性的对抗性版本总是大于非对抗性版本,这揭示了对抗性鲁棒域自适应的内在困难。 我们还建立了这个复杂度度量的上限。 然后,通过对二进制分类设置中的对手Rademacher复杂度进行上界,将其扩展到ReLU神经网络类。 最后,尽管鲁棒领域自适应被证明是困难的,但我们确实发现了鲁棒学习和标准领域自适应之间的正相关关系。 我们解释了\emph{对抗性训练如何从标准风险的角度帮助领域适应}。 我们相信,我们的研究结果开创了对抗性鲁棒领域自适应泛化理论的研究,并有助于从异构源(例如联邦学习场景)进行分布式对抗性鲁棒学习。