近似——（近似）组均衡下的广义权衡

的一部分神经信息处理系统进展36（NeurIPS 2023）主要会议轨道

作者

Mircea Petrache、Shubhendu Trivedi

摘要

在开发高性能机器学习模型时，通过对称性明确纳入特定任务的归纳偏差已成为一种通用设计方案。例如，群等变神经网络在蛋白质和药物设计等不同领域和应用中表现出了令人印象深刻的性能。关于这类模型的一个普遍直觉是，相关对称性的整合会增强泛化。此外，假设当数据和/或模型仅显示近似或部分对称时，最佳或性能最佳的模型是模型对称与数据对称一致的模型。在本文中，我们对这些直觉进行了形式上的统一研究。首先，我们提出了定量界限，以证明捕获特定任务对称性的模型如何导致改进的泛化。利用这种量化，我们研究了处理近似/部分对称的更一般的问题。对于给定的对称群，我们建立了模型近似等方差和数据分布近似等方差的定量比较，精确地连接了模型等方差误差和数据等方差误差。我们的结果描述了模型等方差误差最优的条件，从而为给定的任务和数据产生了性能最佳的模型。