计算机科学>机器学习
标题: 比较学习:两个假设类的复杂性理论样本
摘要: 在许多学习理论问题中,假设类起着核心作用:我们可以假设数据是根据类中的假设标记的(通常称为可实现的设置),或者我们可以通过将所学模型与类中的最佳假设进行比较来评估所学模型(不可知的设置)。 在这些只涉及一个假设类的经典设置之外,我们引入了比较学习,作为PAC学习中可实现和不可知设置的组合:给定两个二进制假设类$S$和$B$, 我们假设数据是根据源类$S$中的一个假设标记的,并要求所学模型达到与基准类$B$中的最佳假设相当的准确性。 即使当$S$和$B$都有无限的VC维度时,比较学习仍然可能具有较小的样本复杂性。 我们证明了比较学习的样本复杂性由相互VC维$\mathsf{VC}(S,B)$表征,我们将其定义为被$S$和$B$粉碎的子集的最大大小。 我们在联机设置中也显示了类似的结果,其中我们根据相互的Littlestone维度$\mathsf{Ldim}(S,B)$给出了遗憾的特征描述。 这些结果也适用于部分假设。 我们还表明,描述比较学习的样本复杂性所需的洞察力可以用于描述可实现的多精度和多标定的样本复杂性,使用相互脂肪屏蔽维度,该维度类似于实值假设的相互VC维度。 这不仅解决了Hu,Peale,Reingold(2022)提出的一个开放问题,而且导致了独立有趣的结果,将关于回归、提升和覆盖数的经典结果扩展到我们的两个假设类设置中。