基于算法相关Rademacher复杂性的泛化保证

Sarah Sachs、Tim van Erven、Liam Hodgkinson、Rajiv Khanna、Umutöimšekli
第三十六届学习理论会议记录，PMLR 195:4863-48802023年。

摘要

需要算法和数据相关的泛化边界来解释现代机器学习算法的泛化行为。在此背景下，存在涉及（各种形式的）互信息的信息论泛化界，以及基于假设集稳定性的界。我们提出了一种概念上相关但技术上不同的复杂性度量来控制泛化误差，即算法和数据相关假设类的经验Rademacher复杂性。将Rademacher复杂度的标准性质与该类的方便结构相结合，我们能够（i）获得基于有限分维的新边界，该边界（a）将以前的分维类型边界从连续假设类扩展到有限假设类，以及（b）避免之前工作中需要的相互信息术语；（ii）我们大大简化了随机梯度下降的最近维数相关推广界的证明；（iii）我们很容易恢复VC类和压缩方案的结果，类似于基于条件互信息的方法。

引用本文

BibTeX公司
@会议记录{pmlr-v195-sachs23a，title={通过依赖于算法的Rademacher复杂性的泛化保证}，作者={Sachs、Sarah和van Erven、Tim和Hodgkinson、Liam和Khanna、Rajiv和{c{S}}im{c{S}}ekli、Umut}，booktitle={第三十六届学习理论会议记录}，页数={4863--4880}，年份={2023}，editor={Neu、Gergely和Rosasco、Lorenzo}，体积＝{195}，series={机器学习研究论文集}，月份＝{7月12-15日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v195/sachs23a/sachs23a.pdf},url={https://proceedings.mlr.press/v195/sachs23a.html},abstract={需要算法和数据相关的泛化边界来解释现代机器学习算法的泛化行为。在这种情况下，存在涉及（各种形式的）信息论泛化边界相互信息，以及基于假设集稳定性的边界。我们提出了一种概念上相关但技术上不同的复杂性度量来控制泛化误差，即算法和数据相关假设类的经验Rademacher复杂性。结合Rademacher复杂性的标准属性和此类的方便结构，我们能够（i）基于有限分形维数获得新的界，这（a）将以前的分形维数类型界从连续假设类扩展到有限假设类，以及（b）避免之前工作中需要的相互信息术语；（ii）我们大大简化了随机梯度下降的最近维数相关推广界的证明；（iii）我们很容易恢复VC类和压缩方案的结果，类似于基于条件互信息的方法。}}
尾注
%0会议论文%基于算法相关Rademacher复杂性的泛化保证%莎拉·萨克斯%蒂姆·范·埃尔文%利亚姆·霍奇金森%拉吉夫·坎纳%乌穆特·伊姆什·埃克利%第三十六届学习理论会议论文集%C机器学习研究进展%D 2023年%E Gergely Neu公司%E洛伦佐·罗萨斯科%对于pmlr-v195-sach23a%我PMLR%电话：4863-4880%U型https://proceedings.mlr.press/v195/sachs23a.html%V 195型%需要X算法和数据相关的泛化边界来解释现代机器学习算法的泛化行为。在此背景下，存在涉及（各种形式的）互信息的信息论泛化界，以及基于假设集稳定性的界。我们提出了一种概念上相关但技术上不同的复杂性度量来控制泛化误差，这是算法和数据相关假设类的经验Rademacher复杂性。结合Rademacher复杂性的标准属性和此类的方便结构，我们能够（i）基于有限分形维数获得新的界，这（a）将以前的分形维数类型界从连续假设类扩展到有限假设类，以及（b）避免之前工作中需要的相互信息术语；（ii）我们大大简化了随机梯度下降的最近维数相关推广界的证明；（iii）我们很容易恢复VC类和压缩方案的结果，类似于基于条件互信息的方法。
亚太地区
Sachs，S.、van Erven，T.、Hodgkinson，L.、Khanna，R.和öimšekli，U.（2023）。通过依赖于算法的Rademacher复杂性实现泛化保证。第三十六届学习理论会议记录，英寸机器学习研究进展195:4863-4880网址：https://proceedings.mlr.press/v195/sachs23a.html。

相关材料