布米迪内·哈姆齐;马库斯·赫特;霍曼·奥瓦迪 将算法信息理论与机器学习结合起来：一种新的内核学习方法。 （英语） Zbl 07868581号 物理D 464，文章ID 134153，6 p.（2024）. 概要：机器学习（ML）和算法信息理论（AIT）从不同的角度看待复杂性。我们从AIT的角度，通过稀疏核流的方法，在核岭回归中从数据学习核的问题上，探索了AIT和核方法（在ML中普遍存在）之间的接口。特别是，通过研究机器学习中最小描述长度（MDL）和正则化（RML）之间的差异和共性，我们证明了稀疏核流方法是从数据中学习核的自然方法。该方法与MDL原则自然一致，提供了比现有的交叉验证依赖性更强的理论基础。研究表明，推导稀疏核流不需要统计方法；相反，可以直接处理代码长度和复杂性，这是AIT的核心概念。因此，该方法为使用AIT工具重新制定机器学习算法打开了大门，目的是为它们提供更坚实的理论基础。 MSC公司： 68泰克 人工智能 3700万 动力系统的逼近方法和数值处理 6200万 随机过程推断 关键词：机器学习;算法信息论;回归，回归;稀疏内核流;最小描述长度原则;压缩 PDF格式BibTeX公司 XML格式引用 \textit{B.Hamzi}等人，《物理学》D 464，文章ID 134153，6 p.（2024；Zbl 07868581） 全文： 内政部 arXiv公司 参考文献： [1] Akian，J.-L。；阀盖，Luc；霍曼·奥瓦迪；Savin，Eric，从高斯过程回归中的数据学习“最佳”核。应用于空气动力学，J.Compute。物理。，第470条，第111595页，2022年·Zbl 07599627号 [2] 亚历山大，罗密欧；Giannakis，Dimitrios，Operator-用核模拟技术预测非线性时间序列的理论框架，Physica D，409，Article 132520 pp.，2020·Zbl 1496.37085号 [3] Aronszajn，N.，再生内核理论，Trans。美国数学。Soc.，68,337-4041950年·Zbl 0037.20701号 [4] 巴赫，弗朗西斯，信息理论与核方法，2022·Zbl 07819704号 [5] 安德烈亚斯·比特拉彻；克鲁斯、斯特凡；Hamzi，Boumediene；彼得·科尔泰（Peter Koltai）；Schütte，Christof，通过转移流形的核嵌入降低复杂亚稳态系统的维数，2019，https://arxiv.org/abs/1904.08622 ·Zbl 1466.37068号 [6] Jake Bouvrie；Hamzi，Boumedine，随机强迫非线性系统的经验估计：可观测性、可控性和不变测度，（2012年美国控制会议，2012年），294-301，https://arxiv.org/abs/1204.0563v1 [7] Jake Bouvrie；Hamzi，Boumedine，非线性系统近似的核方法，SIAM J.控制优化。，2017, https://arxiv.org/abs/108.2903 ·Zbl 1368.93248号 [8] Jake Bouvrie；Hamzi，Boumedine，非线性系统某些关键量近似的核方法，J.Compute。动态。，1, 2017, http://arxiv.org/abs/1204.0563 ·Zbl 1394.37115号 [9] Felipe Cucker；Steve Smale，《关于学习的数学基础》，布尔。阿默尔。数学。Soc.，39，1-49，2002年·Zbl 0983.68162号 [10] 达西，M。；哈姆齐，B。；苏西洛托，J。；Braverman，A。；Owhadi，H.，《从数据学习动力系统：一个简单的交叉验证视角》，第二部分：非参数核流，2021年 [11] 达西，M。；Tavallali，P。；利维里，G。；哈姆齐，B。；Owhadi，H.，《随机微分方程的单点学习与计算图形完成》，2021年，预印本 [12] 吉斯勒，P。；哈姆齐，B。；拉斯穆森，M。；韦伯斯特，K.，《从噪声数据中近似Lyapunov函数》，J.Computat。动态。，2019, https://arxiv.org/abs/1601.01568 [13] Good，Irving John，解释性、确证性和假设的相对概率，综合，30，1-2，39-731975·Zbl 0307.62003年 [14] Grünwald，P.D.，《最小描述长度原则》，2007年，麻省理工学院出版社：剑桥 [15] 彼得·格伦沃尔德（Peter D.Grunwald）。；Vitanyi，Paul M.B.，算法信息理论，2008年 [16] Haasdonk，B。；哈姆齐，B。；Santin，G。；Wittwar，D.，中心流形近似的贪婪核方法，（ICOSAHOM 2018，谱和高阶方法国际会议，2018年第1期），https://arxiv.org/abs/1810.11329 ·Zbl 1523.34046号 [17] Haasdonk，B。；哈姆齐，B。；Santin，G。；Wittwar，D.，中心流形逼近的核方法和中心流形定理的弱数据版本，物理D，2021·Zbl 1523.34046号 [18] Hamzi，Boumediene；Colonius，Fritz，离散时间线性自治和控制系统近似的核方法，SN Appl。科学。，1, 7, 1-12, 2019 [19] Hamzi，Boumediene；奎恩，克里斯蒂安；Mohamed，Sameh，关于具有临界跃迁的多尺度系统的内核方法的注释，数学。方法应用。科学。，42, 3, 907-917, 2019 ·Zbl 1410.34170号 [20] Hamzi，Boumediene；Romit Maulik；Owhadi，Houman，《简单、低成本和准确的数据驱动地球物理预测与学习内核》，Proc。R.Soc.A，477，2252，2021年 [21] Hamzi，Boumediene；Owhadi，Houman，《从数据学习动力系统：一个简单的交叉验证视角》，第一部分：参数化内核流，Physica D，421，第132817页，2021·Zbl 1509.68217号 [22] Hamzi、Boumediene；霍曼·奥瓦迪；Kevrekidis，Yannis，《从数据中学习动力系统：一个简单的交叉验证视角》，第四部分：部分观测案例，物理学。D： 非线性现象，454，第133853条，第2022页·Zbl 07736383号 [23] Hamzi、Boumediene；霍曼·奥瓦迪；Paillet，Léo，关于具有临界跃迁的一些慢速随机微分方程的微局部核设计及其在脑电信号中的应用的注记，《物理A》，616，第128583页，2023·Zbl 07679922号 [24] 哈德森，J.L。；Kube，M。；阿道迈提斯，R.A。；Kevrekidis，I.G。；Lapedes，A.S。；Farber，R.M.，《非线性信号处理和系统识别：电化学反应时间序列的应用》，《化学》。工程科学。，45, 8, 2075-2081, 1990 [25] 马库斯·赫特（Marcus Hutter），通用贝叶斯预测一般损失和字母表的最佳性，J.Mach。学习。2003年971-1000号决议·Zbl 1094.68037号 [26] 马库斯·赫特（Marcus Hutter），《算法信息理论：该领域的简单非技术指南》（Algorithmic information theory:a brief non-technical guide to the field），《学者传媒》（Scholarpedia），2007年第2期，第3期，第2519页 [27] Hutter，Marcus，《模型选择的损失等级原则》（Proc.20th Annual Conf.on Learning Theory（COLT’07））。程序。第20届学习理论年会（COLT’07），LNAI，第4539卷，2007年，斯普林格：美国圣地亚哥斯普林格），589-603·Zbl 1203.68154号 [28] Hutter，Marcus，算法复杂性，学术媒体，3，1，2573，2008 [29] Hutter，Marcus，离散MDL预测总变异，（神经信息处理系统进展22（NIPS’09），2009，Curran Associates:Curran Associates Cambridge，MA，USA），817-825 [30] 马库斯·赫特；戴维·夸雷尔（David Quarel）；Catt，Elliot，《通用人工智能简介》（Chapman&Hall/CRC人工智能和机器人系列，2024年，Taylor和Francis） [31] 克鲁斯、斯特凡；菲利克斯·努斯克；Hamzi，Boumedine，基于核的koopman生成器和薛定谔算子近似，熵，222020，https://www.mdpi.com/1099-4300/22/7/722 [32] 克鲁斯、斯特凡；纽斯克，费利克斯；塞巴斯蒂安·佩茨；Jan-Hendrik Niemann；克莱门蒂、塞西莉亚；Schütte，Christof，《库普曼发生器的数据驱动近似：模型简化、系统识别和控制》，《物理D》，406，第132416条，2020年·Zbl 1485.93097号 [33] Lee，Jonghyeon；爱德华·德布鲁沃；Hamzi，Boumediene；Owhadi，Houman，《从数据学习动力系统：一个简单的交叉验证视角》，第三部分：不规则采样时间序列，Physica D，443，Article 133546 pp.，2023·兹比尔1510.37122 [34] Andrew A.Neath。；Cavanaugh，Joseph E.，贝叶斯信息标准：背景、推导和应用，Wiley Interdiscip。版次计算。统计，4，2，199-203，2012 [35] Owhadi，Houman，贝叶斯数值均匀化，多尺度模型。模拟。，13, 3, 812-828, 2015 ·Zbl 1322.35002号 [36] 霍曼·奥瓦迪；Sovel，Clint，《算子自适应小波、快速求解器和数值均匀化：从博弈论方法到数值逼近和算法设计》，2019年，剑桥应用和计算数学专著。剑桥大学出版社·Zbl 1477.65004号 [37] 奥瓦迪，H。；Yoo，G.R.，《内核流：从数据中学习内核到深渊》，J.Compute。物理。，389, 22-47, 2019 ·Zbl 1452.65028号 [38] 波兰，1月；Hutter，Marcus，在线预测离散MDL的渐近性，IEEE Trans。通知。理论，51，11，3780-37952005·Zbl 1318.68101号 [39] Sai Prasanth；Ziad S.哈达德。；朱尼·苏西洛托；Amy J.Braverman。；霍曼·奥瓦迪安德；Hamzi，Boumediene；赫里斯托瓦·韦列娃（Hristova-Veleva），Svetla M。；Turk，Joseph，Kernel从2021年卫星被动微波观测资料中推断对流风暴的结构，预印本 [40] 塞缪尔·拉思曼纳（Samuel Rathmanner）；马库斯·赫特（Marcus Hutter），《普适归纳法的哲学论文》，《熵》（Entropy），第13、6、1076-1136页，2011年·Zbl 1296.03007号 [41] 加布里埃尔·桑廷；Haasdonk，Bernard，代理建模的内核方法，2019年，https://arxiv.org/abs/1907.105566 ·Zbl 07445319号 [42] 斯坦瓦特，I。；Christmann，A.，《支持向量机》，《信息科学与统计》，2008年，纽约施普林格出版社·Zbl 1203.68171号 [43] Wallace，C.S.，《通过最小消息长度进行统计和归纳推理》（Information Science and Statistics，2005，Springer:Springer New York）·Zbl 1085.6202号 [44] 吴敏，宗；Schaback，Robert，分散数据径向基函数插值的局部误差估计，IMA J.Numer。分析。，13, 13-27, 1992 ·兹比尔0762.41006 [45] 杨璐；Hamzi，Boumediene；凯夫列基德斯，扬尼斯；霍曼·奥瓦迪；孙秀文；谢乃明，《从数据学习动力系统：一个简单的交叉验证视角》，第六部分：基于Hausdorff度量的内核流学习吸引子和不变量集，2023年 [46] 杨璐；孙秀文；Hamzi，Boumediene；霍曼·奥瓦迪；谢乃明，《从数据中学习动力系统：一个简单的交叉验证视角》，第五部分：132个混沌动力系统的稀疏核流，2022年·Zbl 07842130号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。