×
Aurélien Decelle

机器学习导论：从统计物理学的角度。 （英语） Zbl 07791851号

物理A 631，文章ID 128154，31 p.（2023）.
总结：机器学习的最新进展为学习算法的实际应用打开了大门，也为机器学习领域的新研究方向打开了大门。我们感兴趣的是与物理学的接口，更具体地说是统计物理学。在这个简短的讲座中，我将首先从神经网络的角度简要介绍机器学习。在快速解释了训练过程的一些基本模型和全局方面之后，我将更详细地讨论两个示例，以说明从统计物理的角度可以做什么。

MSC公司：

82至XX 统计力学，物质结构

关键词：

机器学习;感知器;受限玻尔兹曼机;相图
PDF格式BibTeX公司 XML格式引用
\textit{A.Decelle}，Physica A 631，文章ID 128154，31 p.（2023；Zbl 07791851）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Daniel J.Amit。；哈诺克·古弗雷德；Sompolinsky，Haim，《在神经网络的自旋类模型中存储无限数量的模式》。物理学。修订稿。，14, 1530 (1985)
[2] 伊丽莎白·加德纳；德里达，伯纳德，神经网络模型的最佳存储特性。《物理学杂志》。A： 数学。Gen.，1271（1988）
[3] 马克·梅扎德；Mora，Thierry，《约束满足问题和神经网络：统计物理观点》。《生理学杂志》。（巴黎），1-2107-113（2009）
[4] 大卫·多诺霍（David L.Donoho）。；阿里安·马利基（Arian Maleki）；Montanari，Andrea，压缩感知的消息传递算法。程序。国家。阿卡德。科学。，45, 18914-18919 (2009)
[5] 科扎卡拉，佛罗伦萨；马克·梅扎德；法国索塞特；Sun，Y.F。；Zdeborová，Lenka，压缩传感中基于统计物理的重建。物理学。版本X，2（2012年）
[6] Nishimori，Hidetoshi，《自旋玻璃统计物理与信息处理：导论》（2001），克拉伦登出版社·兹比尔1103.82002
[7] Nishimori，Hidetoshi，具有竞争相互作用的ising模型的精确结果和临界性质。《物理学杂志》。C： 固态物理。，21, 4071 (1980)
[8] 伊巴、Yukito、西莫里线和贝叶斯统计。《物理学杂志》。A： 数学。Gen.，21，3875（1999）·Zbl 0936.82014号
[9] 兹德博罗娃，伦卡；Krzakała，Florent，随机图着色中的相变。物理学。E版，3（2007年）·兹比尔1228.90101
[10] Aurelein Decelle；科扎卡拉，佛罗伦萨；克里斯托弗·摩尔（Cristopher Moore）；Zdeborová，Lenka，稀疏网络中模块检测中的推断和相变。物理学。修订稿。，6 (2011)
[11] 布鲁诺·卢雷罗；塞德里克·格贝洛特；崔雨果；塞巴斯蒂安·戈尔德；科扎卡拉，佛罗伦萨；马克·梅扎德；Zdeborová，Lenka，使用师生模型捕捉真实数据集的通用特征地图的学习曲线（2021年），arXiv预印本arXiv:2102.08127·Zbl 07632718号
[12] 阿德里亚诺·巴拉（Adriano Barra）；基诺维塞，朱塞佩；彼得·索利希；Tantari，Daniele，具有一般先验的受限boltzmann机器中的相变。物理学。修订版E，4（2017）
[13] 杰罗姆·图比亚纳；Monasson，Rémi，受限玻尔兹曼机中组成表示的出现。物理学。修订稿。，13 (2017)
[14] Aurélien Decelle；吉安卡洛·菲索尔；Furtlehner，Cyril，受限boltzmann机器的热力学和相关学习动力学。《统计物理学杂志》。，6, 1576-1608 (2018) ·Zbl 1407.82041号
[15] 胡安·卡拉斯奎拉（Juan Carrasquilla）；Roger G.Melko，《物质的机器学习阶段》。自然物理学。，5, 431-434 (2017)
[16] 安德烈亚斯·恩格尔（Andreas Engel），克里斯蒂安·范登·布勒克（Christian Van den Broeck），《学习的统计力学》，剑桥大学出版社，2001年·Zbl 0984.82034号
[17] Opper，Manfred，学习概括。前面。《生活》，第二部分，763-775（2001）
[18] 马克·梅扎德；安德里亚·蒙塔纳里（Andrea Montanari），《信息、物理与计算》（2009），牛津大学出版社·Zbl 1163.94001号
[19] 兹德博罗娃，伦卡；Krzakala，Florent，《推断的统计物理学：阈值和算法》。高级物理。，5, 453-552 (2016)
[20] 埃琳娜·阿格里亚里；阿德里亚诺·巴拉（Adriano Barra）；彼得·索利希；Zdeborova，Lenka，机器学习和统计物理：理论，灵感，应用。《物理学杂志》。A： 特殊（2020年）·Zbl 07646210号
[21] 罗森布拉特，弗兰克，《感知器：大脑中信息存储和组织的概率模型》。精神病。修订版，6386（1958）
[22] 安东尼·库伦（Anthony C.C.Coolen）。；Kühn，Reimer；Sollich，Peter，Sollich神经信息处理系统理论（2005），牛津大学出版社：牛津大学出版社·Zbl 1117.68064号
[23] Christopher M.Bishop，《模式识别》。机器。学习。，9 (2006) ·Zbl 1107.68072号
[24] 布鲁诺·卢雷罗；Gerbelot，塞德里克；玛丽亚·菲尼蒂（Maria Refinetti）；加布里埃尔·西库罗；Krzakala，Florent，学习者的波动、偏差、方差和集合：高维凸损失的精确渐近性（2022），arXiv预印本arXiv:2201.13383
[25] Yann LeCun；Bengio，Yoshua，图像、语音和时间序列的卷积网络。Handb。脑理论神经网络，1995年10月（1995）
[26] 伊恩·古德费罗；约书亚·本吉奥；Aaron Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[27] Kramer，Mark A.，使用自联想神经网络的非线性主成分分析。AIChE J.，2233-243（1991）
[28] 阿里雷扎，马克扎尼；乔纳森·施伦斯（Jonathon Shlens）；贾特利（Jaitly），Navdeep；伊恩·古德费罗；Frey，Brendan，对手自动编码器（2015），arXiv预印本arXiv:1511.05644
[29] 帕斯卡·文森特；雨果·拉罗谢尔；伊莎贝拉·拉朱伊（Isabelle Lajoie）；约书亚·本吉奥；Manzagol，Pierre-Antoine；Bottou，Léon，堆叠去噪自动编码器：使用局部去噪标准学习深层网络中的有用表示。J.马赫。学习。第12号决议（2010年）·Zbl 1242.68256号
[30] Kingma，Diederik P。；Welling，Max，自动编码变分贝叶斯（2013），arXiv预打印arXiv:1312.6114·Zbl 1431.68002号
[31] Doersch，Carl，变分自动编码器教程（2016），arXiv预打印arXiv:1606.05908
[32] Kingma，Diederik P。；Max Welling，《变分自动编码器简介》（2019），arXiv预印本arXiv:1906.02691·Zbl 1431.68002号
[33] 保罗·斯莫伦斯基，194-281
[34] 杰弗里·辛顿（Geoffrey E.Hinton），通过最小化对比差异来培训专家产品。神经计算。，8, 1771-1800 (2002) ·Zbl 1010.68111号
[35] Aurélien Decelle；Furtlehner，Cyril，《受限boltzmann机器：最新进展和平均场理论》。下巴。物理学。B、 4（2021年）·Zbl 1514.62049号
[36] 弗伦德（Yoav Freund）；Haussler，David，使用两层网络对二进制向量上的分布进行无监督学习。高级神经信息处理。系统。(1991)
[37] 伊恩·古德费罗；吉恩·普盖特·巴迪（Jean Pouget-Abadie）；迈赫迪·米尔扎；徐冰；戴维·沃德·法利（David Warde-Farley）；谢尔吉尔·奥扎尔；亚伦·库维尔（Aaron Courville）；Bengio，Yoshua，生成对抗网。高级神经信息处理。系统。(2014)
[38] Elizabeth Gardner，《神经网络模型中的交互空间》。《物理学杂志》。A： 数学。Gen.，1257（1988）
[39] Talagrand，Michel，《自旋玻璃的平均场模型：第一卷：基本示例》，第54卷（2010年），施普林格科学与商业媒体·Zbl 1214.82002号
[40] 埃琳娜·阿格里亚里；弗朗西斯科·阿莱曼诺；阿德里亚诺·巴拉（Adriano Barra）；Fachechi，Alberto，稠密联想神经网络的广义guerra插值方案。神经网络。，254-267 (2020) ·Zbl 07392283号
[41] Hajime Yoshino，《从复杂到简单：在深层神经网络中重新规范化的分层自由能源景观》。SciPost物理学。核心，5（2020年）
[42] Hopfield，John J.，具有突发集体计算能力的神经网络和物理系统。程序。国家。阿卡德。科学。，8, 2554-2558 (1982) ·Zbl 1369.92007号
[43] Tijmen Tieleman，《使用似然梯度近似值训练受限Boltzmann机器》，载《第25届机器学习国际会议论文集》，2008年，第1064-1071页。
[44] Aurélien Decelle；西里尔·福特莱纳（Cyril Furtlehner）；Seoane，Beatriz，受限boltzmann机器学习中的平衡和非平衡状态（2021），arXiv预印本arXiv:2105.13889·Zbl 07632726号
[45] Plefka，Timm，无限长伊辛自旋玻璃模型抽头方程的收敛条件。《物理学杂志》。A： 数学。Gen.，1971年6月（1982年）
[46] 玛丽露·加布里；埃里克·特拉梅尔。W。；佛罗伦萨Krzakala，《通过thouless-anderson-palmer自由能训练受限boltzmann机器》（2015），arXiv预印本arXiv:1506.02914
[47] 埃里克·W·特拉梅尔（Eric W.Tramel）。；玛丽露·加布里；安德烈·马诺埃尔（Andre Manoel）；弗朗西斯科·卡尔塔吉隆；Krzakala，Florent，《使用受限Boltzmann机器进行无监督学习的决定论和广义框架》。物理学。修订版X，4（2018）
[48] 哈什，莫希尔；杰罗姆·图比亚纳；西蒙娜·科科；Monasson，Remi，“Place-cell”合并和使用受限boltzmann机器学习不变数据：权重空间中连续对称的破坏和动态恢复。《物理学杂志》。A、 17（2020年）·Zbl 1514.68250号
[49] 尼古拉斯·贝勒；Aurélien Decelle；西里尔·福特莱纳（Cyril Furtlehner）；Seoane，Beatriz，使用有偏蒙特卡罗抽样学习受限玻尔兹曼机器（2022），arXiv预印本arXiv:2206.01310·兹伯利07632726
[50] 阿德里亚诺·巴拉（Adriano Barra）；基诺维塞，朱塞佩；彼得·索利希；Tantari，Daniele，限制boltzmann机和具有任意先验的广义hopfield网络的相图。物理学。版本E，2（2018年）
[51] 弗朗西斯科·阿莱曼诺；米里亚姆·阿夸罗（Miriam Aquaro）；伊多·坎特（Ido Kanter）；阿德里亚诺，巴拉；阿格里亚里，埃琳娜，《监督赫布式学习：走向可解释的人工智能》（2022），arXiv预印本arXiv：2203.01304
[52] Marco Baity-Jesi；萨贡，莱文；马里奥·盖革（Mario Geiger）；斯皮格勒、斯特凡诺；阿鲁斯，杰拉德·本；恰拉卡马罗塔；Yann LeCun；Wyart，Matthieu；Biroli，Giulio，《比较动力学：深层神经网络与玻璃系统》，第314-323页·Zbl 1459.82317号
[53] 斯特凡诺·曼内利。萨拉奥；朱利奥·比罗利；恰拉卡马罗塔；科扎卡拉，佛罗伦萨；皮尔弗朗西斯科·乌尔巴尼；Zdeborová，Lenka，简单神经网络中的复杂动力学：理解相位恢复中的梯度流。高级神经信息处理。系统。，3265-3274 (2020)
[54] 塞巴斯蒂安·戈尔特；马克·梅扎德；科扎卡拉，佛罗伦萨；伦卡州兹德博罗娃。，神经网络中数据结构对学习的影响建模：隐藏流形模型。物理学。版本X，4（2020年）
[55] 卡洛·巴尔达西；克里斯蒂安·博格斯（Christian Borgs）；詹妮弗·查耶斯（Jennifer T.Chayes）。；亚历山德罗·英格罗索；卡洛·卢西贝洛（Carlo Lucibello）；卢卡·萨利埃蒂（Luca Saglietti）；Zecchina，Riccardo，学习神经网络的不合理有效性：从可访问状态和鲁棒集合到基本算法方案。程序。国家。阿卡德。科学。，48，E7655-E7662（2016）
[56] 让·巴比尔；科扎卡拉，佛罗伦萨；尼古拉斯·马克里斯（Nicolas Macris）；莱奥·米奥兰；Zdeborová，Lenka，高维广义线性模型中的最佳误差和相变。程序。国家。阿卡德。科学。，12, 5451-5460 (2019) ·Zbl 1416.62421号
[57] 本·索舍尔；罗伯特·盖罗斯（Robert Geirhos）；谢哈尔、沙申克；神经节，苏里亚；Morcos，Ari S.，《超越神经尺度定律：通过数据修剪击败幂律尺度》（2022），arXiv
[58] 阿德里亚诺·巴拉（Adriano Barra）；阿尔贝托·伯纳奇亚；恩里卡·桑图奇；Contucci，Pierluigi，关于hopfield网络和boltzmann机器的等价性。神经网络。，1-9 (2012) ·Zbl 1258.68112号
[59] Mézard，Marc，Mean-field模型中的消息传递方程及其推广。物理学。版本E，2（2017）
[60] 希亚拉·马鲁洛（Chiara Marullo）；Agliari，Elena，Boltzmann机器作为广义hopfield网络：最近结果和展望的回顾。熵，1,34（2020）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。