×
让·巴比尔;尼古拉斯·马克里斯

自适应插值方法：贝叶斯推理中证明副本公式的简单方案。 （英语） 兹比尔1478.60253

普罗巴伯。理论关联。领域 174，编号3-4，1133-1185（2019）.
摘要：近年来，在证明贝叶斯推理问题中（渐近）互信息（或“自由能”）的副本预测的有效性方面取得了重要进展。出现的证明技术似乎相当普遍，尽管它们是在个案基础上制定的。不幸的是，所有这些方案的一个共同点是它们的技术性相对较高。我们提出了一个新的证明方案，与以前的证明方案相比，它非常简单。我们称之为自适应插值方法因为它可以被视为Guerra和Tonnelli在自旋玻璃背景下开发的插值方法的扩展，具有自适应的插值路径。为了说明我们的方法，我们展示了如何证明三个非平凡推理问题的副本公式。第一个是对称秩一矩阵估计（或因式分解），这是这里考虑的最简单的问题，也是该方法详细介绍的问题。然后我们推广到对称张量估计和随机线性估计。我们认为，该方法具有更广泛的适用性，并对贝叶斯推理中副本公式有效性的原因提供了新的见解。

引用于32文件

MSC公司：

60公斤35 相互作用的随机过程；统计力学类型模型；渗流理论
2015年1月62日 贝叶斯推断
62甲12 多元分析中的估计
82天30分 随机介质、无序材料（包括液晶和自旋玻璃）的统计力学

关键词：

贝叶斯推断

软件：

德纳;最小二乘法;委员会机器
PDF格式BibTeX公司 XML格式引用
\textit{J.Barbier}和\textit{N.Macris}，Probab。理论关联。字段174，编号3--4，1133--1185（2019；Zbl 1478.60253）
全文： 内政部 arXiv公司

参考文献：

[1] Talagrand，M.：《自旋玻璃：对数学家的挑战：腔和平均场模型》，第46卷。柏林施普林格出版社（2003）·Zbl 1033.82002号
[2] Talagrand，M.：自旋玻璃的平均场模型。第一卷：基本示例。柏林施普林格出版社（2011）·Zbl 1214.82002号
[3] Talagrand，M.：自旋玻璃的平均场模型。第二卷：高级复制对称性和低温。柏林施普林格出版社（2011）·Zbl 1232.82005年
[4] 潘琴科，D.：谢林顿-柯克帕特里克模型。施普林格数学专著。柏林施普林格出版社（2013）·Zbl 1266.82005年
[5] Mézard，M.，Parisi，G.，Virasoro，M.-A.：自旋玻璃理论及其以外。新加坡世界科学出版公司（1990年）·Zbl 0992.82500号
[6] Guerra，F.：在平均场自旋玻璃模型中，复制品打破了边界。Commun公司。数学。物理学。233, 1-12 (2003) ·Zbl 1013.82023号
[7] Guerra，F.，Tonnelli，F.：Sherrington-Kirkpatrick平均场自旋玻璃模型中的二次复制耦合。数学杂志。物理学。43, 3704-3716 (2002) ·兹比尔1060.82023
[8] Talagrand，M.：帕里西公式。安。数学。163, 221-263 (2006) ·Zbl 1137.82010年
[9] Parisi，G.：自旋玻璃S-K模型的一系列近似解。《物理学杂志》。A 13，L-115（1980）
[10] Sherington，D.，Kirkpatrick，S.：自旋玻璃的可解模型。物理学。修订稿。35(26), 1792-1796 (1975)
[11] Montanari，A.：地图解码下LDPC和LDGM码的严格界限。IEEE传输。《信息论》51，3221-3246（2005）·Zbl 1310.94216号
[12] Macris，N.：格里菲斯·凯利·谢尔曼相关不等式：纠错码理论中的一个有用工具。IEEE传输。《信息论》53（2），664-683（2007）·Zbl 1310.94233号
[13] Macris，N.：广义退出函数的尖锐边界。IEEE传输。信息理论532365-2375（2007）·兹比尔1326.94043
[14] Kudekar，S.，Macris，N.：低密度校验码最佳解码的夏普界限。IEEE传输。《信息论》55（10），4635-4650（2009）·Zbl 1367.94431号
[15] Korada，S.B.，Macris，N.：关于码分多址系统的容量。摘自：《Allerton通信、控制和计算会议记录》，伊利诺伊州蒙蒂塞洛，第959-966页（2007年9月）
[16] Korada，S.B.，Macris，N.：二进制输入随机CDMA系统容量的严格限制。IEEE传输。《信息论》56（11），5590-5613（2010）·Zbl 1366.94027号
[17] Barbier，J.，Dia，M.，Macris，N.，Krzakala，F.：随机线性估计中的互信息。参加：第54届Allerton通信、控制和计算年会（2016年9月）·兹比尔1446.94018
[18] Barbier，J.，Macris，N.，Dia，M.，Krzakala，F.：随机线性估计中近似消息传递的互信息和最优性。arXiv预打印arXiv:1701.05823·兹比尔1446.94018
[19] Barbier，J.，Macris，N.：随机线性估计中的I-MMSE关系和亚扩展插值方法。arXiv：1704.04158（2017年4月）
[20] Korada，S.B.，Macris，N.：完备图上规范对称p-销玻璃模型的精确解。《统计物理学杂志》。136(2), 205-230 (2009) ·Zbl 1180.82200号
[21] Krzakala，F.，Xu，J.，Zdeborová，L.：秩一矩阵估计中的互信息。在：2016年IEEE信息理论研讨会（ITW），第71-75页（2016年9月）
[22] Barbier，J.，Dia，M.，Macris，N.，Krzakala，F.，Lesieur，T.，Zdeborová，L.：对称秩一矩阵估计的互信息：副本公式的证明。高级神经信息处理。系统。（NIPS）29，424-432（2016）
[23] Franz，S.，Leone，M.：优化问题和稀释自旋系统的复制边界。《统计物理学杂志》。111535-564（2003年）·Zbl 1049.82070号
[24] Franz，S.，Leone，M.，Toninelli，F.：稀释非异速自旋系统的复制边界。《物理学杂志》。数学。Gen.36，535-564（2003）·Zbl 1075.82516号
[25] Panchenko，D.，Talagrand，M.：稀释平均场自旋玻璃模型的界限。普罗巴伯。理论关联。字段130（8），319-336（2004）·Zbl 1101.82041号
[26] Hassani，H.，Macris，N.，Urbanke，R.：空间耦合约束满足问题中的阈值饱和。《统计物理学杂志》。150, 807-850 (2013) ·Zbl 1266.82067号
[27] Mézard，M.，Montanari，A.：信息、物理和计算。牛津出版社，牛津（2009）·Zbl 1163.94001号
[28] Giurgiu，A.，Macris，N.，Urbanke，R.：空间耦合作为一种证明技术和三种应用。IEEE传输。《信息论》62（10），5281-5295（2016）·Zbl 1359.94253号
[29] Reeves，G.，Pfister，H.D.：使用高斯矩阵进行压缩感知的复制对称预测是准确的。2016年IEEE信息理论国际研讨会（ISIT）（2016年7月）
[30] Reeves，G.，Pfister，H.D.：使用高斯矩阵进行压缩传感的复制对称预测是准确的。arXiv:1607.02524（2016）
[31] Lesieur，T.、Miolane，L.、Lelarge，M.、Krzakala，F.、Zdeborová，L.：尖峰张量估计中的统计和计算相变。2017年6月25日至30日，德国亚琛，2017年IEEE信息理论国际研讨会，第511-515页（2017）
[32] Lelarge，M.，Miolane，L.：对称低秩矩阵估计的基本极限。普罗巴伯。理论关联。Fields（2018年）。https://doi.org/10.1007/s00440-018-0845-x ·Zbl 1411.60014号
[33] Miolane，L.：低秩矩阵估计的基本极限：非对称情况。ArXiv电子版（2017年2月）
[34] Coja-Oghlan，A.，Krzakala，F.，Perkins，W.，Zdeborova，L.：空腔法的信息理论阈值。arXiv:1611.00814v3（2016）·Zbl 1370.68222号
[35] Aizenman，M.，Sims，R.，Starr，S.L.：Sherrington-Kirkpatrick自旋玻璃模型的扩展变分原理。物理学。版本B 68，214403（2003）
[36] Barbier，J.，Macris，N.，Miolane，L.：张量估计的分层结构及其相互信息。在：第47届Allerton通信、控制和计算年度会议（Allerton）（2017年9月）
[37] Barbier，J.、Krzakala，F.、Macris，N.、Miolane，L.、Zdeborová，L.：广义线性模型中的相位转换、最佳误差和消息传递的最佳性。arXiv预印arXiv:1708.03395（2017）·Zbl 1416.62421号
[38] Gabrié，M.，Manoel，A.，Luneau，C.，Barbier，J.，Macris，N.，Krzakala，F.，Zdeborová，L.：深度神经网络模型中的熵和互信息。主题：神经信息处理系统（NIPS）进展，加利福尼亚州蒙特利尔（2018）·Zbl 1459.94076号
[39] Aubin，B.，Maillard，A.，Barbier，J.，Macris，N.，Krzakala，F.，Zdeborová，L.：委员会机器：学习双层神经网络的计算到统计差距。in：神经信息处理系统（NIPS）进展，加利福尼亚州蒙特雷尔（2018）·Zbl 1459.82248号
[40] Barbier，J.，Macris，N.，Maillard，A.，Krzakala，F.：i.i.d.矩阵以外的随机线性估计中的互信息。In:IEEE信息理论国际研讨会（ISIT）（2018年）
[41] Barbier，J.，Chan，C.-L.，Macris，N.：稀疏系统的自适应路径插值：应用于简单删失块模型。In:IEEE信息理论国际研讨会（ISIT）（2018年）·Zbl 1473.62176号
[42] Pastur，L.，Shcherbina，M.：Sherrington-Kirkpatrick模型中序参数缺乏自平均性。《统计物理学杂志》。62(1/2), 1-19 (1991)
[43] Pastur，L.，Shcherbina，M.，Tirozzi，B.：霍普菲尔德模型的无复制技巧的复制对称解。《统计物理学杂志》。741161-1183（1994年）·Zbl 0835.60092号
[44] Shcherbina，M.：关于Sherington-Kirkpatrick模型的副本对称解。《Helvetica Physica Acta》70，838-853（1997）·Zbl 0899.60096号
[45] Nishimori，H.：自旋玻璃统计物理与信息处理：导论。牛津大学出版社，牛津（2001）·Zbl 1103.82002号
[46] Iba，Y.：西森线和贝叶斯统计。《物理学杂志》。数学。总则32（21），3875（1999）·Zbl 0936.82014号
[47] Mezard，M.，Montanari，A.：信息、物理和计算。牛津大学出版社，牛津（2009）·Zbl 1163.94001号
[48] Lesieur，T.，Krzakala，F.，Zdeborová，L.：概率低秩矩阵估计：关于输出信道的普遍性。参加：Allerton年度会议（2015年）
[49] Deshpande，Y.，Abbe，E.，Montanari，A.：二元随机块模型的渐近互信息。2016年IEEE信息理论国际研讨会（ISIT），第185-189页（2016年7月）·Zbl 1383.62021号
[50] Guerra，F.，Tonnelli，F.L.：平均场自旋玻璃模型中的热力学极限。Commun公司。数学。物理学。230(1), 71-79 (2002) ·兹比尔1004.82004
[51] Giurgiu，A.，Macris，N.，Urbanke，R.：如何通过空间耦合证明麦克斯韦猜想：概念证明。收录于：2012年IEEE信息理论程序国际研讨会（ISIT），第458-462页（2012年7月）
[52] Nishimori，H.：自旋玻璃统计物理与信息处理：导论。牛津大学出版社，牛津（2001）·Zbl 1103.82002号
[53] Lesieur，T.、Krzakala，F.、Zdeborová，L.：约束低秩矩阵估计：相变、近似信息传递和应用。《统计力学杂志》。理论实验2017（7），073403（2017）·Zbl 1462.62324号
[54] Guerra，F.，Tonnelli，F.：广义平均场无序模型中的无限体积极限。马尔可夫过程。相关字段9（2），195-2017（2003）·兹比尔1033.82009
[55] McDiarmid，C.：关于有界差分法。Surv公司。梳子。141(1), 148-188 (1989) ·Zbl 0712.05012号
[56] Boucheron，S.，Lugosi，G.，Massart，P.：集中不等式：独立的非渐近理论。牛津大学出版社（2013）·Zbl 1279.60005号
[57] Guo，D.，Wu，Y.，Shitz，S.S.，Verdü，S.：高斯噪声中的估计：最小均方误差的特性。IEEE传输。Inf.理论57（4），2371-2385（2011）·Zbl 1366.94144号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。