×
阿比乔伊·萨哈;卡拉特;塞巴斯蒂安·库特克

贝叶斯推理的几何变分方法。 （英语） Zbl 1445.62076号

美国统计协会。 115，编号530，822-835（2020）.
摘要：基于概率密度函数流形上的非参数Fisher-Rao度量，我们提出了一种贝叶斯模型变分推理的黎曼几何框架。在平方根密度表示下，流形可以用（mathbb{L}^2）中单位超球面（S^infty）的正正值来识别，Fisher-Rao度量减少到标准度量。利用这样的黎曼结构，我们将后验分布近似为超球面上基于\（\alpha\）-散度的变分问题。与基于Kullback-Leibler散度的方法相比，这为边际分布提供了更严格的下限，并且相应的上限不可用。我们提出了一种基于Fréchet导数算子的变分问题的基于梯度的新算法，并研究了其性质。通过仿真和实际数据应用，我们证明了所提出的几何框架和算法在几种贝叶斯模型上的实用性。

引用于1文件

MSC公司：

62G07年 密度估算
2015年1月62日 贝叶斯推断
62年02月 一般非线性回归

关键词：

贝叶斯密度估计;贝叶斯逻辑回归;梯度上升算法;无限维黎曼优化;平方根密度

软件：

ADVI公司;PRMLT公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Saha}等人，《美国统计协会期刊》115，第530、822--835号（2020年；Zbl 1445.62076）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Amari，S.，“自然梯度在学习中有效发挥作用”，神经计算，10251-276（1998）·doi:10.1162/08997669830017746
[2] 巴伯，D。；Wiegerinck，W.，“用于近似图形模型的可牵引变分结构，11183-189（1999）
[3] Bauer，M。；Joshi，S。；Modin，K.，“通过最佳信息传输进行差异密度匹配”，SIAM成像科学杂志，81718-1751（2015）·Zbl 1326.58010号 ·数字对象标识代码：10.1137/151006238
[4] Bauer，M。；Joshi，S。；Modin，K.，《使用最佳信息传输的差分随机抽样》，135-142（2017）·兹比尔1426.60010
[5] Beal，M.J.，近似贝叶斯推断的变分算法（2003）
[6] Bhattacharyya，A.，关于由人口分布定义的两个统计人口之间差异的度量，加尔各答数学学会公报，35，99-109（1943）·Zbl 0063.00364号
[7] Bishop，C.M.，模式识别和机器学习（2006），纽约：Springer，纽约·Zbl 1107.68072号
[8] 布莱，D.M。；Kucukelbir，A。；McAuliffe，J.D.，“变分推断：统计学家评论”，《美国统计协会杂志》，第112期，第859-877页（2017年）·doi:10.1080/01621459.2017.1285773
[9] 布罗德里克，T。；博伊德，N。；Wibisono，A。；A.C.威尔逊。；Jordan，M.I.，《流媒体变体贝叶斯》，1727-1735（2013）
[10] 卡林，B.P。；Louis，T.A.，《数据分析的贝叶斯方法》（2008），伦敦：CRC出版社，伦敦·Zbl 1165.62003号
[11] Cencov，N.N.，《统计决策规则和最佳推断》，第53期（2000年），普罗维登斯，RI:美国数学学会，普罗维登斯，RI
[12] Chen，T。；Streets，J。；Shahbaba，B.，“后验近似的几何视图”，arXiv:1510.00861（2015）
[13] Cowles，M.K。；Carlin，B.P.，“马尔可夫链蒙特卡罗收敛诊断：比较综述”，《美国统计协会杂志》，91，883-904（1996）·Zbl 0869.62066号 ·doi:10.1080/01621459.1996.10476956
[14] 杜瓦，D。；Taniskidou，E.K.（2017年）
[15] 加赫拉马尼，Z。；Beal，M.J.，因子分析仪贝叶斯混合变量推断，12，449-455（1999）
[16] Girolma，M。；Calderhead，B.，“黎曼流形-朗之万和哈密尔顿蒙特卡罗方法”，《皇家统计学会杂志》，B辑，73，123-214（2011）·兹比尔1411.62071 ·文件编号：10.1111/j.1467-9868.2010.00765.x
[17] 埃尔南德斯·洛巴托，J。；李毅。；罗兰，M。；Bui，T。；埃尔南德斯·洛巴托（Hernández-Lobato），D。；Turner，R.，Black-Boxα-发散最小化，1511-1520（2016）
[18] 霍夫曼，M。；Blei，D.，《随机结构变量推断》，361-369（2015）
[19] 医学博士霍夫曼。；布莱，D.M。；王，C。；佩斯利，J.W.，“随机变量推断”，《机器学习研究杂志》，第14期，1303-1347页（2013年）·Zbl 1317.68163号
[20] Jaakkola，T。；Jordan，M.I.，贝叶斯逻辑回归模型的变分方法及其扩展，82（1997）
[21] Kass，R.E。；Vos，P.W.，《渐进推理的几何基础》，908（2011），新泽西州霍博肯：新泽西州威利
[22] Kingma，D.P。；Salimans，T。；Jozefowicz，R。；陈，X。；Sutskever，I。；Welling，M.，“反向自回归流的改进变分推断，4743-4751（2016）
[23] Kucukelbir，A。；Tran，D。；Ranganath，R。；Gelman，A。；Blei，D.M.，“自动微分变分推理”，《机器学习研究杂志》，18，430-474（2017）·Zbl 1437.62109号
[24] Kurtek，S.，“使用重要性抽样对功能数据进行配对贝叶斯对齐的几何方法”，《电子统计杂志》，11，502-531（2017）·Zbl 1362.62055号 ·doi:10.1214/17-EJS1243
[25] Kurtek，S。；Bharath，K.，“使用Fisher-Rao度量进行贝叶斯敏感性分析”，《生物特征》，102601-616（2015）·Zbl 1452.62252号 ·doi:10.1093/biomet/asv026
[26] Lang，S.，《微分几何基础》，191（2012），柏林：Springer科学与商业媒体，柏林
[27] Leonard，T.，“密度估计、随机过程和先验信息”，《皇家统计学会杂志》，B辑，40，113-146（1978）·Zbl 0398.62033号 ·doi:10.1111/j.2517-6161.1978.tb01655.x
[28] 李毅。；特纳，R.E.，“雷尼发散变分推断，1073-1081（2016）
[29] McGrory，C.A。；Titterington，D.，“有限混合分布贝叶斯模型选择中的变分近似”，计算统计与数据分析，51，5352-5367（2007）·Zbl 1445.62050号 ·doi:10.1016/j.csda.2006.07.020
[30] Minka，T.P.，近似贝叶斯推断的期望传播，362-369（2001）
[31] Minka，T.P.（2005）
[32] 奥尔森，J.M。；Weissfeld，L.A.，“某些多元积分的近似”，《统计与概率快报》，第11期，第309-317页（1991年）·Zbl 0722.62015号
[33] J.O.拉姆齐。；胡克，G。；Graves，S.，《使用R和MATLAB进行功能数据分析》（2009），柏林：Springer科学与商业媒体，柏林·兹比尔1179.62006
[34] Rao，C.R.，《统计参数估计中可获得的信息和准确性》，加尔各答数学学会公报，第37期，第81-91页（1945年）·Zbl 0063.06420号
[35] Rényi，A.，关于熵和信息的度量，1547-561（1961）·Zbl 0106.33001号
[36] Rezende，D。；Mohamed，S.，《归一化流的变分推断》，1530-1538（2015）
[37] Riihimäki，J。；Vehtari，A.，“Logistic Gaussian过程密度估计和回归的拉普拉斯近似”，贝叶斯分析，9，425-448（2014）·兹比尔1327.62248 ·doi:10.1214/14-BA872
[38] 环，W。；Wirth，B.，“黎曼流形的优化方法及其在形状空间中的应用”，SIAM优化杂志，22，596-627（2012）·Zbl 1250.90111号 ·数字对象标识码：10.1137/1082885X
[39] Saul，L.K。；Jordan，M.I.，《在顽固网络中开发可牵引子结构》，486-492（1996）
[40] Sigillito，V.G。；Wing，S.P。；哈顿，L.V。；Baker，K.B.，《使用神经网络对电离层雷达回波进行分类》，《约翰·霍普金斯APL技术文摘》，10262-266（1989）
[41] Srivastava，A。；I.H.杰明。；Joshi，S.H.，概率密度函数的黎曼分析及其在视觉中的应用，1-8（2007）
[42] Srivastava，A。；克拉森，E。；Joshi，S.H。；Jermyn，I.H.，“欧几里德空间中弹性曲线的形状分析”，IEEE模式分析和机器智能汇刊，331415-1428（2011）·doi:10.1109/TPAMI.2010.184
[43] Tan，L.S.，“改进变分推断的模型重参数化”，arXiv:1805.07267（2018）
[44] 托克达尔，S.T。；Ghosh，J.K.，“密度估计中Logistic Gaussian过程先验的后验一致性”，《统计规划与推断杂志》，137，34-42（2007）·Zbl 1098.62041号 ·doi:10.1016/j.jspi.2005.09.005
[45] Ueda，N。；Ghahramani，Z.，“基于优化变分界限的混合模型贝叶斯模型搜索”，《神经网络》，第15期，第1223-1241页（2002年）·doi:10.1016/S0893-6080（02）00040-0
[46] 范德法特，A.W。；van Zanten，J.H.，“使用反Gamma带宽高斯随机场的自适应贝叶斯估计”，《统计年鉴》，第37期，第2655-2675页（2009年）·Zbl 1173.62021号 ·doi:10.1214/08-AOS678
[47] Van Erven，T。；Harremos，P.，“Rényi分歧和Kullback-Leibler分歧”，IEEE信息理论汇刊，603797-3820（2014）·Zbl 1360.94180号 ·doi:10.1109/TIT.2014.2320050
[48] 王，C。；Blei，D.M.，“非共轭模型中的变分推理”，《机器学习研究杂志》，14100-5031（2013）·Zbl 1320.62057号
[49] 杨，D。；Chang，H。；熊，Y。；乔治·S。；喀什，R。；松本，T。；Rigoll，G.，SVC2004：第一届国际签名验证竞赛，16-22（2004）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。