×

在贝叶斯非参数中评估对破胶先验的敏感性(有讨论)。 (英语) Zbl 07810181号

摘要:基于Dirichlet过程和其他突破性先验的贝叶斯模型被提出作为聚类、主题建模和其他无监督学习任务的核心要素。然而,由于这些模型的灵活性,先前选择的结果可能是不透明的。因此,先前的规范可能相对困难。同时,优先选择可以对后验推理产生实质性影响。因此,对稳健性的考虑需要与非参数建模同步进行。在当前的论文中,我们通过利用这样一个事实来应对这一挑战,即变分贝叶斯方法除了在拟合复杂的非参数模型方面具有计算优势外,还对贝叶斯模型的参数和非参数方面产生敏感性。特别是,我们演示了如何评估结论对Dirichlet过程混合物和相关混合物模型下推断的浓度参数和破胶分布的选择的敏感性。我们为贝叶斯灵敏度分析的变分方法提供了理论和经验支持。

MSC公司:

62至XX 统计
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ambrogioni,L.、GüçLü,U.、Gü)Lütürk,Y.、Hinne,M.、van Gerven,M.和Maris,E.(2018年)。“Wasserstein变分推理”,《神经信息处理系统进展》,31:2473-2482。
[2] 安德森·E(1936)。《鸢尾的物种问题》,《密苏里植物园年鉴》,23(3):457-509。
[3] Averbukh,V.和Smolyanov,O.(1967年)。“线性拓扑空间中的微分理论”,《俄罗斯数学调查》,22(6):201-258。数学科学网:MR0223886 zbMATH:0312.46054·Zbl 0312.46054号
[4] Barrios,E.、Ligoi,A.、Nieto-Barajas,L.和Prünster,I.(2013)。“用归一化随机测量混合模型建模”,《统计科学》,28(3):313-334。数字对象标识符:10.1214/13-STS416谷歌学者:查找链接MathSciNet:MR3135535 zbMATH:1331.62120·Zbl 1331.62120号 ·doi:10.1214/13-STS416
[5] Basu,S.(2000)。贝叶斯稳健和贝叶斯非参数,223-240。纽约州纽约市:Springer New York。数字对象标识符:10.1007/978-1-4612-1306-2_12谷歌学者:查找链接数学科学网:MR1795218·Zbl 1281.62063号 ·doi:10.1007/978-1-4612-1306-2_12
[6] Basu,S.、Jammalamadaka,S.R.和Liu,W.(1996)。“带参数先验的局部后验稳健性:最大和平均灵敏度”,《最大熵和贝叶斯方法》,97-106。斯普林格。兹马特:0895.62025·Zbl 0895.62025号
[7] Baydin,A.、Pearlmutter,B.、Radul,A.和Siskind,J.(2018年)。“机器学习中的自动分化:一项调查”,《机器学习研究杂志》,第18期。数学科学网:MR3800512 zbMATH:06982909·兹伯利06982909
[8] Blei,D.和Jordan,M.I.(2006年)。“Dirichlet过程混合物的变分推理”,贝叶斯分析,1(1):121-143。数字对象标识符:10.1214/06-BA104谷歌学者:查找链接MathSciNet:MR2227367 zbMATH:1331.62259·兹比尔1331.62259 ·doi:10.1214/06-BA104
[9] Blei,D.、Kucukelbir,A.和McAuliffe,J.(2017)。《变分推理:统计学家评论》,《美国统计协会杂志》,112(518):859-877。数字对象标识符:10.1080/01621459.2017.1285773谷歌学者:查找链接数学科学网:MR3671776·doi:10.1080/01621459.2017.1285773
[10] 坎贝尔,T.、哈金斯,J.、霍伊,J.和布罗德里克,T.(2019年)。“截断的随机度量。”伯努利, 25(2): 1256-1288. 数字对象标识符:10.3150/18-bej1020谷歌学者:查找链接数学科学网:MR3920372 zbMATH:1459.60111·Zbl 1459.60111号 ·doi:10.3150/18-bej1020
[11] Canale,A.、Ligoi,A.、Nipoti,B.和Prünster,I.(2017年)。“关于Pitman-Yor过程,采用钉板基础测量。”生物特征, 104(3): 681-697. 数字对象标识符:10.1093/biomet/asx041谷歌学者:查找链接MathSciNet:MR3694590 zbMATH:07072235·Zbl 07072235号 ·doi:10.1093/biomet/asx041
[12] Cook,D.(1986年)。《地方影响评估》,《皇家统计学会期刊:B辑(方法学)》,48(2):133-155。数学科学网:MR0867994
[13] Doshi,F.、Miller,K.、Van Gael,J.和Teh,Y.(2009年)。《印度自助餐过程的变化推断》,《人工智能与统计》137-144。PMLR公司。
[14] Dudley,R.(2018)。真实分析和概率。CRC出版社。数字对象标识符:10.1017/CBO9780511755347谷歌学者:查找链接数学科学网:MR1932358·Zbl 1023.60001号 ·doi:10.1017/CBO9780511755347
[15] Ferguson,T.(1973)。“一些非参数问题的贝叶斯分析”,《统计年鉴》,209-230。数学科学网:MR0350949·兹比尔0255.62037
[16] Fisher,R.(1936年)。“在分类问题中多重测量的使用”,《优生学年鉴》,7(2):179-188。
[17] Galbusera,P.、Lens,L.、Schenck,T.、Waiyaki,E.和Matthysen,E.(2000)。“全球濒危泰塔鸫的遗传变异和基因流动”,《保护遗传学》,1:45-55。
[18] Gelman,A.、Carlin,J.、Stern,H.、Dunson,D.、Vehtari,A.和Rubin,D.(2013)。贝叶斯数据分析,第三版。Chapman&Hall/CRC统计科学文本。泰勒和弗朗西斯。数学科学网:MR3235677
[19] Ghaderinezhad,F.和Ley,C.(2019)。“通过斯坦因方法量化贝叶斯统计学中先验的影响”,《统计学与概率快报》,146:206-212。数字对象标识符:10.1016/j.spl.2018.11.012谷歌学者:查找链接数学科学网:MR3884714 zbMATH:1412.62038·Zbl 1412.62038号 ·doi:10.1016/j.spl.2018.11.012
[20] Giordano,R.、Broderick,T.和Jordan,M.I.(2018年)。“协方差、稳健性和变分贝叶斯”,《机器学习研究杂志》,19(51)。数学科学网:MR3874159·Zbl 1467.62043号
[21] Giordano,R.、Liu,R.,Jordan,M.I.和Broderick,T.(2022)。“评估贝叶斯非参数法对断棒先验的敏感性:补充材料”,贝叶斯分析。数字对象标识符:10.1214/22-BA1309SUPP谷歌学者:查找链接·doi:10.1214/22-BA1309SUPP文件
[22] Gustafson,P.(1996a)。“推论对先验边缘的局部敏感性”,《美国统计协会杂志》,91(434):774-781。数字对象标识符:10.2307/2291672谷歌学者:查找链接数学科学网:MR1395744 zbMATH:0869.62022·Zbl 0869.62022号 ·doi:10.2307/2291672
[23] Gustafson,P.(1996b)。“后验期望的局部敏感性”,《统计年鉴》,24(1):174-195。兹马特:0853.62026·Zbl 0853.62026号
[24] Gustafson,P.(2000)。贝叶斯分析中的局部稳健性,71-88。纽约州纽约市:Springer New York·Zbl 1281.62068号
[25] Hampel,F.、Ronchetti,E.、Rousseeuw,P.和Stahel,W.(2011年)。稳健统计:基于影响函数的方法,第196卷。约翰·威利父子公司。数学科学网:MR0829458
[26] Insua,D.R.和Ruggeri,F.(2000年)。稳健贝叶斯分析。斯普林格。数字对象标识符:10.1007/978-1-4612-1306-2谷歌学者:查找链接数学科学网:MR1795206·Zbl 0958.00015号 ·doi:10.1007/978-1-4612-1306-2
[27] Jaeckel,L.(1972年)。“The Infinitesimal Jackknifer,Memorial.”技术报告,MM 72-1215-11,新泽西州默里山贝尔实验室。
[28] Jasra,A.、Holmes,C.和Stephens,D.(2005年)。“马尔可夫链蒙特卡罗方法和贝叶斯混合建模中的标签切换问题”,《统计科学》,20(1):50-67。数字对象标识符:10.1214/088342305000000016谷歌学者:查找链接MathSciNet:MR2182987 zbMATH:1100.62032·Zbl 1100.62032号 ·doi:10.1214/088342305000000016
[29] Krantz,S.和Parks,H.(2012)。隐函数定理:历史、理论和应用。施普林格科技与商业媒体。数字对象标识符:10.1007/978-1-4614-5981-1谷歌学者:查找链接数学科学网:MR2977424·Zbl 1269.58003号 ·doi:10.1007/978-14614-5981-1
[30] Kucukelbir,A.、Tran,D.、Ranganath,R.、Gelman,A.和Blei,D.(2017年)。“自动微分变分推理”,《机器学习研究杂志》,18(1):430-474。数学科学网:MR3634881 zbMATH:1437.62109
[31] Li,Y.和Turner,R.(2016)。“带有Rényi散度的变分推理。”斯达, 1050: 6.
[32] Ligoi,A.、Mena,R.和Prünster,I.(2007年)。“控制贝叶斯非参数混合模型中的强化”,《皇家统计学会杂志:B辑(统计方法)》,69(4):715-740。数字对象标识符:10.1111/j.1467-9868.2007.00609.x谷歌学者:查找链接数学科学网:MR2370077 zbMATH:07555373·Zbl 07555373号 ·文件编号:10.1111/j.1467-9868.2007.00609.x
[33] Liu,Q.和Wang,D.(2016)。“斯坦因变分梯度下降:通用贝叶斯推理算法”,《神经信息处理系统进展》,29:2378-2386。
[34] Luan,Y.和Li,H.(2003)。“使用带有B样条的混合效应模型对时间进程基因表达数据进行聚类。”生物信息学, 19(4): 474-482.
[35] Nieto-Barajas,L.和Prünster,I.(2009年)。“贝叶斯非参数密度估计的敏感性分析”,《统计》,19(2):685-705。数学科学网:MR2514182·Zbl 1168.62033号
[36] Nocedal,J.和Wright,S.(2006年)。数值优化。施普林格科技与商业媒体。数学科学网:MR2244940 zbMATH:1104.65059·Zbl 1104.65059号
[37] Pritchard,J.、Stephens,M.和Donnelly,P.(2000)。“利用多点基因型数据推断人口结构。”遗传学, 155(2): 945-959.
[38] Raj,A.、Stephens,M.和Pritchard,J.K.(2014)。“fastSTRUCTURE:大型SNP数据集中人口结构的变异推断。”遗传学, 197(2): 573-589.
[39] Ranganath,R.、Gerrish,S.和Blei,D.(2014)。“黑箱变分推理”,《人工智能与统计学》,814-822。PMLR公司。
[40] Reeds,J.(1976年)。“关于冯·米塞斯泛函的定义”,哈佛大学统计学博士论文。数学科学网:MR2940746
[41] Roos,M.、Martins,T.、Held,L.和Rue,H.(2015)。“贝叶斯层次模型的敏感性分析”,贝叶斯分析,10(2):321-349。数字对象标识符:10.1214/14-BA909谷歌学者:查找链接MathSciNet:MR3420885 zbMATH:1335.62059·兹比尔1335.62059 ·doi:10.1214/14-BA909
[42] Roychowdhury,A.和Kulis,B.(2015)。《伽玛过程、破胶和变分推理》,《人工智能与统计》,800-808。PMLR公司。
[43] Saha,A.和Kurtek,S.(2019年)。“贝叶斯非参数密度估计模型的几何敏感性度量”,Sangkhya系列A,81:104-143。数字对象标识符:10.1007/s13171-018-0145-7谷歌学者:查找链接数学科学网:MR3982193 zbMATH:1426.62116·Zbl 1426.62116号 ·doi:10.1007/s13171-018-0145-7
[44] Sethuraman,J.(1994)。“Dirichlet先验的建设性定义”,《中国统计》,639-650。数学科学网:MR1309433 zbMATH:0823.62007·Zbl 0823.62007号
[45] Shoemaker,J.、Fukuyama,S.、Eisfeld,A.、Zhao,D.、Kawakami,E.、Sakabe1,S.,Maemura,T.、Gorai,T.,Katsura,H.、Muramoto,Y.、Watanabe,S.和Watanabo,T.(2015)。“超敏机制调节流感病毒诱导的炎症。”《公共科学图书馆·病原体》,11(6):1-25。
[46] Sivaganesan,S.(2000年)。“全局和局部稳健性方法:使用和限制”,《稳健贝叶斯分析》,第89-108页。斯普林格。数字对象标识符:10.1007/978-1-4612-1306-2_5谷歌学者:查找链接数学科学网:MR1795211 zbMATH:1281.62083·Zbl 1281.62083号 ·doi:10.1007/978-1-4612-1306-25
[47] Teh,Y.、Jordan,M.I.、Beal,M.和Blei,D.(2006)。“等级迪里克莱过程”,《美国统计协会杂志》,101(476):1566-1581。数字对象标识符:10.1198/016214500000002谷歌学者:查找链接MathSciNet:MR2279480 zbMATH:1171.62349·Zbl 1171.62349号 ·doi:10.1198/016214500000302
[48] Virtanen,P.、Gommers,R.、Oliphant,T.、Haberland,M.、Reddy,T.,Cournapeau,D.、Burovski,E.、Peterson,P.,Weckesser,W.、Bright,J.、van der Walt,S.、Brett,M.,Wilson,J.,Millman,J.和Mayorov,N.、Nelson,A.、Jones,E.、Kern,R.,Larson,E.、Carey,C.、Polat,I。,Feng,Y.、Moore,E.、VanderPlas,J.、Laxalde,D.、Perktold,J.,Cimrman,R.、Henriksen,I.、Quintero,E.、Harris,C.、Archibald,A.、Ribeiro,A.、Pedregosa,F.、van Mulbregt,P.和SciPy 1.0贡献者(2020年)。《SciPy 1.0:Python中科学计算的基本算法》,《自然方法》,17:261-272。
[49] von Luxburg,U.(2007年)。“光谱聚类教程”,《统计与计算》,17:395-416。数字对象标识符:10.1007/s11222-007-9033-z谷歌学者:查找链接数学科学网:MR2409803·数字对象标识代码:10.1007/s11222-007-9033-z
[50] Zeidler,E.(1986)。非线性泛函分析及其应用I:不动点定理。Springer Verlag New York,Inc.数字对象标识符:10.1007/978-1-4612-4838-5谷歌学者:查找链接数学科学网:MR0816732 zbMATH:0794.47033·Zbl 0583.47050号 ·doi:10.1007/978-1-4612-4838-5
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。