×

贝叶斯网络对非共轭采样学习的鲁棒性。 (英文) Zbl 1205.68317号

摘要:最近关于贝叶斯网络(BN)上贝叶斯因子搜索不稳定性的研究结果让我们不禁要问,学习选定BN的参数是否也会严重依赖于通常相当随意的先验密度选择。对先验密度指定错误的推断的稳健性将至少确保选定的候选模型在给定不同先验和给定的大型训练数据集的情况下,对未来数据点做出类似的预测。本文推导了计算后验密度的新的显式总变差界,作为真实前验密度与所用近似前验密度的接近程度的函数,以及计算后验浓度的某些汇总统计。我们表明,随着样本点数量的增加,近似后验密度通常收敛于真实密度,并且我们的边界允许我们识别后验近似何时可能不收敛。为了证明我们的总体结果,我们需要开发一个新的距离测量系列,称为局部DeRobertis距离。这些提供了粗糙的非参数邻域,并允许我们推导出总变化的优雅的显式后边界。即使样本系统性缺失观测值且不可能进行共轭分析,也可以定期计算BN的界限。

MSC公司:

68T05型 人工智能中的学习和自适应系统
68层35 人工智能语言和软件系统理论(基于知识的系统、专家系统等)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 安德拉德,J.A.A。;O'Hagan,A.,使用规则变化分布的贝叶斯稳健建模,贝叶斯分析,1169-188(2006)·Zbl 1331.62175号
[2] J.Berger,《关于L.Wasserman的讨论,稳健贝叶斯推断的最新方法学进展(附讨论)》,载于:J.M.Bernardo,J.O.Berger,A.P.Dawid,A.F.M.Smith(编辑),贝叶斯统计学,第4卷,牛津大学出版社,1992年,第495-496页。;J.Berger,《关于L.Wasserman的讨论,稳健贝叶斯推断的最新方法学进展(附讨论)》,载于:J.M.Bernardo,J.O.Berger,A.P.Dawid,A.F.M.Smith(编辑),《贝叶斯统计学》,第4卷,牛津大学出版社,1992年,第495-496页。
[3] Borgelt,C。;Kruse,R.,《图形模型:数据分析和挖掘方法》(2002),John Wiley and Sons:John Willey and Sons Chichester,UK·Zbl 1017.62002号
[4] Brtró,B.,贝叶斯稳健性问题的数值处理,国际近似推理杂志,50279-288(2009)·Zbl 1185.62056号
[5] W.Buntine,贝叶斯网络的理论改进,收录于:B.DAmbrosio,P.Smets,P.Bonissone(编辑),《第七届人工智能不确定性会议论文集》,Morgan Kaufman,1991年,第52-60页。;W.Buntine,贝叶斯网络的理论精化,收录于:B.DAmbrosio,P.Smets,P.Bonissone(编辑),《第七届人工智能不确定性会议论文集》,Morgan Kaufman,1991年,第52-60页。
[6] 科威尔,R.G。;Dawid,A.P。;Lauritzen,S.L。;Spiegelhalter,D.J.,《概率网络和专家系统》(2000),施普林格出版社
[7] Denison,D.G.T。;C.C.福尔摩斯。;马利克,B.K。;Smith,A.F.M.,《非线性分类和回归的贝叶斯方法》(2002),John Wiley and Sons:John Willey and Sons Chichester,英国·Zbl 0994.62019号
[8] L.DeRobertis,《部分先验知识在贝叶斯推理中的应用》,耶鲁大学博士论文,1978年。;L.DeRobertis,《部分先验知识在贝叶斯推理中的应用》,耶鲁大学博士论文,1978年。
[9] DeRobertis,L。;Hartigan,J.,使用测量间隔的贝叶斯区间,《年鉴统计》,9235-244(1981)·Zbl 0468.62004号
[10] 盖革,D。;Heckerman,D.,有向非循环图形模型的参数先验和几种概率分布的表征,《年鉴统计》,第30期,第1412-1440页(2002年)·Zbl 1016.62064号
[11] M.A.Gómez-Villegas,P.Main,R.Susi,高斯贝叶斯网络对其参数不精确性的敏感性,载于:M.Jaeger,T.D.Nielsen(编辑),《概率图形模型第四届欧洲研讨会论文集》,丹麦Hirtshals,2008年,第265-272页。;M.A.Gómez-Villegas,P.Main,R.Susi,高斯贝叶斯网络对其参数不精确性的敏感性,载于:M.Jaeger,T.D.Nielsen(编辑),《概率图形模型第四届欧洲研讨会论文集》,丹麦Hirtshals,2008年,第265-272页·Zbl 1169.62017号
[12] 古斯塔夫森,P。;Wasserman,L.,贝叶斯推断的局部敏感性诊断,《统计年鉴》,第23期,第2153-2167页(1995年)·Zbl 0854.62024号
[13] D.Heckerman,D.Geiger,《贝叶斯网络的可能性和参数先验》,技术报告,MSR-TR-95-54,微软研究院,高级技术部,1995年。;D.Heckerman,D.Geiger,贝叶斯网络的可能性和参数优先级,技术报告,MSR-TR-95-54,微软研究,高级技术部,1995年。
[14] 卡丹·J·B。;Chuang,D.T.,稳定决策问题,年鉴统计,61095-1111(1978)·Zbl 0382.62005号
[15] O'Hagan,A.,《关于贝叶斯推理中的异常拒绝现象》,英国皇家统计学会杂志B,41358-367(1979)·Zbl 0422.62027号
[16] A.O'Hagan,J.Forster,贝叶斯推断,肯德尔的高级统计理论,阿诺德,2004。;A.O'Hagan,J.Forster,贝叶斯推断,肯德尔的高级统计理论,阿诺德,2004年·Zbl 1058.6202号
[17] O'Neill,B.,贝叶斯敏感性分析的重要性抽样,国际近似推理杂志,50270-278(2009)·Zbl 1185.62062号
[18] T.Silander,P.Kontkanen,P.Myllymäki,《MAP Bayesian网络结构对等效样本大小参数的敏感性》,载于:R.Parr,L.van der Gaag(编辑),《第23届人工智能不确定性会议论文集》,AUAI出版社,2007年,第360-367页。;T.Silander,P.Kontkanen,P.Myllymäki,《MAP Bayesian网络结构对等效样本大小参数的敏感性》,载于:R.Parr,L.van der Gaag(编辑),《第23届人工智能不确定性会议论文集》,美国人工智能出版社,2007年,第360-367页。
[19] J.Q.Smith,贝叶斯参数推断的局部稳健性和观察到的可能性,CRiSM研究报告第07-08号,华威大学,2007年。;J.Q.Smith,贝叶斯参数推断的局部稳健性和观察到的可能性,CRiSM研究报告第07-08号,华威大学,2007年。
[20] J.Q.史密斯。;Croft,J.,《离散多变量数据的贝叶斯网络:推理的代数方法》,《多元分析杂志》,84,2,387-402(2003)·Zbl 1027.62051号
[21] J.Q.Smith,F.Rigat,《Finitre参数贝叶斯推断中的等距和稳健性》,CRiSM研究报告第07-22号,华威大学,2008年。;J.Q.Smith,F.Rigat,《Finitre参数贝叶斯推断中的等距和稳健性》,CRiSM研究报告第07-22号,华威大学,2008年。
[22] 施皮盖尔哈特,D.J。;Lauritzen,S.L.,有向图形结构上条件概率的顺序更新,网络,20579-605(1990)·Zbl 0697.90045号
[23] H.Steck,《学习贝叶斯网络结构:Dirichlet先验与数据》,载于:D.A.McAllester,P.Myllymäki(编辑),UAI,《第24届人工智能不确定性会议论文集》,AUAI出版社,2008年,第511-518页。;H.Steck,《学习贝叶斯网络结构:Dirichlet先验与数据》,载于:D.A.McAllester,P.Myllymäki(编辑),UAI,《第24届人工智能不确定性会议论文集》,AUAI出版社,2008年,第511-518页。
[24] Steck,H。;Jaakkola,T.,《关于Dirichlet先验和贝叶斯正则化》(Becker,S.;Thrun,S.);Obermayer,K.,《神经信息处理系统的进展》(Neural Information Processing Systems,NIPS)(2002),麻省理工学院出版社),697-704
[25] Tong,Y.L.,多元分布中的概率不等式(1980),学术出版社:纽约学术出版社·Zbl 0455.60003号
[26] Wassernman,L.,密度比先验的不变性,《年鉴统计》,第20期,第2177-2182页(1992年)·Zbl 0768.62021号
[27] L.Wassernman,稳健贝叶斯推断的最新方法学进展(含讨论),载于:J.M.Bernardo,J.O.Berger,A.P.Dawid,A.F.M.Smith(编辑),贝叶斯统计学,第4卷,牛津大学出版社,1992年,第483-502页。;L.Wassernman,稳健贝叶斯推断的最新方法学进展(含讨论),载于:J.M.Bernardo,J.O.Berger,A.P.Dawid,A.F.M.Smith(编辑),贝叶斯统计学,第4卷,牛津大学出版社,1992年,第483-502页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。