×

兹马思-数学第一资源

贝叶斯框架下模型可解释性的决策理论方法。(英语) Zbl 07289241
摘要:解释性机器学习的一个突出的方法是将建模限制在简单的模型上。在贝叶斯框架中,这可以通过限制模型结构和优先选择可解释模型来实现。然而,从根本上讲,可解释性是关于用户的偏好,而不是数据生成机制;将可解释性表述为效用函数更为自然。在这项工作中,我们提出了一个解释性效用,它解释了在贝叶斯框架下解释保真度和可解释性之间的权衡。该方法包括两个步骤。首先,一个参考模型,可能是一个黑盒贝叶斯预测模型,不损害精度,拟合到训练数据。其次,通过优化可解释效用函数,从可解释模型族中找到一个最能模拟参考模型预测行为的代理模型。该方法是模型不可知论的——无论是可解释模型还是参考模型都不局限于某一类模型——优化问题可以使用标准工具来解决。通过对实词数据集的实验,以决策树为可解释模型,以贝叶斯加性回归模型为参考模型,表明在相同的可解释性水平下,我们的方法比限制先验的方法生成的模型更精确。我们还提出了一种系统化的方法来衡量由不同的可解释性方法构建的可解释模型的稳定性,并表明我们提出的方法可以生成更稳定的模型。
理学硕士:
68T05型 人工智能中的学习与自适应系统
软件:
BART-BMA公司
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] Bastani,H.,Bastani,O.和Kim,C.(2018年)。解释人在回路分析的预测模型。arXiv预印本arXiv:1705.08504(第1-45页)。
[2] (弗里德曼,L.R.布雷曼,1984年)。分类和回归树。CRC出版社·Zbl 0541.62042
[3] Breiman,L.和Shang,N.(1996年)。重生的树。技术报告,加州大学伯克利分校,加州伯克利分校(第1卷,第2页)。
[4] 布莱恩,B。;杜恰姆,希腊;帕奇,V。;MercatRommens,C.,评估分类树稳定性的相似性度量,计算统计与数据分析,53,4208-1217(2009)·Zbl 1452.62036
[5] 奇普曼,哈;乔治,EI;McCulloch,RE,Bayesian CART模型搜索,美国统计协会杂志,93443935-948(1998)
[6] 奇普曼,哈;乔治,EI;McCulloch,RE,BART:贝叶斯加性回归树,《应用统计学年鉴》,4,12266-298(2010)·Zbl 1189.62066
[7] 科尔特斯,P。;塞尔德拉,A。;阿尔梅达,F。;马托斯,T。;Reis,J.,通过数据挖掘从物理化学特性建模葡萄酒偏好,决策支持系统,47,4547-553(2009)
[8] Craven,M.和Shavlik,J.W.(1996年)。提取训练网络的树结构表示。神经信息处理系统的进展(第24-30页)。
[9] 邓,H.,用intrees解释树木组合,国际数据科学与分析杂志,7,4,277-287(2019年)
[10] 丹尼森,DGT;马立克,BK;史密斯,原子力显微镜,贝叶斯卡算法,生物计量学,85,2363-377(1998)·Zbl 1048.62502号
[11] Doshi Velez,F.和Kim,B.(2017年)。迈向可解释机器学习的严谨科学。arXiv预印本arXiv:1702.08608。
[12] Du,M.,Liu,N.和Hu,X.(2018年)。可解释机器学习技术。arXiv预印本arXiv:1808.00033。
[13] 法纳埃-T,H。;Gama,J.,结合集合检测器和背景知识的事件标记,人工智能进展,2,2-3,113-127(2014)
[14] Gal,Y.和Ghahramani,Z.(2016a)。贝努利近似变分推理的贝叶斯卷积神经网络。在第四届国际学习代表大会(ICLR)研讨会上。
[15] Gal,Y.和Ghahramani,Z.(2016b)。作为贝叶斯近似的辍学:表示深度学习中的模型不确定性。第33届机器学习国际会议论文集(第1050-1059页)。
[16] 郭杰。;Riebler,A。;Rue,H.,诊断试验研究的贝叶斯双变量荟萃分析,医学统计学,36,19,3039-3058(2017)
[17] Hara,S.和Hayashi,K.(2018年)。使树集合可解释:贝叶斯模型选择方法。国际人工智能与统计会议(第77-85页)。
[18] 小哈里森;鲁宾菲尔德,DL,享乐性住房价格和对清洁空气的需求,环境经济与管理杂志,5,1,81-102(1978)·Zbl 0375.90023
[19] 赫尔南德斯,B。;Raftery,青铜币;老潘宁顿;Parnell,AC,《使用贝叶斯模型平均的贝叶斯加性回归树,统计与计算》,28,4869-890(2018)·Zbl 1386.68131号
[20] 霍格林,哥伦比亚特区;《美国职业棒球大联盟薪酬分析的批判性研究》,美国统计学家,49,3,277-285(1995)
[21] 约翰逊,1996)。将体脂百分比与简单的身体测量值相吻合。统计教育杂志。10.1080/10691898.1996.11910505。
[22] Jung,J.,Concannon,C.,Shroff,R.,Goel,S.和Goldstein,D.G.(2017年)。复杂决策的简单规则。arXiv预印本arXiv:1702.04690。
[23] 基布勒,D。;啊哈,DW;艾伯特,MK,基于实例的实值属性预测,计算智能,5,2,51-57(1989)
[24] Kim,B.,Glassman,E.,Johnson,B.和Shah,J。。(2015年)。通过交互的贝叶斯交互模型赋予人类权力。技术报告:MIT-CSAIL-TR。
[25] Kruschke,JK,《贝叶斯估计取代t检验》,《实验心理学杂志:一般》,1422573(2013)
[26] Kuttichira,D.P.,Gupta,S.,Li,C.,Rana,S.和Venkatesh,S.(2019年)。使用可解释的代理来解释黑盒模型。在环太平洋人工智能国际会议(第3-15页)。斯普林格。
[27] Lage,I.,Ross,A.S.,Kim,B.,Gershman,S.J和Doshi Velez,F.(2018年)。人在回路可解释性优先。arXiv预印本arXiv:1805.11571。
[28] Lakkaraju,H.,Bach,S.H.和Leskovec,J.(2016年)。可解释决策集:描述与预测的联合框架。第22届ACM SIGGDD知识发现与数据挖掘国际会议论文集(第1675-1684页)。
[29] Lakkaraju,H.,Kamar,E.,Caruana,R.和Leskovec,J.(2019年)。黑匣子模型的忠实和可定制的解释。在2019年AAAI/ACM人工智能、伦理和社会会议记录(第131-138页)。
[30] 莱昆,Y。;洛城博图。;本吉奥,Y。;Haffner,P.,基于梯度的学习应用于文档识别,IEEE论文集,86,11,2278-2324(1998)
[31] 莱瑟姆,B。;鲁丁,C。;麦考密克,TH;Madigan,D.,《使用规则和贝叶斯分析的可解释分类器:构建更好的中风预测模型》,《应用统计学年鉴》,9,3,1350-1371(2015)·Zbl 1454.62348
[32] Lipton,ZC,《模型可解释性的神话》,ACM通讯,61,10,36-43(2018)
[33] Lou,Y.,Caruana,R.和Gehrke,J.(2012年)。可理解的分类和回归模型。第18届ACM SIGGDD知识发现与数据挖掘国际会议论文集(第150-158页)。
[34] Meinshausen,N.,节点收获,应用统计年鉴,4,4,2049-2072(2010)·Zbl 1220.62084
[35] Peltola,T.(2018年)。基于Kullback-Leibler投影的贝叶斯预测模型的局部可解释模型不可知论解释。arXiv预印本arXiv:1810.02678。
[36] Piironen,J.,Paasiniemi,M.和Vehtari,A.(2018年)。高维问题中的投影推理:预测与特征选择。arXiv预印本arXiv:1810.02406·Zbl 07210998
[37] Popkes,A.-L.,Overweg,H.,Ercole,A.,Li,Y.,Hernández Lobato,J.M.,Zaykov,Y.和Zhang,C.(2019年)。稀疏贝叶斯神经网络在重症监护中的可解释结果预测。arXiv预印本arXiv:1905.02599。
[38] 昆兰,J.R.(1993年)。结合基于实例和基于模型的学习。第十届机器学习国际会议论文集(第236-243页)。
[39] Ribeiro,M.T.,Singh,S.和Guestrin,C.(2016年)。我为什么要相信你?:解释任何分类器的预测。在第22届ACM SIGGDD知识发现和数据挖掘国际会议论文集(第1135-1144页)。ACM公司。
[40] 苏,X。;王,M。;Fan,J.,最大似然回归树,计算与图形统计杂志,13,3586-598(2004)
[41] 苏丁,I。;佩尔托拉,T。;米卡利夫。;阿夫拉班德佩,H。;苏亚尔,M。;Majumder,毫米;戴伊,P。;他,C。;衬线,B。;Havulina,A.,通过积极激发专家知识改进基于基因组学的精确医学预测,生物信息学,34,13,i395-i403(2018)
[42] 乌斯顿,B。;Rudin,C.,优化医疗评分系统的超级解析线性整数模型,机器学习,102,3349-391(2016)·Zbl 1406.62144
[43] 维塔里,A。;《贝叶斯统计方法的比较》(OJ-6,OJ-2012年预测性调查方法)·Zbl 1302.62011
[44] Wang,T.(2018年)。基于特征有效表示的可解释分类的多值规则集。神经信息处理系统进展(第10835-10845页)。
[45] 王,T。;鲁丁,C。;Doshi Velez,F。;刘,Y。;克拉夫勒,E。;MacNeille,P.,可解释分类学习规则集的贝叶斯框架,机器学习研究杂志,18,12357-2393(2017)
[第四十六条] Wu,M.,Hughes,M.C.,Parbhoo,S.,Zazzi,M.,Roth,V.,Doshi Velez,F.(2018年)。超越稀疏:可解释性的深层模型的树正则化。第三十二届人工智能大会。
[47] Yang,H.,Rudin,C.和Seltzer,M.(2017年)。可伸缩的贝叶斯规则列表。第34届机器学习国际会议论文集(第70卷,第3921-3930页)。JMLR.org。
[48] Zhou,Y.和Hooker,G.(2016年)。通过单树近似解释模型。arXiv预印本arXiv:1610.09036。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。