×
约瑟夫·贾尼泽克。;帕斯卡·斯图尔姆费尔斯;李素恩

解释：深层网络的公理化特征交互。 （英语） 兹伯利07370621

J.马赫。学习。物件。 22，第104号论文，54页（2021年）.
摘要：最近的工作在解释神经网络行为方面显示出巨大的前景。特别是，特征属性方法解释了对模型对给定输入的预测很重要的特征。然而，对于许多任务来说，仅仅识别重要特征可能不足以理解模型行为。模型中特征之间的交互不仅可以更好地解释模型，还可以解释为什么某些特征的重要性高于其他特征。在这项工作中，我们提出了综合黑森数，这是综合梯度的扩展，解释了神经网络中的成对特征交互。综合Hessians克服了以往方法的几个理论局限性，与之不同的是，它不局限于特定的结构或神经网络类别。此外，我们发现当特征数量较大时，我们的方法比现有方法更快，并且在现有定量基准上优于以前的方法。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

特征属性;特征交互;Aumann-Simpley值;可解释性;神经网络

软件：

变压器;PyTorch公司;TensorFlow公司;药物数据库;形状;迪蒂尔伯特
PDF格式BibTeX公司 XML格式引用
\文本{J.D.Janizek}等人，J.Mach。学习。第22号决议，第104号论文，54页（2021；Zbl 07370621）
全文： arXiv公司 链接

参考文献：

[1] Mart´un n Abadi，Paul Barham，Jianmin Chen，Zhifeng Chen，Andy Davis，Jeffrey Dean，Matthieu Devin，Sanjay Ghemawat，Geoffrey Irving，Michael Isard，et al.Tensorflow:大型机器学习系统。第12年{USENIX}研讨会操作系统设计与实现({OSDI}16)，第265-283页，2016年。
[2] 朱利叶斯·阿德巴约（Julius Adebayo）、贾斯汀·吉尔默（Justin Gilmer）、迈克尔·梅利（Michael Muelly）、伊恩·古德费罗（Ian Goodfellow）、莫里茨·哈德（Moritz Hardt）和比恩·金（Been Kim）。检查显著性映射的合理性。神经信息处理系统进展，第9505-9515页，2018年。
[3] Marco Ancona、Enea Ceolini、Cengiz¨Oztireli和Markus Gross。深入理解深度神经网络基于梯度的归因方法。arXiv预印本arXiv:1711.061042017。
[4] Robert J Aumann和Lloyd S Shapley。非原子游戏的价值。普林斯顿大学出版社，2015年。
[5] Alan G Bartel、James T Chen、Robert H Peter、Victor S Behar、Yihong Kong和Richard G Lester。透视检测冠状动脉钙化的意义——附360例患者报告。《循环》，49（6）：1247-12531974年。
[6] 亚历山大·宾德（Alexander Binder）、格里戈伊尔·蒙塔文（Gr´egoire Montavon）、塞巴斯蒂安·拉普什金（Sebastian Lapuschkin）、克劳斯·罗贝特·穆勒（Klaus-Robert M¨uller）和沃伊西奇·萨梅克。具有局部重整化层的神经网络的分层相关传播。在国际人工神经网络会议上，第63-71页。斯普林格，2016年。
[7] 吉诺·布伦纳、杨柳、达米安·帕斯夸尔、奥利弗·里希特、马西米利亚诺·西亚拉米塔和罗杰·瓦滕霍夫。关于变压器的可识别性。arXiv预印本，2019年。
[8] David Croft、Antonio Fabrega Mundo、Robin Haw、Marija Milacic、Joel Weiser、Guanming Wu、Michael Caudy、Phani Garapati、Marc Gillespie、Maulik R Kamdar等。反应途径知识库。核酸研究，42（D1）：D472-D4771014。
[9] 崔天宇（Tianyu Cui）、佩卡·马丁宁（Pekka Marttinen）和塞缪尔·卡斯基（Samuel Kaski）。使用神经网络恢复成对交互。arXiv预印本arXiv:1901.083612019。
[10] Resul Das、Ibrahim Turkoglu和Abdulkadir Sengur。通过神经网络集成有效诊断心脏病。应用专家系统，36（4）：7675-76802009。
[11] 罗伯特·德特拉诺（Robert Detrano）、埃内斯托·萨尔塞多（Ernesto E.Salcedo）、罗伯特·霍布斯（Robert E.Hobbs）和约翰·伊安尼卡斯（John Yiannikas）。心脏荧光电影检查作为冠状动脉疾病诊断的廉价辅助手段。美国心脏病杂志，57（13）：1041-10461986。ISSN 0002-9149.doi:https://doi.org/10.1016/0002-9149(86)90671-5. 统一资源定位地址http://www.sciencedirect.com/科学/文章/pii/0002914986906715。
[12] 罗伯特·德特拉诺（Robert Detrano）、安德拉斯·亚诺西（Andras Janosi）、沃尔特·斯坦布伦（Walter Steinbrunn）、马蒂亚斯·普菲斯特勒（Matthias Pfisterer）、约翰·雅各布·施密德（Johann-Jakob Schmid）、萨尔布吉特·桑杜（Sarbjit Sandhu）、科恩·古皮（Kern H。新概率算法在冠心病诊断中的国际应用。美国心脏病杂志，64（5）：304-3101989。
[13] 雅各布·德夫林（Jacob Devlin）、张明伟（Ming Wei Chang）、肯顿·李（Kenton Lee）和克里斯蒂娜·图塔诺娃（Kristina Toutanova）。Bert:语言理解深度双向转换器的预训练。arXiv预印本arXiv:1810.048052018。
[14] Kedar Dhamdhere、Ashish Agarwal和Mukund Sundararajan。沙普利·泰勒相互作用指数arXiv预印本arXiv:1902.056222019。
[15] 安·凯瑟琳·多布罗夫斯基（Ann-Kathrin Dombrowski）、马克西米利安·阿尔伯（Maximillian Alber）、克里斯托弗·安德斯（Christopher Anders）、马塞尔·阿克曼（Marcel Ackermann）、克劳斯·罗贝特·穆勒（Klaus-Robert M¨uller）和潘。解释是可以操纵的，几何学是罪魁祸首。《神经信息处理系统进展》，第13567-13578页，2019年。
[16] 伊迪丝·埃尔金、莱斯利·安·戈德伯格、保罗·戈德堡和迈克尔·伍尔德里奇。加权投票博弈的计算复杂性。数学与人工智能年鉴，56（2）：109-1312009·兹比尔1185.91081
[17] Dumitru Erhan、Yoshua Bengio、Aaron Courville和Pascal Vincent。可视化深层网络的高层特征。蒙特利尔大学，1341（3）：2009年1月。
[18] 加布里埃尔·埃里昂（Gabriel Erion）、约瑟夫·贾尼泽克（Joseph D Janizek）、帕斯卡·斯图尔姆费尔斯（Pascal Sturmfels）、斯科特·伦德伯格（Scott Lundberg）和苏茵·李（Su-In Lee）。使用归因之前学习可解释模型。arXiv预印本arXiv:1906.106702019。
[19] 拉蒙·弗洛雷斯（Ram´on Flores）、埃里森达·莫利纳（Elisenda Molina）和胡安·特贾达（Juan Tejada）。使用广义shapley值对各组进行评估。4OR，17（2）：141-1722019·Zbl 1417.91043号
[20] Ruth Fong和Andrea Vedaldi。Net2vec：量化和解释概念是如何通过深度神经网络中的过滤器进行编码的。《IEEE计算机视觉和模式识别会议论文集》，第8730-8738页，2018年。
[21] Ruth C Fong和Andrea Vedaldi。通过有意义的扰动解释黑箱。《IEEE计算机视觉国际会议论文集》，第3429-3437页，2017年。
[22] J Raymond Geis、Adrian P Brady、Carol C Wu、Jack Spencer、Erik Ranschaert、Jacob L Jaremko、Steve G Langer、Andrea Borondy Kitts、Judy Birch、William F Shields等。放射学人工智能伦理：欧洲和北美多社会联合声明摘要。放射学，293（2）：436-4402019。
[23] Reza Ghaeini、Xiaoli Z Fern和Prasad Tadeballi。解释递归和基于注意的神经模型：自然语言推理的案例研究。arXiv预印本arXiv:1808.038942018。
[24] 泽维尔·格洛洛特和约舒亚·本吉奥。了解训练深度前馈神经网络的困难。《第十三届人工智能与统计国际会议论文集》，第249-256页，2010年。
[25] 米歇尔·格拉比什（Michel Grabisch）和马克·鲁本斯（Marc Roubens）。合作博弈中参与者之间交互概念的公理方法。国际博弈论杂志，28（4）：547-5651999·Zbl 0940.91011号
[26] 佩顿·格林赛德（Peyton Greenside）、泰勒·辛科（Tyler Shimko）、波利·福戴斯（Polly Fordyce）和安舒尔·昆达杰（Anshul Kundaje）。从调控dna序列的神经网络模型中发现上位特征相互作用。生物信息学，34（17）：i629-i6372018。
[27] Jie Hao、Youngsoon Kim、Tae-Kyung Kim和Mingon Kang。Pasnet：用于从高通量数据进行预测的路径相关稀疏深度神经网络。BMC生物信息学，19（1）：1-132018。
[28] 何开明、张湘玉、任少清、孙建军。用于图像识别的深度残差学习。《IEEE计算机视觉和模式识别会议记录》，第770-778页，2016年。
[29] Sara Hooker、Dumitru Erhan、Pieter-Jan Kindermans和Been Kim。深度神经网络中可解释性方法的基准。《神经信息处理系统进展》，第9734-97452019页。
[30] 萨塔克·贾恩（Sarthak Jain）和拜伦·华莱士（Byron C Wallace）。注意不是解释。arXiv预印本arXiv:1902.101862019。
[31] Minoru Kanehisa等人。kegg数据库。诺华基金会研讨会，第91-100页。威利在线图书馆，2002年。
[32] 安德烈·卡皮什尼科夫（Andrei Kapishnikov）、托尔加·博卢巴西（Tolga Bolukbasi）、费尔南达·维埃加斯（Fernanda Vi´egas）和迈克尔·特里（Michael Terry）。段集成梯度：通过区域实现更好的属性。arXiv预打印arXiv:1906.028252019。
[33] MJ Keith、A Jameson、W Van Straten、M Bailes、S Johnston、M Kramer、A Possenti、SD Bates、NDR Bhat、M Burgay等人，《高时间分辨率宇宙脉冲星调查——即系统配置和初步发现》。皇家天文学会月刊，409（2）：619-6272010。
[34] Been Kim、Martin Wattenberg、Justin Gilmer、Carrie Cai、James Wexler、Fernanda Viegas和Rory Sayres。超越特征属性的可解释性：用概念激活向量（tcav）进行定量测试。arXiv预印本arXiv:1711.112792017。
[35] 尹金。句子分类的卷积神经网络。arXiv预印本arXiv:1408.58822014。
[36] Pieter Jan Kindermans、Sara Hooker、Julius Adebayo、Maximilian Alber、Kristof T Sch¨utt、Sven D¨ahne、Dumitru Erhan和Been Kim。显著性方法的（非）可靠性。《可解释的人工智能：解释、解释和可视化深度学习》，第267-280页。斯普林格，2019年。
[37] Diederik P Kingma和Jimmy Ba.Adam：一种随机优化方法。arXiv预印本arXiv:1412.6980，2014。
[38] Igor Kononenko等人。使用博弈论对个体分类进行有效解释。机器学习研究杂志，11（1月）：1-182010·Zbl 1242.68250号
[39] Peter K Koo、Praveen Anand、Steffan B Paul和Sean R Eddy。用卷积残差网络推断rna结合蛋白的序列结构偏好。bioRxiv，第418459页，2018年。
[40] 赖薇薇安（Vivian Lai）、蔡振中（Jon Z Cai）和谭晨浩（Chenhao Tan）。功能重要性的许多方面：比较文本分类中内置和事后功能的重要性。arXiv预印本arXiv:1910.085342019。
[41] 李在成、郑慧欣和金俊硕。基于注意力的神经机器翻译的交互式可视化和操作。《2017年自然语言处理实证方法会议论文集：系统演示》，第121-126页，2017年。
[42] 杰弗里·T·利克（Jeffrey T Leek）和约翰·D·斯托里（John D Storey）。通过替代变量分析捕获基因表达研究中的异质性。PLOS遗传学，3（9）：1-122007年9月。doi:10.1371/期刊。第0030161页。统一资源定位地址https://doi.org/10.1371/journal.pgen.0030161。
[43] 钟秋林、穆罕默德·贾瓦德·沙菲、斯坦尼斯拉夫·博奇卡列夫、迈克尔·圣朱尔斯、王晓宇和亚历山大·王。解释与影响：一种以机器为中心的策略，用于量化可解释性算法的性能。arXiv预印本arXiv:1910.073872019。
[44] 林周汉、冯敏伟、西塞罗·诺盖拉·多斯桑托斯、莫宇、Bing Xiang、周博文和Yoshua Bengio。结构化的自我注意句子嵌入。arXiv预印本arXiv:1703.03130，2017。
[45] Frederick Liu和Besim Avci。结合文本分类的先验信息和特征属性。arXiv预印本arXiv:1906.082862019。
[46] 刘伟、张岳、于卓曼、纪庆伟、蔡孟、赵颖欣和周玉杰。目前对冠状动脉钙化的认识。老年心脏病学杂志：JGC，12（6）：6682015。
[47] 克里斯托斯·路易斯（Christos Louizos）、乌里·沙利特（Uri Shalit）、乔里斯·穆伊吉（Joris Mooij）、大卫·桑塔格（David Sontag）、理查德·泽梅尔（Richard Zemel）和马克斯·威林。深度潜在变量模型的因果推断。arXiv预印本arXiv:1705.088212017。
[48] 斯科特·伦德伯格（Scott M Lundberg）和苏茵·李（Su-In Lee）。解释模型预测的统一方法。《神经信息处理系统进展》，第4765-4774页，2017年。
[49] Scott M.Lundberg、Gabriel Erion、Hugh Chen、Alex DeGrave、Jordan M.Prutkin、Bala Nair、Ronit Katz、Jonathan Himmelfarb、Nisha Bansal和Su-In Lee。从局部解释到全球理解，使用可解释的树人工智能。《自然机器智能》，2（1）：56-672020.doi:10.1038/s42256-019-0138-9.URLhttps://doi.org/10.1038/s42256-019-0138-8。
[50] Robert J Lyon、BW Stappers、Sally Cooper、JM Brooke和JD Knowles。50年的脉冲星候选选择：从简单的滤波器到新的原则性实时分类方法。《皇家天文学会月刊》，459（1）：1104-11232016。
[51] Angela HEM Maas和Yolande EA Appelman。冠心病的性别差异。荷兰心脏杂志，18（12）：598-6032010。
[52] Aravindh Mahendran和Andrea Vedaldi。通过反转来理解深层图像表示。《IEEE计算机视觉和模式识别会议论文集》，第5188-51962015页。
[53] Jean-Luc Marichal、Ivan Kojadinovic和Katsushige Fujimoto。广义值的公理化特征。离散应用数学，155（1）：26-432007·Zbl 1151.91344号
[54] Ali Mortazavi、Brian A Williams、Kenneth McCue、Lorian Schaeffer和Barbara Wold。通过rna-seq对哺乳动物转录体进行定位和量化。自然方法，5（7）：621-6282008。
[55] 詹姆斯·默多克（W James Murdoch）、彼得·J·刘（Peter J Liu）和余斌（Bin Yu）。单词重要性之外：上下文分解，从lstms.arXiv预印本arXiv:1801.054532018中提取交互作用。
[56] 达里尔·西村。比奥卡塔。生物技术软件与互联网报告：《计算机软件科学杂志》，2（3）：117-1202001。
[57] Chris Olah、Alexander Mordvintsev和Ludwig Schubert。特征可视化。蒸馏，2（11）：2017年7月7日。
[58] Chris Olah、Arvind Satyanarayan、Ian Johnson、Shan Carter、Ludwig Schubert、Katherine Ye和Alexander Mordvintsev。可解释性的构建块。蒸馏，3（3）：e102018。
[59] Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga等。Pytork:一个命令式、高性能的深度学习库。《神经信息处理系统的进展》，第8026-8037页，2019年。
[60] 马修·彼得斯、马克·诺依曼、莫希特·伊耶、马特·加德纳、克里斯托弗·克拉克、肯顿·李和卢克·泽特莫耶。深层语境化的单词表征。arXiv预印本arXiv:1802.053652018。
[61] 克里斯蒂娜·普鲁尔（Kristina Preuer）、理查德·佩·刘易斯（Richard P I Lewis）、塞普·霍克莱特（Sepp Hochreiter）、安德烈亚斯·本德（Andreas Bender）、克里希纳·布卢苏（Krishna C Bulusu）和格伦特·克拉姆鲍尔。深度协同：预测与深度学习的抗癌药物协同作用。生物信息学，34（9）：1538-15462017年12月。ISSN 1367-4803。doi:10.1093/生物信息学/btx806。统一资源定位地址https://doi.org/10.1093/bioinformatics/btx806。
[62] Nikaash Puri、Piyush Gupta、Pratiksha Agarwal、Sukriti Verma和Balaji Krishnamurthy。Magix：模型不可知的全球可解释解释。arXiv预印本arXiv:1706.071602017。
[63] Prajit Ramachandran、Barret Zoph和Quoc V Le。搜索激活功能。arXiv预印arXiv:1710.059412017。
[64] 马可·图利奥·里贝罗（Marco Tulio Ribeiro）、萨米尔·辛格（Sameer Singh）和卡洛斯·盖斯林（Carlos Guestrin）。“我为什么要相信你？”解释任何分类器的预测。2016年第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第1135-1144页。
[65] 劳尔·罗哈斯。神经网络：系统介绍。施普林格科学与商业媒体，2013。
[66] Victor Sanh、Lysandre首次亮相、Julien Chaumond和Thomas Wolf。Distilbert，伯特的蒸馏版：更小、更快、更便宜、更轻。arXiv预印本arXiv:1910.011082019。
[67] 安德鲁·塞尔布斯特（Andrew D Selbst）和朱莉娅·鲍尔斯（Julia Powles）。有意义的信息和解释权。《国际数据隐私法》，7（4）：233-2422017年12月。ISSN 2044-3994。doi:10.1093/idpl/ipx022。统一资源定位地址https://doi.org/10.1093/idpl/ipx022。
[68] 索菲亚·塞拉诺和诺亚·史密斯。注意力是可以理解的吗？arXiv预印arXiv:1906.037312019。
[69] 伊拉·沙维特和伊兰·西格尔。正规化学习网络：表格数据集的深度学习。《神经信息处理系统进展》，第1379-1389页，2018年。
[70] Avanti Shrikumar、Peyton Greenside和Anshul Kundaje。通过传播激活差异来学习重要功能。第34届国际机器学习会议论文集——第70卷，第3145-3153页。JMLR公司。组织，2017年。
[71] 凯伦·西蒙扬（Karen Simonyan）、安德烈亚·维达尔迪（Andrea Vedaldi）和安德鲁·齐瑟曼（Andrew Zisserman）。深层卷积网络：可视化图像分类模型和显著图。arXiv预印本arXiv:1312.60342013。
[72] Chandan Singh、W James Murdoch和Bin Yu。神经网络预测的层次解释。arXiv预印本arXiv:1806.053372018。
[73] 理查德·索彻（Richard Socher）、亚历克斯·佩雷利金（Alex Perelygin）、让·吴（Jean Wu）、詹森·庄（Jason Chuang）、克里斯托弗·德曼宁（Christopher D Manning）、安德鲁·吴彦祖（Andrew Y Ng。情感树库上语义合成的递归深度模型。《2013年自然语言处理实证方法会议论文集》，第1631-1642页，2013年。
[74] 帕斯卡·斯图尔姆费尔斯（Pascal Sturmfels）、斯科特·伦德伯格（Scott Lundberg）和苏茵·李（Su-In Lee）。可视化要素属性基线的影响。蒸馏，5（1）：e222020。
[75] Mukund Sundararajan和Amir Najmi。模型解释的许多shapley值。arXiv预印本arXiv:1908.084742019。
[76] Mukund Sundararajan和Ankur Taly。关于：深度神经网络的局部解释方法对参数值缺乏敏感性。arXiv预印arXiv:1806.042052018。
[77] Mukund Sundararajan、Ankur Taly和Qiqi Yan。深层网络的公理属性。第34届国际机器学习会议论文集——第70卷，第3319-3328页。JMLR公司。组织，2017年。
[78] 马丁·桑德梅尔（Martin Sundermeer）、拉尔夫·施勒特（Ralf Schl¨uter）和赫尔曼·内伊（Hermann Ney）。语言建模的Lstm神经网络。2012年，国际语音通信协会第十三届年会。
[79] 伊利亚·萨茨克弗（Ilya Sutskever）、詹姆斯·马滕斯（James Martens）、乔治·达尔（George Dahl）和杰弗里·辛顿（Geoffrey Hinton）。关于深度学习中初始化和动量的重要性。2013年，在机器学习国际会议上，第1139-1147页。
[80] Sarah Tan、Rich Caruana、Giles Hooker、Paul Koch和Albert Gordo。使用模型提取学习神经网络的全局加法解释。arXiv预印本arXiv:1801.086402018。
[81] 曾荫权（Michael Tsang）、郑德华（Dehua Cheng）和刘燕（Yan Liu）。从神经网络权重检测统计交互作用。arXiv预印本arXiv:1705.049772017。
[82] Michael Tsang、Sirisha Rambhatla和Yan Liu。这种互动对我有什么影响？特征交互的可解释属性。arXiv预印本arXiv:2006.109652020。
[83] Jeffrey W Tyner、Cristina E Tognon、Daniel Bottomly、Beth Wilmot、Stephen E Kurtz、Samantha L Savage、Nicola Long、Anna Reister Schultz、Elie Traer、Melissa Abel等。急性髓性白血病的功能基因组景观。《自然》，562（7728）：526-5312018。
[84] 王业泉、黄敏烈、朱晓燕和李钊。基于注意的lstm用于方面级情感分类。《2016年自然语言处理实证方法会议论文集》，第606-6152016页。
[85] David S Wishart、Yannick D Feunang、An C Guo、Elvis J Lo、Ana Marcu、Jason R Grant、Tanvir Sajed、Daniel Johnson、Carin Li、Zinat Sayeeda等。Drugbank 5.0：2018年药物库数据库的主要更新。核酸研究，46（D1）：D1074-D10822018。
[86] 托马斯·沃尔夫（Thomas Wolf）、莱桑德尔首次亮相（Lysandre Debut）、维克托·桑（Victor Sanh）、朱利安·肖蒙德（Julien Chaumond）、克莱门特·德兰吉（Clement Delangue）、安东尼·莫伊（Anthony Moi）、皮尔里克·西斯塔斯（Pierric Cistac）、蒂姆·劳尔（Tim。Huggingface的变形金刚：最先进的自然语言处理。ArXiv，abs/1910.037712019年。
[87] Mike Wu、Michael C Hughes、Sonali Parbhoo、Maurizio Zazzi、Volker Roth和Finale Doshi-Velez。超越稀疏性：深层模型的树正则化以实现可解释性。2018年第三十二届AAAI人工智能会议。
[88] Chih-Kuan Yeh、Cheng-Yu Xieh、Arun Suggala、David I Inouye和Pradeep K Ravikumar。关于解释的忠实性和敏感性。《神经信息处理系统进展》，第10965-10976页，2019年。
[89] 张浩、陈波、聪玉来、郭丹丹、刘洪伟和周明远。具有可扩展混合贝叶斯推理的深度自动编码主题模型。IEEE模式分析和机器智能汇刊，2020。
[90] 周明远、聪玉来、陈波。可增强伽马信念网络。《机器学习研究杂志》，17（1）：5656-56992016·Zbl 1392.68373号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。