阿什温·斯里尼瓦桑；维格，洛克什；迈克尔·贝恩 使用相关信息对深层关系机器进行逻辑解释。 （英语） Zbl 1434.68559号 J.马赫。学习。物件。 20，第130号论文，47页（2019年）. 摘要：我们对本文的兴趣在于构建深度神经网络预测的符号解释。我们将重点关注深度关系机器（DRMs：一个在[H.洛迪，“深层关系机器”，Lect。票据计算。科学。8227, 212–219 (2013;doi:10.1007/978-3-642-42042-9_27)]). DRM是一个深度网络，其中输入层由布尔值函数（特征）组成，这些布尔值函数（特征）根据作为领域或背景知识提供的关系来定义。我们的DRM不同于[loc.cit.]中的DRM，后者使用归纳逻辑编程（ILP）引擎首先选择特征（我们使用特征空间中的随机选择，这些特征满足逻辑相关性和非冗余性的一些近似约束）。但为什么DRM会预测他们的行为？最近的工作中提供了一种解决此问题的方法[M.Tulio Ribeiro先生等，“为什么我要相信你？”：解释任何分类器的预测”，载于：第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’16。纽约州纽约市：计算机协会（ACM）。1135–1144 (2016;数字对象标识代码：10.1145/2939672.29339778)], 通过为黑盒预测器构建可读的代理。代理仅用于对实例空间的局部区域中的黑匣子的预测进行建模。但仅仅可读性可能不够：为了便于理解，本地模型必须以有意义的方式使用相关概念。我们研究了使用贝叶斯类方法识别DRM局部预测的逻辑代理。作为初步步骤，我们表明，DRM使用我们的随机命题方法实现了与ILP文献中最佳报告相当的预测性能。我们关于逻辑解释的主要结果表明：（a）一阶逻辑模型可以在较小的局部区域内近似DRM的预测；和（b）专家提供的相关性信息可以起到先验的作用，以区分仅对预测起同等作用的逻辑解释。 引用于1文件 MSC公司： 68T27型 人工智能中的逻辑 62C10个 贝叶斯问题；Bayes过程的特征 68N17号 逻辑编程 2017年10月68日 人工神经网络与深度学习 关键词：可解释人工智能；归纳逻辑程序设计；深层关系机 软件：TopLog（顶部日志）；阿勒夫 PDF格式BibTeX公司 XML格式引用 \textit{A.Srinivasan}等人，J.Mach。学习。第20号决议，第130号论文，47页（2019年；Zbl 1434.68559） 全文： arXiv公司 链接 参考文献： [1] Charu C.Aggarwal、Alexander Hinneburg和Daniel A.Keim。关于高维空间中距离度量的惊人行为。InDatabase Theory-ICDT 2001，第八届国际会议，英国伦敦，2001年1月4日至6日，会议记录。，第420-434页，2001年·Zbl 1047.68038号 [2] E.Alphonse和C.Rouveirol。关系学习的懒惰命题化。编辑W.Horn，ECAI-2000:Proc。第14届欧洲人工智能大会，第256-260页，2000年。 [3] 迈克尔·贝恩。非单调学习实验。第八届国际研讨会论文集（ML91），美国伊利诺伊州埃文斯顿西北大学，第380-384页，1991年。 [4] 塔雷克·贝索尔德（Tarek R.Besold）、阿图尔·达维拉·加塞兹（Artur S.d'Avila Garcez）、塞巴斯蒂安·巴德（Sebastian Bader）、霍华德·鲍曼（Howard Bowman）、佩德罗·多明戈斯（Pedro M.Domingos）、帕斯卡尔·希茨勒（Pascal Hitzler）、凯乌·库恩伯格（Kai-Uwe K¨uhnberger）、卢安·斯兰姆（Lu′S C.Lamb）、丹尼尔·洛。神经符号学习和推理：一项调查和解释。CoRR，abs/1711.039022017年。 [5] H.布洛克兰群岛。瓦列维奇。微妙。可用性：https://dtai.cs.kuleuven.be/software/subtle网站/, 2016. [6] 亨德里克·布洛克（Hendrik Blockeel）。一阶逻辑决策树的自顶向下归纳。AI通讯。，12(1-2):119-120, 1999. [7] C-L.Chang和R.C-T.Lee。符号逻辑与机械定理证明。学术出版社，伦敦，1973年·Zbl 0263.68046号 [8] G.Coletti和R.Scozzafava。一个相干定性贝叶斯定理及其在人工智能中的应用。InProc公司。第二国际交响乐团。《不确定性建模与分析》，第40-44页，1993年。 [9] 马克·克雷文和裘德·沙夫利克。使用采样和查询从训练好的神经网络中提取规则。《机器学习》，第十一届国际会议论文集，罗格斯大学，新泽西州新不伦瑞克，1994年7月10-13日，第37-45页，1994年。 [10] Tirtharaj Dash、Ashwin Srinivasan、Lovekesh Vig、Oghenejokpeme Orhobor和Ross King。深层关系机器的大规模评估。编辑E.Bellodi F.Riguzzi和R.Zese，《第28届归纳逻辑编程国际会议论文集》，计算机科学讲稿第11105卷，第22-37页。施普林格，2018年。 [11] 阿图尔·达维拉·加尔塞斯（Artur S.d'Avila Garcez）和格森·扎维鲁查（Gerson Zaverucha）。连接归纳学习和逻辑编程系统。申请。智力。，11(1):59-77, 1999. [12] Artur S.d'Avila Garcez、Krysia B.Broda和Dov M.Gabbay。神经符号学习系统：基础与应用。神经计算的观点。斯普林格，2002年·Zbl 1055.68090号 [13] Manoel V.M.Franóca、Gerson Zaverucha和Artur S.d'Avila Garcez。基于人工神经网络的底层子句命题化快速关系学习。机器学习，94（1）：81-1042014。 [14] 马诺埃尔·维托·马塞多·弗兰卡（Manoel Vitor Macedo Franóca）、阿图尔·达维拉·加塞斯（Artur S.d'Avila Garcez）和格森·扎维鲁查（Gerson Zaverucha）。从神经网络中提取关系知识。2015年12月11日至12日，加拿大蒙特利尔，与第29届神经信息处理系统年会（NIPS 2015）合办的《NIPS认知计算研讨会：集成神经和符号方法》会议记录。 [15] D.加巴伊。标签演绎系统，第1卷。克拉伦登出版社，1996年·Zbl 0858.03004号 [16] Dov M.Gabbay、C.J.Hogger和J.A.Robinson。逻辑编程。《人工智能和逻辑编程逻辑手册》第5卷。克拉伦登出版社，牛津，1998年·Zbl 0889.03001号 [17] I.J.很好。好的思维：概率的基础及其应用。明尼阿波利斯明尼苏达大学，1983年·Zbl 0583.60001号 [18] 伊恩·古德费罗（Ian J.Goodfellow）、约舒亚·本吉奥（Yoshua Bengio）和亚伦·库维尔（Aaron C.Courville）。深度学习。自适应计算和机器学习。麻省理工学院出版社，2016年·Zbl 1373.68009号 [19] C.J.霍格。逻辑编程要点。克拉伦登出版社，牛津，1990年·Zbl 0705.68030号 [20] 安德烈·卡佩西（Andrej Karpathy）和李飞飞（Fei-Fei Li）。用于生成图像描述的深层视觉-语义对齐。2015年6月7日至12日在美国马萨诸塞州波士顿举行的IEEE计算机视觉和模式识别会议上，第3128-3137页。 [21] R.D.King和A.Srinivasan。利用归纳逻辑编程从分子结构预测啮齿动物致癌性生物测定。《环境健康展望》，104:1031-1040页，1996年10月a。 [22] R.D.King、S.H.Muggleton、A.Srinivasan和M J Sternberg。机器学习衍生的结构-活性关系：利用原子及其键连接性通过归纳逻辑编程预测诱变性。《美利坚合众国国家科学院院刊》，93（1）：438-421996年1月a。 [23] R.D.King和A.Srinivasan。利用归纳逻辑编程从分子结构预测啮齿动物致癌性生物测定。《环境健康展望》，104（5）：1031-10401996b。 [24] R.D.King、S.H.Muggleton、A.Srinivasan和M.J.E.Sternberg。机器学习衍生的结构-活性关系：利用原子及其键连接性通过诱导逻辑编程预测诱变性。程序。国家科学院，93:438-4421996b。 [25] 罗斯·D·金（Ross D.King）、肯尼思·E·惠兰（Kenneth E.Whelan）、菲翁·M·琼斯（Ffion M.Jones）、菲利普·赖瑟（Philip G.K.Reiser）、克里斯托弗·布莱恩特（Christopher H.Bryant）、斯蒂芬·H·马格尔顿（Ste。机器人科学家的功能基因组假说生成和实验。《自然》，427:247-522004年。 [26] S.Kramer。ILP中结构特征的需求驱动构建。C.Rouveirol和M.Sebag，编辑，ILP 2001:Proc。第11届国际归纳逻辑编程会议，第2157号，LNAI，柏林，2001年。斯普林格·Zbl 1006.68508号 [27] N.Landwehr、A.Passerini、L.De Raedt和P.Frasconi。K-Foil：学习简单关系内核。编辑Y.Gil和R.Mooney，AAAI-2006：Proc。第21届全国人工智能会议，第389-394页，2006年·Zbl 1470.68129号 [28] J.W.劳埃德。逻辑编程，第2版。施普林格·弗拉格，柏林，1987年·Zbl 0668.68004号 [29] Huma Lodhi。深层关系机器。2013年11月3日至7日，韩国大邱，第20届国际神经信息处理大会，ICONIP 2013。会议记录，第二部分，第212-219页，2013年。 [30] Eric McCreath和Arun Sharma。LIME：学习关系的系统。《算法学习理论》，第九届国际会议，ALT’98，德国奥岑豪森，1998年10月8日至10日，会议记录，第336-374页，1998年。 [31] R.S.Michalski。归纳学习的理论和方法。R.Michalski、J.Carbonnel和T.Mitchell主编，《机器学习：人工智能方法》，第83-134页。蒂奥加，加利福尼亚州帕洛阿尔托，1983年。 [32] D.米奇。软件制造背景下的超关节现象。程序。R.Soc.伦敦。A、 405:185-2121986年。 [33] D.Michie和R.Johnston。创造性计算机：机器智能和人类知识。维京出版社，1984年。 [34] 唐纳德·米奇。意识作为一个工程问题，第2部分。意识研究杂志，2（1）：52-661995。 [35] T.M.Mitchell、R.M.Keller和S.T.Kedar-Cabelli。基于解释的泛化：统一的观点。机器学习，1（1）：47-801986。 [36] S.Muggleton。归纳逻辑程序设计：衍生、成功与不足。SIGART公报，5（1）：5-111994年。 [37] S.Muggleton。反向蕴涵和编程。新一代计算。，13:245-286, 1995. [38] S.Muggleton和L.De Raedt。归纳逻辑程序设计：理论与方法。逻辑程序设计杂志，19（20）：629-6791994·Zbl 0816.68043号 [39] S.H.马格尔顿。Duce，一种基于预言的构造归纳法。InIJCAI-87，第287-292页。考夫曼，1987年。 [40] Stephen Muggleton、Jos´e Carlos Almeida Santos和Alireza Tamaddoni Nezhad。Toplog：使用逻辑程序声明性偏见的ILP。InLogic编程，第24届国际会议，ICLP 2008，意大利乌迪内，2008年12月9日至13日，会议记录，第687-692页，2008·Zbl 1185.68171号 [41] 斯蒂芬·H·马格尔顿、林殿焕和艾丽丽莎·塔马多尼·内扎德。高阶二元数据日志的元解释学习：重新审视谓词发明。机器学习，100（1）：49-732015·Zbl 1346.68119号 [42] N.J.尼尔森。人工智能原理。施普林格·弗拉格，柏林，1980年·兹比尔0422.68039 [43] A.Petterossi和M.Proietti。逻辑程序的转换。在D.Gabbay。Hogger和J.A.Robinson，编辑，《人工智能和逻辑编程逻辑手册》，第5卷-逻辑编程，第697-787页。克拉伦登出版社，牛津，1998年·Zbl 0900.68141号 [44] A.Popescul和L.Ungar。关系学习的动态特征生成。2004年第三届多相关数据挖掘国际研讨会。 [45] 马可·托利奥·里贝罗（Marco T´ulio Ribeiro）、萨米尔·辛格（Sameer Singh）和卡洛斯·盖斯林（Carlos Guestrin）。我为什么要信任你解释任何分类器的预测。2016年8月13日至17日，美国加利福尼亚州旧金山举行的第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第1135-1144页，2016年。 [46] Amrita Saha、Ashwin Srinivasan和Ganesh Ramakrishnan。什么样的关系特征对统计学习有用？InILP，2012年·Zbl 1382.68203号 [47] 尤特·施密德（Ute Schmid）、克里斯蒂娜·泽勒（Christina Zeller）、塔雷克·贝索尔德（Tarek R.Besold）、阿里雷扎·塔马多尼·内扎德（Alireza Tamaddoni-Nezhad）和斯蒂芬·马格尔顿（Stephen Mu。谓词发明如何影响人类的可理解性？InInductive Logic Programming——第26届国际会议，ILP 2016，英国伦敦，2016年9月4-6日，修订论文集，第52-67页，2016年。 [48] A.D.夏皮罗。专家系统中的结构化归纳法。Addison-Wesley，沃金汉，1987年·Zbl 0754.68115号 [49] 古斯塔夫·苏雷克（Gustav Sourek）、沃伊特斯·阿舍布伦纳（Vojtech Aschenbrenner）、菲利普·泽莱兹尼（Filip Zelezn´y）和昂德雷·库泽尔卡（Ondrej Kuzelka）。提升了关系神经网络。2015年12月11日至12日，加拿大蒙特利尔，与第29届神经信息处理系统年会（NIPS 2015）合办的《NIPS认知计算研讨会：集成神经和符号方法》会议记录·Zbl 1444.68163号 [50] A.斯里尼瓦桑。Aleph手册。可在网址：http://www.comlab.ox.ac.uk/oucl/研究/领域/machlearn/Aleph/，1999年。 [51] A.Srinivasan和R.King。用归纳逻辑编程进行特征构建：借助结构属性对生物活性进行定量预测的研究。S.Muggleton，编辑，ILP’96：Proc。第六届归纳逻辑编程研讨会，LNAI 1314卷，第89-104页，1996年。 [52] A.Srinivasan、S.H.Muggleton、M.J.E.Sternberg和R.D.King。致突变性理论：一级和基于特征的诱导研究。Artif公司。智力。，85（1-2）：277-2991996。 [53] A.Srinivasan、R.D.King和M.E.Bain。归纳逻辑程序设计中相关信息使用的实证研究。机器学习研究，4（7月）：369-3832003·Zbl 1102.68597号 [54] 阿什温·斯里尼瓦桑（Ashwin Srinivasan）。在归纳逻辑编程中提取上下文敏感模型。机器学习，44（3）：301-3242001·Zbl 0986.68011号 [55] Ashwin Srinivasan和Ganesh Ramakrishnan。使用设计实验对ILP进行参数筛选和优化。机器学习研究杂志，12:627-6622011。统一资源定位地址http://portal.acm.org/citation.cfm？id=1953067。 ·Zbl 1280.68197号 [56] Ashwin Srinivasan、Tanveer Faruquie、Indrajit Bhattacharya和Ross King。药物设计中具有相关特征的主题模型。InILP，2012年。 [57] 伊恩·斯图尔特。蚂蚁粒子的终极。《科学美国人》，1994年7月。 [58] 塞巴斯蒂安·特隆。从分布式表示的人工神经网络中提取规则。神经信息处理系统研究进展7，[美国科罗拉多州丹佛NIPS会议，1994年]，第505-512页，1994年。 [59] L.Vig、A.Srinivasan、M.Bain和A.Verma。对领域知识在嵌入使用中的作用的调查。N.Lachiche和C.Vrain，《归纳逻辑编程》编辑。ILP 2017，计算机科学讲义第10759卷，Cham，2018。斯普林格。 [60] F.Zelezny和N.Lavraác。基于命题的关系子组发现与RSD。机器学习，62:33-632006·Zbl 1470.68209号 [61] Blaz Zupan、Ivan Bratko、Marko Bohanec和Janez Demsar。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。