×

理解二进制分类器决策的计算复杂性。 (英语) Zbl 1512.68116号

摘要:对于一个(d)元布尔函数(黑体符号{\Phi}:{0,1\}^d\rightarrow\{0,2\})及其变量赋值(mathbf{x}=(x_1,x_2\ldots,x_d)),我们考虑了如何找到这些变量的子集,这些子集足以确定给定概率下的函数值。这是由于解释被描述为布尔电路的二进制分类器的预测这一任务所激发的,布尔电路可视为神经网络的特殊情况。我们证明了对于复杂性类(mathsf{NP}^{mathsf}PP}}),确定有限大小的相关变量的子集是否存在的问题是完全的,因此,一般来说是不可行的。然后,我们引入了一个变量,在该变量中,可以检查子集确定函数值的概率是否至少为\(\delta\)或至多为\(\ delta-\gamma\)。这种概率缺口的承诺降低了类\(mathsf{NP}^{mathsf}BPP}}\)的复杂性。最后,我们证明了除非(mathsf{P}=mathsf{NP}),否则用多项式时间算法无法合理地逼近相关变量的最小集,即用(alpha>0)的近似因子(d^{1-\alpha})。即使有可能出现概率缺口,这一点仍然成立。

MSC公司:

65年第68季度 算法和问题复杂性分析
2006年第68季度 作为计算模型的网络和电路;电路复杂性
2015年第68季度 复杂性类(层次结构、复杂性类之间的关系等)
68T05型 人工智能中的学习和自适应系统
68周25 近似算法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Akers,S.B.(1978年)。二进制决策图。IEEE计算机汇刊,C-27(6),509-516·Zbl 0377.94038号
[2] Bach,S.、Binder,A.、Montavon,G.、Klauschen,F.、Müller,K.-R.和Samek,W.(2015)。通过分层相关传播对非线性分类器决策进行像素级解释。PLOS ONE,10(7),1-46。
[3] Brown,T.B.、Mané,D.、Roy,A.、Abadi,M.和Gilmer,J.(2017)。对抗补丁。CoRR,abs/1712.09665。
[4] Bryant,R.E.(1986年)。布尔函数操作的基于图形的算法。计算机,IEEE汇刊,100(8),677-691·Zbl 0593.94022号
[5] Coudert,O.和Madre,J.C.(1992年)。布尔函数的素数和基本素数的隐式和增量计算。。InDAC,第92卷,第36-39页。
[6] Darwiche,A.(2000年)。理论模型的易处理计数及其在信念修正和真理维护中的应用。CoRR公司。AI/0003044·Zbl 1033.03505号
[7] Darwiche,A.(2011年)。Sdd:命题知识库的一种新的规范表示。第二十二届国际人工智能联合会议。
[8] de Campos,C.P.和Ji,Q.(2008)。使用不精确概率的影响图中的策略选择。第二十四届不确定性会议记录
[9] Deng,X.和Papadimitriou,C.H.(1994)。关于合作解决方案概念的复杂性。运筹学数学,19(2),257-266·Zbl 0824.90146号
[10] Drummond,M.和Bresina,J.(1990年)。任何时候的综合预测:最大化目标满足的概率。美国国家航空航天局、艾姆斯研究中心、人工智能研究
[11] Eiter,T.和Gottlob,G.(1995年)。基于逻辑的诱拐的复杂性。美国医学会杂志(JACM),42(1),3-42·Zbl 0886.68121号
[12] Erhan,D.、Bengio,Y.、Courville,A.和Vincent,P.(2009年)。可视化深层网络的高层特征。蒙特利尔大学技术代表1341。也在加拿大蒙特利尔举行的2009年ICML学习特征层次研讨会上发表。
[13] Fatima,S.S.、Wooldridge,M.和Jennings,N.R.(2008年)。shapley值的一种线性近似方法。人工智能,172(14),1673-1699·Zbl 1184.91029号
[14] Fong,R.C.和Vedaldi,A.(2017年)。通过有意义的扰动解释黑箱。《IEEE计算机视觉国际会议论文集》,第3429-3437页。
[15] 福岛,K.(1980)。Neocognitron:不受位置变化影响的模式识别机制的自组织神经网络模型。生物控制论,36(4)·Zbl 0419.92009号
[16] Goodfellow,I.、Bengio,Y.和Courville,A.(2016)。深度学习。麻省理工学院出版社。http://www.deeplearningbook.org·Zbl 1373.68009号
[17] Graves,A.、Mohamed,A.-R.和Hinton,G.(2013年)。基于深度递归神经网络的语音识别。2013年IEEE国际声学、演讲和
[18] Grötschel,M.、Lovász,L.和Schrijver,A.(1988)。几何算法和组合优化,算法和组合学第2卷。斯普林格·Zbl 0634.05001号
[19] 霍夫丁,W.(1994)。有界随机变量和的概率不等式。《瓦西里·霍夫丁文集》,第409-426页。斯普林格·Zbl 0807.01034号
[20] Hornik,K.(1991年)。多层前馈网络的逼近能力。神经网络,4(2),251-257。
[21] Ignatiev,A.、Narodytska,N.和Marques-Silva,J.(2019)。机器学习模型的基于诱骗的解释。AAAI人工智能会议记录·Zbl 1441.68211号
[22] Kang,E.、Min,J.和Ye,J.C.(2017年)。使用方向小波的深度卷积神经网络用于低剂量x射线ct重建。医学物理学,44(10),e360-e375。
[23] Khosravi,P.、Liang,Y.、Choi,Y.&Van den Broeck,G.(2019年)。对分类器有什么期望?具有缺失特征的logistic回归推理。的诉讼
[24] Kononenko,I.等人(2010年)。使用博弈论对个体分类的有效解释。机器学习研究杂志,11(1月),1-18·Zbl 1242.68250号
[25] Krizhevsky,A.、Sutskever,I.和Hinton,G.E.(2012)。基于深度卷积神经网络的Imagenet分类。Pereira,F.、Burges,C.J.C.、Bottou,L.和Weinberger,K.Q.(编辑),《神经信息处理系统进展》25,第1097-1105页。Curran Associates公司。
[26] Littman,M.L.、Goldsmith,J.和Mundhenk,M.(1998)。概率规划的计算复杂性。《人工智能研究杂志》,9,1-36·Zbl 0903.68100号
[27] Littman,M.L.、Majercik,S.M.和Pitassi,T.(2001)。随机布尔可满足性。自动推理杂志,27(3),251-296·Zbl 0988.68189号
[28] Liu,X.,Yang,H.,Song,L.,Li,H.和Chen,Y.(2018)。Dpatch:使用对抗补丁攻击目标探测器。CoRR,abs/1806.02299。
[29] Lyu,B.和Haque,A.(2018年)。利用基因表达数据进行基于深度学习的肿瘤类型分类。在2018年ACM生物信息学国际会议记录中,
[30] Macdonald,J.、Wäldchen,S.、Hauch,S.和Kutyniok,G.(2019年)。解释神经网络决策的速率-密度框架。CoRR,abs/1905.11092·Zbl 1512.68116号
[31] Manquinho,V.M.、Oliveira,A.L.和Marques-Silva,J.(1998)。计算最小素数蕴涵的模型和算法。国际会议记录
[32] Marquis,P.(1991)。将推理从命题扩展到一阶逻辑。在人工智能研究基础国际研讨会上,第141-155页·Zbl 0793.03007号
[33] Marquis,P.(2000)。结果发现算法。在Kohlas,J.和Moral,S.(编辑),《可延迟推理和不确定性管理系统手册:算法》中·Zbl 1015.68197号
[34] McBee,M.P.、Awan,O.A.、Colucci,A.T.、Ghobadi,C.W.、Kadom,N.、Kansagra,A.P.、Tridandapani,S.和Auffermann,W.F.(2018年)。放射学的深度学习。学术放射学,25(11),1472-1480。
[35] Mukherjee,A.和Basu,A.(2017)。带relu门的深度神经网络布尔输入的下界。CoRR,abs/1711.03073。
[36] Nielsen,M.A.(2018年)。神经网络和深度学习·Zbl 1402.68001号
[37] Parberry,I.(1996年)。电路复杂性和前馈神经网络。新泽西州希尔斯代尔:劳伦斯·埃尔鲍姆·Zbl 0864.68082号
[38] Park,J.D.(2002)。映射复杂性结果和近似方法。《第十八届人工智能不确定性会议记录》,第388-396页。摩根
[39] Ribeiro,M.T.、Singh,S.和Guestrin,C.(2018年)。锚:高精度模型-认知解释。第三十二届AAAI人工智能会议。
[40] Samek,W.、Binder,A.、Montavon,G.、Lapuschkin,S.和Müller,K.-R.(2017a)。评估深层神经网络所学知识的可视化。IEEE事务处理
[41] Samek,W.、Wiegand,T.和Müller,K.(2017b)。可解释的人工智能:理解、可视化和解释深度学习模型。CoRR,abs/1708.08296。
[42] Shapley,L.S.(1953年)。n人游戏的值。库恩·H·W·和塔克·A·W·(编辑),《游戏理论II的贡献》,第307-317页。普林斯顿大学出版社·Zbl 0050.14404号
[43] Shen,D.,Wu,G.,&Suk,H.-I.(2017)。深入学习医学图像分析。生物医学工程年鉴,19(1),221-248。
[44] Shih,A.、Choi,A.和Darwiche,A.(2018年)。一种解释贝叶斯网络分类器的符号方法。第27届国际联合会议记录
[45] Simonyan,K.、Vedaldi,A.和Zisserman,A.(2014)。深层卷积网络:可视化图像分类模型和显著图。在Y.Bengio和Y.LeCun。
[46] Sun,Y.,Wang,X.,&Tang,X..(2013)。用于面部点检测的深度卷积网络级联。IEEE计算机视觉与模式会议论文集
[47] Szegedy,C.、Toshev,A.和Erhan,D.(2013)。用于目标检测的深度神经网络。在Burges,C.J.C.、Bottou,L.、Welling,M.、Ghahramani,Z.和Weinberger,K.Q。
[48] Taigman,Y.、Yang,M.、Ranzato,M.和Wolf,L.(2014)。深层次:缩小人脸验证中与人的绩效之间的差距。IEEE会议记录
[49] Toshev,A.和Szegedy,C.(2014)。深度姿势:通过深度神经网络进行人体姿势估计。IEEE计算机视觉和模式识别会议论文集,pp。
[50] Vidovic,M.M.-C.、Görnitz,N.、Müller,K.-R.、Rätsch,G.和Kloft,M.(2015)。打开黑匣子:揭示基于内核的学习算法中的可解释序列模体。年欧洲机器学习和知识发现联合会议
[51] Xie,J.,Xu,L.,&Chen,E.(2012)。基于深度神经网络的图像去噪和修复。Pereira,F.、Burges,C.J.C.、Bottou,L.和Weinberger,K.Q.(编辑),《进展》
[52] Zeiler,M.D.和Fergus,R.(2014)。可视化和理解卷积网络。在Fleet,D.、Pajdla,T.、Schiele,B.和Tuytelaars,T.(编辑
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。