×

神经网络的显著性检验。 (英语) Zbl 07307487号

总结:我们开发了一个关键测试来评估单层前馈神经网络回归模型中特征变量的统计显著性。我们提出了一种基于梯度的检验统计量,并使用非参数技术研究了其渐近性。在技术条件下,极限分布由X平方分布的混合给出。这些测试使人们能够识别单个变量对神经网络预测的影响。测试统计可以根据其影响对变量进行排序。仿真结果说明了测试的计算效率和性能。房价估值的实证应用突出了使用实际数据进行测试的行为。

MSC公司:

68T07型 人工神经网络与深度学习
62G10型 非参数假设检验
62G35型 非参数稳健性
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接

参考文献:

[1] 罗伯特·J·阿德勒。《一般高斯过程的连续性、极值和相关主题导论》,第12卷。IMS,1990年·Zbl 0747.60039号
[2] David Baehrens、Timon Schroeter、Stefan Harmeling、Motoaki Kawanabe、Katja Hansen和Klaus Robert M¨uller。如何解释个人分类决策。机器学习研究杂志,11(6月):1803-18312010·Zbl 1242.62049号
[3] Andrew R Barron和Jason M Klusowski。使用全路径变量的深网的复杂性、统计风险和度量熵。arXiv预印本arXiv:1902.008002019。
[4] 陈安美(An Mei Chen)、卢霍敏(Haw Minnn Lu)和罗伯特·赫赫特·尼尔森(Robert Hecht-Nielsen)。关于前馈神经网络误差曲面的几何形状。神经计算,5(6):910-9271993。
[5] 陈晓红。半非参数模型的大样本筛选估计。《计量经济学手册》第6B卷第76章编辑J.J.Heckman和E.E.Leamer。Elsevier,第1版,2007年。
[6] 陈晓红和沈晓童。弱相依数据的筛选极值估计。《计量经济学》,66(2):289-3141998年·Zbl 1055.62544号
[7] 陈晓红和怀特。非参数神经网络估计量的改进率和渐近正态性。IEEE信息理论汇刊,45(2):682-6911999·Zbl 1098.92502号
[8] 保罗·科尔特斯和马克·J拥抱。使用敏感性分析打开黑盒数据挖掘模型。2011年IEEE计算智能与数据挖掘(CIDM)研讨会,第341-348页。IEEE,2011年。
[9] 乔治·西本科(George Cybenko)。通过sigmoid函数的叠加进行逼近。控制、信号和系统数学,2(4):303-3141989·Zbl 0679.94019号
[10] Anupam Datta、Shayak Sen和Yair Zick。通过定量输入影响实现算法透明度:学习系统的理论和实验。2016年IEEE安全与隐私(SP)研讨会,第598-617页。IEEE,2016年。
[11] 范建清和姜建成。可加模型的非参数推断。美国统计协会期刊,100(471):890-9072005·兹比尔1117.62328
[12] 范燕琴(Yanqin Fan)和李琦(Qi Li)。一致模型规范测试:省略变量和半参数函数形式。《计量经济学》,64(4):865-8901996年·Zbl 0854.62038号
[13] Joachim Freyberger和Matthew Masten。无穷维参数空间的紧性。技术报告,cemmap工作文件,微数据方法与实践中心,2015年。
[14] G.大卫·加森。解释神经网络连接权重。人工智能专家,6(4):46-511991年4月。ISSN 0888-3785。
[15] 泽维尔·格洛洛特和约舒亚·本吉奥。了解训练深度前馈神经网络的困难。编辑Yee Whye Teh和Mike Titterington,《第十三届国际人工智能和统计会议论文集》,机器学习研究进展第9卷,第249-256页,意大利撒丁岛恰拉古纳度假村,2010年5月13-15日。PMLR公司。
[16] 佩德罗·戈萨洛(Pedro L Gozalo)。回归函数模型非参数估计的一致模型规格检验。计量经济学理论,9(03):451-4771993。
[17] 顾晶平、李定鼎和刘丹丹。Bootstrap非参数显著性检验。非参数统计杂志,19(6-8):215-2302007·Zbl 1130.62032号
[18] 里卡多·吉多蒂(Riccardo Guidotti)、安娜·蒙雷利(Anna Monreale)、萨尔瓦托·鲁杰里(Salvatore Ruggieri)、佛朗哥·都里尼(Franco Turini)、福斯卡·吉安诺蒂(Fosca Giannotti)和迪诺·佩德雷西(。黑箱模型解释方法综述。ACM计算调查(CSUR),51(5):1-422018。
[19] Daniel J Henderson和Christopher F Parmeter。应用非参数计量经济学。剑桥大学出版社,2015年·兹比尔1305.62004
[20] 库尔特·霍尼克(Kurt Hornik)、麦克斯韦尔·斯汀科姆(Maxwell Stinchcombe)和哈尔伯特·怀特(Halbert White)。多层前馈网络是通用逼近器。神经网络,2(5):359-3661989·Zbl 1383.92015年
[21] Jeankyung Kim和David Pollard。立方根渐近。安.统计师。,18(1):191-219, 03 1990. doi:10.1214/aos/1176347498·Zbl 0703.62063号
[22] Igor Kononenko等人。使用博弈论对个体分类进行有效解释。《机器学习研究杂志》,11期(1月):2010年1月18日·兹比尔1242.68250
[23] 帕斯卡·拉维根和广武。非参数显著性测试。计量经济学理论,16(4):576-6012000·Zbl 0968.62047号
[24] Pascal Lavergne和Quang H.Vuong。回归变量的非参数选择:非嵌套情况。《计量经济学》,64(1):207-21191996年·Zbl 0860.62039号
[25] Richard Nickl和Benedikt M P¨otscher。支持besov-型和sobolev型函数类的度量熵率和经验中心极限定理。理论概率杂志,20(2):177-1992007·Zbl 1130.46020号
[26] 朱利安·奥登(Julian D Olden)和唐纳德·杰克逊(Donald A Jackson)。照亮“黑匣子”:理解人工神经网络中变量贡献的随机化方法。生态建模,154(1-2):135-1502002。
[27] 杰夫·拉辛(Jeff Racine)。非参数回归的一致显著性检验。《商业与经济统计杂志》,15(3):369-3781997年。
[28] 马可·图利奥·里贝罗(Marco Tulio Ribeiro)、萨米尔·辛格(Sameer Singh)和卡洛斯·盖斯林(Carlos Guestrin)。“我为什么要相信你?”:解释任何分类器的预测。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集,KDD’16,第1135-1144页。计算机协会,2016年。
[29] 沃纳·R·奥米什。增量法,无限维。《统计科学百科全书》,2005年。
[30] 沈晓彤。关于筛选和惩罚的方法。《统计年鉴》,第2555-25911997页·Zbl 0895.62041号
[31] 沈晓彤和王永红。筛选估计的收敛速度。《统计年鉴》,22(2):580-6151994年6月。doi:10.1214/aos/1176325486·Zbl 0805.62008号
[32] 阿凡蒂·施里库玛(Avanti Shrikumar)、佩顿·格林赛德(Peyton Greenside)和安舒尔·昆达杰(Anshul Kundaje)。通过传播激活差异来学习重要功能。第34届国际机器学习会议论文集——第70卷,第3145-3153页。JMLR公司。org网站,2017年。
[33] Mukund Sundararajan、Ankur Taly和Qiqi Yan。深层网络的公理属性。第34届国际机器学习会议论文集——第70卷,第3319-3328页。JMLR公司。org,2017年。
[34] 阿德·范德法特(Aad W Van der Vaart)。渐近统计,第3卷。剑桥大学出版社,2000年·Zbl 0943.6202号
[35] Aad W Van der Vaart和Jon A Wellner。弱收敛和经验过程:统计应用。施普林格,1996年·Zbl 0862.60002号
[36] 广宏。模型选择和非嵌套假设的似然比检验。《计量经济学》,57(2):307-3331989年。ISSN 0012968214680262·Zbl 0701.62106号
[37] 哈尔伯特·怀特。人工神经网络学习:统计视角。神经计算,1(4):425-4641989a。
[38] 哈尔伯特·怀特。单隐层前馈网络模型中学习的一些渐近结果。美国统计协会杂志,84(408):1003-10131989b·Zbl 0721.62081号
[39] 哈尔伯特·怀特。连接非参数回归:多层前馈网络可以学习任意映射。神经网络,3(5):535-5491990。
[40] 哈尔伯特·怀特和杰弗里·拉辛。统计推断、bootstrap和神经网络模型在外汇汇率中的应用。IEEE神经网络汇刊,12(4):657-6732001。
[41] 阿多尼斯·约翰·亚彻夫。基于最小二乘法的非参数回归测试。计量经济学理论,8(4):435-4511992。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。