×
吕、雷;陈鹏;王继华

了解通路在深层神经网络中的作用。 （英语） Zbl 1534.68216号

神经网络。 172，文章ID 106095，10 p.（2024）.
摘要：深度神经网络在人工智能应用中表现出了优异的性能，但其内部工作机制的不透明性是其应用中的一个主要缺陷。目前流行的基于单位的解释是对刺激-反应数据的统计观察，未能显示神经网络内在机制的详细内部过程。在这项工作中，我们分析了在分类任务中训练的卷积神经网络（CNN），并提出了一种提取单个像素扩散路径的算法，以识别与对象类相关的输入图像中像素的位置。路径允许我们测试对分类很重要的因果成分，并且基于路径的表示在类别之间可以明确区分。我们发现，图像中单个像素的少数最大路径往往会穿过每一层的特征地图，这对分类很重要。同一类别的图像的大路径比不同类别的图像更具一致性。我们还应用这些途径来理解对手攻击、目标完成和运动感知。此外，所有层中特征图上的路径总数可以清楚地区分原始、变形和目标样本。

MSC公司：

68T07型 人工神经网络与深度学习
68T45型 机器视觉和场景理解
68单位10 图像处理的计算方法

关键词：

深度神经网络;计算机视觉;路径

软件：

梯度-CAM
PDF格式BibTeX公司 XML格式引用
\textit{L.Lyu}等人，神经网络。172，文章ID 106095，10 p.（2024；Zbl 1534.68216）
全文： 内政部 arXiv公司

参考文献：

[1] 阿姆贾德、拉娜·阿里；刘凯仁；Geiger，Bernhard C.，通过信息顺序累积消融了解神经网络和个体神经元的重要性，IEEE神经网络和学习系统汇刊，33，12，7842-7852，（2021）
[2] 弗拉迪斯拉夫·艾森伯格；Behrmann，Marlene，《背视觉通路代表物体识别的以物体为中心的空间关系》，《神经科学杂志》，42，23，4693-4710，（2022）
[3] 鲍大卫；朱俊燕；亨德里克，斯特罗贝尔特；阿加塔·拉佩德里扎；周伯雷；Torralba，Antonio，《理解单个单元在深度神经网络中的作用》，《美国国家科学院院刊》，117，4830071-30078，（2020）
[4] 毕，毛泽东；周长松，理解使用神经网络模型计算时间，《国家科学院学报》，117，19，10530-10540，（2020）
[5] 曹、杨；Chandrasekar，A。；Radhika，T。；Vijayakumar，V.，随机马尔可夫跳跃遗传调控网络的输入-状态稳定性，模拟中的数学和计算机，（2023年）
[6] 曹克雷；刘梦晨；苏航；吴静；朱军；刘世霞，深度神经网络的噪声鲁棒性分析，IEEE可视化与计算机图形学汇刊，27，7，3289-3304，（2020）
[7] Chandrasekar，A。；Radhika，T。；朱全新，概率时变时滞随机Cohen-Grossberg BAM神经网络输入-状态稳定性的进一步结果，神经处理快报，1-23，（2022）
[8] Chandrasekar，A。；Radhika，T。；朱全新，利用二阶倒置凸方法对具有两个延迟分量的遗传调控网络的状态估计，神经处理快报，1-19，（2022）
[9] Farhanhubble，M2NIST（2017），https://www.kaggle.com/datasets/farhanhubble/multimnistm2nist/，[上次访问时间：2022-11-01]
[10] Fyall，Amber M。；El-Shamayleh，Yasmine；Choi，Hannah；埃里克·谢·布朗（Eric Shea-Brown）；Pasupathy，Anitha，灵长类前额叶和视觉皮层中部分闭塞物体的动态表征，Elife，6，文章e25784 pp.，（2017）
[11] 伊恩·古德费罗（Ian J.Goodfellow）。；乔纳森·施伦斯（Jonathon Shlens）；克里斯蒂安·塞格迪（Christian Szegedy），《解释和利用对抗性例子》（Yoshua Bengio；Yann LeCun，第三届学习表征国际会议，ICLR 2015，美国加利福尼亚州圣地亚哥，2015年5月7日至9日，会议跟踪记录，（2015））
[12] 斯蒂芬·哈沃德（Stephen C.Harward）。；内森·亨德里克。；查尔斯·E·霍尔（Charles E.Hall）。；帕拉·布埃诺，宝拉；特蕾莎·A·米尔纳。；Pan，Enhui，单个树突棘内的内源性BDNF TrkB信号传导，Nature，538，7623，99-103，（2016）
[13] 弗雷德·霍曼；公园，海岛；罗宾逊，Caleb；Polo Chau，Duen Hong，Summit:通过可视化激活和属性摘要扩展深度学习可解释性，IEEE可视化和计算机图形学报，26，1，1096-1106，（2020）
[14] Khakzar、Ashkan、Baselizadeh、Soroosh、Khanduja、Saurabh、Rupprecht、Christian、Kim、Seong Tae和Navab、Nassir（2021年）。通过关键路径的透镜解释神经反应。《IEEE/CVF计算机视觉和模式识别会议论文集》（第13528-13538页）。
[15] 科斯拉、米纳克什；基思·贾米森；艾米·库切耶斯基；Sabunci，Mert，用响应优化神经编码模型表征腹侧视觉流，神经信息处理系统进展，35，9389-9402，（2022）
[16] 蒂姆·基兹曼（Tim C.Kietzmann）。；Courtney J.Sporer。；Sörensen，Lynn K.A。；Radoslaw M.Cichy。；奥拉夫·豪克；Kriegeskorte，Nikolaus，《重现需要捕捉人类视觉系统的表征动力学》，《美国国家科学院院刊》，116，43，21854-21863，（2019）
[17] Kim，Been；马丁·瓦滕伯格（Martin Wattenberg）；贾斯汀·吉尔默（Justin Gilmer）；蔡嘉莉；詹姆斯·韦克斯勒（James Wexler）；Viegas，Fernanda，《特征属性之外的可解释性：用概念激活向量进行定量测试》，（机器学习国际会议，（2018），PMLR），2668-2677
[18] Adam Kortylewski；刘青；王安田；孙一红；Alan Yuille，《合成卷积神经网络：遮挡条件下物体识别的鲁棒可解释模型》，《国际计算机视觉杂志》，129736-760，（2021）·Zbl 1483.68433号
[19] Alex Krizhevsky，从微小图像中学习多层特征技术报告TR-2009，（2009），多伦多大学：多伦多大学
[20] 马修·莱维特（Matthew L.Leavitt）。；Florian Pieper；亚当·萨克斯（Adam J.Sachs）。；Martinez-Trujillo，Julio C.，《相关变异性修改灵长类前额叶神经元群的工作记忆保真度》，《美国国家科学院院刊》，114，12，E2494-E2503，（2017）
[21] Yann LeCun；莱昂·博图；约书亚·本吉奥；Haffner，Patrick，《基于梯度的学习在文档识别中的应用》，美国电气与电子工程师协会论文集，86，1122278-2324，（1998）
[22] 梁浩宇；欧阳、志浩；曾玉元；苏航；何子豪；Xia，Shu-Tao，通过区分类特定滤波器训练可解释卷积神经网络，（计算机视觉-ECCV 2020：第16届欧洲会议，英国格拉斯哥，2020年8月23日至28日，会议记录，第二部分16，（2020），斯普林格），622-638
[23] 维塔利·佩修克；达斯，阿比尔；Saenko，Kate，Rise:解释黑盒模型的随机输入抽样，（2018），arXiv预印本arXiv:1806.07421
[24] Radhika，T。；Chandrasekar，A。；维贾亚库马尔，V。；朱全新，带时滞的马尔可夫跳跃随机Cohen-Grossberg BAM神经网络指数输入-状态稳定性分析，神经处理快报，1-18，（2023）
[25] 拉詹·拉基亚潘（Rajan Rakkiyappan）；阿鲁纳恰拉姆省钱德拉塞卡；Cao，Jinde，基于记忆电阻的加性时变时滞递归神经网络的无源性和无源性，IEEE神经网络和学习系统汇刊，26，9，2043-2057，（2014）
[26] 里贝罗（Ribeiro）、马可·图利奥（Marco Tulio）、辛格（Singh）、萨梅尔（Sameer）和盖斯特林（Guestrin）、卡洛斯（Carlos）（2016年）。“我为什么要相信你？”解释任何分类器的预测。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第1135-1144页）。
[27] 加布里埃尔·H·萨奇。；迈克尔·J·塔尔。；卡特琳娜·弗拉基亚达基；Wehbe，Leila，《脑解剖：fMRI训练的网络揭示了自然图像处理中的空间选择性》，bioRxiv，（2023），2023-05
[28] Selvaraju、Ramprasaath R、Cogswell、Michael、Das、Abhishek、Vedantam、Ramakrishna、Parikh、Devi和Batra、Dhruv（2017）。Grad-cam：通过基于梯度的本地化从深层网络中进行可视化解释。IEEE计算机视觉国际会议论文集（第618-626页）。
[29] 凯伦·西蒙扬（Karen Simonyan）；安德鲁·齐瑟曼，《用于大规模图像识别的超深卷积网络》，ICLR，（2015），arXiv:1409.1556
[30] 穆昆德Sundararajan；安库尔·塔利；Yan，Qiqi，深度网络公理化归因，（机器学习国际会议，（2017），PMLR），3319-3328
[31] 唐汉林；马丁·施里姆普夫（Martin Schrimpf）；威廉·洛特；夏洛特·莫尔曼；阿娜·帕雷德斯（Ana Paredes）；Ortega Caro，Josue，视觉模式完成的递归计算，《美国国家科学院院刊》，115，35，8835-8840，（2018）
[32] Wang，Aria Y。；凯·肯德里克；托马斯·纳塞拉里斯；迈克尔·J·塔尔。；Wehbe，Leila，《将自然语言融入视觉模型提高对高级视觉皮层的预测和理解》，BioRxiv，（2022），2022-09
[33] Wang，Yulong，Su，Hang，Zhang，Bo，&Hu，Xiaolin（2018）。通过识别关键数据路由路径来解释神经网络。IEEE计算机视觉和模式识别会议记录（第8906-8914页）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。