直纪赤井;平山、高糖;广岛穆拉斯 持久图置信集分类问题中神经网络的实验稳定性分析。 （英语） Zbl 1521.68105号 神经网络。 143, 42-51 (2021). 摘要：我们研究了基于拓扑洞察的神经网络的分类性能，以确保其推理的稳定性。能够准确分类数据集的NN将其映射到一个隐藏空间中，同时消除相互交织的数据。NN有时会获取强制映射来分离数据，这种强制映射会产生离群值。由于输出急剧变化，围绕异常值的映射是不稳定的。因此，我们定义稳定NN意味着它们不会产生离群值。为了研究离群值存在的可能性，我们使用持久同源性和一种方法来估计持久图的置信集。组合使用使我们能够测试聚焦几何体是否拓扑简单，即没有异常值。在这项工作中，我们使用MNIST和CIFAR-10数据集，研究了几种神经网络的分类性能与拓扑特征之间的关系。使用MNIST数据集的调查结果表明，尽管转换后的数据集在拓扑上并不简单，但所有网络的测试准确率都优于98%。CIFAR-10数据集的结果还表明，在精确卷积NN的映射中显示了存在离群值的可能性。因此，我们得出结论，为了保证NN，特别是深层NN，不会获得用于强制分类的不稳定映射，我们的研究是必要的。 理学硕士： 68T05型 人工智能中的学习和自适应系统 55N31号 持久同源性及其应用，拓扑数据分析 62H30型 分类和区分；聚类分析（统计方面） 关键词：神经网络;拓扑数据分析;持久同源性 软件：梯度-CAM;裂土器;t-SNE公司;亚当 PDF格式BibTeX公司 XML格式引用 \textit{N.Akai}等人，神经网络。143、42-51（2021；Zbl 1521.68105） 全文： 内政部 参考文献： [1] Aggarwal，C.C.、Hinneburg，A.和Keim，D.A.（2001）。关于高维空间中距离度量的惊人行为。数据库理论国际会议论文集（第420-434页）·Zbl 1047.68038号 [2] Akai，N.、Hirayama，T.和Murase，H.（2020a）。使用基于模型和学习方法的混合定位：通过重要性抽样融合蒙特卡罗和E2E定位。《IEEE机器人与自动化国际会议论文集》（第6469-6475页）。 [3] 北阿凯。；平山，T。；Murase，H.，考虑对象识别不确定性的语义定位，IEEE机器人与自动化快报，5，3，4384-4391（2020） [4] Akai，N.、Hirayama，T.和Murase，H.（2021）。基于激光雷达的自我飞行器定位中的持续同源性。在IEEE智能汽车研讨会论文集上（已接受）。 [5] 北阿凯。；莫拉莱斯，L.Y。；Murase，H.，使用卷积神经网络和Rao-Blackwellized粒子滤波器同时估计姿势和可靠性，高级机器人，32，17，930-944（2018） [6] Akai，N.、Morales，L.Y.、Takeuchi，E.、Yoshihara，Y.和Ninomiya，Y.（2017年）。使用具有实验确定的不确定性和道路标记匹配的3D NDT扫描匹配进行稳健定位。IEEE智能车辆研讨会论文集（第1357-1364页）。 [7] Akai，N.、Morales，L.Y.、Yamaguchi，T.、Takeuchin，E.、Yoshihara，Y.、Okuda，H.、Suzuki，T.和Ninomiya，Y.（2017年）。基于多层激光雷达和航位推算精确定位的自动驾驶。《IEEE智能交通系统国际会议论文集》（第1147-1152页）。 [8] Bauer，U.，Ripser:《Vietoris-Rips持久性条形码的高效计算》（2019），arXiv:1908.02518。预打印 [9] Bianchini，M。；Scarselli，F.，《神经网络分类器的复杂性：浅层和深层架构的比较》，IEEE神经网络和学习系统汇刊，25，8，1553-1565（2014） [10] 科恩·斯坦纳，D。；Edelsbrunner，H。；Harer，J.，持久性图的稳定性，离散与计算几何，37，103-120（2007），URL:https://doi.org/10.1007/s00454-006-1276-5 ·Zbl 1117.54027号 [11] Edelsbrunner，L。；Zomordian，H.，拓扑持久性和简化，离散与计算几何，28511-533（2002）·Zbl 1011.68152号 [12] Fasy，B.T。；莱奇，F。；里纳尔多，A。；Wasserman，L。；Balakrishnan，S。；Singh，A.，持久性图的置信集，《统计年鉴》，42，6，2301-2339（2014）·Zbl 1310.62059号 [13] 格洛洛特，X。；Bordes，A。；Bengio，Y.，（深度稀疏整流器神经网络。深度稀疏整流器神经元网络，机器学习研究论文集，第15卷（2011）），315-323，URL:http://proceedings.mlr.press/v15/glorot11a.html [14] Guss，W.H。；Salakhutdinov，R.，《利用代数拓扑表征神经网络的能力》（2018），arXiv:1802.04443 [15] Hamada，N.和Goto，K.（2018年）。数据驱动的pareto集拓扑分析。《遗传和进化计算会议论文集》（第657-664页）。 [16] He，K。；张，X。；任，S。；Sun，J.，图像识别的深度残差学习，（IEEE计算机视觉和模式识别会议（2016）），770-778 [17] 金玛，D.P。；Ba，J.，Adam：随机优化方法，（国际学习表征会议（2015）），网址：http://arxiv.org/abs/1412.6980 [18] Le，Q.V.公司。；蒙加，R。；德文，M。；Corrado，G。；Chen，K。；兰扎托，M。；迪安·J。；Ng，A.，使用大规模无监督学习构建高级特征（2011），arXiv:1112.6209。网址：http://arxiv.org/abs/1112.6209 [19] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444（2015） [20] 范德马滕，L。；Hinton，G.，使用t-SNE可视化数据，机器学习研究杂志，92579-2605（2008），URL:http://www.jmlr.org/papers/v9/vandermaaten08a.html ·Zbl 1225.68219号 [21] 蒙大沃纳，G。；西萨梅克布。；Müller，K.-R.，《解释和理解深层神经网络的方法》，《数字信号处理》，第73期，第1-15页（2018年） [22] Naitzat，G。；Zhitnikov，A。；Lim，L.-H.，深度神经网络拓扑（2020），arXiv:2004.06093·Zbl 1527.68207号 [23] Olah，C.，《神经网络、流形和拓扑》（2014），http://colah.github.io/posts/2014-03-NN-歧管-拓扑/ [24] Ramamurthy，K.N。；瓦什尼，K。；Mody，K.，（决策边界的拓扑数据分析及其在模型选择中的应用。决策边界的拓扑学数据分析及其对模型选择的应用，机器学习研究论文集，第97卷（2019年）），5351-5360，URL:http://proceedings.mlr.press/v97/ramamurthy19a.html [25] Rieck，B。；Togninalli，M。；博克，C。；摩尔，M。；霍恩，M。；Gumbsch，T。；Borgwardt，K.，《神经持久性：使用代数拓扑对深层神经网络的复杂性进行测量》，（国际学习表征会议（2019年）），URL:https://openreview.net/forum？id=ByxkijC5FQ [26] Selvaraju，R.R。；Das，A。；韦丹坦，R。；Cogswell，M。；Parikh，D。；巴特拉·D·格拉德·卡姆：你为什么这么说？通过基于梯度的本地化从深层网络中进行可视化解释（2016年），arXiv:1610.02391。网址：http://arxiv.org/abs/1610.02391 [27] 肖特恩，C。；Khoshgoftaar，T.，《图像数据增强用于深度学习的调查》，《大数据杂志》，6，60（2019） [28] 斯米尔科夫，D。；托拉特，N。；Kim，B。；维加斯，F.B。；Wattenberg，M.，SmoothGrad:通过添加噪音消除噪音（2017），arXiv:1706.03825。网址：网址：http://arxiv.org/abs/1706.03825 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。