×

关于降维的正交投影及其在学习问题增广目标损失函数中的应用。 (英语) Zbl 1434.68397号

摘要:研究了学习框架中高维输入和目标数据的正交投影的使用。首先,我们研究了两个标准目标在降维、保持方差和两两相对距离方面的关系。对它们的渐近相关性的研究以及数值实验表明,投影通常不能同时满足这两个目标。在标准分类问题中,我们确定对输入数据的预测,以平衡目标并比较后续结果。接下来,我们将正交投影的应用扩展到深度学习任务,并介绍了增广目标损失函数的一般框架。这些损失函数通过目标数据的转换和预测集成了附加信息。在临床图像分割和音乐信息分类这两个监督学习问题中,我们提出的增强目标损失函数的应用提高了精度。

MSC公司:

68T05型 人工智能中的学习和自适应系统
68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Achlioptas,D.,《数据库友好随机投影:Johnson-Lindenstraus与二进制硬币》,J.Compute。系统。科学。,66, 4, 671-687 (2003) ·Zbl 1054.68040号
[2] 巴霍克,C。;Ehler,M.,紧熔框架,应用。计算。哈蒙。分析。,35, 1, 1-15 (2013) ·Zbl 1293.42031号
[3] Bagwell,C.:SoX:Sound改变了声音处理的瑞士军刀。https://launchpad.net/ubuntu/+source/sox/14.4.1-5。2018年10月31日访问
[4] Ball,K.,《现代凸几何的初步介绍》,Flavors Geom。,31, 1-58 (1997) ·Zbl 0901.5202号
[5] 巴拉纽克,RG;Wakin,MB,光滑流形的随机投影,发现。计算。数学。,9, 941-944 (2006)
[6] Baraniuk,R。;达文波特,M。;DeVore,R。;Wakin,M.,随机矩阵限制等距性的简单证明,Constr。约28,3253-263(2008年)·Zbl 1177.15015号
[7] Bingham,E.,Mannila,H.:降维中的随机投影:图像和文本数据的应用。摘自:《第七届ACM SIGKDD知识发现和数据挖掘国际会议论文集》(美国纽约州纽约市),KDD’01,ACM,第245-250页(2001)
[8] 博德曼,B。;埃勒,M。;Gräf,M.,《从低维到高维的无魔法时刻》,J.Theor。概率。,31, 4, 2167-2193 (2017) ·Zbl 1401.44005号
[9] Breger,A.,Ehler,M.,Bogunovic,H.,Waldstein,S.M.,Philip,A.,Schmidt-Erfurth,U.,Gerendas,B.S.:光学相干层析成像中视网膜液定量的监督学习和降维技术,Eye,Springer Nature(2017)
[10] Breger,A。;埃勒,M。;Gräf,M.,《抽象和函数空间中Grassmannian、框架和其他基的拟蒙特卡罗积分和基于核的函数逼近》,应用和数值调和分析系列(ANHA)(2017),Birkhauser:Springer,Birkhuser
[11] Breger,A。;埃勒,M。;Gräf,M.,具有渐近最优覆盖半径的流形上的点,J.Complex。,48, 1-14 (2018) ·Zbl 06911383号
[12] 坎迪斯,EJ;Tao,T.,线性规划解码,IEEE Trans。Inf.理论,51,12,4203-4215(2005)·Zbl 1264.94121号
[13] Caruana,R.,多任务学习,马赫。学习。,28, 1, 41-75 (1997)
[14] Chollet,F.等人:Keras(2015)https://keras.io网址
[15] 达斯古普塔,S。;古普塔,A.,约翰逊和林登斯特劳斯定理的初等证明,随机结构。算法,22,1,60-65(2003)·Zbl 1018.51010号
[16] Davis,J.,Goadrich,M.:精确再调用和roc曲线之间的关系。摘自:第23届国际机器学习会议记录(美国纽约州纽约市),ICML'06,ACM,第233-240页(2006)
[17] de la Harpe,P.,Pache,C.:体积公式、几何设计、再生核和马尔可夫算子,无限群:几何、组合和动力学方面(巴塞尔),第248卷,Birkhäuser,第219-267页(2005)·Zbl 1124.05019号
[18] Dörfler,M.,Bammer,R.,Grill,T.:频谱图内部:音频处理中的卷积神经网络。摘自:IEEE抽样理论与应用国际会议(SampTA),第152-155页(2017)
[19] Dörfler,M.,Grill,T.,Bammer,R.,Flexer,A.:应用于音乐的卷积神经网络的基本滤波器:训练或设计。神经计算。申请。1-14 (2018)
[20] Dosovitskiy,A.,Brox,T.:基于深度网络生成具有感知相似性度量的图像。摘自:《第30届神经信息处理系统国际会议论文集》(美国),NIPS’16,Curran Associates Inc.,pp.658-666(2016)
[21] 阿塔约,美国。;Marzo,J。;Ortega-Cerdá,J.,紧代数流形上的渐近最优设计,J.Monatsh。数学。,186, 2, 235-248 (2018) ·兹比尔1479.05040
[22] Ganaye,P.-A,Sdika,M.,Benoit Cattin,H.:语义约束下的半监督分割学习。收录于:第21届国际会议,西班牙格拉纳达,2018年9月16日至20日,会议记录,第三部分,第595-602页(2018)
[23] Gerendas,理学学士;胡,X。;凯德,A。;蒙托罗,A。;Sadeghipour,A。;Waldstein,SM;Schmidt-Erfurth,U.,《10月糖尿病黄斑水肿患者视力预测生物标记物》,Investig。眼科学。视觉。科学。,58, 8, 2026-2026 (2017)
[24] Golub,G.H.,Van Loan,C.F.:矩阵计算,约翰·霍普金斯大学数学科学研究。约翰·霍普金斯大学出版社(1996)
[25] Harar,P.:Orthovar(2018)https://gitlab.com/hararticles/othovar网址
[26] 赫克尔,R。;Tschannen,M。;Bölcskei,H.,降维子空间聚类,Inf.推断:J.IMA,6,246-283(2017)·兹比尔1383.62177
[27] 赫奇,C。;桑卡拉纳拉亚南,AC;尹,W。;Baraniuk,RG,Numax:学习近等距线性嵌入的凸方法,IEEE Trans。信号处理。,83, 6109-6121 (2015) ·Zbl 1395.94037号
[28] Johnson,J.、Alahi,A.、Fei-Fei,L.:实时风格传输和超分辨率的感知损失。In:ECCV(2016)
[29] Karr,J.R.,Martin,T.E.:《随机数和主成分:对独角兽的进一步搜索》,《技术报告》,美国林业局一般技术报告(1981年)
[30] Krahmer,F。;Ward,R.,《通过受限等距特性新建和改进的Johnson Lindenstrauss嵌入》,SIAM J.Math。分析。,43, 3, 1269-1281 (2011) ·Zbl 1247.15019号
[31] Ledig,C.、Theis,L.、Huszar,F.、Caballero,J.、Aitken,A.P.、Tejani,A.、Totz,J.,Wang,Z.、Shi W.:使用生成性对抗网络的真实照片单图像超分辨率。摘自:2017年IEEE计算机视觉和模式识别会议(CVPR),第105-114页(2017)
[32] Linial,N。;伦敦,E。;Rabinovich,Y.,图的几何及其算法应用,组合数学,15,2,215-245(1995)·Zbl 0827.05021号
[33] Long,J.,Shelhamer,E.,Darrell,T.:语义分割的完全卷积网络。摘自:IEEE计算机视觉和模式识别会议记录,第3431-3440页(2015)
[34] Mahoney,MW,矩阵和数据的随机算法,Found。Trends®马赫数。学习。,123-224年3月2日(2011年)·Zbl 1232.68173号
[35] Matousek,J.,关于Johnson-Lindenstraus引理的变体,随机结构。算法,33,2142-156(2008)·Zbl 1154.51002号
[36] McFee,B.等人:Librosa:0.6.2(2018)10.5281/zenodo.1342708
[37] Moore,B.,《线性系统的主成分分析:可控性、可观测性和模型简化》,IEEE Trans。自动。控制,26,17-32(1981)·Zbl 0464.93022号
[38] 纳瓦雷特,J.:沉默的曙光(2009)https://digitalcardboard.com/blog/2009/08/25-the-sox-of-silence网站
[39] Neumayer,S.、Nimmer,M.、Setzer,S.和Steidl,G.:关于鲁棒PCA和Weiszfeld算法。申请。数学。最佳方案。1-32 (2019) ·兹比尔1468.62302
[40] Oktay,O。;费兰特,E。;Kamnitsas,K。;海因里希,M。;Bai,W。;卡巴列罗,J。;格雷罗,R。;库克,南非;de Marvao,A。;Dawes,T。;奥里根,D。;凯恩斯,B。;格洛克,B。;Rueckert,D.,解剖约束神经网络(ACNN):心脏图像增强和分割的应用,IEEE Trans。医学成像,37,384-395(2018)
[41] Pabst,G.:无隔室药物动力学参数——研究设计、数据分析和报告的标准化,第5章。浓度-时间曲线下的面积,第65-80页,Shaker Verlag(1999)
[42] Picas,O.R.,Rodriguez,H.P.,Dabiri,D.,Tokuda,H.,Hariya,W.,Oishi,K.,Serra,X.:测量乐器声音中声音优度的实时系统。In:音频工程学会第138号公约,音频工程学会(2015)
[43] Ronneberger,O.,Fischer,P.,Brox,T.:U-net:生物医学图像分割的卷积网络(2015)arXiv:1505.04597
[44] 西摩,P。;Zaslavsky,T.,《平均集:平均值和球面设计的推广》,高等数学。,52, 213-240 (1984) ·Zbl 0596.05012号
[45] Simonyan,K.,Zisserman,A.:用于大规模图像识别的极深卷积网络(2014)arXiv:1409.1556
[46] 施陶弗,DF;EO加顿;Steinhorst,RK,《生态学:来自真实数据和随机数据的主成分比较》,《生态学》,66,6,1693-1698(1985)
[47] Stewart,R.,Ermon,S.:利用物理和领域知识对神经网络进行无标签监督。在:AAAI(2017)
[48] 塔内,G-A;海因策,C。;Meinshausen,N.,《大尺度回归的随机投影》,51-68(2017),Cham:Springer,Cham·Zbl 06815953号
[49] Udell,M.:广义低秩模型,斯坦福大学博士论文(2015)
[50] 西班牙瓦努斯瓦德拉尼;吴杰。;Vogl,W-D;菲利普,A-M;蒙托罗,A。;莱特纳,R。;西马德,C。;Waldstein,SM;Gerendas,理学学士;Schmidt-Erfurth,U.,使用囊肿注释示例智能注释光谱域光学相干断层扫描的新基准模型,计算。方法生物识别程序。,13093-105(2016)
[51] Jelle Veraart;德米特里·诺维科夫。;Daan Christiaens;本杰明·阿德斯·阿隆;Sijbers,Jan;Fieremans,Els,使用随机矩阵理论对扩散MRI进行去噪,NeuroImage,142,394-406(2016)
[52] Vershynin,R。;Eldar,Y。;Kutyniok,G.,《随机矩阵非渐近分析导论》,压缩传感,理论与应用,210-268(2012),剑桥:剑桥大学出版社,剑桥
[53] von Hornbostel,E.M.,Sachs,C.:乐器分类:安东尼·贝恩斯(anthony baines)和克劳斯·瓦奇斯曼(klaus p.wachsmann)从德语原文翻译而来。Galpin Soc.J.3-29(1961年)
[54] Yosinski,J.、Clune,J.,Bengio,Y.、Lipson,H.:深层神经网络中的特征有多可转移?摘自:第27届神经信息处理系统国际会议论文集第2卷(美国马萨诸塞州剑桥),NIPS’14,麻省理工学院出版社,第3320-3328页(2014)
[55] Zhang,Z.,Sabuncu,M.:训练带噪声标签的深层神经网络的广义交叉熵损失。主题:神经信息处理系统进展31(2018)
[56] 张,L。;卢卡奇,R。;吴,X。;Zhang,D.,基于Pca的单传感器数码相机cfa图像空间自适应去噪,IEEE Trans。图像处理。,18, 4, 797-812 (2009) ·Zbl 1371.94454号
[57] ZyTrax Inc.:频率范围(2018年)http://www.zytrax.com/tech/audio/audio.html
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。