×
韩慧梅；李莹；朱兴全

用于通用数据分类的卷积神经网络学习。 （英语） Zbl 1442.68211号

信息科学。 477, 448-465 (2019).
摘要：卷积神经网络（CNN）使用卷积层探索空间/时间邻接来构建新的特征表示。因此，CNN通常用于具有强时空相关性的数据，但不能直接应用于一般学习任务。在本文中，我们建议使CNN能够从通用数据中学习，以提高分类精度。为了充分利用CNN的特征学习能力，我们建议将原始数据集的每个实例转换为合成矩阵/图像格式。为了最大化构建的矩阵/图像中的相关性，我们使用0/1优化对特征进行重新排序，并确保具有强相关性的特征彼此相邻。通过使用特征重新排序矩阵，我们可以创建一个合成图像来表示每个实例。由于构造的合成图像保留了原始特征值和相关性，CNN可以用于学习有效的特征进行分类。在22个基准数据集上的实验和比较表明，与传统的机器学习方法相比，将CNN应用于通用数据集具有明显的性能增益。此外，我们的方法始终优于以朴素的方式将CNN直接应用于通用数据集的方法。这项研究允许深度学习广泛应用于通用数据集。

引用于1文件

MSC公司：

68T07型 人工神经网络与深度学习

关键词：

深度学习；特征学习；卷积神经网络；分类

软件：

t-SNE公司；ImageNet公司；AlexNet公司；CIFAR公司；亚当；Scikit公司
PDF格式BibTeX公司 XML格式引用
\textit{H.Han}等人，《信息科学》。477448-465（2019年；Zbl 1442.68211）
全文： DOI程序

参考文献：

[1] M.Abadi，A.Agarwal，P.Barham，Tensorflow:异构系统上的大规模机器学习，arXiv:1603.04467；M.Abadi，A.Agarwal，P.Barham，Tensorflow:异构系统上的大规模机器学习，arXiv:1603.04467
[2] Anil，K.，《关于最近邻分类中（K）的最佳选择》，《计算》。统计数据An.，50，11，3113-123（2006）·兹比尔1445.62144
[3] Y.本吉奥。；俄勒冈州德拉鲁。；Roux，N.L.，局部内核机器的高变量函数的诅咒，神经信息处理系统的进展，加拿大不列颠哥伦比亚省，107-114（2005），麻省理工学院出版社
[4] Y.本吉奥。；Simard，P.，学习梯度下降的长期依赖性是困难的，IEEE Trans。神经网络。，5, 157-166 (1994)
[5] Blum，A。；Langley，P.，《机器学习中相关特征和示例的选择》，Artif。国际，97，1-2，245-271（1997）·Zbl 0904.68142号
[6] 布罗德利，C.E。；Utgoff，P.E.，多元决策树，马赫。学习。，第19页，第45-77页（1995年）·Zbl 0831.68091号
[7] 布鲁内利，R。；Mich，O.，图像检索直方图分析，模式识别。，34, 8, 1625-1637 (2001) ·Zbl 0984.68708号
[8] Chen，J.-F。；陈，W.-L。；黄，C.-P。；黄，S.-H。；Chen，A.-P.，使用深度卷积神经网络进行金融时间序列数据分析，IEEE云计算和大数据国际会议，中国澳门，87-92（2016）
[9] Ciresan，D。；美国迈尔。；Schmidhuber，J.，用于图像分类的多列深度神经网络，IEEE计算机视觉和模式识别会议，美国罗德岛，3642-3649（2012）
[10] Bishop，C.M.，《模式识别的神经网络》（1995），牛津大学出版社：牛津大学出版社，英国牛津
[11] 科尔特斯，C。；Vapnik，V.，支持向量网络，马赫。学习。，20, 273-297 (1995) ·Zbl 0831.68098号
[12] 丁，X。；Zhang，Y。；刘，T。；Duan，J.，事件驱动股票预测的深度学习，摩根-考夫曼国际人工智能联合会议，阿根廷布宜诺斯艾利斯，2327-2333（2015）
[13] 戈曼斯，M。；Williamson，D.，使用半定规划解决最大割和可满足性问题的改进近似算法，Quaest。《地理》，42，6，1115-1145（1995）·Zbl 0885.68088号
[14] 格雷夫斯，A。；A.-R.穆罕默德。；Hinton，G.，深度递归神经网络语音识别，IEEE声学、语音和信号处理国际会议，加拿大温哥华，6645-6649（2013）
[15] 格雷夫斯，A。；A.-R.穆罕默德。；Hinton，G.，深度递归神经网络语音识别，IEEE声学、语音和信号处理国际会议，加拿大温哥华，6645-6649（2013）
[16] 郭，X。；辛格，S。；Lee，H。；Lewis，R.L。；Wang，X.，使用离线蒙特卡罗树搜索规划进行实时atari游戏深度学习，神经信息处理系统会议进展，加拿大蒙特利尔，3338-3346（2014），麻省理工学院出版社
[17] 盖恩，I。；Elisseeff，A.，变量和特征选择简介，马赫。学习。第3号决议，1157-1182（2003年）·兹比尔1102.68556
[18] 哈迪，M.F.A。；Schwenker，F.，《半监督学习》，摘自《神经信息处理手册》（2013），施普林格：德国柏林施普林格出版社
[19] Hauke，J。；Kossowski，T.，相同数据集上皮尔逊和斯皮尔曼相关系数值的比较，Quaest。《地理》，31，2，87-93（2011）
[20] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 1735-1780 (1997)
[21] Kavukcuoglu，K。；Sermanet，P。；Boureau，Y.-L。；Gregor，K.，《视觉识别的卷积特征层次学习》，神经信息处理系统会议进展，加拿大不列颠哥伦比亚省温哥华，1090-1098（2010），麻省理工学院出版社
[22] Kingma，D。；Ba，J.，Adam:随机优化方法，IEEE国际学习表示会议，美国加利福尼亚州圣地亚哥，1-13（2015）
[23] Kohavi，R。；John，G.，特征子集选择包装器，Artif。国际，97，12，273-324（1997）·Zbl 0904.68143号
[24] Krizhevsky，A.，《从微小图像中学习多层特征》（2012），多伦多大学计算机科学系：多伦多大学计算科学系，硕士论文
[25] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行Imagenet分类，神经信息处理系统会议进展，美国内华达州塔霍湖，1106-1114（2012），麻省理工学院出版社
[26] 拉德拉，L。；Deepa，T.，《特征选择方法和算法》，国际计算机杂志。S.Eng.，3，5，1787-1797（2011）
[27] Langley，P.，机器学习中相关特征的选择，AAAI秋季相关性研讨会，路易斯安那州新奥尔良，140-144（1994）
[28] Langlois，D。；沙蒂尔，S。；Gosselin，D.，《独立成分分析导论：infomax和fastica算法》，《Quant教程》。方法。心理医生。，6, 1, 31-38 (2010)
[29] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444（2015）
[30] LeCun，Y。；Boser，B。；Denker，J.S。；亨德森·D·。；霍华德·R·E。；哈伯德，W。；Jackel，L.D.，用反向传播网络进行手写数字识别，《神经信息处理系统进展》，加拿大温哥华，396-404（1990），麻省理工学院出版社
[31] Lee，H。；Grosse，R。；Ranganath，R。；Ng，A.Y.，《用于分层表示的可扩展无监督学习的卷积深度信念网络》，ACM机器学习国际会议，加拿大蒙特利尔，609-616（2009）
[32] Lunga博士。；普拉萨德，S。；克劳福德，M.M。；Ersoy，O.，《用于高光谱数据分类的基于流形学习的特征提取：流形学习进展综述》，IEEE Signal Proc。Mag.，31，1，55-66（2014）
[33] Maas，A.L。；Hannun，A.Y。；Ng，A.Y.，《整流器非线性改善神经网络声学模型》，美国亚特兰大ACM国际机器学习会议，3371-3408（2013）
[34] D.Newman，S.Hettich，C.Blake，C.Merz，Uci机器学习数据库库，欧文，1998。；D.Newman，S.Hettich，C.Blake，C.Merz，Uci机器学习数据库库，欧文，1998年。
[35] Pao，Y.-H。；公园，G.-H。；Sobajic，D.J.，随机向量函数链网络的学习和泛化特征，神经计算，6，2，163-180（1994）
[36] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；Michel，V.，《Scikit-learn：python中的机器学习》，J.Mach。学习。第12号决议，2825-2830（2011年）·Zbl 1280.68189号
[37] Rokhlin，V。；Szlam，A。；Tygert，M.，主成分分析的随机算法，SIAM J.矩阵分析。A.，31，3，1100-1124（2009）·Zbl 1198.65035号
[38] 斯卡达潘，S。；Wang，D.，《神经网络中的随机性：概述》，《WIREs Data Min.Knowl》。发现（2017）
[39] Schmidhuber，J.，神经网络中的深度学习：综述，神经网络。，61, 85-117 (2015)
[40] 肖尔科普夫特，B。；Mullert，K.-R.，《信号处理的神经网络》（1999），施普林格出版社
[41] Sven，L.，混合整数非线性规划的平方和分枝定界积分，计算。最佳方案。申请。，18, 3, 1115-1145 (1998)
[42] 范德马滕，L。；Hinton，G.，使用t-sne，Mach可视化数据。学习。研究，92579-2605（2008）·Zbl 1225.68219号
[43] 文森特，P。；拉罗谢尔，H。；Y.本吉奥。；Manzagol，P.-A.，《使用去噪自动编码器提取和组合鲁棒特征》，ACM机器学习国际会议，瑞典斯德哥尔摩，1096-1103（2008）
[44] 文森特，P。；拉罗谢尔，H。；我·拉朱伊。；Y.本吉奥。；Manzagol，P.-A，堆叠去噪自动编码器：使用局部去噪标准在深度网络中学习有用的表示，ACM国际机器学习会议，以色列海法，3371-3408（2010）·Zbl 1242.68256号
[45] D.Wang，C.Cui，具有异构特征的随机配置网络集成用于大规模数据分析，Inf.Sci。417(55-71) 2017.; D.Wang，C.Cui，具有异构特征的随机配置网络集成用于大规模数据分析，Inf.Sci。417(55-71) 2017.
[46] 王，D。；Li，M.，不确定数据回归的核密度估计稳健随机配置网络，IEEE Trans。赛博。，412-413, 210-222 (2017) ·Zbl 1443.62315号
[47] 王，D。；Li，M.，《随机配置网络：基础和算法》，IEEE Trans。赛博。，47, 10, 3466-3479 (2017)
[48] 张博士。；Wang，J。；Wang，F。；Zhang，C.，universum半监督分类，SIAM国际数据挖掘会议，加利福尼亚州圣地亚哥，323-333（2008）
[49] Zhu，X.，使用特征公式的跨域半监督学习，IEEE Trans。系统。人类网络。B部分，41，6，1627-1638（2011）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。