研究论文

一种有效的超网精细调整单点神经网络结构图像分类搜索方法

作者:

必应Bing 薛、和

梦洁张作者信息和声明

GECCO’23：遗传和进化计算会议记录

2023年7月

页615-623

https://doi.org/10.1145/3583131.3590438

出版:2023年7月12日出版历史

获取访问权限

摘要

神经体系结构搜索（NAS）因其能够自动搜索合适的网络体系结构、避免费力的手动设计过程并可能引入新结构而日益流行。然而，许多NAS方法都存在计算量大的问题。One-shot NAS通过训练一个大型超网并允许所有候选人继承超网的权重，避免从头开始训练，从而缓解了这个问题。然而，由于超网内部的重量自适应问题，一次性方法的性能评估可能并不总是可靠的。本文提出了一种超网微调策略，使超网的权重随着进化过程适应新的聚焦搜索区域。此外，设计了一种新的基于遗传算法的搜索方法，以在搜索区域提供有效的路径采样策略，并提供新的种群生成方法，以避免不同种群之间不公平的适应度比较。实验结果表明，与32个对等竞争对手相比，该方法在算法的计算开销和搜索结构的性能方面取得了令人满意的结果。具体来说，该方法在CIFAR10和CIFAR100上的分类错误率分别为2.50%和17.07%，仅需0.50和0.92 GPU天。

工具书类

[1]

Chang Wook Ahn和R.S.Ramakrishna。2003.基于Elitism的紧凑型遗传算法。IEEE进化计算汇刊7, 4 (2003), 367--385.

数字图书馆

[2]

Bowen Baker、Otkrist Gupta、Nikhil Naik和Ramesh Raskar。2016.使用强化学习设计神经网络架构。arXiv预打印arXiv:1611.02167(2016).

[3]

加布里埃尔·本德（Gabriel Bender）、彼得·扬·金德曼（Pieter-Jan Kindermans）、巴雷特·佐夫（Barret Zoph）、维杰伊·瓦苏德万（Vijay Vasudevan）和奎克·勒（Quoc Le）。2018.理解和简化一快照架构搜索。在第35届机器学习国际会议论文集（机器学习研究论文集，第80卷）Jennifer Dy和Andreas Krause（编辑）。PMLR，550-559。https://proceedings.mlr.press/v80/bender18a.html

[4]

Han Cai、Tianyao Chen、Weinan Zhang、Yong Yu和Jun Wang。2018年，通过网络转型进行高效架构搜索。在AAAI人工智能会议记录，第32卷。

[5]

蔡涵、朱立庚和宋涵。2018.Proxylessnas：针对目标任务和硬件的直接神经架构搜索。arXiv预打印arXiv:1812.00332(2018).

[6]

陈亚兰（Yaran Chen）、高瑞元（Ruiyuan Gao）、刘凤刚（Fenggang Liu）和赵东斌（Dongbin Zhao）。2021.ModuleNet：基于知识的神经架构搜索。IEEE控制论汇刊(2021), 1--11.

[7]

朱湘祥、张波、徐瑞军。2021.Fairnas:重新思考权重共享神经架构搜索的评估公平性。在IEEE/CVF计算机视觉国际会议论文集。12239--12248.

[8]

托马斯·埃尔斯克（Thomas Elsken）、扬·亨德里克·梅岑（Jan Hendrik Metzen）和弗兰克·赫特（Frank Hutter）。2018年。通过拉马克进化进行高效的多目标神经架构搜索。arXiv预打印arXiv:1804.09081(2018).

[9]

郭子超、张祥宇、穆浩源、文恒、刘泽春、魏宜晨、孙建军。2020年。采用均匀采样的单路径一次性神经架构搜索。在欧洲计算机视觉会议。施普林格，544-560。

数字图书馆

[10]

何开明、张湘玉、任少清、孙建军。2016.图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议记录。770--778.

[11]

安德鲁·霍华德（Andrew G.Howard）、马克·桑德勒（Mark Sandler）、格雷斯·朱棣文（Grace Chu）、陈良策（Liang-Chieh Chen）、陈波（Bo Chen）和谭明兴（Mingxing Tan）、王卫军（Weijun Wang）、朱玉坤（Yukun Zhu）、彭若明（Ruom。2019.搜索MobileNetV3。2019 IEEE/CVF国际计算机视觉会议（ICCV）(2019), 1314--1324.

[12]

高黄、刘庄、劳伦斯·范德马滕和基里安·温伯格。2017年。紧密连接的卷积网络。在IEEE计算机视觉和模式识别会议记录。4700--4708.

[13]

古斯塔夫·拉尔森（Gustav Larsson）、迈克尔·梅尔（Michael Maire）和格雷戈里·沙克纳罗维奇（Gregory Shakhnarovich）。2016年，Fractalnet：无残差的超深神经网络。arXiv预打印arXiv:1605.07648(2016).

[14]

Yann LeCun、Bernhard Boser、John S Denker、Donnie Henderson、Richard E Howard、Wayne Hubbard和Lawrence D Jackel。1989年，反向传播应用于手写邮政编码识别。神经计算1, 4 (1989), 541--551.

数字图书馆

[15]

刘晨曦、巴雷特·佐夫、马克西姆·诺依曼、乔纳森·施伦斯、魏华、李佳丽、李菲菲、阿兰·尤耶、乔纳森·黄和凯文·墨菲。2018.渐进式神经架构搜索。在欧洲计算机视觉会议记录。19--34.

数字图书馆

[16]

刘汉晓、Karen Simonyan和杨一鸣。2018.飞镖：差异化建筑搜索。arXiv预打印arXiv:1806.09055(2018).

[17]

刘世清、张浩宇、金耀初。2022.关于计算效率高的神经架构搜索的调查。自动化与智能杂志1, 1 (2022), 100002.

[18]

卢志超（Zhichao Lu）、伊恩·沃伦（Ian Whalen）、维什努·博德代蒂（Vishnu Boddeti）、亚什什·德巴（Yashesh Dhebar）、卡利亚莫伊·德布（Kalyanmoy Deb）、埃里克·古德曼（Erik Goodman）和。2019.Nsga-net：使用多目标遗传算法进行神经架构搜索。在遗传和进化计算会议记录。419--427.

数字图书馆

[19]

卢志超（Zhichao Lu）、伊恩·沃伦（Ian Whalen）、亚什什·德巴尔（Yashesh Dhebar）、卡利安莫·德布（Kalyanmoy Deb）、埃里克·D·古德曼（Erik D.Goodman）、沃尔夫冈·班扎夫（Wolfgang Banzhaf）和维什。2021.用于图像分类的深度卷积神经网络的多目标进化设计。IEEE进化计算汇刊25, 2 (2021), 277--291.

[20]

彭亚萌（Yameng Peng）、宋安迪（Andy Song）、维克·西塞尔斯基（Vic Ciesielski）、海瑟姆·费耶克（Haytham M Fayek）和张晓军（Xiaojun Chang）。2022.PRE-NAS：预测辅助进化神经架构搜索。arXiv预打印arXiv:2204.12726(2022).

[21]

邱凡、关旋律、巴雷特·佐夫、奎克·勒和杰夫·迪恩。2018.通过参数共享进行高效的神经架构搜索机器学习国际会议。PMLR，4095-4104。

[22]

Esteban Real、Alok Aggarwal、Yanping Huang和Quoc V Le。2019.图像分类器架构搜索的规则化演进。在美国人工智能学会人工智能会议记录，第33卷。4780--4789.

数字图书馆

[23]

Esteban Real、Sherry Moore、Andrew Selle、Saurabh Saxena、Yutaka Leon Suematsu、Jie Tan、Quoc V Le和Alexey Kurakin。2017.图像分类器的大规模进化。在第34届国际机器学习会议论文集——第70卷。2902--2911.

数字图书馆

[24]

任健、李哲、杨建超、徐宁、杨天宝和大卫·J·福兰。2019.特征：从零开始搜索神经网络结构的生态启发遗传方法。在IEEE计算机视觉和模式识别会议记录。9059--9068.

[25]

任鹏珍、肖云、张晓军、黄波耀、李志辉、陈晓江和王欣。2021.神经架构搜索综合调查：挑战与解决方案。ACM计算。Surv公司。第54、4条，第76条（2021年5月），34页。

数字图书馆

[26]

David E Rumelhart、Geoffrey E Hinton和Ronald J Williams。1986.通过反向传播错误学习表征。自然323, 6088 (1986), 533--536.

[27]

Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov和Liang-Chieh Chen。2018年，Mobilenetv2：反转残差和线性瓶颈。在IEEE计算机视觉和模式识别会议记录。4510--4520.

[28]

姚舒、王伟和蔡少峰。2019.通过基于细胞的神经架构搜索了解架构。arXiv预印arXiv:1909.09569(2019).

[29]

苏秀、单友、郑明凯、王飞、陈倩、张长水、常旭。2021.K-shot NAS：使用K-shot Supernets为NAS学习权重共享。在第38届机器学习国际会议论文集（机器学习研究论文集，第139卷）Marina Meila和Tong Zhang（编辑）。PMLR，9880-9890。https://proceedings.mlr.press/v139/su21a.html

[30]

Masanori Suganuma、Shinichi Shirakawa和Tomoharu Nagao。2017年。设计卷积神经网络架构的遗传编程方法。在遗传和进化计算会议记录。497--504.

数字图书馆

[31]

孙亚南、王汉鼎、薛冰、金耀初、甄子丹和张梦洁。2019.使用端到端随机森林性能预测器的替代辅助进化深度学习。IEEE进化计算汇刊24, 2 (2019), 350--364.

[32]

孙亚南、薛冰、张梦洁和葛瑞·甄。2019.基于区块的全自动CNN架构设计。IEEE神经网络和学习系统事务31, 4 (2019), 1242--1254.

[33]

孙亚南、薛冰、张梦洁、甄子丹和吕建成。2020。使用遗传算法自动设计CNN结构用于图像分类。IEEE控制论汇刊50, 9 (2020), 3840--3854.

[34]

王斌、薛冰和张梦洁。2022.图像分类进化可变长度可传输块的替代辅助粒子群优化。IEEE神经网络和学习系统汇刊33, 8 (2022), 3727--3740.

[35]

谢思瑞、郑和辉、刘春晓和梁林。2018年。SNAS：随机神经结构搜索。arXiv预打印arXiv:1812.09926(2018).

[36]

Antoine Yang、Pedro M Esperança和Fabio M Carlucci。2019年，NAS评估非常困难。arXiv预打印arXiv:1912.12522(2019).

[37]

杨朝晖、王云和、陈兴浩、石博新、徐超、徐春静、田琦和徐畅。2020年。CARS：高效神经架构搜索的持续发展。在IEEE/CVF计算机视觉和模式识别（CVPR）会议记录。

[38]

单友、黄涛、杨明敏、王飞、陈倩和张长水。2020年。GreedyNAS：迈向快速的一站式NAS与Greedy Supernet。在IEEE/CVF计算机视觉和模式识别（CVPR）会议记录。

[39]

余凯成、克里斯蒂安·苏托、马丁·贾吉、克劳迪乌·克里斯蒂安·穆萨特和马蒂厄·萨尔兹曼。2020年。评估神经架构搜索的搜索阶段。在ICRL 2020第八届国际学习代表大会。

[40]

张浩宇、金耀初、程然和郝光荣。2020年。通过采样训练和节点继承对注意力卷积网络进行高效进化搜索。IEEE进化计算汇刊25, 2 (2020), 371--385.

[41]

苗张、李慧琪、潘石蕊、张晓军、周川、葛宗元和苏士泰，2020年。一拍神经架构搜索：最大化多样性以克服灾难性遗忘。IEEE模式分析和机器智能汇刊43, 9 (2020), 2921--2935.

[42]

张祥宇、周新宇、林梦晓和孙健。2018年，Shufflenet：一种用于移动设备的非常高效的卷积神经网络。在IEEE计算机视觉和模式识别会议记录。6848--6856.

[43]

赵益阳、王林南、田远东、丰塞卡和田国。2021.少量神经架构搜索。在第38届机器学习国际会议论文集（机器学习研究论文集，第139卷）Marina Meila和Tong Zhang（编辑）。PMLR，12707-12718。https://proceedings.mlr.press/v139/zhao21d.html

[44]

赵忠、严俊杰、吴伟、邵静和刘成林。2018.实用的逐块神经网络架构生成。在IEEE计算机视觉和模式识别会议记录。2423--2432.

[45]

周子轩、宁雪飞、蔡毅、韩家书、邓一平、董玉涵、杨华忠和王瑜。2022.结束：关于共享范围的课程学习，以实现更好的一个快照NAS。在计算机视觉-ECCV 2022Shai Avidan、Gabriel Brostow、Moustapha Cisse、Giovanni Maria Farinella和Tal Hassner（编辑）。施普林格自然瑞士，查姆，578-594。

[46]

巴雷特·佐夫和夸克·V·勒。2016.神经架构搜索与强化学习。arXiv预打印arXiv:1611.01578(2016).

[47]

巴雷特·佐夫（Barret Zoph）、维杰伊·瓦苏德万（Vijay Vasudevan）、乔纳森·施伦斯（Jonathon Shlens）和奎克·维勒（Quoc V Le）。2018.学习可扩展图像识别的可转移架构。在IEEE计算机视觉和模式识别会议记录。8697--8710.

索引术语

一种有效的超网精细调整单点神经网络结构图像分类搜索方法
1. 计算方法
  1. 人工智能
    1. 计算机视觉
    2. 搜索方法
  2. 机器学习

建议

基于渐进进化的神经结构搜索
GECCO’22：遗传和进化计算会议记录

使用进化算法（EA）的泛型神经架构搜索涉及通过从头开始训练来评估每个架构，这非常耗时。这可以通过使用超网来估计每个。。。
阅读更多信息
一种用于图像分类的两阶段高效进化神经网络搜索方法
PRICAI 2021：人工智能趋势
摘要
近年来，深度卷积神经网络（DCNN）在不同的计算机视觉任务中取得了良好的性能。通常，当……时，需要深度学习专家来设计卷积神经网络（CNN）的架构。。。
阅读更多信息
用于图像分类的卷积神经网络结构的适应度景观分析
集锦
- 局部最优网络分析在神经建筑景观中的新应用。
摘要
神经网络超参数空间的全局结构尚未被很好地理解，因此不清楚哪种超参数搜索算法最有效。本文分析了……的景观。。。
阅读更多信息

评论

信息和贡献者

问询处

发布时间

封面图片ACM会议

GECCO’23：遗传和进化计算会议记录

2023年7月

1667页

国际标准图书编号：9798400701191

内政部：10.1145/3583131

主席：
萨拉·席尔瓦,
项目主席：
路易斯·帕奎特

版权所有©2023 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人拥有的本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或收取费用。向请求权限[电子邮件保护].

赞助商

SIGEVO:ACM遗传和进化计算特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年7月12日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

会议

GECCO’23

赞助商：

西格沃

GECCO’23：遗传和进化计算会议

2023年7月15日至19日

葡萄牙里斯本

接受率

4410份提交文件中的1669份总体接受率，38%

即将召开的会议

GECCO公司24

赞助商：
西格沃

遗传和进化计算会议

2024年7月14日至18日

墨尔本，维多利亚州，澳大利亚

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
136
总下载次数

下载量（最近12个月）136
下载次数（最近6周）三

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子