ViT公司 swMATH ID: 42544 软件作者: Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Deghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit、Neil Houlsby 描述: 一幅图像值16x16个单词:用于大规模图像识别的转换器。虽然Transformer体系结构已经成为自然语言处理任务的实际标准,但它在计算机视觉中的应用仍然有限。在视觉中,注意力要么与卷积网络一起应用,要么用于替换卷积网络的某些组件,同时保持其整体结构不变。我们表明,这种对CNN的依赖是不必要的,直接应用于图像补丁序列的纯变换器可以很好地执行图像分类任务。当对大量数据进行预训练并传输到多个中型或小型图像识别基准(ImageNet、CIFAR-100、VTAB等)时,与最先进的卷积网络相比,Vision Transformer(ViT)获得了优异的结果,同时训练所需的计算资源大大减少。 主页: https://arxiv.org/abs/2010.11929 源代码: https://github.com/google-research/vision_transformer网站 关键词: 计算机视觉;模式识别;arXiv_cs。个人简历;人工智能;arXiv_cs。人工智能;机器学习;arXiv_cs。LG公司;视觉变压器;ViT公司 相关软件: Tensor2传感器;BERT(误码率);亚当;PyTorch公司;Swin变压器;ImageNet公司;掌中宽带;github;AlexNet公司;变压器;深度实验室;Axial-Dep实验室;GPT-3级;朗福雷特;SimCLR(模拟清除);更快的R-CNN;基蒂;MS-COCO公司;罗伯塔;效率网 引用于: 24文件 标准条款 1出版物描述软件 年份 图像值16x16个单词:用于大规模图像识别的变形金刚arXiv公司Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Deghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit、Neil Houlsby 2021 全部的 前5名102位作者引用 1 哈菲兹·法鲁克·艾哈迈德 1 尤尼萨·阿赫桑 1 阿卜杜勒阿齐兹·阿勒哈姆 1 Dan Alistarh 1 扎希德·安瓦尔 1 巴哈阿扎里 1 埃米尔·巴拉蒂·法里马尼 1 彼得罗·巴比罗 1 塔尔本恩 1 约瑟夫·伯特尔 1 马尔科·贝托尼亚 1 杰克·L·贝斯。 1 Gyusam Chang公司 1 鲍里斯·奇德洛夫斯基 1 加布里埃尔·西拉维尼亚 1 加布里埃拉·苏尔卡 1 达科斯塔,维克托·吉尔赫梅·图里西 1 邓东东 1 尼科利·德莱顿 1 E.S.埃菲门科。 1 简·艾格 1 迈克尔·埃拉德 1 约翰·Elefteriades 1 丹尼斯·埃尔多格马斯 1 恩里科·菲尼 1 乔治·弗朗西尼 1 傅振英 1 弗朗西斯科·吉安尼尼 1 马可·戈里 1 雷米·格里波瓦尔 1 马修·黑根 1 托尔斯滕·霍夫勒 1 克拉拉·霍夫曼 1 格哈德·阿尔弗雷德·霍尔扎普费尔 1 胡春山 1 华,珍 1 雅雅蒂·贾达夫 1 尼米什·贾格塔普。 1 江,沈 1 卡普列洛娃,M.S。 1 巴哈亚特·卡瓦尔 1 金·桑皮尔 1 金成琼 1 纳贾·克莱恩 1 Lee,Jongwuk先生 1 Lee,Jung-Tae先生 1 列昂诺夫,V.Yu。 1 李汉燕 1 Li,锦江 1 李俊成 1 梁,梁 1 彼得罗·利奥 1 刘敏亮 1 刘乐明 1 罗如意 1 马可·马基尼 1 斯特凡诺·麦拉奇 1 梅耶洛夫,I.B。 1 马鲁蒂·库马尔·穆杜努鲁 1 梅因·纳比 1 卡利亚纳·纳克沙特拉拉。 1 R.G.奈切夫。 1 阮晋美 1 斯坦利·乔尔·奥斯尔 1 拉胡尔·帕纳特 1 霍根公园 1 安东尼奥·佩佩 1 佩斯,亚历山德拉 1 马尔科·普拉托 1 朱奈德·卡迪尔 1 瓦吉德·拉菲克 1 兰夫特,萨沙 1 拉苏尔,Raihan Ur 1 Ricci,Elisa利玛窦 1 伊丽莎·里切蒂 1 罗迪姆科夫,Y.R。 1 卢武铉 1 罗尔夫·皮萨奇克,马尔特 1 卡梅洛·斯克里巴诺 1 尼库·塞贝 1 史、军 1 大Neung Sohn 1 孙伟 1 孙宇通 1 A.穆拉特·特卡普 1 格雷戈里·瓦克斯曼 1 伏罗基丁。 1 里卡多·沃尔皮 1 沃尔夫冈·冯·德·林登 1 王宝 1 王远波 1 格洛丽亚·沃克斯托弗 1 夏和迪 1 夏凌 1 杨汉辉 1 应世辉 1 Yun、Seongjun 1 曾铁勇 1 张冬晓 1 张,金 …还有另外两位作者 全部的 前5名17篇连载文章中引用 三 应用力学与工程中的计算机方法 三 计算机图形学和视觉的基础和发展趋势 2 机器学习研究杂志(JMLR) 2 数学生物科学与工程 2 计算物理中的通信 1 人工智能 1 信息科学 1 科学计算杂志 1 机器学习 1 国际计算机与系统科学杂志 1 计算地球科学 1 洛巴切夫斯基数学杂志 1 应用统计学年鉴 1 SIAM成像科学杂志 1 计算机科学评论 1 数学科学研究 1 SIAM数据科学数学杂志 全部的 前5名在13个字段中引用 17 计算机科学(68至XX) 7 生物学和其他自然科学(92-XX) 5 信息与通信理论、电路(94-XX) 三 统计学(62-XX) 三 数值分析(65-XX) 三 可变形固体力学(74-XX) 1 线性代数和多线性代数;矩阵理论(15-XX) 1 偏微分方程(35-XX) 1 概率论与随机过程(60-XX) 1 流体力学(76-XX) 1 经典热力学,传热(80-XX) 1 地球物理学(86-XX) 1 运筹学、数学规划(90-XX) 按年份列出的引文