让·科斯赛菲;扎卡里·利普顿。;Arinbjorn Kolbeinsson公司;阿兰·卡纳;托马索·弗拉内洛;阿南德库马尔（Anima Anandkumar） 张量回归网络。 （英语） Zbl 1517.68335号 J.马赫。学习。物件。 21，第123号论文，21页（2020年）. 摘要：卷积神经网络通常由许多卷积层组成，然后是一个或多个完全连接的层。当卷积层在高阶激活张量之间映射时，完全连接的层在平坦的激活向量上操作。尽管在经验上取得了成功，但这种方法仍有明显的缺点。在完全连接的层之后进行展平会放弃激活中的多线性结构，并且需要许多参数。我们通过合并张量代数运算来解决这些问题，这些运算在每一层都保持了多线性结构。首先，我们引入了张量收缩层（TCL），它可以降低输入的维数，同时利用张量收缩保持其多线性结构。接下来，我们介绍了张量回归层（TRL），它通过从高阶激活张量到任意阶输出张量的低秩多线性映射来表示输出。我们端到端地学习收缩和回归因子，并用较少的参数生成精确的网络。此外，我们的层通过对激活（TCL）和回归权重（TRL）施加低阶约束来规范网络。在ImageNet上的实验表明，应用于VGG和ResNet架构，TCL和TRL与全连接层相比，减少了65%以上的参数数量，同时保持或提高了准确性。除了节省空间外，我们的方法利用拓扑结构的能力对于结构化数据（如MRI）也至关重要。特别是，我们在与英国生物银行数据集相关的三个任务上，与可比较的架构相比，性能有了显著提高。 MSC公司： 68T05型 人工智能中的学习和自适应系统 第15页第69页 多线性代数，张量演算 62页第10页 统计学在生物学和医学中的应用；元分析 2017年10月68日 人工神经网络与深度学习 关键词：机器学习;张量方法;张量回归网络;低阶回归;张量回归层;深度学习;张量收缩 软件：PyTorch公司;MXNet公司;TensorLy公司;ImageNet公司 PDF格式BibTeX公司 XML格式引用 \textit{J.Kossaifi}等人，J.Mach。学习。第21号决议，第123号文件，第21页（2020年；兹bl 1517.68335） 全文： arXiv公司 链接 参考文献： [1] Michael L Alosco、Kelly M Stanek、Rachel Galioto、Mayuresh S Korgaonkar、Stuart M Grieve、Adam M Brickman、Mary Beth Spitznagel和John Gunstad。健康儿童和青少年的体重指数和大脑结构。国际神经科学杂志，124（1）：49-552014。 [2] 阿尼马什雷·阿南德库马尔、荣戈、丹尼尔·徐俊杰、沙姆·卡卡德和马图斯·特尔加斯基。用于学习潜在变量模型的张量分解。机器学习杂志·Zbl 1319.62109号 [3] Nancy C Andreasen、Michael Flaum、Victor Swayze、Daniel S O’Leary、Randall Alliger、Gregg Cohen、James Ehrhardt、William T Yuh等。正常人的智力和大脑结构。《美国精神病学杂志》，150:130-1301993年。 [4] 陈田琪、穆莉、李玉田、林敏、王乃燕、王敏杰、肖天军、徐冰、张驰元和张政。Mxnet：用于异构分布式系统的灵活高效的机器学习库。CoRR，abs/1512.012742015年。 [5] 陈云鹏、金晓杰、康炳义、冯佳诗、颜水成。通过集体张量分解共享剩余单元来改进深层神经网络。InIJCAI，第635-641页。国际人工智能组织联合会议，2018年7月。 [6] A.Cichocki、D.Mandic、L.De Lathauwer、G.Zhou、Q.Zhao、C.Caiafa和H.A.PHAN。信号处理应用中的张量分解：从双向分量分析到多路分量分析。IEEE信号处理杂志，32（2）：145-1632015年3月。 [7] Andrzej Cichocki、Rafal Zdunk、Anh Huy Phan和Shun-Ichi Amari。非负矩阵和张量因子分解：在探索性多路数据分析和盲源分离中的应用。John Wiley&Sons有限公司，2009年。 [8] Nadav Cohen、Or Sharir和Amnon Shashua。深度学习的表达能力：张量分析。维塔利·费尔德曼（Vitaly Feldman）、亚历山大·拉赫林（Alexander Rakhlin）和奥哈德·沙米尔（Ohad Shamir），编辑，第29页 [9] James H Cole、Rudra PK Poudel、Dimostenis Tsagkasoulis、Matthan WA Caan、Claire Steves、Tim D Spector和Giovanni Montana。通过对原始成像数据的深入学习来预测脑年龄，可以得到可靠的遗传生物标记物。《神经影像》，163:115-1242017年。 [10] James H Cole、Stuart J Ritchie、Mark E Bastin、MC Vald´es Hern´andez、S Muínoz Maniega、Natalie Royle、Janie Corley、Alison Pattie、Sarah E Harris、Qian Zhang等。脑龄预测死亡率。分子精神病学，23（5）：13852018。 [11] J.Deng、W.Dong、R.Socher、L.-J.Li、K.Li和L.Fei-Fei。Imagenet：一个大规模的分层图像数据库。InCVPR，2009年。 [12] 卡蒂娅·弗兰克（Katja Franke）、克里斯蒂安·盖瑟（Christian Gaser）、特莎·J·罗斯布姆（Tessa J Roseboom）、马蒂亚斯·施瓦布（Matthias Schwab）和苏珊娜·德罗伊（Susanne R de Rooij。妊娠早期受母亲营养限制的人类大脑过早老化。《神经影像》，173:460-4712018年。 [13] Christian Gaser、Katja Franke、Stefan Kl¨oppel、Nikolaos Koutsouleris、Heinrich Sauer、Alzheimer’s Disease Neuroimaging Initiative等。轻度认知障碍患者的脑损伤：预测转化为阿尔茨海默病。公共科学图书馆，2013年8（6）。 [14] 爱德华·格雷芬斯特特（Edward Grefenstette）和梅赫努什·萨达德（Mehrnoosh Sadrzadeh）。对意义的分类组成分布模型的实验支持。会议记录 [15] W.Guo、I.Kotsia和I.Patras。回归张量学习。IEEE图像处理汇刊，21（2）：816-8272012年2月·Zbl 1373.62308号 [16] 本杰明·哈夫勒（Benjamin D.Haeffele）和雷恩·维达尔（Ren´e Vidal）。张量因子分解、深度学习和其他方面的全局最优性。CoRR，abs/1506.075402015年。 [17] 何凯（K.He）、张旭（X.Zhang）、任志刚（S.Ren）和孙建中（J.Sun）。用于图像识别的深度残差学习。6月，IEEE计算机视觉和模式识别会议（CVPR），第770-778页 [18] 何开明、张湘玉、任少清、孙建军。深剩余网络中的身份映射。在Bastian Leibe、Jiri Matas、Nicu Sebe和Max Welling编辑中， [19] 霍尔格·霍夫林。融合套索信号近似器的路径算法。《计算与图形统计杂志》，19（4）：984-1006，2010年。doi:10.1198/jcgs.2010。 [20] 高煌、余孙、刘庄、丹尼尔·塞德拉和基连·温伯格。具有随机深度的深度网络。在Bastian Leibe、Jiri Matas、Nicu Sebe和Max Welling编辑中， [21] 高黄、刘庄、劳伦斯·范德马滕和基里安·温伯格。紧密连接的卷积网络。InIEEE计算机视觉和模式会议 [22] Madhura Ingalhalikar、Alex Smith、Drew Parker、Theodore D Satterswaite、Mark A Elliott、Kosha Ruparel、Hakon Hakonarson、Raquel E Gur、Ruben C Gur和Ragini Verma。人脑结构连接体的性别差异。国家议事录 [23] 谢尔盖·洛夫和克里斯蒂安·塞格迪。批量规范化：通过减少内部协变量偏移来加速深层网络培训。国际会议 [24] Majid Janzamin、Hanie Sedghi和Anima Anandkumar。通过张量因子分解的神经网络的泛化界。CoRR，abs/1506.084732015a。 [25] Majid Janzamin、Hanie Sedghi和Anima Anandkumar。克服非凸性的危险：使用张量方法保证神经网络的训练。CoRR，2015年b。 [26] Keith A Johnson、Nick C Fox、Reisa A Sperling和William E Klunk。阿尔茨海默病的脑成像。冷泉港医学观点，2（4）：a006213012。 [27] 金永德（Yong-Deok Kim）、朴恩惠（Eunhyeok Park）、柳成祖（Sunghoo Yoo）、崔泰林（Taelim Choi）、杨璐（Lu Yang）和申东军（Dongjun Shin）。用于快速和低功耗移动应用的深度卷积神经网络压缩。在ICLR，2016年。 [28] 塔马拉·科尔达（Tamara G.Kolda）和布雷特·巴德（Brett W.Bader）。张量分解及其应用。SIAM REVIEW，51（3）：455-500，2009年·Zbl 1173.65029号 [29] 玛丽安·科莱尼奇、卡蒂娅·弗兰克、雅罗斯拉夫·林卡、马丁·马特伊卡、贾娜·卡普科娃、兹登卡·鲍索娃、鲁道夫·尤尔、马丁·阿尔达、菲利普·斯宾厄尔和托马斯·哈耶克。首发精神病患者的肥胖、血脂异常和脑年龄。《精神病研究杂志》，99:151-1582018。 [30] 让·科萨菲、阿兰·坎纳、扎卡里·利普顿、托马索·富兰内洛和阿尼玛·阿南德库马尔。简约型深网的张力收缩层。在IEEE会议上 [31] 让·科斯赛菲（Jean Kossaifi）、亚尼斯·帕纳加基斯（Yannis Panagakis）、阿尼马·阿南德库马尔（Anima Anandkumar）和马贾·潘蒂奇（Maja Pantic）。Tensorly：用蟒蛇学习Tensor。机器学习研究杂志，20（26）：2019年1-6月。 [32] 瓦迪姆·列别捷夫（Vadim Lebedev）、雅罗斯拉夫·加宁（Yaroslav Ganin）、马克西姆·拉库巴（Maksim Rakhuba）、伊凡·奥塞莱德斯（Ivan V.Oseledets）和维克托·伦皮茨基。使用微调cp-decosition加速卷积神经网络。 [33] 凯瑟琳·米尔斯（Kathryn L Mills）和克里斯蒂安·塔姆斯（Christian K Tamnes）。纵向结构脑成像分析的方法和注意事项。发展认知神经科学，9:172-1902014。 [34] 凯达宁（Kaida Ning）、卢昭（Lu Zhao）、威尔·马特洛夫（Will Matloff）、孙凤珠（Fengzhu Sun）和阿瑟·托加（Arthur Toga）。脑年龄与吸烟、饮酒和遗传变异的关系。bioRxiv，第469924页，2018年。 [35] 亚历山大·诺维科夫（Alexander Novikov）、德米特里·波多普里钦（Dmitry Podoprikhin）、安东·奥索金（Anton Osokin）和德米特里·维特罗夫（Dmitri Vetrov）。拉紧神经网络。第28届神经信息国际会议论文集 [36] Evangelos E.Papalexakis、Christos Faloutsos和Nicholas D.Sidiropoulos。数据挖掘和数据融合的张量：模型、应用程序和可扩展算法。ACM事务处理。 [37] Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。PyTorch中的自动区分。InNeurIPS Autodiff研讨会，2017年。 [38] Guillaume Rabusseau和Hachem Kadri。张量响应的低秩回归。《进展》编辑D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett [39] Cyrus A Raji、April J Ho、Neelroop N Parikshak、James T Becker、Oscar L Lopez、Lewis H Kuller、Xue Hua、Alex D Leow、Arthur W Toga和Paul M Thompson。大脑结构与肥胖。人脑绘图，31（3）：353-3642010。 [40] Tim Salimans和Durk P Kingma。权重归一化：一种简单的重新参数化，用于加速深层神经网络的训练。D.D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett，神经信息处理系统进展编辑 [41] Hanie Sedghi和Anima Anandkumar。通过谱方法训练输入输出递归神经网络。CoRR，abs/1603.009542016年。 [42] 或者Sharir和Amnon Shashua。关于深度学习重叠架构的表达能力。2018年国际学习代表大会（ICLR）。统一资源定位地址https://openreview.net/论坛？id=HkNGsseC-. [43] Y.Shi、联合国Niranjan、A.Anandkumar和C.Cecka。cpu和gpu上扩展blas内核的张量收缩。2016年IEEE第23届国际高端会议 [44] N.D.Sidiropoulos、L.De Lathauwer、X.Fu、K.Huang、E.E.Papalexakis和C.Faloutsos。用于信号处理和机器学习的张量分解。IEEE信号处理汇刊，65（13）：3551-35822017·Zbl 1415.94232号 [45] 凯伦·西蒙扬和安德鲁·齐瑟曼。用于大规模图像识别的深度卷积网络。2015年国际学习代表大会（ICLR）。 [46] Olaf Sporns、Giulio Tononi和Rolf K¨otter。人类连接体：人类大脑的结构描述。《公共科学图书馆·计算生物学》，1（4），2005年。 [47] Cathie Sudlow、John Gallacher、Naomi Allen、Valerie Beral、Paul Burton、John Danesh、Paul-Downey、Paul-Elliott、Jane Green、Martin Landray等。英国生物银行：一种开放获取资源，用于确定中老年各种复杂疾病的病因。《公共科学图书馆·医学》，12（3）：e10017792015。 [48] Cheng Tai、Tong Xiao、Xiaogang Wang和Weinan E.具有低阶正则化的卷积神经网络。CoRR，abs/1511.060672015年。 [49] Ryan J.Tibshirani和Jonathan Taylor。广义套索的解路径。安.统计师。，39(3):1335-1371, 06 2011. doi:10.1214/11-AOS878。统一资源定位地址https://doi.org/10。1214/11-AOS878·Zbl 1234.62107号 [50] P´al Vakli、Regina J De´ak-Meszl´enyi、Tibor Auer和Zolt´an Vidny´anszky。使用深度卷积神经网络从结构核磁共振脑图像预测体重指数。 [51] M.A.O.Vasilescu和Demetri Terzopoulos。图像集合的多线性分析：张量面。第七届欧洲计算机视觉会议论文集——第一部分，ECCV'02，第447-460页，英国伦敦，2002年。斯普林格·弗拉格·Zbl 1034.68693号 [52] 杨永新（Yongxin Yang）和蒂莫西（Timothy M.Hospedales）。深度多任务表征学习：张量因子分解方法。ICLR，2017年。 [53] 于玫瑰花和刘燕。从多路数据中学习：简单有效的张量回归。国际机器学习会议（ICML），第48卷，第373-381页，美国纽约州纽约市，2016年6月20日至22日。PMLR公司。 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。