×

基于梯度信息的矩阵流形优化及其在网络控制中的应用。 (英语) Zbl 1514.90133号

摘要:向量函数优化问题,其中一个或多个变量是多维向量或无穷维向量,已在现有方案中得到广泛研究和证明。在各种实际应用中,要优化的成本函数通常涉及受某些约束的矩阵变量。其最小值的确定可以建模为本文研究的矩阵流形上的优化问题。我们首先提出了一种基于索引旋转排列的链式规则(I-Chain规则)获取成本函数的梯度信息。提出了两种迭代算法,即基于轨迹约束的投影梯度法(TPGM)和基于正交约束的投影渐变法(OPGM),并建立了它们的收敛性。我们发现,TPGM和OPGM都可以有效地解决网络控制问题。观察到两个重要现象。为了控制具有可选择输入的定向网络,TPGM和OPGM都倾向于定位平均划分基本茎/圆/扩张的节点,以消耗更少的能量,而OPGM的机会略高于TPGM。对于仅通过演化固定网络结构上的连接强度来控制定向网络,我们发现当网络自适应地改变其拓扑结构,使许多相似的子网络逐渐演化后,控制成本达到最小。我们的工作从理解矩阵流形上的优化问题到扩展其在科学和工程中的应用,又向前迈进了一步。

MSC公司:

90立方厘米 生产模型
90摄氏52度 减少梯度类型的方法
93亿B51 设计技术(稳健设计、计算机辅助设计等)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Ward,D.,非光滑数学规划中的方向导数微积分和最优性条件,J.Inf.Optim。科学。,10, 1, 81-96 (1989) ·Zbl 0682.49016号
[2] 西蒙切利,E.P。;Freeman,W.T.,《可操纵金字塔:多尺度导数计算的灵活架构》(Icip(1995),IEEE),3444
[3] Aris,R.,《矢量、张量和流体力学基本方程》(2012),Courier Corporation
[4] Serrin,J.,经典流体力学的数学原理,(流体动力学I/Strömungsmechanik I(1959),Springer),125-263
[5] 胡椒,R.E。;Chasteen,S.V。;波洛克,S.J。;Perkins,K.K.,《学生在上视电磁学中数学困难的观察》,《物理学》。修订规范顶部物理学。教育。Res.,8,1,第010111条,第(2012)页
[6] Wong,M.W。;Wiberg,K.B。;Frisch,M.,Hartree-Fock二阶导数和溶剂反应场中的电场性质:理论与应用,J.Chem。物理。,95, 12, 8991-8998 (1991)
[7] Marsden,J.E。;Hughes,T.J.,《弹性数学基础》(1994),Courier Corporation
[8] 佩杜,J.P。;帕尔·R·G。;利维,M。;Balduz,J.L.,分数粒子数的密度泛函理论:能量的导数不连续性,物理学。修订稿。,49, 23, 1691 (1982)
[9] Arfken,G.,《物理学家的数学方法》(1985),学术:佛罗里达州奥兰多学院·Zbl 0135.42304号
[10] Weisstein,E.W.,Curl(2002)
[11] Li,G.等人。;胡,W。;肖·G。;邓,L。;唐·P。;裴,J。;Shi,L.,复杂网络的最小成本控制,新J.Phys。,18,1,第013012条pp.(2015)·Zbl 1457.90029号
[12] 陶,D。;李,X。;吴,X。;Maybank,S.J.,步态识别的通用张量判别分析和gabor特征,IEEE Trans。模式分析。机器。智力。,29, 10, 1700-1715 (2007)
[13] 钟,J。;卢,J。;黄,T。;Ho,D.W.,同层次混合值逻辑控制网络的可控性和同步分析,IEEE Trans。网络。(2017)
[14] Snyman,J.,《实用数学优化:基本优化理论和经典及新梯度算法简介》,第97卷(2005),Springer Science&Business Media·Zbl 1104.90003号
[15] Schouten,J.A.,《物理学家张量分析》(1954),Courier Corporation·Zbl 0056.17001号
[16] Katzin,G.H。;莱文,J。;Davis,W.R.,《曲率直射:由黎曼曲率张量的消失李导数定义的广义相对论时空的基本对称性》,J.Math。物理。,10,4617-629(1969年)·Zbl 0176.19402号
[17] Grafarend,E.W。;You,R.-J.,《利用Hankel变换预测重力梯度的四阶Taylor-Kármán结构协方差张量》,GEM-Int.J.Geomath。,6, 2, 319-342 (2015) ·Zbl 1331.31006号
[18] Ge,S。;Han,M。;Hong,X.,一种基于四阶张量方法的全自动脑电视觉伪影消除,Biomed。工程租约。,4, 1, 55-63 (2014)
[19] Li,G.等人。;曾,F。;李,H。;秦,A.,正交约束下的矩阵函数优化问题,IEEE Trans。系统。人类网络。A.(2017)
[20] J.R.Magnus、H.Neudecker等人,《矩阵微分学在统计学和计量经济学中的应用》,1995年·Zbl 0651.15001号
[21] Petersen,K。;Pedersen,M.,《矩阵食谱》。丹麦技术大学(技术手册(2008))
[22] T.P.Minka,《对统计有用的新旧矩阵代数》,2000年。请参见http://www.stat.cmu.edu/minka/papers/matrix.html。
[23] Otsu,T.,《矩阵代数》,作者:Karim M.Abadir和Jan R.Magnus,剑桥大学出版社,2005年,《计量经济学理论》,22,5,968-972(2006)·Zbl 1084.15001号
[24] 阿巴迪尔,K.M。;Magnus,J.R.,《矩阵代数》,第1卷(2005),剑桥大学出版社·Zbl 1084.15001号
[25] Hjorunnes,A。;Gesbert,D.,《复值矩阵微分:技术和关键结果》,IEEE Trans。信号处理。,55, 6, 2740-2746 (2007) ·Zbl 1390.65040号
[26] Barnes,R.J.,矩阵微分,Springs J.(2006)
[27] Absil,P.-A.公司。;Mahony,R。;Sepulchre,R.,《矩阵流形上的优化算法》(2009),普林斯顿大学出版社·Zbl 1147.65043号
[28] Vandereycken,B.,通过黎曼优化完成低秩矩阵,SIAM J.Optim。,23, 2, 1214-1236 (2013) ·Zbl 1277.15021号
[29] Manton,J.H.,利用酉约束的优化算法,IEEE Trans。信号处理。,50, 3, 635-650 (2002) ·Zbl 1369.90169号
[30] Kiers,H.A.,为解决各种矩阵优化问题建立交替最小二乘和迭代优化算法,计算。统计师。数据分析。,4157-170(2002年)·Zbl 1018.65074号
[31] Hajiyev,C.,基于d-最优准则的传感器校准设计,Metrol。测量。系统。,23413-424(2016年)
[32] 徐,D。;Yan,S。;陶,D。;Lin,S。;Zhang,H.-J.,人类步态识别和基于内容的图像检索的边缘fisher分析及其变体,IEEE Trans。图像处理。,16, 11, 2811-2821 (2007)
[33] Yu,J。;高,X。;陶,D。;李,X。;Zhang,K.,《单图像超分辨率统一学习框架》,IEEE Trans。神经网络。学习。系统。,25, 4, 780-792 (2014)
[34] 张,T。;陶,D。;李,X。;Yang,J.,用于降维的补丁对齐,IEEE Trans。知识。数据工程,21,9,1299-1313(2009)
[35] E.Y.Chan,D.-Y.Yeung,《社区检测模块化最大化的凸公式》,载于《第二十二届国际人工智能联合会议论文集》,IJCAI,西班牙巴塞罗那,2011年。
[36] 布洛赫,A.M。;克劳奇,体育。;Sanyal,A.K.,Stiefel流形上的变分问题,非线性,19,102247(2006)·Zbl 1136.49031号
[37] Jeuris,B。;Vandebril,R。;Vandereycken,B.,《计算矩阵几何平均值的当代算法的调查和比较》,Electron。事务处理。数字。分析。,39,EPFL-ARTICLE-197637,379-402(2012)·Zbl 1287.65036号
[38] 张,L。;李,R.,stiefel流形上迹比之和的最大化,I:理论,科学。中国数学。,57, 12, 2495-2508 (2014) ·Zbl 1341.90128号
[39] 侯赛尼,R。;Sra,S.,高斯混合矩阵流形优化,(神经信息处理系统进展(2015)),910-918
[40] 科夫纳茨基,A。;格拉索夫,K。;Bronstein,M.M.,Madmm:流形非光滑优化的通用算法,(欧洲计算机视觉会议(2016),Springer),680-696
[41] Liu,Y.-Y。;斯隆,J.-J。;Barabási,A.-L.,《复杂网络的可控性》,《自然》,473,7346,167-173(2011)
[42] Li,A。;科尼利厄斯,S.P。;Liu,Y.-Y。;Wang,L。;Barabási,A.-L.,《时间网络的基本优势》,《科学》,358,6366,1042-1046(2017)
[43] Kambhatla,N。;Leen,T.K.,局部主成分分析降维,神经计算。,9, 7, 1493-1516 (1997)
[44] 季S。;Ye,J.,多标签分类的线性降维,(IJCAI,第9卷(2009)),1077-1082
[45] Juang,B.-H。;Katagiri,S.,最小误差分类的判别学习,IEEE Trans。信号处理。,40, 12, 3043-3054 (1992) ·兹比尔0784.62049
[46] Smola,A.J。;Schölkopf,B.,《基于核的模式识别、回归、近似和算子反演方法》,《算法》,22,1-2,211-231(1998)·Zbl 0910.68189号
[47] 沈,C。;Kim,J。;刘,F。;Wang,L。;Van Den Hengel,A.,距离度量学习的有效双重方法,IEEE Trans。神经网络。学习。系统。,25, 2, 394-406 (2014)
[48] 桑卡,M。;拉瓦克,V。;Boyle,R.,《图像处理、分析和机器视觉》(2014),Cengage Learning
[49] Bovik,A.C.,《图像和视频处理手册》(2010),学术出版社
[50] 王,R。;聂,F。;杨,X。;高,F。;Yao,M.,《图像分析中具有非贪婪最大化的鲁棒2dpca》,IEEE Trans。赛博。,45, 5, 1108-1112 (2015)
[51] 于伟(Yu,W.)。;Rhee,W。;博伊德,S。;Cioffi,J.M.,高斯向量多址信道的迭代注水,IEEE Trans。Inf.理论,50,1,145-152(2004)·Zbl 1301.94059号
[52] Telatar,I.E.,《多天线高斯信道容量》,Eur.Trans。电信通讯。,10, 6, 585-595 (1999)
[53] Newman,M.E.,《网络中的模块化和社区结构》,Proc。国家。阿卡德。科学。,103, 23, 8577-8582 (2006)
[54] 张,S。;Zhao,H.,带度调整的社区识别标准化模块优化方法,Phys。E版,88,5,第052802条pp.(2013)
[55] Yan,G。;Ren,J。;赖,Y.-C。;赖,C.-H。;Li,B.,《控制复杂网络:需要多少能量?》?,物理学。修订稿。,第108、21条,第218703页(2012年)
[56] 兰卡斯特,P。;Tismenetsky,M.,《矩阵理论:应用》(1985),爱思唯尔出版社·Zbl 0516.15018号
[57] Gilbert,J。;Gilbert,L.,《线性代数与矩阵理论》(2014),学术出版社
[58] Dattoro,J.,《凸优化与欧几里德距离几何》(2010),Lulu.com
[59] 马格努斯,J.R。;Neudecker,H.,《矩阵微分学在统计学和计量经济学中的应用》,Wiley Ser。普罗巴伯。数学。统计(1988)·Zbl 0651.15001号
[60] Li,G.等人。;唐·P。;温,C。;Meng,Z.,有向网络最小成本控制的边界约束,IEEE Trans。赛博。,47, 12, 4196-4207 (2017)
[61] Li,G.等人。;邓,L。;肖·G。;唐·P。;温,C。;胡,W。;裴,J。;Shi,L。;Stanley,H.E.,利用局部拓扑信息控制复杂网络,科学。代表,8,1,4593(2018)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。