×

跟踪比优化与多视图学习的应用。 (英语) Zbl 1522.65100号

摘要:从理论和数值计算的角度研究了Stiefel流形上的迹比优化问题。建立了具有特征向量相关的非线性特征值问题(NEPv)的必要条件,设计了一种基于自洽场(SCF)迭代和后处理步骤的数值方法来求解NEPv,并证明了该方法始终收敛。作为多视图子空间学习的应用,提出了一种新的框架及其实例化的具体模型,并在实际数据集上进行了演示。数值结果表明,所提数值方法的有效性和新的正交多视点子空间学习模型的有效性。

理学硕士:

65千5 数值数学规划方法
68T05型 人工智能中的学习和自适应系统
90C26型 非凸规划,全局优化
90立方厘米 分数编程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Absil,宾夕法尼亚州;Mahony,R。;Sepulchre,R.,矩阵流形上的优化算法(2008),普林斯顿:普林斯顿大学出版社,普林斯顿·Zbl 1147.65043号
[2] Bai,Z.、Demmel,J.、Dongarra,J.,Ruhe,A.、van der Vorst,H.(编辑):代数特征值问题的解决模板:实用指南。SIAM,费城(2000)·Zbl 0965.65058号
[3] Bai,Z。;李,RC;Lu,D.,解特征向量相关非线性特征值问题的自洽场迭代收敛速度的夏普估计,SIAM J.矩阵分析。申请。,43, 1, 301-327 (2022) ·Zbl 1492.65142号
[4] Baltrušaitis,T。;阿胡加,C。;多模态机器学习:调查和分类,IEEE Trans。模式分析。机器。智力。,41, 2, 423-443 (2018)
[5] 博格,I。;Lingoes,J.,多维相似结构分析(1987),纽约:Springer,纽约·Zbl 0436.62095号
[6] 蔡,Y。;张,LH;Bai,Z。;Li,RC,关于特征向量相关的非线性特征值问题,SIAM J.矩阵分析。申请。,39, 3, 1360-1382 (2018) ·Zbl 1401.65036号
[7] 曹,G。;碘缺乏症,A。;Chen,K。;Gabbouj,M.,用于视觉识别和跨模式检索的广义多视图嵌入,IEEE Trans。赛博。,48, 9, 2542-2555 (2018)
[8] 楚,MT;Trendafilov,NT,《重新审视正交约束回归》,J.Compute。图表。统计,10,4,746-771(2001)
[9] 坎宁安,JP;Ghahramani,Z.,《线性降维:调查、见解和概括》,J.Mach。学习。第16号决议,2859-2900(2015年)·兹比尔1351.62123
[10] Demmel,J.,《应用数值线性代数》(1997),费城:SIAM,费城·兹伯利0879.65017
[11] Dua,D.,Graff,C.:UCI机器学习库(2017)。http://archive.ics.uci.edu/ml
[12] de Geer,JPV,变量集之间的线性关系,《心理测量学》,49,70-94(1984)
[13] Edelman,A。;TA阿里亚斯;Smith,ST,《正交约束算法的几何》,SIAM J.矩阵分析。申请。,20, 2, 303-353 (1999) ·Zbl 0928.6500号
[14] Eldén,L。;Park,H.,Stiefel流形上的一个procutes问题,Numer。数学。,82, 599-619 (1999) ·Zbl 0934.65052号
[15] Golub,生长激素;Van Loan,CF,矩阵计算(2013),巴尔的摩:约翰霍普金斯大学出版社,巴尔的摩尔·Zbl 1268.65037号
[16] 高尔,JC;Dijksterhuis,GB,Procrustes Problems(2004),纽约:牛津大学出版社,纽约·Zbl 1057.62044号
[17] 喇叭,RA;Johnson,CR,矩阵分析主题(1991),剑桥:剑桥大学出版社,剑桥·兹比尔0729.15001
[18] JR Hurley;Cattell,RB,The Procrustes程序:产生直接旋转来测试假设的因子结构,Behav。科学。,7, 258-262 (1962)
[19] 坎佐,C。;Qi,HD,变分不等式问题的无QP约束牛顿型方法,数学。程序。,85, 81-106 (1999) ·Zbl 0958.65078号
[20] Kushmerick,N.:学习删除互联网广告。摘自:《第三届自治机构年度会议记录》,第175-181页(1999年)
[21] Lazebnik,S.,Schmid,C.,Ponce,J.:超越特征袋:用于识别自然场景类别的空间金字塔匹配。收录于:2006年IEEE计算机学会计算机视觉和模式识别会议(CVPR'06),第2卷,第2169-2178页。IEEE(2006)
[22] 李,FF;弗格斯,R。;Perona,P.,《从很少的训练示例中学习生成性视觉模型:在101个对象类别上测试的增量贝叶斯方法》,计算。视觉。图像理解。,106,1,59-70(2007)
[23] Li,RC,广义极分解的扰动界,BIT,33,304-308(1993)·兹比尔0785.15007
[24] 李,RC,关于矩阵铅笔的实谱扰动,数学。计算。,62, 231-265 (1994) ·Zbl 0795.15012号
[25] Li,RC,酉极因子的新扰动界,SIAM J.矩阵分析。申请。,16, 327-332 (1995) ·Zbl 0817.15012号
[26] Li,R.C.:特征值问题的基于瑞利商的优化方法。收录:Bai,Z.,Gao,W.,Su,Y.(主编)矩阵函数和矩阵方程,当代应用数学系列。2013年Gene Golub SIAM暑期学校讲座摘要,第19卷,第76-108页。《世界科学》,新加坡(2015)·Zbl 1332.65053号
[27] 李伟(Li,W.)。;Sun,W.,幺正极因子和亚单位极因子的扰动界,SIAM J.矩阵分析。申请。,23, 1183-1193 (2002) ·Zbl 1036.15017号
[28] 刘,XG;王,XF;Wang,WG,乘积Stiefel流形的矩阵迹函数最大化,SIAM J.矩阵分析。申请。,36, 4, 1489-1506 (2015) ·Zbl 1327.62371号
[29] Lu,D.,Li,R.C.:无酉不变性NEPv的SCF收敛性(2022)。工作-收益
[30] 莫雷,JJ;Sorensen,DC,计算信赖域步骤,SIAM J.Sci。统计师。计算。,4, 3, 553-572 (1983) ·Zbl 0551.65042号
[31] Ngo,T。;贝拉利吉,M。;Saad,Y.,《降维跟踪比优化问题》,SIAM J.Matrix Ana。申请。,31, 5, 2950-2971 (2010) ·Zbl 1209.65063号
[32] 聂,F。;张,R。;Li,X.,求解Stiefel流形上二次问题的广义幂迭代法,Sci。中国信息。科学。,60, 112101:1-112101:10 (2017)
[33] Ojala,T。;Pietikäinen先生。;Mäenpää,T.,具有局部二进制模式的多分辨率灰度和旋转不变纹理分类,IEEE Trans。模式分析。机器。智力。,971-987年7月24日(2002年)·Zbl 0977.68853号
[34] 奥利瓦,A。;Torralba,A.,《场景形状建模:空间包络线的整体表示》,《国际计算机杂志》。视觉。,42, 3, 145-175 (2001) ·Zbl 0990.68601号
[35] 彭,Y。;Qi,J.,CM-GAN:用于公共表示学习的跨模式生成对抗网络,ACM Trans。Multimed公司。计算。Commun公司。申请。(TOMM),15,1,1-24(2019)
[36] Seber,GAF,《统计学家矩阵手册》(2007),纽约:威利,纽约
[37] Sharma,A.、Kumar,A.、Daume,H.、Jacobs,D.W.:广义多视图分析:一个有区别的潜在空间。2012年IEEE计算机视觉和模式识别会议,第2160-2167页。IEEE(2012)
[38] Stewart,GW,矩阵算法,第二卷:特征系统(2001),费城:SIAM,费城·Zbl 0984.65031号
[39] GW斯图尔特;Sun,JG,矩阵微扰理论(1990),波士顿:学术出版社,波士顿·Zbl 0706.65013号
[40] Sun,J.G.:矩阵摄动分析。北京学术出版社(1987)。(中文)
[41] Sun,S。;谢,X。;Yang,M.,多视角非相关判别分析,IEEE Trans。赛博。,46, 12, 3272-3284 (2016)
[42] 冯·诺依曼,J.,《一些矩阵不等式和矩阵空间的度量》,汤姆克。大学修订版,1286-300(1937)
[43] 维娅,J。;圣塔玛利亚,I。;Pérez,J.,多数据集自适应典型相关分析的学习算法,神经网络。,20, 1, 139-152 (2007) ·Zbl 1158.68459号
[44] Wang,H.,Yan,S.,Xu,D.,Tang,X.,Huang,T.:降维的跟踪比率与比率跟踪。2007年IEEE计算机视觉和模式识别会议,第1-8页。IEEE(2007)
[45] Wu,J.,Rehg,J.M.:我在哪里:使用空间约定进行位置实例和类别识别。摘自:2008年IEEE计算机视觉和模式识别会议,第1-8页。IEEE(2008)
[46] 张,LH;廖,LZ;Ng,MK,广义Foley-Samon判别分析的快速算法,SIAM J.矩阵分析。申请。,31, 4, 1584-1605 (2010) ·兹比尔1205.65031
[47] 张,LH;廖,LZ;Ng,MK,广义Foley-Samon判别分析通用算法的超线性收敛,J.Optim。理论应用。,157, 3, 853-865 (2013) ·Zbl 1291.90249号
[48] 张,LH;Wang,L。;Bai,Z。;Li,RC,《正交典型相关分析的自变量场迭代法》,IEEE Trans。模式分析。机器。智力。,44, 2, 890-904 (2022)
[49] 张,LH;杨,WH;沈,C。;Ying,J.,非平衡Procrustes问题的基于特征值的方法,SIAM J.矩阵分析。申请。,41, 3, 957-983 (2020) ·Zbl 1461.65051号
[50] 张,Z。;杜凯,解决不平衡问题的逐次投影法,科学。中国数学。,49, 7, 971-986 (2006) ·Zbl 1112.65039号
[51] 赵,H。;王,Z。;Nie,F.,特征提取的正交最小二乘回归,神经计算,216200-207(2016)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。