×

隐马尔可夫模型(HMM)学习的张量列谱方法。 (英语) Zbl 1459.65016号

摘要:我们提出了一种新的隐马尔可夫模型(HMM)谱学习算法。与标准方法相比,我们不直接估计HMM的参数,而是构造联合概率分布的估计。该想法基于联合概率分布表示为N阶张量,低秩表示为张量列(TT)格式。利用TT格式,我们通过最小化经验联合概率分布与具有低TT秩且具有核心张量规范化约束的张量之间的Frobenius距离来获得近似值。我们提出了一种基于交替最小二乘(ALS)方法的优化问题求解算法,并开发了其稀疏张量的快速版本。张量的阶是我们算法的一个参数。我们将我们的算法与Hsu、Kakade和Zhang在2009年提出的现有算法进行了性能比较,发现如果高估了隐藏状态的数量,则该算法的鲁棒性更强。

MSC公司:

65立方厘米 马尔可夫链的数值分析或方法
15A69号 多线性代数,张量演算
60J20型 马尔可夫链和离散时间马尔可夫过程在一般状态空间(社会流动、学习理论、工业过程等)上的应用
2005年6月2日 马尔可夫过程:估计;隐马尔可夫模型

软件:

张量工具箱
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] A.Anandkumar、R.Ge、D.Hsu、S.M.Kakade和M.Telgarsky,学习潜在变量模型的张量分解,J.Mach。学习。第15号决议(2014年),2773-2832。;Anandkumar,A。;Ge,R。;徐,D。;卡卡德,S.M。;Telgarsky,M.,学习潜在变量模型的张量分解,J.Mach。学习。第15号决议,2773-2832(2014年)·Zbl 1319.62109号
[2] B.W.Bader和T.G.Kolda,使用稀疏张量和因子张量的高效MATLAB计算,SIAM J.Sci。计算。30(2007/08),第1期,205-231。;Bader,B.W。;Kolda,T.G.,《使用稀疏张量和因子张量的高效MATLAB计算》,SIAM J.Sci。计算。,30, 1, 205-231 (200708) ·Zbl 1159.65323号
[3] L.E.Baum、T.Petrie、G.Soules和N.Weiss,马尔可夫链概率函数统计分析中出现的最大化技术,《数学年鉴》。统计师。41 (1970), 164-171.; Baum,L.E。;Petrie,T。;索尔斯,G。;Weiss,N.,马尔可夫链概率函数统计分析中出现的最大化技术,《数学年鉴》。统计人员。,41, 164-171 (1970) ·Zbl 0188.49603号
[4] J.D.Caroll和J.J.Chang,通过Eckart-Young分解的n向泛化分析多维标度中的个体差异,《心理测量学》35(1970),283-319。;卡罗尔,J.D。;Chang,J.J.,通过Eckart-Young分解的n向泛化分析多维标度中的个体差异,《心理测量学》,35,283-319(1970)·Zbl 0202.19101号
[5] V.de Silva和L.-H.Lim,张量秩和最佳低秩逼近问题的适定性,SIAM J.矩阵分析。申请。30(2008),第3期,1084-1127。;德席尔瓦,V。;Lim,L.-H.,张量秩和最佳低秩逼近问题的适定性,SIAM J.矩阵分析。申请。,30, 3, 1084-1127 (2008) ·Zbl 1167.14038号
[6] L.Grasedyck,张量的层次奇异值分解,SIAM J.矩阵分析。申请。31(2009/10),第4期,2029-254。;Grasedyck,L.,张量的层次奇异值分解,SIAM J.矩阵分析。申请。,31, 4, 2029-2054 (200910) ·Zbl 1210.65090号
[7] W.Hackbusch和S.Kühn,张量表示的新格式,J.Fourier Ana。申请。15(2009),第5期,706-722。;Hackbusch,W。;Kühn,S.,张量表示的一种新格式,J.Fourier Ana。申请。,15, 5, 706-722 (2009) ·Zbl 1188.15022号
[8] D.Hsu,S.M.Kakade和T.Zhang,学习隐马尔可夫模型的谱算法,J.Compute。系统科学。78(2012),第5期,1460-1480。;徐,D。;卡卡德,S.M。;Zhang,T.,学习隐马尔可夫模型的谱算法,J.Compute。系统科学。,7811460-1480(2012年)·Zbl 1244.68065号
[9] X.D.Huang、Y.Ariki和M.A.Jack,《语音识别的隐马尔可夫模型》,爱丁堡大学,1990年。;黄,X.D。;Ariki,Y。;Jack,M.A.,语音识别的隐马尔可夫模型(1990)
[10] H.Jaeger,离散随机时间序列的可观测算子模型,神经计算。12(2000),第6期,1371-1398。;Jaeger,H.,离散随机时间序列的可观测算子模型,神经计算。,12, 6, 1371-1398 (2000)
[11] T.G.Kolda和B.W.Bader,张量分解和应用,SIAM Rev.51(2009),第3期,455-500。;科尔达·T·G。;Bader,B.W.,张量分解与应用,SIAM Rev.,51,3,455-500(2009)·Zbl 1173.65029号
[12] A.Krogh、B.Larsson、G.Von Heijne和E.L.L.Sonnhammer,用隐马尔可夫模型预测跨膜蛋白拓扑:应用于完整基因组,《分子生物学杂志》。305(2001),第3期,567-580。;Krogh,A。;Larsson,B。;冯·海因,G。;Sonnhammer,E.L.L.,用隐马尔可夫模型预测跨膜蛋白拓扑结构:应用于完整基因组,《分子生物学杂志》。,305, 3, 567-580 (2001)
[13] I.V.Oseledets,张量-应变分解,SIAM J.Sci。计算。33(2011),第5期,2295-2317。;Oseledets,I.V.,张量序列分解,SIAM J.Sci。计算。,33, 5, 2295-2317 (2011) ·Zbl 1232.15018号
[14] I.Oseledets、M.Rakhuba和A.Uschmajew,交替最小二乘法作为移动子空间校正,预印本(2017)<element-citation publication-type=“other”>Oseledets,I.Rakhuba,M.Uschmajew,A.交替最小二乘法作为移动子空间校正Preprint2017https://arxiv.org/abs/1709.07286
[15] I.V.Oseledets和E.E.Trytyshnikov,《打破维度诅咒,或如何在多个维度中使用SVD》,SIAM J.Sci。计算。31(2009),第5期,3744-3759。;Oseledets,I.V。;Tyrtyshnikov,E.E.,《打破维度诅咒,或如何在多维度中使用SVD》,SIAM J.Sci。计算。,31, 5, 3744-3759 (2009) ·Zbl 1200.65028号
[16] L.Rabiner,语音识别中隐藏马尔可夫模型和选定应用教程,Proc。IEEE 77(1989),第2期,257-286。;Rabiner,L.,语音识别中隐藏马尔可夫模型和选定应用的教程,Proc。IEEE,77,2,257-286(1989)
[17] T.Rohwedder和A.Uschmajew,关于张量列格式凸问题优化交替格式的局部收敛性,SIAM J.Numer。分析。51(2013),第2期,1134-1162。;Rohwedder,T。;Uschmajew,A.,关于张量列格式凸问题优化的交替格式的局部收敛性,SIAM J.Numer。分析。,51, 2, 1134-1162 (2013) ·Zbl 1273.65088号
[18] S.M.Siddiqi、B.Boots和G.J.Gordon,降秩隐马尔可夫模型,人工智能与统计国际会议,PMLR,(2010),741-748。;Siddiqi,S.M。;Boots,B。;Gordon,G.J.,降秩隐马尔可夫模型,国际人工智能与统计会议,741-748(2010)
[19] L.Song、M.Ishteva、A.Parikh、E.Xing和H.Park,潜在树图形模型的层次张量分解,第三十届机器学习国际会议论文集(ICML-13),PMLR(2013),334-342。;宋,L。;Ishteva,M。;Parikh,A。;Xing,E。;Park,H.,潜在树图形模型的层次张量分解,第30届机器学习国际会议论文集,334-342(2013)
[20] L.Song、E.P.Xing和A.P.Parikh,潜在树图形模型的谱算法,第28届机器学习国际会议论文集(ICML-11),PMLR(2011),1065-1072。;宋,L。;Xing,E.P。;Parikh,A.P.,潜在树图形模型的谱算法,第28届国际机器学习会议论文集,1065-1072(2011)
[21] K.Stratos、M.Collins和D.Hsu,用锚隐藏马尔可夫模型进行非监督部分语言标记,Trans。关联计算。语言学家。4 (2016), 245-257.; 斯特拉托斯,K。;柯林斯,M。;Hsu,D.,用锚隐马尔可夫模型进行非监督部分语言标记,Trans。关联计算。语言学家。,4, 245-257 (2016)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。