跳到内容
得到许可的 未经许可 需要身份验证 发布人:德古意特出版社 2018年8月11日

隐马尔可夫模型学习的张量序列谱方法

  • 马克西姆·库兹涅佐夫 电子邮件徽标 伊凡·奥塞莱德茨(Ivan V.Oseledets)

摘要

我们提出了一种新的隐马尔可夫模型(HMM)谱学习算法。与标准方法相比,我们不估计HMM的参数,但构造联合概率分布的估计。这个想法基于联合概率分布的表示作为低秩的N阶张量,表示为张量列(TT)格式。使用TT格式,我们通过最小化经验值之间的Frobenius距离来获得近似值联合概率分布和具有低TT秩的张量以及核心张量归一化约束。我们提出了一种求解优化问题的算法,该算法基于交替最小二乘(ALS)方法并开发其稀疏张量的快速版本。张量的阶d日是我们算法的一个参数。我们比较了算法的性能利用Hsu、Kakade和Zhang在2009年提出的现有算法,发现如果高估隐藏状态的数量,该算法将更加稳健。

资金报表:提交人对俄罗斯联邦教育和科学部提供的14.7756.31.0001赠款的财政支持表示感谢。

致谢

作者对Andrzej Cichocki教授的有益评论和帮助深表感谢。

参考文献

[1]A.Anandkumar、R.Ge、D.Hsu、S.M.Kakade和M.Telgarsky,用于学习潜在变量模型的张量分解,J.马赫。学习。第15号决议(2014年),2773–2832。10.21236/ADA604494在谷歌学者中搜索

[2]B.W.Bader和T.G.Kolda,使用稀疏张量和因子张量进行有效的MATLAB计算,SIAM J.科学。计算。30(2007/08),第1期,205–231。10.2172/897641在谷歌学者中搜索

[3]L.E.Baum、T.Petrie、G.Soules和N.Weiss,在马尔可夫链的概率函数的统计分析中出现的最大化技术,安。数学。统计师。41 (1970), 164–171.10.1214/aoms/1177697196在谷歌学者中搜索

[4]J.D.Caroll和J.J.Chang,通过Eckart–Young分解的n向推广分析多维标度中的个体差异,《心理测量学》35(1970),283–319。2007年10月10日/BF02310791在谷歌学者中搜索

[5]V.de Silva和L.-H.Lim,张量秩与最佳低秩逼近问题的适定性,SIAM J.矩阵分析。申请。30(2008),第3期,1084–1127。10.1137/06066518倍在谷歌学者中搜索

[6]L.Grasedyck,张量的层次奇异值分解,SIAM J.矩阵分析。申请。31(2009/10),第4期,2029-2054。10.1137/090764189在谷歌学者中搜索

[7]W.Hackbusch和S.Kühn,张量表示的一种新方案,J.傅里叶分析。申请。15(2009),第5期,706–722。10.1007/s00041-009-9094-9在谷歌学者中搜索

[8]D.Hsu、S.M.Kakade和T.Zhang,用于学习隐马尔可夫模型的谱算法,J.计算。系统科学。78(2012),第5期,1460–1480。2016年10月10日/j.jcss.2011.12.25在谷歌学者中搜索

[9]X.D.Huang、Y.Ariki和M.A.Jack,语音识别的隐马尔可夫模型,爱丁堡大学,爱丁堡,1990年。在谷歌学者中搜索

[10]H.Jaeger,离散随机时间序列的可观测算子模型,神经计算。12(2000),第6期,1371–1398。10.1162/089976600300015411在谷歌学者中搜索公共医学

[11]T.G.Kolda和B.W.Bader,张量分解及其应用,SIAM第51版(2009年),第3期,455–500。10.1137/07070111X号在谷歌学者中搜索

[12]A.Krogh、B.Larsson、G.Von Heijne和E.L.L.Sonnhammer,用隐马尔可夫模型预测跨膜蛋白拓扑结构:应用于完整基因组,分子生物学杂志。305(2001),第3567-580号。2006年10月10日/jmbi.2000.4315在谷歌学者中搜索公共医学

[13]I.V.Oseledets,张量-应变分解,SIAM J.科学。计算。33(2011),第5期,2295–2317。10.1137/090752286在谷歌学者中搜索

[14]I.Oseledets、M.Rakhuba和A.Uschmajew,交替最小二乘法作为移动子空间校正,预印本(2017),https://arxiv.org/abs/1709.07286.10.1137/17M1148712在谷歌学者中搜索

[15]I.V.Oseledets和E.E.Tyrtyshnikov,打破维度诅咒,或者如何在多个维度中使用SVD,SIAM J.科学。计算。31(2009),第5期,3744–3759。10.1137/090748330在谷歌学者中搜索

[16]L.Rabiner,语音识别中的隐马尔可夫模型和选定应用教程,程序。IEEE 77(1989),第2期,257–286。10.1016/B978-0-08-051584-7.50027-9在谷歌学者中搜索

[17]T.Rohwedder和A.Uschmajew,张量列格式凸问题优化交替格式的局部收敛性,SIAM J.数字。分析。51(2013),第2期,1134–1162。10.1137/110857520在谷歌学者中搜索

[18]S.M.Siddiqi、B.Boots和G.J.Gordon,降秩隐马尔可夫模型,国际人工智能与统计会议,PMLR,(2010),741–748。在谷歌学者中搜索

[19]L.Song、M.Ishteva、A.Parikh、E.Xing和H.Park,潜在树图形模型的层次张量分解,第三十届机器学习国际会议(ICML-13)论文集,PMLR(2013),334–342。在谷歌学者中搜索

[20]L.Song、E.P.Xing和A.P.Parikh,潜在树图形模型的谱算法,第28届机器学习国际会议(ICML-11)论文集,PMLR(2011),1065-1072。在谷歌学者中搜索

[21]K.Stratos、M.Collins和D.Hsu,基于锚隐马尔可夫模型的无监督部分语音标记,事务处理。关联计算。语言学家。4(2016),245–257。10.1162/tacl_a_00096年10月16日在谷歌学者中搜索

收到:2017-10-15
修订过的:2018-02-26
认可的:2018-05-02
在线发布:2018-08-11
印刷出版:2019-01-01

©2018 Walter de Gruyter GmbH,柏林/波士顿

于2014年6月14日从下载https://www.degruyter.com/doile/10.1515/cman-2018-027/html
滚动到顶部按钮