金敏英 用于文本/图像建模和分类的高效直方图字典学习。 （英语） Zbl 1411.68111号 数据最小知识。迪斯科。 31，第1期，203-232（2017）. 摘要：在处理文本或图像数据时，将它们表示为直方图是非常有效的。在建模直方图中，尽管最近的贝叶斯主题模型（如潜在Dirichlet分配及其变体）已被证明是成功的，但它们经常因推断大量隐藏变量而承受计算开销。在本文中，我们考虑了一种不同的建模策略基本直方图字典其凸组合产生可观察文本/图像文档的直方图。字典条目是从数据中学习的，它在特定主题/关键字和基本直方图之间建立了直接/间接的关联。从学习过的字典中，对观察到的直方图进行编码可以提供简洁而显著的信息，有助于分类。我们的主要贡献之一是，我们基于最近的Nesterov平滑优化技术，结合解析解方法，提出了一种非常有效的字典学习算法对于二次极小化子问题。不仅理论收敛速度更快，而且在实时情况下，我们的算法比内点法等通用优化器快20-30倍。在对多个文本/图像数据集的分类/注释任务中，我们的方法表现出与现有贝叶斯模型相当或通常更优的性能，同时显著快于其变分推理。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 关键词：文本/图像直方图;字典学习;数学优化;文本/图像分类/注释 软件：PDCO公司;UCI-毫升;CVX公司;EMD公司;STL-10数据集;标签我;SIFT公司 PDF格式BibTeX公司 XML格式引用 \textit{M.Kim}，Data Min.Knowl。迪斯科。31，第1号，203--232（2017；Zbl 1411.68111） 全文： 内政部 参考文献： [1] Aharon M、Elad M、Bruckstein AM（2005）K-svd及其字典设计的非负变体。摘自：SPIE会议小波会议记录，第327-339页 [2] 亚松森A，纽曼D（2007）UCI机器学习库 [3] Bach F，Mairal J，Ponce J（2012）任务驱动的词典学习。IEEE Trans-Pattern Ana Mach Intell 34（4）：791-804·doi:10.1109/TPAMI.2011.156 [4] Barla A，Odone F，Verri A（2003）图像分类的直方图交集核。参加：国际图像处理会议·Zbl 1039.68595号 [5] Bayón L，Grau JM，Suárez PM（2002）热液系统优化中等效热量的新公式。数学Prob Eng 8（3）：181-196·Zbl 1130.80304号 ·doi:10.1080/10241230215284 [6] Beck A，Teboulle M（2009）线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志2（1）：183-202·Zbl 1175.94009号 ·doi:10.1137/080716542 [7] Blei D，Jordan M（2003），建模注释数据。In:ACM SIGIR会议 [8] Blei D，McAuliffe J（2007）监督主题模型。In：神经信息处理系统 [9] Blei D、Ng A、Jordan M（2003）《潜在的dirichlet分配》。J Mach学习研究3:993-1022·Zbl 1112.68379号 [10] Bolovinou A，Pratikakis I，Perantonis S（2012）《场景分类中用于上下文推理的空间视觉词汇包》。模式识别。doi:10.1016/j.patcog.2012.07.024 [11] Bosch A、Zisserman A、Munoz X（2006）通过pLSA进行场景分类。参加：欧洲计算机视觉会议 [12] Boyd S，Vandenberghe L（2004）凸优化。剑桥大学出版社·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [13] Chen SS，Donoho DL，Saunders MA（1998）通过基追踪进行原子分解。SIAM科学计算杂志20（1）：33-61·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [14] Coates A、Lee H、Ng AY（2011）《无监督特征学习中单层网络的分析》。参加：国际人工智能与统计会议（AISTATS） [15] Coleman TF，Li Y（1996）用于最小化受某些变量边界约束的二次函数的反射牛顿方法。SIAM J Optim 6（4）：1040-1058·Zbl 0861.65053号 ·doi:10.1137/S10526223494240456 [16] CVX Research Inc.（2012）CVX:Matlab软件，用于严格的凸编程，2.0 beta版。http://cvxr.com/cvx [17] Efron B，Hastie T，Johnstone I，Tibshirani R（2004）最小角度回归。安统计32（2）：407-499·兹比尔1091.62054 ·doi:10.1214/009053604000000067 [18] Fei-Fei L，Perona P（2005）用于学习自然场景类别的贝叶斯层次模型。参加：IEEE计算机视觉和模式识别国际会议 [19] Gill PE、Murray W、Wright MH（1981）《Pract Optim》。伦敦学术出版社 [20] Grant M，Boyd S（2008）非光滑凸程序的图形实现。，学习和控制的最新进展Springer，伦敦，第95-110页·Zbl 1205.90223号 [21] Ho ND，Dooren PV（2008）具有固定行和列和的非负矩阵因式分解。线性代数应用429（5-6）：1020-1025·Zbl 1148.15010号 ·doi:10.1016/j.laa.2007.02.026 [22] Hofmann T（1999）概率潜在语义分析。In:人工智能中的不确定性研究进展·Zbl 0970.68130号 [23] Hoyer PO（2004）具有稀疏约束的非负矩阵分解。J Mach学习研究5:1457-1469·Zbl 1222.68218号 [24] Kiros R，Szepesvári C（2012）图像自动标注的深度表示和代码。In:神经信息处理系统（NIPS）进展 [25] Kreutz-Delgado K、Murray JF、Rao BD、Engan K、Lee TW、Sejnowski TJ（2003）《稀疏表示的字典学习算法》。神经计算15（2）：349-396·Zbl 1047.68101号 ·doi:10.1162/089976603762552951 [26] 李LJ，费菲L（2007）什么，在哪里，谁？通过场景和对象识别对事件进行分类。参加：IEEE计算机视觉国际会议 [27] Lowe DG（2004）《尺度不变关键点的独特图像特征》。国际计算机视觉杂志60（2）：91-110·doi:10.1023/B:VISI.0000029664.99615.94 [28] Mairal J、Bach F、Ponce J、Sapiro G（2009）《稀疏编码的在线词典学习》。参加：机器学习国际会议·Zbl 1242.62087号 [29] Nesterov Y（2005）非光滑函数的平滑最小化。数学课程103（1）：127-152·Zbl 1079.90102号 ·doi:10.1007/s10107-004-0552-5 [30] Osborne MR，Presnell B，Turlach B（2000）最小二乘问题中变量选择的新方法。IMA J数字分析20（3）：389-403·Zbl 0962.65036号 ·doi:10.1093/imanum/20.3.89 [31] Pele O，Werman M（2010）二次直方图距离系列。参加：欧洲计算机视觉会议 [32] Perkins S，Theiler J（2003）使用嫁接进行在线特征选择。在：国际机器学习会议（ICML）·Zbl 1102.68578号 [33] 普拉特，J。；斯莫拉，AJ（编辑）；Barlett，P.（编辑）；Schölkopf，B.（编辑）；Schuurmans，D.（ed.），支持向量机的概率输出和正则化似然方法的比较（1999），剑桥 [34] Polyak BT（1987）《优化导论》。纽约Optimization Software Inc·Zbl 0708.90083号 [35] Rosset S（2004）跟踪曲线正则化优化解路径。主题：神经信息处理系统进展。麻省理工学院出版社 [36] Rubinstein R，Bruckstein A，Elad M（2010）稀疏表示建模词典。程序IEEE 98（6）：1045-1057·doi:10.1109/JPROC.2010.2040551 [37] Rubner Y，Tomasi C，Guibas L（2000）《推土机距离作为图像检索的度量标准》。国际计算机视觉杂志40（2）：99-121·Zbl 1012.68705号 ·doi:10.1023/A:1026543900054 [38] Russell B、Torralba A、Murphy K、Freeman WT（2008）LabelMe:用于图像注释的数据库和网络工具。国际计算机视觉杂志77（1-3）：157-173·doi:10.1007/s11263-007-0090-8 [39] Sindhwani V，Ghoting A（2012）《大规模分布式非负稀疏编码和稀疏字典学习》。参加：知识发现和数据挖掘国际会议 [40] Thurau C，Kersting K，Bauckhage C（2009）野生凸非负矩阵分解。参加：数据挖掘国际会议·Zbl 1235.6202号 [41] Tibshirani R（1994）通过套索回归收缩和选择。J R Stat Soc B期刊58:267-288·Zbl 0850.62538号 [42] Tosic I，Frossard P（2011）《字典学习》。IEEE信号处理杂志28（2）：27-38·doi:10.1109/MSP.2010.939537 [43] 王C，布莱DM，菲菲L（2009）同步图像分类与标注。参加：IEEE计算机视觉和模式识别国际会议 [44] 王毅，贾毅，胡C，Turk M（2004）Fisher非负矩阵因式分解在局部特征学习中的应用。参加：亚洲计算机视觉会议 [45] Yang AY，Zhou Z，Ganesh A，Sastry SS，Ma Y（2013）鲁棒人脸识别的快速\[l_1\]l1最小化算法。IEEE Trans-Image Proc 22（8）：3234-3246·doi:10.1109/TIP.2013.2262292 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。