穆婷婷;Makoto Miwa;纯一筑井;索菲亚·阿纳尼亚杜 发现高维语言特征在（dis）相似空间中的鲁棒嵌入。 （英语） 兹比尔1328.68257 计算。智力。 30，第2期，285-315（2014）. 摘要：最近的研究表明，在自然语言处理（NLP）中，丰富的特征表示对任务的有效性。然而，过多的特征并不总是能够提高分类性能。它们可能包含冗余信息，导致特征表示有噪声，也会使学习算法难以处理。本文提出了一种有监督的嵌入框架，该框架修改实例之间的相对位置，以增加输入特征和输出标签之间的兼容性，同时保持原始数据在嵌入空间中的局部分布。该框架试图在保持固有几何和增强类内和类内实例的类可分性之间实现灵活的平衡。它通过使用基于产品的内部优化模板来考虑语言特征的特征。（Dis）相似性特征，也称为经验核映射，用于实现超高维输入的可计算处理，并在必要时处理嵌入生成中的非线性。通过对两个具有六个数据集的NLP任务的评估，该框架在不使用任何降维技术的情况下提供了比支持向量机更好的分类性能。与许多现有的嵌入算法相比，它还生成具有更好的类区分性的嵌入。 MSC公司： 68T50型 自然语言处理 关键词：降维;嵌入;分类;相似性;丰富的特征表示;自然语言处理 软件：svd包;G工具箱;伦敦银行支持向量机;根西姆 PDF格式BibTeX公司 XML格式引用 \textit{T.Mu}等人，计算。智力。30，第2号，285--315（2014；Zbl 1328.68257） 全文： DOI程序 参考文献： [1] Airola，《蛋白质相互作用提取的全通图核与跨语料库学习评估》，BMC生物信息学9（Suppl 2），第1页–（2008） [2] Ananiadou，通过文本挖掘支持教育证据门户网站，皇家学会哲学翻译A 1925，第3829页-（2010）·Zbl 1202.68333号 ·doi:10.1098/rsta.2010.0152 [3] 巴赫，《内核独立组件分析》，《机器学习研究杂志》，第3页，第1页–（2002年）·Zbl 1088.68689号 [4] Bekkerman，Distributional word clusters vs，words for text categorification，Journal of Machine Learning Research 3 pp 1183–（2003年）·Zbl 1102.68528号 [5] Belkin，用于降维和数据表示的Laplacian特征映射，神经计算15（6）pp 1373–（2003）·Zbl 1085.68119号 ·doi:10.1162/089976603321780317 [6] Bergsma，S.D.Lin D.Schuurmans，2010年，瑞典乌普萨拉第14届计算自然语言学习会议（CoNLL）论文集，通过方差调整支持向量机改进自然语言学习 [7] Berry，大型稀疏奇异值计算，《国际超级计算机应用杂志》，第6页，第13页–（1992年） [8] Blei，潜在狄利克雷分配，《机器学习研究杂志》第993页–（2003）·Zbl 1112.68379号 [9] Bloehdorn，S.R.Basili M.Cammisa A.Moschitti 2006年基于特征相似性拓扑度量的文本分类语义核——第六届IEEE数据挖掘国际会议（ICDM）论文集·Zbl 1147.68619号 [10] Bloehdorn，S.A.Moschitti 2007a第29届欧洲信息检索会议（ECIR）论文集中用于文本分类的组合句法和语义核心 [11] Bloehdorn，S.A.Moschitti 2007b《信息知识与管理会议论文集》中表达文本核心的结构和语义 [12] Brand，薄奇异值分解的快速低阶修改，线性代数及其应用415 pp 20–（2006）·Zbl 1088.65037号 ·doi:10.1016/j.laa.2005.07.021 [13] Chang，LIBSVM：支持向量机库，ACM智能系统与技术汇刊2第1页–（2011）·数字对象标识代码：10.1145/1961189.1961199 [14] Chipperfield，用于MATLAB的遗传算法工具箱（1.2版）（1994年） [15] 柯林斯，NIPS pp 625–（2001） [16] Coppersmith，通过算术级数进行矩阵乘法，符号计算杂志9第251页–（1990）·Zbl 0702.65046号 ·doi:10.1016/S0747-7171（08）80013-2 [17] Cristianini，《支持向量机和基于核的学习方法期刊导论》（2000）·doi:10.1017/CBO9780511801389 [18] Culotta，A.J.Sorensen 2004计算语言学协会第42届年会论文集中关系提取的依赖树核 [19] Deerwester，通过潜在语义分析进行索引，《美国信息科学学会杂志》41页391–（1990）·doi:10.1002/（SICI）1097-4571（199009）41:6<391:：AID-ASI1>3.0.CO；2-9 [20] Dhillon，《用于文本分类的划分信息理论特征聚类算法》，《机器学习研究杂志》，第3页，第1265页–（2003）·Zbl 1102.68545号 [21] 杜达，模式分类（2001） [22] Duin，R.P.W.2000《第十五届模式识别国际会议（ICPR）论文集》中几乎空白的空间中的分类器·doi:10.1109/ICPR.2000.906006 [23] Fayruzov，蛋白质相互作用提取的语言特征分析，BMC生物信息学10（1）第374页–（2009）·doi:10.1186/1471-2105-10-374 [24] Fisher，《多重测量在分类问题中的应用》，《优生学年鉴》7（2）第179页–（1936）·文件编号：10.1111/j.1469-1809.1936.tb02137.x [25] Frantzi，《多词术语的自动识别：c-value/nc-value方法》，《数字图书馆国际期刊》3（2）第115–（2000）页·doi:10.1007/s00799900023 [26] Goldberg，搜索、优化和机器学习中的遗传算法（1989）·Zbl 0721.68056号 [27] Golub，矩阵计算（1996） [28] Gong，Y.X.Liu，2001年使用关联度量和潜在语义分析的通用文本摘要，摘自计算语言学协会第24届国际ACM SIGIR信息检索研究与开发会议论文集 [29] Goulermas，使用运动数据自动设计足部压力损伤的稳健判别分析分类器，IEEE生物医学工程学报52（9），第1549页–（2005）·doi:10.1109/TBME.2005.851519 [30] Haffner，P.2006稀疏数据内核学习的快速转置方法第23届国际机器学习会议论文集 [31] Hanczar，岩石相关估算的小样本精度，生物信息学26（6）pp 822–（2010）·doi:10.1093/bioinformatics/btq037 [32] Hardoon，典型相关分析：学习方法应用概述，神经计算16（12），第2639页–（2004）·Zbl 1062.68134号 ·doi:10.1162/0899766042321814 [33] He，X.P.Niyogi 2003神经信息处理系统学报（NIPS）中的位置保持投影 [34] Hernández，V.J.E.Román A.Tomás V.Vidal 2007稀疏特征值问题软件调查 [35] Howland，基于广义奇异值分解的聚类文本数据保结构降维，SIAM矩阵分析与应用杂志25（1），第165页–（2003）·Zbl 1061.68135号 ·doi:10.1137/S0895479801393666 [36] Hsu，多类支持向量机方法的比较，IEEE神经网络事务13（2）pp 415–（2002）·doi:10.1109/72.991427 [37] Jiang，J.-Y.S-J.Lee 2007第二届创新计算、信息与控制国际会议论文集中基于权重的文本分类特征提取方法 [38] Jolliffe，主成分分析（1986）·doi:10.1007/9781-4757-1904-8 [39] Kim，B.J.K.Kim K.B.Kim 2004非线性和在线数据的特征提取和分类系统，《知识发现和数据挖掘进展》，计算机科学讲义3056 171 180 [40] Kim，支持向量机文本分类中的降维，《机器学习研究杂志》，第6页，第37页–（2005年）·Zbl 1222.68233号 [41] Kim，基因相互作用提取的内核方法，生物信息学24 pp 118–（2008）·doi:10.1093/bioinformatics/btm544 [42] Kokiopoulou，正交邻域保持投影：一种基于投影的降维技术，IEEE模式分析和机器智能事务29（12），第2143页–（2007）·doi:10.1109/TPAMI.2007.1131 [43] Kokiopouloua，用排斥laplaceans增强的基于图形的维数减少，模式识别42 pp 2392–（2009）·Zbl 1176.68182号 ·doi:10.1016/j.patcog.2009.04.005 [44] Krallinger，生物创造物II的蛋白质-蛋白质相互作用注释提取任务概述，基因组生物学9（增刊2）第S4页–（2008）·doi:10.1186/gb-2008-9-s2-s4 [45] Kwok，J.T.H.Zhao 2003《国际人工神经网络会议论文集》中的增量特征分解 [46] 黎巴嫩，文本文档的度量学习，IEEE模式分析和机器智能交易28 pp 497–（2006）·doi:10.1109/TPAMI.2006.77 [47] 利奥波德，使用支持向量机进行文本分类，如何在输入空间中表示文本？机器学习46（1）pp 423–（2002）·Zbl 0998.68112号 [48] Lewis，D.D.1992《语音和自然语言研讨会论文集》中文本分类的特征选择和特征提取，Harriman·doi:10.3115/1075527.1075574 [49] Lewis，D.D.1997路透社-21578文本分类测试集http://www.daviddlewis.com/resources/testcollections/reuters21578/ [50] Li，通过最大裕度标准进行高效和稳健的特征提取，IEEE神经网络交易17（1）第157页–（2006）·doi:10.1109/TNN.2005.860852 [51] Li，S.R.Xia C.Zong C.-R.Huang 2009《ACL第47届年会联合会议和AFNLP第四届国际自然语言处理联合会议论文集》中文本分类的特征选择方法框架，计算语言学协会 [52] Lifshits，Y.S.Zhang，2009年最近邻、近重复和小世界设计的组合算法，第20届ACM-SIAM离散算法研讨会论文集 [53] Lobo，AUC：预测分布模型性能的误导性度量，《全球生态学与生物地理学》17，第145页–（2008）·doi:10.1111/j.1466-8238.2007.00358.x [54] Lodhi，使用字符串内核进行文本分类，《机器学习研究杂志》2第419页–（2002）·Zbl 1013.68176号 [55] Luxburg，《光谱聚类、统计与计算教程》17（4），第395页–（2007）·数字对象标识代码：10.1007/s11222-007-9033-z [56] 《正负型函数及其与积分方程理论的联系》，伦敦皇家学会哲学学报。A辑，包含数学或物理性质的论文209 pp 415–（1909）·doi:10.1098/rsta.1909.0016 [57] Mika，S.G.Rätsch J.Weston B.Schölkopf K.Muller 1999年Fisher核判别分析。IEEE神经网络信号处理车间 [58] Miwa，利用多核和解析器提取蛋白质相互作用，国际医学信息学杂志78（12）pp e39–（2009）·doi:10.1016/j.ijmedinf.2009.04.010 [59] Miwa，M.R.Saetre Y.Miyao J.Tsujii 2009从多个语料库中提取蛋白质相互作用的丰富特征向量《2009年自然语言处理协会计算语言学实证方法会议论文集》 [60] Miyao，Y.R.Stre K.Sagae T.Matsuzaki J.Tsujii 2008年面向任务的句法分析器及其表示方法评估，俄亥俄州哥伦布市人类语言技术计算语言学协会（ACL-HLT）第46届年会论文集 [61] Moschitti，A.2006第17届欧洲机器学习会议（ECML）论文集中依赖和组成句法树的有效卷积核·doi:10.1007/11871842_32 [62] Moschitti，A.2008《ACM第17届信息与知识管理会议（CIKM）论文集》中关系文本分类的核心方法、语法和语义 [63] Mu，IEEE模式分析和机器智能学报（2012a） [64] Mu，多类分类的自适应数据嵌入框架，IEEE神经网络和学习系统事务，23（8）：1291-1303（2012b） [65] Nadeau，《命名实体识别和分类调查》，《语言学调查》，第30页，第3页–（2007年）·doi:10.1075/li.30.1.03nad [66] Ng，Vincent 2010监督名词短语共指研究：前十五年在乌普萨拉计算语言学协会第48届年会论文集 [67] Nguyen，T.T.A.Moschiti G.Riccardi，2009年，《第20届欧洲机器学习会议（ECML）论文集》，西班牙巴塞罗那 [68] Osiáski，S.J.Stefanowski D.Weiss 2004 Lingo:基于奇异值分解的搜索结果聚类算法，摘自《国际IIS软计算、智能信息处理和Web挖掘进展（IIPWM’04）会议论文集》，波兰扎科帕内 [69] Osiñski，聚类搜索结果的概念驱动算法，IEEE智能系统20第48页–（2005）·doi:10.1109/MIS.2005.38 [70] Pekalska，异类表示允许构建良好的分类器，模式识别字母42（8）第943页–（2002）·Zbl 1015.68160号 ·doi:10.1016/S0167-8655（02）00024-7 [71] Pekalska，基于差异的分类器原型选择，模式识别39（2），第189页–（2006）·Zbl 1080.68646号 ·doi:10.1016/j.patcog.2005.06.012 [72] Pekalska，《基于差异的分类的广义核方法》，《机器学习研究杂志》，第2页，第175页–（2002） [73] Porter，后缀剥离算法，程序14（3）第130页–（1980）·doi:10.1108/eb046814 [74] Řehuřek，R.P.Sojka 2010使用大型语料库进行主题建模的软件框架在LREC 2010 NLP框架新挑战研讨会论文集中http://pypi.python.org/pypi/gensim [75] Rousu，大型字母表上带间隙子串核的高效计算，《机器学习研究杂志》，第6页，1323–（2005）·Zbl 1222.68292号 [76] Roweis，通过局部线性嵌入降低非线性维数，《科学》290（5500）pp 2323–（2000）·doi:10.1126/science.290.5500.2323 [77] Schölkopf，B.1997内核方法的进展：支持向量学习麻省理工学院出版社 [78] Schölkopf，作为核特征值问题的非线性分量分析，神经计算10（5）pp 1299–（1998）·doi:10.1162/08997669830017467 [79] Schölkopf，B.J.Weston E.Eskin C.Leslie W.S.Noble 2002第13届欧洲机器学习会议（ECML）论文集，芬兰赫尔辛基·Zbl 1020.68882号 [80] Shawe Taylor，模式分析的核方法（2004）·doi:10.1017/CBO9780511809682 [81] Shi，标准化切割和图像分割，IEEE模式分析和机器智能事务22（8），第888-（2000）页·数字对象标识代码：10.1109/34.868688 [82] Shi，结构化数据的哈希核，《机器学习研究杂志》，第10页，2615–（2009）·Zbl 1235.68188号 [83] Sugiyama，通过局部fisher判别分析对多模态标记数据进行降维，机器学习研究杂志，第8页，1027–（2007）·Zbl 1222.68312号 [84] Sun，L.S.Ji J.Ye 2008机器学习中一类广义特征值问题的最小二乘公式 [85] Surdeanu，语义角色标记的组合策略，《人工智能研究杂志》29页105–（2007）·Zbl 1182.68269号 [86] Tikk，PPI关系提取的快速有效依赖关系图内核，BMC生物信息学11（Suppl 5），第8页–（2010）·doi:10.1186/1471-2105-11-S5-P8 [87] Torgerson，《多维尺度：I.理论与方法》，《心理测量学杂志》17（4）第401页-（1952）·Zbl 0049.37603号 ·doi:10.1007/BF02288916 [88] Trefethen，工业和应用数学学会（1997） [89] Tsuda，K.1998非对称核函数支持向量分类器在比利时布鲁日欧洲人工神经网络（ESANN）研讨会论文集上的应用 [90] Wang，使用带隶属函数的支持向量机方法解决多标签文本分类问题，神经计算74（17）pp 3682–（2011）·doi:10.1016/j.neucom.2011.07.001 [91] Wu，《确定隐私保护博客主题相似性的方法比较》，《计算机科学》（2009） [92] Yan，图嵌入和扩展：降维的一般框架，IEEE模式分析和机器智能事务29（1），第40页–（2007）·doi:10.1109/TPAMI.2007.250598 [93] Kitsuregawa Yoshinaga，N.M.2010《内核切片：具有连接功能的可扩展在线培训》，《第23届国际计算语言学会议论文集》，科林2010，科林2010-组委会 [94] 扎伊丹，NAALC-HLT（2007） [95] Zanzotto，文本隐含识别的机器学习方法，自然语言工程15（4）pp 551–（2009）·doi:10.1017/S13513249099990143 [96] 赵，《第十三届计算自然语言学习会议论文集：共享任务》（CoNLL’09）（2009） [97] 周，具有丰富句法和语义信息的基于树核的语义关系提取，《信息科学：国际期刊》180（8）pp 1313–（2010）·doi:10.1016/j.ins.2009.12.006 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。