徐开泉；廖少义（Stephen Shaoyi Liao）；Lau，Raymond Y.K。；Leon Zhao，J。 语义标注中使用大边缘分类器的有效主动学习策略：一个最佳参数发现视角。 （英语） Zbl 1304.68148号 INFORMS J.计算。 26，第3期，461-483（2014）. 摘要：已经探索了经典的监督机器学习技术，用于对非结构化文本数据（如社交媒体网站上存档的消费者评论）进行语义注释，以提取商业智能。然而，这些技术通常需要大量手动标记的训练示例来生成准确的注释。研究了几种基于概率序列模型设计的主动学习方法，以最小化语义标注任务中标记训练示例的数量。最近的研究表明，大边缘分类器具有强大的泛化能力和处理高维数据的能力，是自动语义标注的可行替代方案。然而，现有的针对概率序列模型的主动学习方法不容易适应并应用于大边缘分类器。本文的主要贡献是为大边缘分类器开发了新的主动学习方法，以填补上述研究空白。特别是，我们提出了一种创新的观点，即将主动学习作为大边缘分类器的最优参数搜索。一项包括两个基准测试和一个基于从Amazon.com提取的真实世界数据的实证测试的严格评估表明，所提出的主动学习方法可以用显著更少的训练实例训练有效的分类器，同时实现类似的注释性能，与仅使用几个标记的训练示例的典型的最先进的分类器相比。更具体地说，我们提出的一种主动学习方法与基于Amazon数据集评估的最佳基线方法相比，在68%的（F{1}）水平上可以减少19.74%的训练示例数。我们的研究为智能语义注释技术的应用打开了大门，以支持实际应用，例如自动分析消费者评论以进行客户关系管理。 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 关键词：主动学习；机器学习；数据挖掘；最优化；商业智能 软件：闸门；毛坯；GENIA语料库 PDF格式BibTeX公司 XML格式引用 \textit{K.Xu}等人，《信息与计算》。26，第3号，461--483（2014；Zbl 1304.68148） 全文： 内政部 参考文献： [1] Attenberg J、Melville P、Provost F、Saar-Teschansky M（2011）《选择性数据采集》。Krishnapuram B、Yu S、Rao RB编辑。成本敏感型机器学习（佛罗里达州博卡拉顿CRC出版社），101-155。 [2] Berry MW，Castellanos M（2007年）文本挖掘综述：聚类、分类和检索（Springer-Verlag，纽约）。 [3] Bhargava HK，Krishnan R（1998）《万维网：运筹学和管理科学的机遇》。INFORMS J.计算。10(4):359-383. [摘要] [4] Birlutiu A，Groot P，Heskes T（2012）高效学习人们的偏好。机器学习。10(4):1-28. ·Zbl 1260.68320号 [5] Bordes A、Ertekin S、Weston J、Bottou O（2005）《在线主动学习的快速内核分类器》。J.机器学习。物件。6:1579-1619. ·兹比尔1222.68152 [6] Carrizosa E、Mart-Barrag B、Moralesc D（2011）《监督分类中相关变量和相互作用的检测》。欧洲药典。物件。213(1):260-269. [7] Cohn D、Atlas L、Ladner R（1994），通过主动学习提高泛化能力。机器学习。15(2):201-221. [8] Culotta A，McCallum A（2005）减少结构化预测任务的标记工作。程序。第20届全国人工智能大会（加利福尼亚州门罗公园AAAI出版社），746-751。 [9] Cunningham H、Maynard D、Bontcheva K、Tablan V（2002）《GATE：强大的NLP工具和应用程序的框架和地理开发环境》。程序。40周年纪念大会协会计算。语言学（宾夕法尼亚州斯特劳斯堡计算语言学协会）。 [10] Das SR，Chen MY（2007）雅虎！亚马逊：从网络上的闲聊中提取情感。管理科学。53(9):1375-1388. [摘要] [11] Druck G，Mann G，McCallum A（2008）使用广义期望标准从标记特征中学习。程序。第31届国际年会。ACM SIGIR Conf.Res.开发信息。检索（纽约ACM出版社），595-602。 [12] Erik F，Tjong KS（2002）CONLL-2002共享任务简介：语言相关命名实体识别。程序。第六届Conf自然语言学习。（计算语言学协会，宾夕法尼亚州斯特劳德斯堡），155-158。 [13] Escudeiro N，Jorge A（2010年）D类-自信：一种有效识别小班学生的积极学习策略。程序。NAACL HLT 2010主动学习研讨会。自然语言处理，（计算语言学协会，宾夕法尼亚州斯特劳德斯堡），18-26。 [14] Evgeniou T、Pontil M、Poggio T（2000）《统计学习理论：入门》。国际。J.计算。愿景38(1):9-13. ·Zbl 1012.68685号 [15] Fan W，Michael GD，Pathak P（2005）基于遗传编程的排名函数发现，用于有效的Web搜索。J.管理层通知。系统21(4):37-56. [16] Farhoomand AF，Drury DH（2002）管理信息过载。通信ACM45(10):127-131. [17] Greiner R、Grove AJ、Roth D（2002）《学习成本敏感型主动分类器》。人工智能139(2):137-174. [18] Grilheres B，Beauce C，Canu S，Brunessaux S（2005）《条件随机域语义注释的基准测试》。程序。第二届欧洲知识、语义和数字媒体技术集成研讨会（伦敦电气工程师学会），233-236。 [19] Guillory A、Chastain E、Bilmes J（2009）《作为非凸优化的主动学习》。J.机器学习。物件。5:201-208. [20] Haldun A，Serpil S（2009）使用支持向量机学习多目标离散优化中的有效集。欧洲药典。物件。193(2):510-519. ·Zbl 1157.90013号 [21] Hotho A，Nürnberger A，PaaßG（2005）文本挖掘的简要概述。J.计算。语言学语言技术。20(1):19-62. [22] Ikeda K，Yamasaki T（2007）增量支持向量机及其几何分析。神经计算70（13-15）：2528-2533。 [23] Ingo S，Andreas C（2008）支持向量机（Springer-Verlag，纽约）。 [24] Jang H，Song SK，Myaeng SH（2006）使用隐藏马尔可夫模型进行医学文档的文本挖掘。程序。第三届亚洲会议通知。检索技术。（柏林斯普林格·弗拉格），553-559年。 [25] Ji S，Carin L（2007）成本敏感特征获取和分类。模式识别40(5):1474-1485. ·Zbl 1113.68085号 [26] Joachims T（1999）使大规模支持向量机学习实用化。Schölkopf B，Burges JC，Smola AJ编辑。核方法的进展：支持向量学习（麻省理工学院出版社，马萨诸塞州剑桥），169-184。 [27] Joachims T（2008）SVM-struct:复杂输出的支持向量机。2011年1月15日访问，http://svmlight.joachims.org/svm_struct.html。 [28] Khemchandani R，Jayadeva，Chandra S（2009），基于知识的近端支持向量机。欧洲药典。物件。195(3):914-923. ·Zbl 1159.68531号 [29] Kim S，Song Y，Kim K，Cha J，Lee G（2006）基于MMR的生物命名实体识别主动机器学习。程序。北美人类语言技术会议。第三章关联计算。语言学（计算语言学协会，宾夕法尼亚州斯特劳德斯堡），69-72。 [30] Korde V，Mahender CN（2012）《文本分类和分类器：一项调查》。国际。J.人工智能应用。3(2):85-99. [31] Lafferty J，McCallum A，Pereira F（2001）条件随机场：序列数据分割和标记的概率模型。程序。第18届国际米兰。Conf.机器学习。（Morgan Kaufmann，旧金山），第282-289页。 [32] Lampert CH，Peters J（2009），用于高速目标检测的主动结构化学习。程序。第31届DAGM交响乐团。模式识别（柏林斯普林格·弗拉格），221-231。 [33] Lau KW，Wu QH（2003）支持向量分类器的在线训练。模式识别36(8):1913-1920. ·Zbl 1054.68123号 [34] Lau RYK，Bruza PD，Song D（2008）《建立基于信念修正的自适应和上下文敏感信息检索系统》。ACM事务处理。通知。系统26（2）：8.1-8.38。 [35] Li Y，Bontcheva K，Cunningham H（2004）基于SVM的信息提取学习系统。程序。第一国际。Conf.确定性统计。机器学习方法。（柏林斯普林格·弗拉格），319-339·Zbl 1133.68399号 [36] Lopresti T（2009）《经济生命线：文本挖掘客户体验》。2010年3月11日访问，http://www.mycustomer.com/item/134245。 [37] Lou X，Hamprecht FA（2012），从部分注释中进行结构化学习。程序。第29届国际。Conf.机器学习。（纽约，全能出版社），1519-1526年。 [38] Manning C、Schutze H（1999）统计自然语言处理基础（麻省理工学院出版社，马萨诸塞州剑桥）。 [39] Martens D，Baesens B，Gestel V，Vantheenen J（2007）使用支持向量机规则提取的可理解信用评分模型。欧洲药典。物件。183(3):1466-1476. ·Zbl 1278.91177号 [40] Maynard D，Peters W，Li Y（2006）基于本体论的信息提取评估指标。程序。第十五届国际会议万维网（ACM，纽约），233-240。 [41] McCallum A（2002）MALLET:语言工具包的机器学习。2011年1月3日访问，http://mallet.cs.umass.edu。 [42] Mitchell TM（1982）《概括为搜索》。人工智能18(2):203-226. [43] Nguyen HT，Smeulders A（2004）使用预聚类进行主动学习。程序。第二十届国际学生。Conf.机器学习。（ACM，纽约），79-86。 [44] Nguyen N，Guo Y（2007）序列标记算法和扩展的比较。程序。第二十四届国际学生。Conf.机器学习。（ACM，纽约），681-688。 [45] Ohta T，Tateisi Y，Kim J，Mima H，Tsujii J（2002）GENIA语料库：分子生物学领域的注释研究摘要语料库。程序。第二国际。Conf.人类语言技术研究。（摩根·考夫曼，旧金山），82-86。 [46] Olafsson S，Li X，Wu S（2008）运筹学与数据挖掘。欧洲药典。物件。187（3）：1429-1448·兹比尔1137.90776 [47] O'Riain S，Spyns P（2006）用语义增强业务分析功能。程序。2006年国际联合会。Conf.转向有意义的互联网系统：CoopIS、DOA、GADA、ODBASE（柏林施普林格·弗拉格），818-835年。 [48] Padmanabhan B，Tuzhilin A（2003）《关于优化在数据挖掘中的应用：理论互动和eCRM机会》。管理科学。49(10):1327-1343. [摘要] [49] Pradhan S、Hacioglu K、Krugler V、Ward W、Martin JH、Jurafsky D（2005）《语义论点分类的支持向量学习》。机器学习。60:11-39. [50] Rabiner LR（1989）语音识别中隐藏马尔可夫模型和选定应用的教程。电气与电子工程师协会77(2):257-286. [51] Reeve L（2004）将隐马尔可夫模型集成到语义Web注释平台中。宾夕法尼亚州费城德雷塞尔大学信息科学与技术学院技术报告。 [52] Reeve L，Han H（2005）语义标注平台综述。程序。第20届ACM年度交响曲。申请。计算。（ACM，纽约），1634-1638年。 [53] Ring S（2001）使用支持向量机的增量学习。程序。第一个IEEE Internat。Conf.数据挖掘（IEEE计算机学会，华盛顿特区），641-642。 [54] Rita K，Eid T，White A（2005）管理更新：公司应调整其结构化和非结构化数据。2010年3月21日访问，http://www.gartner.com/DisplayDocument？doc_cd=126099&ref=g_fromdoc。 [55] Roy N，McCallum A（2001）通过误差减少的抽样估计实现最优主动学习。Brodley CE，Danyluk A，编辑。程序。第十八国际。Conf.机器学习。（摩根·考夫曼，旧金山），441-448。 [56] Saar-Tschechansky M，Melville P，Provost F（2009）《主动特征值获取》。管理科学。55(4):664-684. [摘要] [57] Scheffer T，Decomain C，Wrobel S（2001）信息提取的主动隐马尔可夫模型。程序。第四国际。Conf.Adv.智能数据分析。（施普林格-弗拉格，伦敦），309-318·Zbl 1029.68887号 [58] Sen S，Padmanabhan B，Tuzhilin A，White NH，Stein R（1998）消费者分析驱动的WWW营销人员信息需求的识别和满足。Eur.J.市场营销32（7-8）：688-702。 [59] 解决B（2009）主动学习文献调查。技术报告1648，威斯康星大学麦迪逊分校计算机科学系，麦迪逊·Zbl 1270.68006号 [60] 解决方案B（2011）从理论到问题：实践中的主动学习。JMLR研讨会会议程序。（缩微图书出版，马萨诸塞州布鲁克林），1-18。 [61] Settles B，Craven M（2008）序列标记任务的主动学习策略分析。程序。2008年自然语言处理中的Conf.实证方法（计算语言学协会，宾夕法尼亚州斯特劳德斯堡），1070-1079。 [62] Shawe-Taylor J，Cristianini N（1999）关于边际分布的进一步结果。程序。第十二届年度大会计算。学习。理论（ACM，纽约），278-285。 [63] 沈德，张杰，苏杰，周G，谭C（2004）基于多准则的命名实体识别主动学习。程序。第42届年会协会计算。语言学（计算语言学协会，宾夕法尼亚州斯特劳德斯堡），589。 [64] Spangler S、Kreulen JT、Lessler J（2003）在文档集合上生成和浏览多个分类法。J.管理层通知。系统19(4):191-212. [65] Srivastava J，Cooley R（2003）《网络商业智能：从网络中挖掘可操作的知识》。INFORMS J.计算。15(2):191-207. [摘要] [66] Strehl A，Ghosh J（2003）基于关系的聚类和高维数据挖掘可视化。INFORMS J.计算。15(2):208-230. [摘要]·Zbl 1238.68037号 [67] Surdeanu M，Ciaramita M（2007）使用感知器进行稳健信息提取。程序。NIST 2007自动内容提取研讨会（NIST多式联运信息集团，华盛顿特区），1-4。 [68] Sutton C，McCallum A（2007）条件随机场有效训练的分段伪似然。程序。第24届国际。Conf.机器学习。（ACM，纽约），863-870。 [69] Symons CT、Samatova NF、Ramya K、Park BH（2006），条件随机场中的多准则主动学习。程序。第18届IEEE国际。将工具与人工智能混淆（IEEE计算机学会，华盛顿特区），323-331。 [70] 唐J，洪M，李J，梁B（2006）语义标注的树结构条件随机场。程序。第五国际。语义网络会议。（施普林格出版社，柏林），640-653。 [71] Thompson CA、Calif ME、Mooney RJ（1999）《自然语言解析和信息提取的主动学习》。程序。第十六国际。Conf.机器学习。（摩根·考夫曼，旧金山），406-414。 [72] Tong S，Koller D（2002）支持向量机主动学习及其在文本分类中的应用。J.机器学习。物件。2:45-66. ·Zbl 1009.68131号 [73] Tsochantaridis I，Hofmann T，Joachims T，Altun Y（2004），相互依赖和结构化输出空间的支持向量机学习。程序。第二十届国际学生。Conf.机器学习。（ACM，纽约），104-111。 [74] Tsochantaridis I，Joachims T，Hofmann T，Altun Y（2005）结构化和相互依赖输出变量的大幅度方法。J.机器学习。物件。6:1453-1484. ·Zbl 1222.68321号 [75] Victoria U、Cimiano P、Iria J、Handschuh S、Vargas Vera M、Motta E、Ciravegna F（2006）《知识管理的语义注释：需求和现状调查》。J.网络语义学4(1):14-28. [76] 弗拉基米尔五世（1995）统计学习理论的本质（Springer-Verlag，纽约）·Zbl 0833.62008号 [77] Webb AR（2002）统计模式识别（约翰·威利父子公司，新泽西州霍博肯）。 [78] Wei CP，Hu PJ，Tai CH，Huang CN，Yang CS（2008）信息检索中的单词错配问题：基于主题的查询扩展方法。J.管理层通知。系统24(3):269-295. [79] Yan R，Yang J，Hauptmann A（2003）使用多类主动学习自动标记视频数据。程序。第九届IEEE国际。Conf.计算。愿景（IEEE计算机学会，华盛顿特区），516-523。 [80] Yasemin A，Ioannis T，Thomas H（2003）隐马尔可夫支持向量机。程序。第二十届国际米兰。Conf.机器学习。（AAAI出版社，加利福尼亚州帕洛阿尔托），3-10。 [81] Yu CN（2010）改进的结构支持向量机学习：使用潜在变量和非线性核进行训练。未发表博士论文，康奈尔大学计算机科学系，纽约州伊萨卡。 [82] Zhang X，Zou J，Le DX，Thoma GR（2010）引用解析的结构支持向量机方法。程序。第九国际。Conf.机器学习。申请。（IEEE计算机学会，华盛顿特区），479-484。 [83] Zhao B，Yin X，Xing EP（2011）关于领域独立网络信息提取的最大边际学习。程序。第20届ACM国际。确认通知。知识管理（ACM，纽约），1305-1310。 [84] Zheng Z，Padmanabhan B（2006）《选择性获取客户信息：一个新的数据获取问题和基于主动学习的解决方案》。管理科学。52(5):697-712. [摘要] [85] 朱J，聂Z，张B，文J-R（2008）用于集成Web数据提取的动态层次马尔可夫随机场。J.机器学习。物件。9:1583-1614. ·Zbl 1225.68226号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。