×
张明伟;列夫·拉蒂诺夫;丹·罗斯

带约束条件模型的结构化学习。 （英语） Zbl 1260.68322号

机器。学习。 88，第3期，399-431（2012）.
总结：在现实问题中做出复杂的决策通常涉及到为相互依赖的变量集赋值，这些变量之间的表达依赖结构可以影响甚至决定可能的赋值。常用的模型通常忽略表达性依赖，因为传统的合并非局部依赖的方法效率低下，因此导致昂贵的训练和推理。
本文的贡献是双重的。首先，本文提出了约束条件模型（CCM），这是一个框架，它使用声明性约束来增强线性模型，以支持在表达输出空间中的决策，同时保持训练的模块性和可控制性。本文开发、分析和比较了基于隐马尔可夫模型和结构化感知器的CCM新算法。还将所提出的CCM框架与任务定制模型（如半CRF）进行了比较。
其次，我们提出了CoDL，一种约束驱动的学习算法，它利用约束来指导半监督学习。我们为CoDL提供了理论依据，并通过实证结果证明了在概率模型的半监督训练中使用声明性约束的优势。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68T50型 自然语言处理

关键词：

半监督学习;信息提取;自然语言处理
PDF格式BibTeX公司 XML格式引用
\textit｛M.-W.Chang｝等人，马赫。学习。88，第3号，399--431（2012；Zbl 1260.68322）
全文： 内政部

参考文献：

[1] 巴兹雷，R。；Lapata，M.，通过集合分区进行自然语言生成的聚合，2006年6月
[2] 贝拉雷，K。；Druck，G。；McCallum，A.，具有期望约束的交替学习预测（2009）
[3] Blum，A。；Mitchell，T.，将标记和未标记数据与联合训练相结合，92-100（1998）
[4] Borman，S.（2004）。期望最大化算法——简短教程。介绍了期望最大化（EM）算法，并充实了基本的数学结果，包括收敛性证明。还介绍了广义EM算法，2004年7月。
[5] A.卡尔森。；Betteridge，J。；王R.C。；赫鲁晓卡，E.R。；Mitchell，T.M.，信息提取的耦合半监督学习（2010）
[6] Chang，M。；Ratinov，L。；Roth，D.，《利用约束驱动学习指导半监督》，捷克共和国布拉格，2007年6月，纽约
[7] 查尼亚克，E。；Johnson，M.，《从粗到细的n-最佳解析和最大鉴别重分类》，密歇根州安阿伯，纽约
[8] 克拉克，J。；Lapata，M.，《基于约束的句子压缩：整数编程方法》，澳大利亚悉尼，2006年7月，纽约
[9] Cohen，W.，《在命名实体提取中利用字典：结合半马尔可夫提取过程和数据集成方法》，89-98（2004）
[10] Collins，M.，《自然语言解析的歧视性重新分类》，175-182（2000），旧金山
[11] Collins，M.，隐马尔可夫模型的判别训练方法：感知器算法的理论和实验（2002）
[12] 柯林斯，M。；Singer，Y.，命名实体分类的无监督模型（1999）
[13] Collins-Thompson，K.，《通过稳健约束优化降低查询扩展风险》，837-846（2009）·doi:10.1145/1645953.1646059
[14] Cozman，F.G。；科恩，I。；Cirelo，M.C.，混合模型的半监督学习，99-106（2003）
[15] Daumé，H。；Marcu，D.，《作为搜索优化的学习：结构化预测的近似大幅度方法》，德国波恩，2005年
[16] Dechter，R。；Mateescu，R.，确定性概率网络及其与或搜索空间的混合，弗吉尼亚州阿灵顿，美国，2004年，纽约
[17] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法从不完整数据中获得最大似然。《皇家统计学会杂志》，39，1-38·Zbl 0364.62022号
[18] 丹尼斯，P。；Baldridge，J.，使用整数规划联合确定回指性和共指消解（2007）
[19] Finkel，J.R。；格雷纳格，T。；Manning，C.，《通过吉布斯抽样将非本地信息纳入信息提取系统》，美国新泽西州莫里斯敦，2005年，纽约
[20] 弗里德曼，N。；盖托，L。；科勒，D。；Pfeffer，A.，学习概率关系模型，1300-1309（1999）
[21] Ganchev，K.、Graça，J.、Gillenwater，J.和Taskar，B.（2010年）。结构潜在变量模型的后验正则化。机器学习研究杂志·Zbl 1242.68223号
[22] Graca，J.V。；甘切夫，K。；Taskar，B.，《期望最大化和后验约束》，第20期（2007年）
[23] 格雷纳格，T。；克莱因，D。；Manning，C.，信息提取领域分割模型的无监督学习（2005），纽约
[24] Haghhii，A。；Klein，D.，序列模型的原型驱动学习（2006）
[25] Hinton，G.，《专家产品》，1-6（1999）·doi:10.1049/cp:19991075
[26] Huang，L.，Forest重新分类：具有非局部特征的区分性分析（2008）
[27] Jaeger，M。；Kaufmann，M.（编辑），关系贝叶斯网络，266-273（1997）
[28] Kazama，J。；Torisawa，K.，一种用于非局部特征序列标记的新感知器算法，315-324（2007）
[29] Kersting，K。；Raedt，L.D。；Cussens，J.（编辑）；Frisch，A.（编辑），贝叶斯逻辑程序，138-155（2000）
[30] 拉弗蒂，J。；McCallum，A。；Pereira，F.，条件随机场：分割和标记序列数据的概率模型（2001）
[31] 梁，P。；M.I.乔丹。；Klein，D.，从指数族的测量中学习（2009）
[32] 梁，P。；Klein，D.，分析无监督学习的错误（2008）
[33] Mann，G。；McCallum，A.，条件随机场半监督学习的广义期望标准，870-878（2008）
[34] Marciniak，T。；Strube，M.，《超越管道：NLP中的离散优化》，密歇根州安阿伯，2005年6月，纽约·doi:10.3115/1706543.1706568
[35] McCallum，A。；弗雷塔格，D。；Pereira，F.，信息提取和分割的最大熵马尔可夫模型（2000）
[36] Merialdo，B.，用概率模型标记文本（1991）
[37] Ng，A.Y。；Jordan，M.I.，《区分性分类器与生成性分类器：逻辑回归与朴素贝叶斯的比较》，841-848（2001）
[38] Ngo，L。；Haddawy，P.，概率逻辑编程和贝叶斯网络，286-300（1995）
[39] Nigam，K.、Mccallum，A.、Thrun，S.和Mitchell，T.（2000）。使用EM.机器学习从标记和未标记文档进行文本分类，39（2/3），103-134·Zbl 0949.68162号 ·doi:10.1023/A:1007692713085
[40] Punyakanok，V.公司。；罗斯，D。；Yih，W.，语义角色标注的句法分析必要性，1117-1123（2005）
[41] Punyakanok，V.公司。；罗斯，D。；Yih，W。；Zimak，D.，《受限输出的学习和推理》，1124-1129（2005）
[42] Punyakanok，V.、Roth，D.和Yih，W.（2008年）。句法分析和推理在语义角色标注中的重要性。计算语言学，34（2），257-287·doi:10.1162/coli.2008.34.2.257
[43] Rabiner，L.R.和Juang，B.H.（1986年）。隐马尔可夫模型简介。IEEE ASSP杂志，3（1），4-16·doi:10.1109/MASSP.1986.1165342
[44] Richardson，M.和Domingos，P.（2006年）。马尔可夫逻辑网络。机器学习杂志，62（1-2），107-136·Zbl 1470.68221号 ·doi:10.1007/s10994-006-5833-1
[45] Rizzolo，北。；Roth，D.，《区分性全球推断建模》，加利福尼亚州欧文，2007年9月，纽约·doi:10.1109/ICSC.2007.53
[46] Roth，D.，《自然语言学习》，898-904（1999）
[47] 罗斯，D。；Yih，W。；Ng，H.T.（编辑）；Riloff，E.（编辑），自然语言任务中全局推理的线性规划公式，1-8（2004），纽约
[48] 罗斯，D。；Yih，W.，条件随机场的整数线性规划推断，737-744（2005）
[49] 罗斯，D。；Yih，W。；Getoor，L.（编辑）；Taskar，B.（编辑），通过线性规划公式进行实体和关系识别的全局推理（2007年），剑桥
[50] 萨拉瓦吉，S。；Cohen，W.，信息提取的Semi-Markov条件随机场，1185-1192（2004）
[51] Thelen，M。；Riloff，E.，《使用提取模式上下文学习语义词典的自举方法》（2002年）
[52] Toutanova，K。；Haghhii，A。；Manning，C.D.，联合学习改进了语义角色标记（2005）
[53] Yarowsky，D.，《无监督词义消歧与监督方法的比较》（1995年）
[54] Zhu，X.（2006）。半监督学习文献调查。
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。