一种神经范畴标注模型
作者:
作者单位:

作者简介:

通讯作者:

中国

基金项目:

国家自然科学基金(61333018);中国科学院战略性先导科技专项(XDB02070007)


基于神经网络的组合范畴语法重叠标记
作者:
附属:

基金项目:

国家自然科学基金项目(61333018);中国科学院战略优先研究计划(XDB02070007)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    范畴标注是组合范畴语法解析中的子任务之一,可用于提高解析器的效率和性能.传统的最大熵模型需要手工定义特征模板,神经网络则通过隐含层学习到离散特征的分布式表示,从而自动提取分类需要的特征.引入该模型来解决该问题,在原有神经语言模型的基础上加入了向量化的词性表示层和范畴表示层,并通过反向传播自动更新词向量、词性向量和范畴向量,学习到它们的分布式表示.此外,在预测时采用束搜索的序列解码方式来引入标签之间的依赖信息.实验结果表明,这两种改进都能提升模型的性能,使其在范畴标注任务上比传统的最大熵模型效果要好提升1%).

    摘要:

    作为基于组合范畴语法(CCG)的句法分析的子任务,范畴标记可以提高句法分析的效率和准确性。传统的最大熵模型通过设计有意义的特征模板来解决这个问题,而神经网络可以基于分布式表示自动提取特征。本文提出了一种神经分类标注模型,并进行了两项改进。首先,将单词嵌入层扩展为部分语言嵌入层和类别嵌入层,这有助于通过反向传播算法联合学习它们的分布式表示。其次,在解码过程中使用波束搜索来捕获标签之间的相关性。这两项改进使得所提出的模型比最新的基于最大熵的标记器更准确(高达1%)。

    参考文献
    相似文献
    引证文献
本章程

吴惠甲,张家俊,宗成庆.一种神经范畴标注模型.软件学报,2016,27(11):2691-2700

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML格式阅读次数:
  • 引用次数:
历史
  • 收稿日期:2015年3月17日
  • 最后修改日期:2015-06-24
  • 录用日期:
  • 在线发布日期:2016-11-02
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所电感耦合等离子体05046678号-
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533电子邮件:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063