连续手语识别中的文本纠正和补全方法

doi:10.11772/j.issn.1001-9081.2020060798

计算机应用››2021,第41卷››问题（3）: 694-698.DOI（操作界面）：10.11772/j.issn.1001-9081.2020060798

所属专题：人工智能

连续手语识别中的文本纠正和补全方法

龙广玉¹,陈益强^1,2,邢云冰²

1湘潭大学计算机学院·网络空间安全学院, 湖南湘潭 411105;
2中国科学院计算技术研究所, 北京 100190

收稿日期:2020-06-11 修回日期:2020-10-20 出版日期:2021-03-10 发布日期:2020-12-22
通讯作者:陈益强
作者简介:龙广玉(1995-),女,广西宜州人,硕士研究生,共因失效会员,主要研究方向:自然语言处理、数据挖掘;陈益强(1973-),男,湖南湘潭人,研究员,博士,共因失效杰出会员,主要研究方向:泛在计算、可穿戴计算、智能人机交互;邢云冰(1982-),男,河北张家口人,高级工程师,硕士,主要研究方向:手语交互、感知计算、健康监护。
基金资助:
国家重点研发计划项目（2018YFC2002603）

连续手语识别中的文本校正与补全方法

龙光裕¹,陈一强^1,2,邢云兵²

1.湘潭大学计算机科学学院和网络科学学院，湖南湘潭411105，中国；
2.中国科学院计算技术研究所，北京100190

收到：2020-06-11 修订过的：2020-10-20 在线：2021-03-10 出版：2020-12-22
支持单位：
这项工作得到了国家重点研发计划（2018YFC2002603）的部分支持。

摘要/摘要

摘要：针对基于视频的连续手语识别的文本结果存在语义模糊、语序混乱的问题，提出一种两步法将连续手语识别结果的手语文本转化为通顺、可懂的汉语文本。第一步，基于自然手语规则以及N个元语言模型（N个-克）对连续手语识别的结果进行文本调序；第二步，利用汉语通用量词数据集训练双向长短期记忆（双-LSTM）网络模型，以解决手语语法无量词的问题，从而提升语句通顺度。使用绝对准确率和最长正确子序列占比作为文本调序的评价指标，实验结果显示，所提方法的文本调序结果绝对准确率为77.06%，最长正确子序列占比为86.55%，量词补全准确率为97.23%。所提的方法能够有效提升连续手语识别的文本结果的通畅度和可懂度，已成功应用于基于视频的连续手语识别，提升了听障人和健听人的无障碍交流体验。

关键词: 连续手语识别, N个元语言模型, 文本调序, 双向长短记忆网络, 量词补全

摘要：针对基于视频的连续手语识别的文本结果存在语义歧义和语序混乱的问题，提出了一种两步方法，将连续手语辨识结果的手语文本转换为流畅易懂的中文文本。在第一步中，自然手语规则和N个-gram语言模型(N个-gram）用于对连续手语识别结果进行文本排序。第二步，利用汉语通用量词数据集训练双向长短期记忆（Bi-LSTM）网络模型，解决手语语法中的无量词问题，以提高文本的流畅性。采用绝对准确度和最长正确子序列的比例作为文本排序的评价指标。实验结果表明，该方法的文本排序结果具有77.06%的绝对准确度，86.55%的最大正确子序列比例，量词完成的准确率为97.23%。该方法可以有效地提高连续手语识别文本结果的平滑度和可理解性。它已成功应用于基于视频的连续手语识别，改善了听力障碍者和正常人之间的无障碍交流体验。

关键词： 持续手语识别， N个-gram语言模型，文本排序，双向长短期存储器（Bi-LSTM）网络，量词补全

中图分类号:

第391.1页

龙广玉, 陈益强, 邢云冰. 连续手语识别中的文本纠正和补全方法[J] ●●●●。计算机应用, 2021, 41(3): 694-698.

龙光宇，陈毅强，邢云兵.连续手语识别中的文本修正与补全方法[J]。计算机应用杂志，2021，41（3）：694-698。

参考文献

[1] 刘润楠. 中国大陆手语语言学研究现状[J] ●●●●。中国特殊教育, 2005(5):26-29. （刘瑞娜.中国大陆手语语言学研究现状[J].中国特殊教育杂志，2005（5）：26-29.）
[2] KOLLER O，FORSTER J，NEY H.连续手语识别：面向处理多个签名者的大词汇统计识别系统[J]。计算机视觉和图像理解，2015141:108-125。
[3] 黄杰，周伟，张强，等。基于视频的无时间分割手语识别[C]//第32届AAAI人工智能会议论文集。加利福尼亚州帕洛阿尔托：AAAI出版社，2018:2257-2264。
[4] CAMGOZ N C，HADFIELD S，KOLLER O，et al.神经手语翻译[C]//2018 IEEE/CVF计算机视觉与模式识别会议论文集。皮斯卡塔韦：IEEE，2018:7784-7793。
[5] 袁Z，BRISCOE T.使用神经机器翻译进行语法错误纠正[C]//计算语言学协会北美分会2016年会议记录：人类语言技术。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2016:380-386。
[6] YANG Y，XIE P，TAO J，等.阿里巴巴在IJCNLP-2017任务1：为汉语语法错误诊断任务将语法特征嵌入LSTM中[C]//第八届国际自然语言处理联合会议论文集。[S.l.]：亚洲自然语言处理联合会，2017:41-46。
[7] FU K，HUANG J，DUAN Y，et al.有道对NLPCC-2018任务2挑战的成功解决方案：汉语语法错误纠正的神经机器翻译方法[C]//2018年国际会议自然语言处理论文集，LNCS 11108。查姆：施普林格，2018:341-350。
[8] GUBBINS J，VLACHOS A.句子完成的依赖语言模型[C]//2013年自然语言处理经验方法会议论文集。宾夕法尼亚州斯特劳德斯堡：计算语言学协会，2013:1405-1410。
[9] PARK H，CHO S，PARK J.Word RNN作为句子完成的基线[C]//IEEE第五届国际信息科学与技术大会论文集。皮斯卡塔韦：IEEE，2018:183-187。
[10] ISLAM S，SARKAR M F，HUSSAIN T，等.基于深度神经网络的序列到序列学习的孟加拉语句子纠正[C]//第21届国际计算机与信息技术会议论文集。皮斯卡塔韦：IEEE，2018:1-6。
[11] CAVNAR W B，TRENKLE J M.N-gram-based text categorification[C]//第三届文献分析与信息检索年会论文集。拉斯维加斯：ISRI，1994:161-175。
[12] 吕会华, 王红英, 巩卓. 国内外手语语序研究综述[J] ●●●●。中州大学学报,2014,31（3）：73-79
[13] SUTSKEVER I，VINYALS O，LE Q V.神经网络序列到序列学习[C]//第27届神经信息处理系统国际会议论文集。剑桥：麻省理工学院出版社，2014:3104-3112。
[14] HUANG Z，XU W，YU K.用于序列标记的双向LSTM-CRF模型[EB/OL]。[2020-04-06]. https://arxiv.org/pdf/1508.01991.pdf。
[15] 肖斯特M，帕利瓦尔K K。双向递归神经网络[J]。IEEE信号处理学报，1997,45（11）：2673-2681。
[16] 布莱特马特。Brightmart/nlp_chinese_corpus：发布版本1.0[EB/OL]。[2020-04-04]. https://doi.org/10.5281/zenodo.3402023。
[17] 中国残疾人联合会教育就业部, 中国聋人协会. 中国手语日常会话[M] ●●●●。北京:华夏出版社,2006:1-140.（中国残疾人联合会教育就业部、中国聋哑人协会.中国手语日常会话[M].北京：华夏出版社，2006:1-140。）
[18] REITER E.BLEU有效性的结构化审查[J]。计算语言学，2018,44（3）：393-401。
[19] 王敏, 郑家恒. 基于改进的隐马尔科夫模型的汉语词性标注[J] ●●●●。计算机应用,2006,26（S2）：197-198207

连续手语识别中的文本纠正和补全方法

连续手语识别中的文本校正与补全方法

PDF格式

可视化

摘要/摘要

引用本文

使用本文

参考文献

相关文章15

编辑推荐

韵律学

[1]	殷雨昌王洪元陈莉冯尊登肖宇.基于单标注样本的多损失学习与联合度量视频行人重识别[J] ●●●●。计算机应用, 0, (): 0-0.
[2]	左亚尧陈致然洪嘉伟陈坤.融合多语义特征的命名实体识别方法[J] ●●●●。计算机应用, 0, (): 0-0.
[3]	袁景凌, 丁远远, 潘东行, 李琳.基于时序和上下文特征的中文隐式情感分类模型[J] ●●●●。计算机应用, 2021, 41(10): 2820-2828.
[4]	杨书新, 张楠.融合情感词典与上下文语言模型的文本情感分析[J] ●●●●。计算机应用, 2021, 41(10): 2829-2834.
[5]	杨璐, 何明祥.基于门控机制和卷积神经网络的中文文本情感分析模型[J] ●●●●。计算机应用, 2021, 41(10): 2842-2848.
[6]	董永峰, 刘超, 王利琴, 李英双.融合多跳关系路径信息的关系推理方法[J] ●●●●。计算机应用, 2021, 41(10): 2799-2805.
[7]	吴赛赛, 梁晓贺, 谢能付, 周爱莲, 郝心宁.面向领域实体关系联合抽取的标注方法[J] ●●●●。计算机应用, 2021, 41(10): 2858-2863.
[8]	胡婕胡燕刘梦赤张龑.基于知识库实体增强BERT（误码率）模型的中文命名实体识别[J] ●●●●。计算机应用, 0, (): 0-0.
[9]	郝志刚秦丽李国亮.基于多属性综合评价的食品安全标准引用网络重要节点发现方法[J] ●●●●。计算机应用, 0, (): 0-0.
[10]	丁行硕李翔谢乾.基于标签分层延深建模的企业画像构建方法[J] ●●●●。计算机应用, 0, (): 0-0.
[11]	刘子辰, 李小娟, 韦伟.基于循环神经网络的专利价格自动评估[J] ●●●●。计算机应用, 2021, 41(9): 2532-2538.
[12]	余敦辉, 万鹏, 王社.基于企业知识图谱构建的实体关联查询系统[J] ●●●●。计算机应用, 2021, 41(9): 2510-2516.
[13]	张阳王小宁.基于文字2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法[J] ●●●●。计算机应用, 0, (): 0-0.
[14]	李灿杨雅婷马玉鹏董瑞.基于语种相似性挖掘的神经机器翻译语料库扩充方法[J] ●●●●。计算机应用, 0, (): 0-0.
[15]	王伟, 赵尔平, 崔志远, 孙浩.基于知网和Word2vec词向量表示的多特征融合消歧方法[J] ●●●●。计算机应用, 2021, 41(8): 2193-2198.