用音韵学改进符号识别

李·凯撒,杰西·托马森,泽德·塞希尔

摘要
我们利用对美国手语（ASL）音韵学研究的见解来训练孤立手语识别（ISLR）模型，这是走向自动手语理解的一步。我们的关键见解是明确认识到音韵学在手语产生中的作用，从而实现比不考虑手语音韵学的现有工作更准确的ISLR。我们训练ISLR模型，该模型对产生单个符号的签名者进行姿势估计，以不仅预测该符号，还预测其语音特征，例如手形。这些辅助预测使WLASL基准上的符号识别准确度增加了近9%的绝对增益，无论潜在的预测模型架构如何，ISLR都得到了持续的改进。这项工作有可能加速手语领域的语言学研究，并减少聋人和听力正常人之间的沟通障碍。
选集ID：
2023.eacl-main.200年
体积：
计算语言学协会欧洲分会第17届会议记录
月份：
五月
年份：
2023
地址：
克罗地亚杜布罗夫尼克
编辑：
安德烈亚斯·弗拉科斯,伊莎贝尔·奥根斯坦
地点：
EACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
2732–2737
语言：
网址：
https://aclantology.org/2023.eacl-main.200
内政部：
10.18653/v1/2023.eacl-main.200年
比比键：
引用（ACL）：
Lee Kezar、Jesse Thomason和Zed Sehyr。2023用音韵学改进符号识别.英寸计算语言学协会欧洲分会第17届会议记录，第2732–2737页，克罗地亚杜布罗夫尼克。计算语言学协会。
引用（非正式）：
用音韵学改进符号识别（Kezar等人，EACL 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.eacl-main.200.pdf
视频：
 https://aclantology.org/2023.eacl-main.200.mp4网站
PDF格式 引用 搜索 视频