ExTOL公司:英国手语的端到端翻译

项目概述
出版物




ExTOL是EPSRC资助的项目(EP/RO3298X/1)中心视觉、语音和信号处理萨里大学使用视觉“几何图形”组大学牛津大学耳聋认知与语言研究中心伦敦大学学院.

关于项目:


手语的语言学研究与口语相比是相当新的,才刚刚开始20世纪60年代。语言学家对手语很感兴趣因为他们可以揭示完全不依赖声音的人类语言。其中一个问题是学习手语需要分析视频片段——因为手语缺乏任何标准书写或转录系统,这是非常劳动密集型。该项目将开发计算机视觉帮助进行视频分析的工具。这反过来会有帮助语言学家用长时间创造世界上第一台机器可读的野心手语数据集,这是一个大范围实现的目标20世纪70年代口语文本的数量。

该项目的最终目标是语言研究的数据和理解构建一个能够监视人类签名的系统并将其转化为书面英语。这将是一个世界第一个也是耳聋治疗的重要里程碑沟通。要实现这一点,计算机必须能够不仅能识别手的动作和形状,还能识别面部签名者的表情和身体姿势。它还必须理解这些方面是如何组合成短语的以及如何将其翻译成书面/口头语言。

尽管手语最近有了一些进步通过数据手套和动作捕捉系统进行识别,如Kinect,部分问题在于大多数计算机科学家在这个研究领域没有所需的深入手语知识。因此,该项目是一个英国顶尖专家之间的战略合作手语语言学和软件工程师专门从事计算机视觉和机器学习建立世界上第一种英国手语的目标是英语翻译系统和第一实用适用于任何手语的功能机器翻译系统。

其他信息:
萨里新闻稿
跛行鸡肉文章(BSL和英语)

机构 学术带头人
萨里大学(领导)
教授理查德·鲍登
牛津大学
教授安德鲁·齐瑟曼
伦敦大学学院
博士Kearsy Cormier公司
教授。本西·沃尔
咨询的董事会 罗伯特Adam(英国聋人协会)
Onno Crashborn(奈梅亨Radboud大学)
莎拉·埃布林(Interkantonale Hochschule für海尔帕达戈)
托马斯·汉克(汉堡大学)
安德鲁·麦克帕兰(英国广播公司)
Mark Wheatley(欧洲聋人联盟),