SLTEV公司口语翻译综合评价

易卜拉欣·安萨里,Ondřej Bojar公司,巴里·哈多,穆罕默德·马哈茂迪

摘要
机器翻译（MT）质量的自动评估已经研究了几十年。口语翻译（SLT），尤其是同时进行时，需要考虑其他标准，并且没有标准的评估程序和广泛使用的工具包。为了填补这一空白，我们开发了SLTev，这是一个用于全面评估SLT的开源工具。SLTev报告SLT候选输出的质量、延迟和稳定性，该输出基于标记时间的转录本和参考翻译为目标语言。就质量而言，我们依赖saceBLEU，它提供机器翻译评估措施，如chrF或BLEU。对于延迟，我们提出了两种新的评分技术。为了稳定性，我们在工作中用归一化的Flicker扩展了先前定义的度量。我们还提出了旧度量的新平均值。SLTev的初步版本用于IWSLT 2020共享任务。此外，SLTev可直接访问的测试数据集越来越多，用于跨论文的系统评估。
选集ID：
2021.每个演示。9
体积：
计算语言学协会欧洲分会第16届会议记录：系统演示
月份：
四月
年份：
2021
地址：
在线的
编辑：
迪米特拉·格卡齐亚,杰梅·塞达
地点：
EACL公司
信号：
出版商：
计算语言学协会
注：
页：
71–79
语言：
网址：
https://aclantology.org/2021.eacl-demos.9
内政部：
10.18653/v1/2021.每个演示。9
比比键：
引用（ACL）：
易卜拉欣·安萨里（Ebrahim Ansari）、昂德·博贾尔（Ondřej Bojar）、巴里·哈多（Barry Haddow）和穆罕默德·马哈茂迪（Mohammad Mahmoudi）。2021SLTEV：口语翻译的综合评价.英寸计算语言学协会欧洲分会第16届会议记录：系统演示，第71–79页，在线。计算语言学协会。
引用（非正式）：
SLTEV：口语翻译的综合评价（Ansari等人，EACL 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.eacl-demos.9.pdf
代码
精英/sltev
PDF格式 引用 搜索 代码