语言学习中句子水平评估的语法纠错

卡廷斯卡娅,罗曼·扬加伯

摘要
本文介绍了使用语法错误纠正（GEC）模型来评估语言学习者对语法练习答案的正确性的实验。我们探讨了GEC模型是否可以应用于复杂形态语言的语言学习环境。我们通过实证检验了一个假设，即GEC模型只纠正错误，并保持正确答案不变。我们在真实但受限的语言学习环境中进行了一项评估学习者答案的测试：学习者只回答填空和多项选择练习。为此，我们使用ReLCo，这是一个公开可用的俄语手动注释学习者数据集（Katinskaia等人，2022年）。在本实验中，我们为GEC任务微调了一个大规模的T5语言模型，并在RULEC-GEC数据集（Rozovskaya和Roth，2019）上评估了其性能，以与顶级模型进行比较。我们还发布了RULEC-GEC测试集的更新版本，由母语人士手动检查。我们的分析表明，GEC模型在检测语法练习的错误答案方面表现相当好，并可能用于实际学习环境中表现最佳的错误类型。然而，它很难评估人类注释者使用上述假设标记为替代更正的答案。这在很大程度上是因为纠正错误的召回率仍然很低，而且GEC模型可能会修改甚至是正确的单词，这可能会产生合理的替代方案，很难根据金标准参考进行评估。
选集ID：
2023.bea-1.41年
体积：
第18届创新使用NLP构建教育应用研讨会会议记录（BEA 2023）
月份：
七月
年份：
2023
地址：
加拿大多伦多
编辑：
叶卡捷琳娜·科奇马尔,吉尔·布尔斯坦,安德烈亚·霍尔巴赫,Ronja Laarmann-Quante公司,尼丁·马德纳尼,安娜·塔克,维多利亚·亚涅娃,郑源,托尔斯滕·泽施
地点：
东亚银行
SIG公司：
西格杜
出版商：
计算语言学协会
注：
页：
488–502
语言：
网址：
https://aclantology.org/2023.bea-1.41
内政部：
10.18653/v1/2023.bea-1.41
比比键：
引用（ACL）：
阿尼西亚·卡廷斯卡亚和罗曼·扬加伯。2023语言学习中句子水平评估的语法纠错.英寸第18届创新使用NLP构建教育应用研讨会会议记录（BEA 2023），第488-502页，加拿大多伦多。计算语言学协会。
引用（非正式）：
语言学习中句子水平评估的语法纠错（Katinskaia&Yangarber，BEA 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.bea-1.41.pdf
视频：
 https://aclantology.org/2023.bea-1.41.mp4
PDF格式 引用 搜索 视频