计算机科学>计算与语言
职务: CLASP:用于语义分析的少量快速跨语言数据增强
摘要: 开发语义分析(SP)模型的一个瓶颈是需要大量的带人标签的训练数据。 考虑到SP人工注释的复杂性和成本,标记数据通常很少,特别是在多语言设置中。 大型语言模型(LLM)仅举了几个例子,就擅长于SP,但LLM不适合要求低延迟的运行时系统。 在这项工作中,我们提出了CLASP,这是一种改进中等规模模型的低资源SP的简单方法:我们从AlexaTM 20B生成合成数据,以增加40x更小模型(500M参数)的训练集。 我们在低资源环境中对两个数据集进行评估:英语PIZZA,包含348或16个真实示例,以及mTOP跨语言零快照,其中训练数据只能用英语提供,并且该模型必须推广到四种新语言。 在这两个数据集上,我们都显示出与强基线方法相比的显著改进。