使用快速调整的会话任务高效协调跨语言迁移学习

李福图,金衢,塞米赫·亚武兹,沙菲克·乔蒂,刘文浩,熊才明,周英波

摘要
针对英语等高资源语言训练的语言模型的跨语言迁移在许多NLP任务中得到了广泛研究，但对会话任务的关注却相当有限。这部分是由于获取非英语会话数据的成本很高，导致覆盖面有限。在这项工作中，我们引入了跨语言对齐预训练，这是一个平行和大规模的多语言对话数据集，我们通过将纯英语的模式引导对话（SGD）数据集（Rastogi et al.，2020）翻译成105种其他语言来创建。XSGD每种语言包含约330k个话语。为了促进对齐的跨语言表示，我们开发了一种高效的基于提示的学习对齐提示的方法。我们还研究了两种不同的分类器：基于NLI的分类器和普通分类器，并测试了对齐提示所支持的跨语言能力。我们在两个会话任务上评估了模型的跨语言泛化能力：时隙填充和意图分类。我们的结果表明，基于NLI的分类器具有强大而高效的建模能力，并且通过对齐提示，特别是在少数快照设置下，实现了跨语言传输的大幅改进。我们还对大型语言模型（LLM）进行了研究，例如在零快照和少快照设置下的text-davinci-003和ChatGPT。虽然LLM在英语方面表现出色，但他们在其他语言，尤其是低资源语言中的跨语言能力有限。
选集ID：
2024.结果-每个85
体积：
计算语言学协会的研究结果：EACL 2024
月份：
三月
年份：
2024
地址：
马耳他圣朱利安
编辑：
伊维特·格雷厄姆,马修·普弗
地点：
调查结果
SIG公司：
出版商：
计算语言学协会
注：
页：
1278–1294
语言：
网址：
https://aclantology.org/2024.findings-eacl.85
内政部：
比比键：
引用（ACL）：
屠立夫、曲金人、赛米·亚武兹、沙菲克·乔蒂、刘文浩、熊才明和周英波。2024使用快速调整的会话任务高效协调跨语言迁移学习.英寸计算语言学协会的研究结果：EACL 2024第1278-1294页，马耳他圣朱利安教堂。计算语言学协会。
引用（非正式）：
使用快速调整的会话任务高效协调跨语言迁移学习（Tu等人，2024年调查结果）
复制引文：
PDF格式：
https://aclantology.org/2024.findings-eacl.85.pdf
视频：
 https://aclantology.org/2024.findings-eacl.85.mp4网址
PDF格式 引用 搜索 视频