@进行中{li-etal-2023-slog,title=“{SLOG}:语义解析的结构泛化基准”,author=“李冰志和多纳泰利、露西娅和Koller、Alexander和林岑、塔尔和姚、岳坤和Kim,Najoung“,editor=“Bouamor、Houda和皮诺、胡安和巴厘岛,卡利卡”,booktitle=“2023年自然语言处理实证方法会议记录”,月=12月,年=“2023”,address=“新加坡”,publisher=“计算语言学协会”,url=“https://aclantology.org/2023.emnlp-main.194",doi=“10.18653/v1/2023.emnlp-main.194”,pages=“3213--3232”,abstract=“合成泛化基准的目标是评估模型对新的复杂语言表达式的泛化程度。现有基准通常侧重于词汇泛化,即对训练中熟悉的句法结构中的新词汇项的解释;结构泛化任务是指模型需要解释自己在训练中不熟悉的句法结构,但这些任务往往表现不足,导致对模型泛化程度的过于乐观。我们介绍了SLOG,这是一个语义分析数据集,它扩展了COGS(Kim和Linzen,2020),包含17个结构泛化案例。在我们的实验中,Transformer模型(包括预处理模型)的泛化精度仅达到40.6{\%},而结构软件解析器仅达到70.8{\%{。这些结果与现有模型在COGS上实现的近乎完美的准确性相差甚远,这表明SLOG在预测模型{'}词汇和结构泛化能力之间的巨大差异方面发挥了作用。",}
<?xml version=“1.0”encoding=“UTF-8”?><modsCollection xmlns=“http://www.loc.gov/mods/v3"><mods ID=“li-etal-2023-slog”><标题信息>SLOG:语义分析的结构泛化基准</titleInfo><name type=“personal”>冰芝李<namePart type=“family”><角色>作者</角色></name><name type=“personal”>露西娅多纳泰利<角色>作者</角色></name><name type=“personal”>亚历山大科勒<角色>作者</角色></name><name type=“personal”><namePart type=“given”>Tal</namePart>林禅<角色>作者</角色></name><name type=“personal”>越坤<namePart type=“family”>姚明</namePart><角色>作者</角色></name><name type=“personal”>纳戎Kim(金)<角色>作者</角色></name><originInfo>2023-12年发布</originInfo><typeOfResource>文本<relatedItem type=“主机”><标题信息><title=2023年自然语言处理经验方法会议记录</title=</titleInfo><name type=“personal”>侯达布阿莫尔<角色>编辑器</角色></name><name type=“personal”>胡安皮诺<角色>编辑器</角色></name><name type=“personal”>卡利卡语巴厘岛<角色>编辑器</角色></name><originInfo>计算语言学协会<位置>新加坡</place></originInfo><type-authority=“marcgt”>会议出版物</type></relatedItem>合成泛化基准的目标是评估模型对新的复杂语言表达式的泛化程度。现有的基准通常侧重于词汇泛化,即在训练中熟悉的句法结构中解释新的词汇项;结构泛化任务是指模型需要解释自己在训练中不熟悉的句法结构,但这些任务往往表现不足,导致对模型泛化程度的过于乐观。我们介绍了SLOG,这是一个语义分析数据集,它扩展了COGS(Kim和Linzen,2020),包含17个结构泛化案例。在我们的实验中,Transformer模型(包括预处理模型)的泛化准确率仅达到40.6%,而结构软件解析器的泛化正确率仅达到70.8%。这些结果与现有模型在COGS上实现的近乎完美的准确性相去甚远,证明了SLOG在预测模型的词汇和结构泛化能力之间的巨大差异方面的作用</摘要>li-etal-2023-slog10.18653/v1/2023.emnlp-main.194<位置><网址>https://aclantology.org/2023.emnlp-main.194</url></位置><部分>2023-12年<扩展单元=“page”><开始>3213<end>3232</范围></部分></mods></modsCollection>
%0会议记录%T SLOG:语义分析的结构泛化基准%阿丽,秉志%露西娅·多纳泰利%亚历山大·科勒%塔尔·林岑%阿瑶、岳坤%A Kim、Najoung%Y Bouamor,Houda公司%胡安·皮诺%Y巴厘岛,卡利卡%2023年自然语言处理实证方法会议论文集%D 2023年%12月8日%计算语言学协会%C新加坡%F li-etal-2023-slog公司%合成泛化基准的目标是评估模型对新的复杂语言表达式的泛化程度。现有的基准通常侧重于词汇泛化,即在训练中熟悉的句法结构中解释新的词汇项;结构泛化任务是指模型需要解释自己在训练中不熟悉的句法结构,但这些任务往往表现不足,导致对模型泛化程度的过于乐观。我们介绍了SLOG,这是一个语义解析数据集,它用17个结构泛化案例扩展了COGS(Kim和Linzen,2020)。在我们的实验中,Transformer模型(包括预处理模型)的泛化准确率仅达到40.6%,而结构软件解析器的泛化正确率仅达到70.8%。这些结果与现有模型在COGS上实现的近乎完美的准确性相差甚远,这表明SLOG在突出模型的词汇和结构泛化能力之间的巨大差异方面发挥了作用。%R 10.18653/v1/2023.emnlp-main.194%U型https://aclantology.org/2023.emnlp-main.194%U型https://doi.org/10.18653/v1/2023.emnlp-main.194%电话:3213-3232
降价(非正式)
[SLOG:语义分析的结构泛化基准](https://aclantology.org/2023.emnlp-main.194)(Li等人,EMNLP 2023)
国际计算语言学协会
- 李炳之、卢西娅·多纳泰利、亚历山大·科勒、塔尔·林岑、姚月坤和金纳戎。2023SLOG:一种用于语义分析的结构泛化基准.英寸2023年自然语言处理实证方法会议记录,第3213–3232页,新加坡。计算语言学协会。