pdf格式围兜
计算语言学协会第60届年会论文集：教程摘要
卢西亚娜·贝诺蒂|冈崎直（Naoaki Okazaki）|伊夫·谢勒|马科斯·赞皮耶里
pdf格式围兜防抱死制动系统
深度篮网简介及未来机遇
肯尼思教堂|瓦利娅·科尔多尼|盖瑞·马库斯|市市长戴维斯|马艳军（Yanjun Ma）|陈泽瑜
本教程的前半部分将使更广泛的受众更容易访问深层网，接下来是“诗人的深层网”和“精细调整的温和介绍”。我们还将介绍GFT（通用精细调整），这是一种用短（一行）对深层网进行精细调整的小语言在统计软件包（如R）中使用glm（通用线性模型）编写与回归一样容易的程序。基于这些方法在许多基准上的成功，人们可能会产生这样的印象：我们只需要深网。然而，我们相信杯子是半满的：虽然深网可以做很多事情，但总有更多事情要做。本教程的后半部分将讨论其中的一些机会。
pdf格式围兜防抱死制动系统
自然语言处理中的可再现机器学习研究
安娜·卢西奇|莫里斯·布利克|萨默斯·巴加夫|杰西卡·福特|库斯图夫·辛哈|杰西·道奇|萨沙·卢奇奥尼|罗伯特·斯托尼奇
虽然最近在ML领域取得了重大进展，但这些前沿结果的再现性往往不足，许多提交文件缺乏必要的信息，无法确保后续的再现性。尽管在几次主要会议上提出了再现性检查表和再现性标准等建议，但在更广泛的ML社区中缺乏考虑再现性进行研究的反射。我们建议将本教程作为一个温和的介绍，以确保ML研究的可复制性，并特别强调计算语言学和NLP。我们还为在大学级计算机科学课程中使用再现性作为教学工具提供了一个框架。
pdf格式围兜防抱死制动系统
自然语言处理的知识增强方法
朱晨光|徐一冲|向仁|林玉晨（Bill Yuchen Lin）|孟江|余文浩
自然语言处理（NLP）方面的知识一直呈上升趋势，特别是在大规模预训练模型出现之后。关注知识的NLP模型可以i）访问无限量的外部信息；ii）将存储知识的任务从其参数空间委托给知识源；iii）获取最新信息；iv）通过选定的知识使预测结果更易于解释。在本教程中，我们将介绍将知识集成到NLP中的关键步骤，包括文本知识基础、知识表示和融合。此外，我们将介绍将知识融合到语言理解、语言生成和常识推理中的最新应用。
pdf格式围兜防抱死制动系统
非自回归序列生成
顾嘉涛|徐坦
非自回归序列生成（NAR）试图并行生成整个或部分输出序列，以加快生成过程并避免自回归生成中的潜在问题（例如，标签偏差、暴露偏差）。虽然朴素NAR模型受到了广泛的研究关注，并在自然语言和语音的许多序列生成任务中得到了应用，但由于缺乏建模能力，在缩小最先进的自回归模型之间的性能差距方面仍面临许多挑战。在本教程中，我们将从四个部分对非自回归序列生成进行全面介绍和回顾：1）背景，其中包括NAR生成的动机、问题定义、评估协议以及与标准自回归生成方法的比较。2） 方法，包括不同的方面：模型结构、目标函数、训练数据、学习范式和其他推理技巧。3） 应用程序，包括文本和语音生成中的不同任务，以及应用程序中的一些高级主题。4） 结论，其中我们描述了几个研究挑战，并讨论了潜在的未来研究方向。我们希望本教程能够为从事非自回归序列生成的学术研究人员和行业从业人员提供服务。
pdf格式围兜防抱死制动系统
使用有限的文本数据学习
杨迪（Diyi Yang）|安库尔·帕里赫|科林·拉斐尔
在过去十年中，自然语言处理（NLP）在神经模型的基础上取得了巨大进展，神经模型通常利用大量标记数据来实现最先进的性能。对标记数据的依赖阻碍了NLP模型应用于低资源设置和语言，因为标记大量文本数据通常需要时间、金钱和专业知识。因此，使用有限的标记数据进行学习的能力对于将神经系统部署到实际的NLP应用程序至关重要。最近，人们探索了许多方法来缓解NLP中对标记数据的需求，例如数据增强和半监督学习。本教程旨在提供这些方法的系统和最新概述，以帮助研究人员和实践者了解方法的前景以及与从有限的标记数据学习相关的挑战，这是计算语言学界的一个新兴主题。我们将考虑各种NLP任务的应用（包括文本分类、生成和结构化预测），并将强调当前的挑战和未来的方向。
pdf格式围兜防抱死制动系统
零快照和少快照自然语言处理使用预先训练的语言模型
伊兹·贝尔塔吉|阿曼·科汉|罗伯特·洛根四世|Sewon Min公司|萨米尔·辛格
在数据收集成本高昂或困难的任务中应用NLP，关键在于能够有效地从几乎没有的数据中学习。这在学术和实践上都是一个具有挑战性的设置，因为训练中性模型通常需要大量的标记数据。最近，对未标记数据进行预处理的进展带来了更好的零快照或少快照学习的潜力（Devlin等人，2019年；Brown等人，2020年）。特别是，在过去的一年里，为了更好地使用大规模语言模型从有限的数据中学习，进行了大量研究。在本教程中，我们旨在让感兴趣的NLP研究人员了解使用预处理语言模型进行零快照和少快照学习的最新和正在进行的技术。此外，我们的目标是向观众展示新的研究机会，希望这将使我们更接近于解决该领域现有的挑战。
pdf格式围兜防抱死制动系统
视觉语言预训练：当前趋势与未来
艾什瓦亚·阿格拉瓦尔|达米安·特尼|艾达·内马扎德
在过去几年中，人们对构建多模态（视觉语言）模型越来越感兴趣，该模型在较大但噪声较大的数据集上进行预处理，其中两种模式（例如图像和文本）松散地相互对应（例如，Lu等人，2019年；Radford等人，2021年）。给定一个任务（例如可视问答），这些模型通常会在特定任务的监督数据集上进行微调。（例如，Lu等人，2019年；Chen等人，2020年；Tan和Bansal，2019；Li等人，2020a，b）。除了更大的预处理数据集之外，变压器结构（Vaswani等人，2017年），尤其是应用于两种模式的自我关注，也是近期预处理模型在下游任务中表现出色的原因（Hendricks等人，2021年）。在本教程中，我们将重点介绍最新的视觉语言预训练范例。我们的目标是首先在多模式预培训领域之前提供图像语言数据集、基准和建模创新的背景。接下来，我们讨论了用于视觉语言预训练的不同模型系列，强调了它们的优点和缺点。最后，我们讨论了通过统计学习进行视觉语言预训练的局限性，以及替代方法（如因果表征学习）的必要性。
pdf格式围兜防抱死制动系统
面向任务的多语言对话的自然语言处理
叶甫根尼娅·拉祖莫夫斯卡娅|戈兰·格拉瓦什|奥尔加·马杰夫斯卡|埃多尔多·蓬蒂|伊万·武利奇
深度学习的最新进展也使任务导向对话（ToD）系统的研究取得了快速进展。然而，大多数ToD系统都是为英语开发的，而只有少数其他通用语言，例如汉语和德语。这极大地限制了这类系统的全球影响力，从而限制了其社会经济变革潜力。因此，在本教程中，我们将讨论并演示（构建）多语种ToD系统的重要性，然后系统地概述与多语种ToD系统相关的当前研究差距、挑战和举措，特别关注它们与当前多语言和低资源NLP研究和挑战的联系。本教程旨在回答或阐明以下问题：a）为什么多语言对话系统如此难以构建：是什么使对话的多语言性比其他NLP应用程序和任务更具挑战性？b） 多语言和跨语言（面向任务）对话系统的最佳现有方法和数据集是什么？通常如何评估（多语言）ToD系统？c） 多语言ToD研究的未来方向是什么？从哪里可以从相关的NLP领域和任务中获得灵感？