使用前校准：提高语言模型的少镜头性能
这项工作首先通过在给定训练提示和无内容测试输入（如“N/a”）时询问其预测来估计模型对每个答案的偏差，然后拟合校准参数，使该输入的预测在所有答案中一致。 从大型语言模型中提取训练数据
本文证明，在这种情况下，对手可以通过查询语言模型执行训练数据提取攻击来恢复单个训练示例，并发现较大的模型比较小的模型更容易受到攻击。 攻击和分析NLP的通用对抗触发器
反面例子突出了模型的漏洞，对评估和解释很有用。我们定义了通用对抗触发器：触发…
InCoder：代码填充和合成的生成模型
InCoder引入了一个统一的生成模型，该模型可以执行程序合成（通过从左到右的生成）和编辑（通过填充），并能够根据双向上下文条件大大提高这些任务的性能，同时仍然可以在标准程序合成基准上进行比较。 预紧变压器提高了配电外的稳健性
本文通过构建一个新的具有实际分布偏移的稳健性基准，系统地度量了七个NLP数据集的分布外泛化（OOD），并度量了以前模型的泛化，发现较大的模型不一定更稳健，蒸馏可能有害，而更多样的预处理数据可以增强鲁棒性。 从扩散模型中提取训练数据
结果表明，与GAN等先前的生成模型相比，扩散模型的私密性要低得多，要减轻这些漏洞可能需要在隐私保护训练方面取得新的进展。 NLP模型知道数字吗？嵌入中的数字探索
这项工作研究了DROP数据集上最先进的问答模型的数字推理能力，发现该模型在需要数字推理的问题上表现出色，即它已经捕获了计算能力。 神经模型的病理学使解释变得困难
这项工作使用输入减少，从输入中反复删除最不重要的单词，以暴露神经模型的病理行为：其余单词对人类来说似乎没有意义，并且不是通过解释方法确定为重要的单词。 组合问题不需要多跳推理
这项工作引入了一个基于单跳BERT的RC模型，该模型实现了67 F1，与最先进的多跳模型相当，并设计了一个评估环境，在该环境中，人类没有被显示出意图的多跳推理的所有必要段落，但仍然可以回答80%以上的问题。 利用对比集评价模型的局部决策边界
NLP的一种更严格的注释范式，有助于缩小测试数据中的系统性差距，并建议数据集作者以较小但有意义的方式手动扰动测试实例，（通常）改变黄金标签，创建对比集。