ToD-BERT公司 swMATH ID: 42257 软件作者： 吴建胜、海史蒂文、索彻、熊才明 描述： TOD-BERT：针对任务导向对话的预先训练的自然语言理解。一般文本和任务型对话之间语言模式的潜在差异使得现有的预训练语言模型在实践中用处不大。在这项工作中，我们统一了九个面向人机和多回合任务的对话数据集，用于语言建模。为了在预培训期间更好地建模对话行为，我们将用户和系统标记合并到屏蔽语言建模中。我们提出了一个对比目标函数来模拟响应选择任务。我们的预训练任务导向对话BERT（TOD-BERT）在四个下游任务导向对话应用程序（包括意图识别、对话状态跟踪、对话行为预测和响应选择）上优于BERT等强大基线。我们还表明，TOD-BERT具有较强的快照能力，可以缓解面向任务的对话中的数据稀缺问题。 主页： https://arxiv.org/abs/2004.06871 源代码： https://github.com/jasonwu0731/ToD-BERT网站 相关软件： BERT（误码率）;米T5;Longformer公司;MultiWOZ公司;啜食;GluonCV公司;GLUECoS公司;MLS公司;ConveRT公司;拨号GPT;格洛托日志;XTREME公司;文本攻击;小队;GluonNLP公司;张紧器2传感器;亚当 引用于： 1文件 全部的 前5名6位作者引用 1 戈兰·格拉瓦什 1 安娜·科霍宁 1 奥尔加·马杰夫斯卡 1 Edoardo M.蓬蒂。 1 拉祖莫夫斯卡娅，叶夫根尼亚 1 伊万·武利奇 连载1篇 1 人工智能研究杂志 在1个字段中引用 1 计算机科学（68-XX） 按年份列出的引文