ConveRT公司 swMATH ID: 42263 软件作者： Matthew Henderson、Iñigo Casanueva、Nikola MrkšIć、Pei Hao Su、Tsung Hsien Wen、Ivan Vulić 描述： 对话：来自变形金刚的高效准确的对话表达。诸如BERT之类的通用预处理句子编码器对于现实世界的会话人工智能应用并不理想；它们计算量大，速度慢，而且训练费用昂贵。我们提出ConveRT（来自变形金刚的对话表征），这是一个用于满足以下所有要求的对话任务的预训练框架：它是有效的、负担得起的和快速训练的。我们使用基于检索的响应选择任务进行预训练，有效利用双编码器中的量化和子命令级参数化，以构建一个轻量级的内存和节能模型。我们表明，ConveRT在广泛建立的响应选择任务中实现了最先进的性能。我们还演示了使用扩展的对话框历史作为上下文可以进一步提高性能。最后，我们表明，来自所提编码器的预处理表示可以传输到意图分类任务，在三个不同的数据集上产生强大的结果。ConveRT的训练速度大大快于标准句子编码器或之前最先进的双编码器。凭借其较小的尺寸和卓越的性能，我们相信该模型可以为对话式人工智能应用程序提供更广泛的可移植性和可扩展性。 主页： https://arxiv.org/abs/1911.03688 源代码： https://github.com/davidalami/convert 相关软件： BERT（误码率）;米T5;朗福雷特;MultiWOZ公司;啜食;GluonCV公司;GLUECoS公司;英里;ToD-BERT公司;拨号GPT;Glottolog公司;XTREME公司;文本攻击;小队;GluonNLP公司;张紧器2传感器;亚当 引用于： 1文件 全部的 前5名6位作者引用 1 戈兰·格拉瓦什 1 安娜·科霍宁 1 奥尔加·马杰夫斯卡 1 Edoardo M.蓬蒂。 1 拉祖莫夫斯卡娅，叶夫根尼亚 1 伊万·武利奇 连载1篇 1 人工智能研究杂志 在1个字段中引用 1 计算机科学（68至XX） 按年份列出的引文