伯特

伯特:预先培训的深双向变压器的语言理解。我们介绍了一种新的语言表示模型称为伯特,代表双向编码器表示从变压器。与最近的语言表示模型不同,伯特被设计成通过在所有层中的左、右上下文共同调节来预先训练来自未标记文本的深双向表示。因此,预先训练的伯特模型可以仅用一个额外的输出层进行精细调整,以创建广泛的任务(如问答和语言推理)的最先进的模型,而无需大量任务特定的架构修改。伯特在概念上是简单的和经验强大的。它在十一个自然语言处理任务上获得了新的最新成果,包括将胶得分推到80.5%(7.7%点绝对改进),MulnLi精度达到86.7%(4.6%绝对改进),小队V1.1问题回答测试F1到93.2(1.5点绝对改进)和小队V2.0测试F1到83.1(5.1点绝对改进)。