伯特

伯特:语言理解的深度双向变压器的预培训。我们引入了一种新的语言表示模型BERT,它代表来自变压器的双向编码器表示。与最近的语言表示模型不同,BERT被设计成通过在所有层中联合调节左右上下文,从未标记的文本中预训练深层的双向表示。因此,只需增加一个输出层,就可以对预先训练的BERT模型进行微调,从而为各种任务创建最先进的模型,例如问答和语言推理,而无需对特定于任务的体系结构进行实质性修改。伯特概念简单,经验性很强。它在11个自然语言处理任务上取得了最新的成果,包括将GLUE评分提高到80.5%(绝对提高了7.7%),多nli准确率提高到86.7%(绝对提高了4.6%),小队v1.1答疑测试F1到93.2(绝对提高1.5分)和v2.0测试F1到83.1(绝对提高5.1分)。


zbMATH参考文献(28篇文章引用)

显示第1到第20个结果,共28个。
按年份排序(引用)
  1. Arun S.Maiya:ktrain:用于增强机器学习的低代码库(2020)阿尔十四
  2. 郭健、何、何、何、童、劳森、伦纳德、李、穆、林、海滨、石行健、王晨光、谢俊元、查、生、张、航、张、智、张、中、郑、帅、朱、易:GluonCVandGluonNLP:计算机视觉与自然语言处理的深度学习(2020)
  3. Het Shah,Avishree Khare,Neelay Shah,Khizir Siddiqui:KD Lib:Pythorch library for Knowledge蒸馏、修剪和量化(2020)阿尔十四
  4. Jaap Jumelet:Diagnose:神经激活分析库(2020)阿尔十四
  5. 曹佳伦,李美子牛,李叶婷,文明,张成志:基于语义的机器翻译系统测试方法(2020)阿尔十四
  6. 季鹏强,李云,朱奕,袁云浩,吴新东:词汇简化的一个简单框架(2020)阿尔十四
  7. Kutlu,Mucahid;McDonnell,Tyler;Elsayed,Tamer;Lease,Matthew:众包中标记任务的注释原理(2020)
  8. 李丹丹;萨默斯.斯塔,道格拉斯:词和关系相似性的双重嵌入和度量(2020)
  9. 郭鹏程、Florian Boyer、Chang Xuankai Chang、Tomoki Hayashi、Yosuke Higumi、Hirofumi Inaguma、Naoyuki Kamo、Chenda Li、Daniel Garcia Romero、Jiatong Shing、Jingji Shing、Shing Jing-Watanabe、Kun Wei、Wangyou Zhang、Yuekai Zhang:由Conformer推动的ESPnet工具包的最新发展(2020)阿尔十四
  10. Raeid Saqur,Ameet Deshpande:CLEVR Parser:A Graph Parser Library for Geometric Learning on Language Grounded Image Scenes(2020年),Raeid Saqur,Ameet Deshpande:CLEVR Parser:A Graph Parser Library for Geometri阿尔十四
  11. Rob van der Goot,AhmetÜstün,Alan Ramponi,Barbara Plank:大规模选择,大量任务(MaChAmp):NLP中多任务学习的工具箱(2020)阿尔十四
  12. Sai Muralidhar Jayanthi,丹麦语Pruthi,Graham Neubig:NeuSpell:神经拼写纠正工具包(2020)阿尔十四
  13. Simpson,Edwin;Gurevych,Iryna:人群的可伸缩贝叶斯偏好学习(2020)
  14. Subhabrata Mukherjee,Ahmed Awadallah:TinyMBERT:大规模多语言NER的多阶段蒸馏框架(2020)阿尔十四
  15. 唐孟;刘益民;杜洛夫斯基,路易斯J.:基于深度学习的动态地下水流问题数据同化替代模型(2020)
  16. Tikhomirov,M.M.;Loukachevitch,N.V.;Dobrov,B.V.:识别特定领域中的命名实体(2020年)
  17. Uma Roy,Noah Constant,Rami Al-Rfou,Aditya Barua,Aaron Phillips,Yinfei Yang:LAReQA:从多语言池中检索语言无关答案(2020)阿尔十四
  18. Victor Dibia:NeuralQA:大型数据集上用于问答(上下文查询扩展+BERT)的可用库(2020)阿尔十四
  19. 王晓辉,熊颖,杨伟,王明轩,李磊:一个用于序列处理和生成的高性能推理库(2020)阿尔十四
  20. Yada Pruksachatkun,Phil Yeres,Haokun Liu,Jason Phang,Phu Mon Htut,Alex Wang,Ian Tenney,Samuel R.Bowman:jiant:通用文本理解模型研究的软件工具包(2020)阿尔十四