伯特

伯特:语言理解的深度双向变压器的预培训。我们引入了一种新的语言表示模型BERT,它代表来自变压器的双向编码器表示。与最近的语言表示模型不同,BERT被设计成通过在所有层中联合调节左右上下文,从未标记的文本中预训练深层的双向表示。因此,只需增加一个输出层,就可以对预先训练的BERT模型进行微调,从而为各种任务创建最先进的模型,例如问答和语言推理,而无需对特定于任务的体系结构进行实质性修改。伯特概念简单,经验性很强。它在11项自然语言处理任务中取得了最新的成果,包括将GLUE评分提高到80.5%(绝对提高了7.7%),多语种识别准确率提高到86.7%(绝对提高了4.6%),第1.1组问题回答测试F1提高到了93.2(绝对提高了1.5分),而v2.0测试F1提高到了83.1(5.1分绝对改善)。


zbMATH中的参考文献(参考文献67篇文章)

显示第1到第20个结果,共67个。
按年份排序(引用)
  1. 巴赫金,安东;邓云天;恶心,山姆;奥特,迈尔;奥雷扎托,马克;Szlam,Arthur:基于剩余能量的文本模型(2021)
  2. 巴斯克维尔,尼古拉斯P。;基廷,乔纳森P。;夹层,弗朗西斯科;约瑟夫纳乌德尔(Joseph Naudel),神经网络激活的一般性(2021)
  3. 《小蟒蛇学习》中的克里斯托弗·莱德(Christopher Lyler,2021年版)阿尔十四
  4. 埃文斯,理查德;博恩贾克,马特科;伯辛,拉尔斯;埃利斯,凯文;普法,大卫;科利,普什梅特;塞尔戈特,马雷克:《理解原始输入》(2021年)
  5. 菲茨帕特里克,特雷弗;缪斯,克里斯托夫:放贷人如何才能繁荣?比较机器学习方法以确定可盈利的点对点贷款投资(2021年)
  6. 弗雷斯卡,斯特凡尼亚;黛德,卢卡;Manzoni,Andrea:基于深度学习的非线性时变参数偏微分方程降阶建模的综合方法(2021)
  7. 古卡扬,佐拉克;叶什巴什,叶娃;Avetisyan,Karen:形态丰富的语言中快速文本的唯一替代词(2021)
  8. Hitoshi Manabe,Masato Hagiwara:外籍人士:可解释的自动文本评分工具包(2021)阿尔十四
  9. 霍赫查克。;北卡罗来纳州达丘克。;Kryvyi,S.:非结构化自然语言文本中知识的表示、分析和提取(2021)
  10. Jimmy Lin,Xueguang Ma,Sheng Chieh Lin,Jheng Hong Yang,Ronak Pradeep,Rodrigo Nogueira:Pyserini:一个易于使用的Python工具包,支持稀疏和密集表示的可复制IR研究(2021)阿尔十四
  11. 琼斯,伊琳娜·西蒙娜;Kording,korrad-Paul:单个神经元是否可以通过树突树上的连续计算来解决有趣的机器学习问题?(2021年)
  12. Juan Manuel Pérez,Juan Carlos Giudici,Franco Luque:用于情绪分析和社会NLP任务的Python工具箱(2021)阿尔十四
  13. 朱雷维奇,马特乌斯;Derczynski,Leon:机器学习中的集合序列方法:回顾(2021)
  14. 基里琴科,斯维特兰纳;尼亚德戈利,伊萨尔;弗雷泽(Kathleen C.):直面网上辱骂语言:一项从伦理和人权角度进行的调查(2021年)
  15. 科亚拉贡塔,迪维亚;太阳,安娜;德雷洛斯,瑞秋莉亚;Rudin,Cynthia:用语言图形和单词嵌入来播放代码名(2021)
  16. 利姆,苏里亚尼;普拉德,亨利;Richard,Gilles:通过机器学习分类和完成单词类比(2021)
  17. Lukas Stappen,Lea Schumann,Benjamin Sertolli,Alice Baird,Benjamin Weigel,Erik Cambria,Björn W.Schuller:MuSe工具箱:多模态情绪分析连续注释融合和离散类转换工具箱(2021)阿尔十四
  18. Mehdi Bahrami,N.C.Shrikanth,Shade Ruangwan,Lei Liu,Yuji Mizobuchi,Masahiro Fukuyori,Wei Peng Chen,Kazuki Munakata,Tim Menzies:PyTorrent:大规模语言模型的Python库语料库(2021)阿尔十四
  19. 陈明祥、张占国、路浩南、杨碧涛、李庄、郭刘芳、王哲成:基于图像增强的端到端无监督视觉表征学习(2021)阿尔十四
  20. 佩雷斯·贝尔特拉奇尼,劳拉;拉帕塔,米雷拉:多文档摘要与决定性的点过程注意(2021年)