罗伯塔

贝特训练优化方法:稳健训练。RoBERTa重复了BERT的预训练过程,包括训练模型更长时间,在更多的数据上使用更大的批量;删除下一句预测目标;长序列训练;动态地改变应用于训练数据的掩蔽模式。有关更多详细信息,请参阅相关文件。


zbMATH中的参考文献(参考文献13条)

显示结果1到13,共13个。
按年份排序(引用)

  1. Juan Manuel Pérez,Juan Carlos Giudici,Franco Luque:用于情绪分析和社会NLP任务的Python工具箱(2021)阿尔十四
  2. 基里琴科,斯维特兰纳;尼亚德戈利,伊萨尔;弗雷泽(Kathleen C.):直面网上辱骂语言:一项从伦理和人权角度进行的调查(2021年)
  3. Sai Muralidhar Jayanthi,Kavya Nerella,Khyathi Raghavi Chandu,Alan W Black:CodemixedNLP:An Extensible and Open NLP Toolkit for Code Mixing(2021年)阿尔十四
  4. 陆帅、郭大雅、任淑仁、黄俊杰、斯维雅特科夫斯基、安布罗西奥、科林·克莱门特、黎明排水、大新江、杜玉堂、葛莉、周立东、寿林俊寿、龙洲、米歇尔图法诺、明宫、明州、南段、尼尔·孙德雷、邵坤登、盛玉甫,刘舒杰:一个用于代码理解和生成的机器学习基准数据集(2021)阿尔十四
  5. 什克尔吉,布拉ž;马丁奇,马特;拉夫拉契纳达;波拉克,塞尼亚:汽车人:可解释的低资源文本分类的进化神经符号表征(2021)
  6. 陶贵、小王、张琦、刘沁、邹怡成、周欣、郑瑞正、张冲、吴勤卓、叶佳成、庞泽雄、张永新、李正彦、马若天、费子初、蔡瑞坚、赵军、胡新武、颜志恒、谭一丁、胡元虎、刘志华、朱伯林、秦琴、邢晓宇、傅金兰、张越章、彭敏龙,郑晓青,周亚倩,魏忠宇,邱锡鹏,黄轩静:文本检索:面向自然语言处理的统一多语言稳健性评价工具包(2021)阿尔十四
  7. Jaap Jumelet:Diagnose:神经激活分析库(2020)阿尔十四
  8. Pieter Delobelle,Thomas Winters,Bettina Berendt:Robbt:一个基于荷兰语RoBERTa的语言模型(2020)阿尔十四
  9. Yada Pruksachatkun,Phil Yeres,Haokun Liu,Jason Phang,Phu Mon Htut,Alex Wang,Ian Tenney,Samuel R.Bowman:jiant:通用文本理解模型研究的软件工具包(2020)阿尔十四
  10. 姚婉,杨禾,张建国,隋玉蕾,海进,徐关东,熊彩明,余飞利浦阿尔十四
  11. Nils Reimers,Iryna Gurevych:句子伯特:使用暹罗伯特网络的句子嵌入(2019)阿尔十四
  12. 焦晓琪,尹伊春,尚立峰,姜欣,陈晓琳,李琳琳,王芳,刘群:TinyBERT:自然语言理解的提取方法(2019)阿尔十四
  13. 杨志林,戴子航,杨一鸣,贾米·卡博内尔,拉斯兰·萨拉赫特迪诺夫,Quoc V.Le:XLNet:语言理解的广义自回归预训练(2019)阿尔十四