{“id”：“https://openalex.org/W4386566638“，”doi“：”https://doi.org/10.18653/v1/2023.eacl-main.217“title”：“你应该在屏蔽语言建模中屏蔽15%吗？”？“，”display_name“：“在屏蔽语言建模中是否应屏蔽15%？“，”“publication_year”：2023，“publication_date”：“2023-01-01”，“ids”：{“openalex”：“https://openalex.org/W4386566638“，”doi“：”https://doi.org/10.18653/v1/2023.eacl-main.217“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.eacl-main.217，“pdf_url”：https://aclantology.org/2023.eacl-main.217.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”青铜“，”oa_url“：”https://aclantology.org/2023.eacl-main.217.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5003423990“，”display_name“：”Alexander Wettig“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Alexander Wettig”，“raw_affiliation_strings”：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5033296587“，”display_name“：”天宇高“，”兽人“：”https://orcid.org/0009-0008-0357-7709“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”天宇高“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5034055494“，”display_name“：”Zexuan Zhong“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Zexun Zhong”，“raw_affiliation_strings”：[]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5051064208“，”display_name“：”Danqi Chen“，”orcid“：”https://orcid.org/0000-0002-6226-6838“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”陈丹奇“，”raw关联字符串“：[]}]，”countries_distict_count“：0，”机构区分计数“：0“，”cited_by_count“：25，”cited_by_percentile_year“：{“min”：99，“max”：100}，“biblio”：{”volume“：null，”issue“：null，”first_page“：null}，”is_retracted“：false，”is_paratext“：false，”primary_topic“：”{“id”：“https://openalex.org/T10181“，”display_name“：”统计机器翻译和自然语言处理“，”score“：0.9992，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译和自然语言处理“，”score“：0.9992，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9981，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T13629“，”display_name“：”自动文本简化和可读性评估“，”score“：0.9832，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.558288｝，｛”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”Topic Modeling“，”score“：0.52854}，{”id“：”https://openalex.org/keywords/statistical-language-models（https://openalex.org/keywords/statistical-language-models）“，”display_name“：”统计语言模型“，”score“：0.512334}]，”concepts“：[{”id“：”https://openalex.org/C2777402240，“wikidata”：https://www.wikidata.org/wiki/Q6783436“，”display_name“：”屏蔽（插图）“，”level“：2，”score“：0.9235511}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.73830366}，{”id“：”https://openalex.org/C2779343474，“wikidata”：https://www.wikidata.org/wiki/Q3109175“，”display_name“：”Context（考古学）“，”level“：2，”score“：0.5766933}，{”id“：”https://openalex.org/C28490314，“wikidata”：https://www.wikidata.org/wiki/Q189436“，”display_name“：”语音识别“，”level“：1，”score“：0.48562828}，{”id“：”https://openalex.org/C2776817677，“wikidata”：https://www.wikidata.org/wiki/Q4839818“，”display_name“：”向后屏蔽“，”level“：3，”score“：0.47387907}，{”id“：”https://openalex.org/C77801330，“wikidata”：https://www.wikidata.org/wiki/Q1363413“，”display_name“：”听觉掩蔽“，”level“：3，”score“：0.42256793}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.40364927}，{”id“：”https://openalex.org/C15744967，“wikidata”：https://www.wikidata.org/wiki/Q9418“，”display_name“：”Psychology“，”level“：0，”score“：0.10244283｝，｛”id“：”https://openalex.org/C86803240，“wikidata”：https://www.wikidata.org/wiki/Q420“，”display_name“：”生物学“，”等级“：0，”分数“：0.054155886}，{”id“：”https://openalex.org/C142362112，“wikidata”：https://www.wikidata.org/wiki/Q735“，”display_name“：”Art“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C151730666，“wikidata”：https://www.wikidata.org/wiki/Q7205“，”display_name“：”古生物学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C169760540，“wikidata”：https://www.wikidata.org/wiki/Q207011“，”display_name“：”Neuroscience“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C26760741，“wikidata”：https://www.wikidata.org/wiki/Q160402“，”display_name“：”Perception“，”level“：2，”score“：0.0}，{”id“：”https://openalex.org/C153349607，“wikidata”：https://www.wikidata.org/wiki/Q36649“，”display_name“：”视觉艺术“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：1.”locations“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.eacl-main.217，“pdf_url”：https://aclantology.org/2023.eacl-main.217.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}]，”best_oa_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.eacl-main.217，“pdf_url”：https://aclantology.org/2023.eacl-main.217.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[{”display_name“：”和平、正义和强大的制度“，”score“：0.82，”id“：”https://metadata.un.org/sdg/16“}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：0，”referrenced_works“：]，”related_work斯“：[”https://openalex.org/W3167538410","https://openalex.org/W259311794","https://openalex.org/W2079317283","https://openalex.org/W2072939936","https://openalex.org/W2055429703","https://openalex.org/W2030782193","https://openalex.org/W2022046788","https://openalex.org/W200353329","https://openalex.org/W1993700582","https://openalex.org/W1967249031“]，”ngrams_url“：”https://api.openalex.org/works/W4386566638/ngrams网站“，”abstract_inverted_index“：{“屏蔽”：[0]，”language“：[1]，”models“：[2,60,78]，”（MLM）“：[3]，”conventionally“：[4]，”mask“：[5]，”15%“：[6,53,74]，”of“：[7,32,46,89,99112197]，”tokens“：[8]，”due“：[9]，”to“：[10,20138162193]，”the“：[11100110113119153167]，”confidence“：[12]，“那个”：[13,52,70129151]，“更多”：[14163170175]，“掩蔽“：[15,25,36,65,71,87114122125131135140154]，“会”：[16]，“离开”：[17]，“不足”：[18]，“上下文”：[19]，“学习”：[21]，“好”：[22]，“表征；“：[23]，”this“：[24,39,43181]，”rate“：[26,88136155]，”hass“：[27156]，”been“：[28]，”广泛“：[29]，”used“，”：[30]，”inverage“：[31]，”model“：[33]，”sizes“：[34]，”or“：[35145]，”strategies。“：[37]，”In“：[38]，”work“，”：[40]，“we”：[41,68149183]，“review”：[C2184]，“important”：44]，“choice”：[45]，“MLM”：[47198]，“pre-training”。“：[48199]，”我们“：[49116]，”第一“：[50]，”建立“：[51]，”是“：[54]，”不是“：[55]，”普遍“：[56]，”最优“：[57]，”和“：[58,81,97124127]，”较大“：[59]，”应该“：[61]，”采用“：[62]，”a“：[63133194]，”较高“：[64134]，”速率。“：[66115]，”具体来说，“：[67]，”查找“：[69128]，”40%“：[72]，”优于“：[73]，”对于“：[75]，”BERT-lige“：[76]，”大小“：[77]，”on“：[79]，”GLUE“：[80]，”SQuAD“。“：[82]，”有趣的是，“：[83]，”an“：[84]，”极端“：[85]，”高“：[86]，”80%“：[90]，”可以“：[91]，”仍然“：[92]，”保存“：[93]，”95%“：[94]，”微调“：[95]，”性能“：[96]，”最“：[98]，”准确性“：[101]，”in“：[102]，”语言学“：[103]，”探究“：[104]，”挑战“：[105]，”常规”：[107]，“智慧”：[108]，“关于”：[109]，“角色”：[111]，“然后”：[117]，“检查“：[118]，“相互作用”：[120]，“介于”：[121]，“比率”：[123]，“策略”：[126141]，“统一”：[130]，“要求”：[132]，“比较”：[137]，“复杂”：[139]，“例如”：[142]，“如”：[143]，“跨度”：[144]，“PMI”：[146]，“掩蔽”。“：[147]，”最后，“：[148]，”争论“：[150]，”增加“：[152]，”两个“：[157]，”不同“：[158]，”效果：“：[159]，”它“：[160172]，”领导“：[161]，”腐败“：[164]，”其中“：[165177]，”使“：[166]，”预测“：[168]，”任务“：[169]，”困难；“：[171]，”也“：[173]，”启用“：[174]，”预测，“：[176]，”好处“：[178]，”优化。“：[179]，”使用“：[180]，”框架“：[182]，”BERT\u2019s“：[185]，”80-10-10“：[186]，”腐败“：[187]，”战略。“：[188]，”Together，“：[189]，”our“：[190]，”results“：[191]，”contribute“：%192]，”better“：[195]，”understanding“：/196]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4386566638“，”counts_by_year“：[{“年份”：2024，”cited_by_count“：8}，{“年”：2023，”ciped_by_cunt“：14}，”{“年度”：2022，“cited_by_count”：3}]，”updated_date“：”2024-05-24T07:23.464987“，”created_date:“2023-09-10”}