{“id”：“https://openalex.org/W4385574029“，”doi“：”https://doi.org/10.18653/v1/2022.findings-emnlp.293“，”title“：”On the Role of Bidirectivity in Language Model Pre-Training“，”display_name“：”On the Role for Bidirectionality in Language-Model Pre-Trailing“，“publication_year”：2022，”publication_date“：”2022-01-01“，”ids“：{”openalex“：”https://openalex.org/W4385574029“，”doi“：”https://doi.org/10.18653/v1/2022.findings-emnlp.293“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2022.findings-emnlp.293，“pdf_url”：https://aclantology.org/2022.findings-emnlp.293.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”hybrid“，”oa_url“：”https://aclantology.org/2022.findings-emnlp.293.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5023341622“，”display_name“：”Mikel Artetxe“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Mikel-Artetxe”，“raw_affiliation_strings”：[]、“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5006191011“，”display_name“：”Jingfei Du“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Jingfei Duhttps://openalex.org/A5075834790“，”display_name“：”Naman Goyal“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Naman戈亚尔“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5067919401“，”display_name“：”Luke Zettlemoyer“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Luke Zettlemoyerhttps://openalex.org/A5091317839“，”display_name“：”Veselin Stoyanov“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Veseli Stoyanov”，“raw_affiliation_strings”：[]、“affiliations”：[]}]，“countries_distiction_count”：0，“institutions_disticent_count“：0，”corresponding_author_ids“：[]]，”correcponding_institution_ids c_list“：null，”apc_payd“：null，”fwci“：0.997，”has_fulltext“：true，”fulltext_origin“：”pdf“，”cited_by_count“：2，”cited_by_percentile_year“：{”min“：76，”max“：81}，”biblio“：{volume“：nul，”issue“：nully，”first_page“：null，”last_page“：null}，“is_retracted”：false，“is_paratext”：false，“primary_topic”：{“id”：“”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9996，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9996，”subfield“：｛”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译和自然语言处理“，”score“：0.9956，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10201“，”display_name“：”语音识别技术“，”score“：0.9841，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.557339}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”Topic Modeling“，”score“：0.540474}，{”id“：”https://openalex.org/keywords/统计语言建模“，”display_name“：”统计语言建模“，”score“：0.510674}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.806884}，{”id“：”https://openalex.org/C48145219，“wikidata”：https://www.wikidata.org/wiki/Q1335365“，”display_name“：”安全令牌“，”level“：2，”score“：0.61604154}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.58313984}，{”id“：”https://openalex.org/C2779343474，“wikidata”：https://www.wikidata.org/wiki/Q3109175“，”display_name“：”上下文（考古学）“，”level“：2，”score“：0.56289417｝，｛”id“：”https://openalex.org/C8642999，“wikidata”：https://www.wikidata.org/wiki/Q4171168“，”display_name“：”Hyperparameter“，”level“：2，”score“：0.5184614}，{”id“：”https://openalex.org/C97256817，“wikidata”：https://www.wikidata.org/wiki/Q1462316“，”display_name“：”虚假关系“，”level“：2，”score“：0.49362123}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.48152122}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.4528164}，{”id“：”https://openalex.org/C192209626，“wikidata”：https://www.wikidata.org/wiki/Q190909“，”display_name“：”焦点（光学）“，”级别“：2，”分数“：0.44724363}，{”id“：”https://openalex.org/C151730666，“wikidata”：https://www.wikidata.org/wiki/Q7205“，”display_name“：”古生物学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C121332964，“wikidata”：https://www.wikidata.org/wiki/Q413“，”display_name“：”物理“，”级别“：0，”分数“：0.0}，{”id“：”https://openalex.org/C38652104，“wikidata”：https://www.wikidata.org/wiki/Q3510521“，”display_name“：”计算机安全“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C120665830，“wikidata”：https://www.wikidata.org/wiki/Q14620“，”display_name“：”Optics“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C86803240，“wikidata”：https://www.wikidata.org/wiki/Q420“，”display_name“：”Biology“，”level“：0，”score“：0.0}]，”mesh“：[]，”locations_count“：2，”location“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2022.findings-emnlp.293，“pdf_url”：https://aclantology.org/2022.findings-emnlp.293.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2205.11726，“pdf_url”：https://arxiv.org/pdf/205.11726，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://doi.org/10.18653/v1/2022.findings-emnlp.293，“pdf_url”：https://aclantology.org/2022.findings-emnlp.293.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true｝，”sustainable_development_goals“：[]，”grants“：[]，”dataset“：[]，”versions“：[]，”referenced_works_count“：0，”referenced_works“：[]，”related_works“：[”https://openalex.org/W941090075","https://openalex.org/W4311248832","https://openalex.org/W428838396","https://openalex.org/W3134374554","https://openalex.org/W3113091479","https://openalex.org/W2519167559","https://openalex.org/W2237480245","https://openalex.org/W2162899405","https://openalex.org/W2075065631","https://openalex.org/W2044987316“]，”ngrams_url“：”https://api.openalex.org/works/W4385574029/ngrams网站“，”abstract_inverted_index“：{”Prior“：[0]，”work“：[1153]，”on“：[2,30154158]，”language“：[3]，”model“：[4]，”pre-training“：[5]，”has“：[6156]，”explored“：[7]，”different“：+8]，”architecture“：[9]，”and“：[10,18,40,56,78,83,96,99124132143172]，”learning“：[11]，”objectives，“：[12]，”but“：13126]，”差异“：[14145]，”in“：[15,48]，”data，“：[16]，”超参数”：[17]，“评估”：[19]，“制造”：[20]，“a”：[21，33，42，60]，“原则性”：[22]，“比较”：[23]，“困难”。“：[24]，“In”：[25]，“this”：[26166]，“work”，：[27]，“we”：/28]，“focus”：:29]，“bidirectionality”：[31,93]，“as”：[32]，“key”：[34]，“factor”：[3]，“that”：[36,6311065]，“differentises”：[37]，“existing”：[38]，“approachs”，“：[39,66]，”present“：[41]，“comprehesive”：[43]，“study”：[44]，““：[45,92105]，”its“：[46]，”role“：[47]，”next“：[49129]，”token“：[50130]，”预测，“：[51]，”text“：[52]，”infling“：[53125]，”zero-shot“：[54133]，”priming“：[55]，”微调。“：[57]，“我们”：[58108135]，“提议”：[59]，“新”：[61]，“框架”：[62,87]，“概括”：[64]，“先前”：[65152]，“包括”：[67]，“完全”：[68,73]，“单向”：[69]，“模型”：[70,75,80137]，“like”：[71,76,81]，“GPT”：[72]，“双向”：[74,97118181]，“BERT，”：[77]，“混合”：[79]，“CM3”：[82]，“前缀”：[84]，“LM。“：[85]，“我们的”：[86]，“区别”：[88]，“介于”：[89]，“两个”：[90]，“概念”：[91]，“（双向”：[94]，“上下文”：[95]，“注意）”：[98]，“允许”：[100]，“我们”：[101]，“to”：[102140146177]，“控制”：[103]，“每个”：[104]，“他们”：[106]，“分别地”。“：[107]，”find“：[109144]，”the“：[111]，”optimal“：[112]，”configuration“：[113]，”is“：[114120]，”madically“：[115]，”application-dependent“：[116]，”（例如，“：[117]，”attention“：+119]，”effi益“：[121]，”for“：[122128]，”微调“：[123]，”有害“：[127]，”predication“：[131]，”priming）。“：[134]，”火车“：[136]，”with“：[138169]，”up“：[139]，”6.7B“：[141]，”parameters，“：[142]，”remain“：%147]，”consistent“：[148]，”at“：[149]，”scale。“：[150]，”While“：[151]，”scaling“：[155]，”focused“：[157]，”left-to-right“：[159]，”autoregressive“：%160]，”models，“：[161]，”our“：-162]，”results“：[163]，”suggest“：[164]，”approach“：/167]，”comes“：[168]，”some“：[170]，”权衡“：[171]，”it“：[173]，”may“：[174]，”be“：[175]，”worth“：[值得”176]，“开发”：[178]，“非常”：[179]，“大型”：[180]，“模型。“：[182]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4385574029”，“counts_by_year”：[｛“year”：2023，“cited_by_count”：1｝，｛“year”：2022，“cited_by_count”：1｝]，“updated_date”：“2024-06-24T05:48:05.822740”，“created_date”：“2023-08-05”｝