{“id”：“https://openalex.org/W3167227435“，”doi“：”https://doi.org/10.18653/v1/2021.naacl-main.301“，”title“：”预训练语言模型的语篇探查“，”display_name“：”预先训练语言模型语篇探察“，”publication_year“：2021，”publitation_date“：”2021-01-01“，”ids“：{”openalex“：”https://openalex.org/W3167227435“，”doi“：”https://doi.org/10.18653/v1/2021.naacl-main.301“，”mag“：”3167227435“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2021.naacl-main.301，“pdf_url”：https://aclantology.org/2021.naacl-main.301.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”hybrid“，”oa_url“：”https://aclantology.org/2021.naacl-main.301.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5065822589“，”display_name“：”Fajri Koto“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Fajri-Goto“，”raw _affiliation_string“：[”墨尔本大学计算与信息系统学院“]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5032767467“，”display_name“：”Jey Han Lau“，”orcid“：”https://orcid.org/0000-0002-1647-4628“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Jey Han Lau“，”raw关联字符串“：[”墨尔本大学计算与信息系统学院“]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5060332228“，”display_name“：”蒂莫西·鲍德温“，”兽人“：”https://orcid.org/0000-0003-4525-6950“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”蒂莫西·鲍德温“，”raw_affiliation_strings“：[”墨尔本大学计算与信息系统学院“]}]，”countries_distict_count“：0，”机构_distiction_count“：0,”corresponding_author_ids“：[]，“correspounding_institution_ids”：[]、“apc_list”：null，”apc_payd“：null，”has_fulltext“：true，”fulltext_origin“：”pdf“，”cited_by_count“：13，”cited_by_percentile_year“：{”min“：92，”max“：93}，”biblio“：”volume“：null，”issue“：null，”first_page“：null}，“last_page”：null{，“is_retracted”：false，“is_paratext”：false，“primary_topic”：{“id”：“https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9999，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译和自然语言处理“，”score“：0.9999，”subfield“：｛”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9999，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T12031“，”“display_name”：“口语系统的对话行为建模”，“score”：0.9844，“subfield”：{“id”：“https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.577199}，{”id“：”https://openalex.org/keywords/pretrained模型“，”display_name“：”预训练模型“，”score“：0.552682}，{”id“：”https://openalex.org/keywords/syntax-based-translation-models网站“，”display_name“：”基于句法的翻译模型“，”score“：0.548957}，{”id“：”https://openalex.org/keywords/word-representation网站“，”display_name“：”单词表示“，”score“：0.513289}，{”id“：”https://openalex.org/keywords/semantic-processing“，”display_name“：”语义处理“，”score“：0.513288}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198（网址：https://www.wikidata.org/wiki/Q21198）“，”display_name“：”计算机科学“，”level“：0，”score“：0.81580395}，{”id“：”https://openalex.org/C12725497，“wikidata”：https://www.wikidata.org/wiki/Q810247“，”display_name“：”基线（sea）“，”级别“：2，”分数“：0.6975393}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.68347645}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.67246807}，{”id“：”https://openalex.org/C118505674，“wikidata”：https://www.wikidata.org/wiki/Q42586063“，”display_name“：”编码器“，”level“：2，”score“：0.6669055}，{”id“：”https://openalex.org/C2777300160，“wikidata”：https://www.wikidata.org/wiki/Q41796“，”display_name“：”句子“，”级别“：2，”分数“：0.653231}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.59678495｝，｛”id“：”https://openalex.org/C11368507，“wikidata”：https://www.wikidata.org/wiki/Q43518“，”display_name“：”Oceanography“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C127313418，“wikidata”：https://www.wikidata.org/wiki/Q1069“，”display_name“：”地质“，”等级“：0，”分数“：0.0}，{”id“：”https://openalex.org/C111919701，“wikidata”：https://www.wikidata.org/wiki/Q9135“，”display_name“：”操作系统“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：3，”location“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2021.naacl-main.301，“pdf_url”：https://aclantology.org/2021.naacl-main.301.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，{”is_oa“：true，”landing_page_url“：”http://hdl.handle.net/11343/281172，“pdf_url”：http://minerva-access.unimelb.edu.au/bitstreams/34e3372e-1ece-5ea8-aaa8-c0c7bf6869ca/download，“源”：{“id”：https://openalex.org/S4306402500“，”display_name“：”Minerva Access（墨尔本大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I165779595“，”“host_organization_name”：“墨尔本大学”，“host_ordanization_lineage”：[“https://openalex.org/I165779595“]，”host_organization_lineage_names“：[”墨尔本大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2104.05882，“pdf_url”：https://arxiv.org/pdf/2104.05882，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://doi.org/10.18653/v1/2021.naacl-main.301，“pdf_url”：https://aclantology.org/2021.naacl-main.301.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[{”display_name“：”素质教育“，”score“：0.81，”id“：”https://metadata.un.org/sdg/4“｝]，”grants“：[]，”dataset“：[]，”versions“：[]，”referenced_works_count“：9，”referenced_works“：[”https://openalex.org/W2140676672","https://openalex.org/W2758815496","https://openalex.org/W2885227423","https://openalex.org/W2888482885","https://openalex.org/W2950308662","https://openalex.org/W2952750383","https://openalex.org/W2970474271","https://openalex.org/W2970820321","https://openalex.org/W2986341143“]，”related_works“：[”https://openalex.org/W4296359239","https://openalex.org/W23831191961","https://openalex.org/W2380820513","https://openalex.org/W2372385138","https://openalex.org/W2365952365","https://openalex.org/W2352448290","https://openalex.org/W2186640231","https://openalex.org/W2043093291","https://openalex.org/W2005801347","https://openalex.org/W1557905920“]，”ngrams_url“：”https://api.openalex.org/works/W3167227435/ngrams网站“，”“abstract_inverted_index”：{“现有”：[0]，“工作”：[1]，“on”：[2,12]，“探测”：[3,22,44]，“of”：[4,27]，“预处理”：[5,28,37]，“语言”：[6]，“模型”：[7]，“（LMs）”：[8]，“有”：[9]，“主要”：[10]，“聚焦”：[11]，“句子级别”：[13]，“句法”：[14]，“任务。在”：[15]，“此“：[16]，”论文“：[17]，”我们“：[18]，”介绍“：[19]，”文档级别“：[20,32]，”话语“：[21,43,57,84]，”to“：[23,30,49]，”evaluate“：[24]，”the“：[25,52,69,72]，”ability“：[26]，”LMs“：[29]，”capture“：[31,83]，”relations。我们“：[33]，“实验”：[34]，“with”：[35,63]，“7”：[36,42]，“LMs”：[38]，“4”：[39]，“languages，”：[40]，“and”：[41,46,86]，“tasks，”，“：[45]，“find”：[47]，“BART”：[48]，“be”：[50]，“overall”：[51]，“best”：[53,82]，“model”：[54]，“at”：[55]，“capturing”：[56]，“-但”：[58]，“仅”：[59]，“in”：[60,79]，“its”：[61]，“编码器”，“：[62]，“BERT”：[64]，“正在执行”：[65]，“令人惊讶”：[66]，“well“：[67]，”as“：[68]，”baseline“：[70]，”model。Across“：[71]，”different“：[73]，”models“，”：[74]，”there“：[75]，”are“：76]，”substance“：[77]，”discrimination“：[78]，”which“：[80]，”layers“：[81]，”information“，”:[85]，“large”：[87]，“differencess”：[88]，“between”：[89]，“models。“：[90]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W3167227435“，”counts_by_year“：[{”年“：2024，”cited_by_count“：1}，{”年份“：2023，”cited_by_count”：5}，“{”年度“：2022，”citecd_by_count“：6}，”{“年份”：2021，”citted_by_count“:1}]，”updated_date“：”2024-06-03T23:52:39.897576“，”created_dated“：”2020 1-06-22“}