{“id”：“https://openalex.org/W4206662200“，”doi“：”https://doi.org/10.18653/v1/2021.emnlp-main.523“，”title“：”Sparse Attention with Linear Units“，”display_name“：”Sprase Attention by Linear Units“，”publication_year“：2021，”publiation_date“：”2021-01-01“，”ids“：{”openalex“：”https://openalex.org/W4206662200“，”doi“：”https://doi.org/10.18653/v1/2021.emnlp-main.523“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2021.emnlp-main.523，“pdf_url”：https://aclantology.org/2021.emnlp-main.523.pdf，“源”：{“id”：https://openalex.org/S4363608991“，”display_name“：”2021年自然语言处理实证方法会议记录“，”issn_l“：null，”issn“：nul，”is_oa“：false，”is_ in_doaj“：false，”host_organization“：nuld，”hose_organization_name“:null，“host_orgganization_lineage”：[]，“hosd_organisation_lineage_names”：[[]，”type“：”Conference“}，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”hybrid“，”oa_url“：”https://aclantology.org/2021.emnlp-main.523.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5019945679“，”display_name“：”张彪“，”兽人“：”https://orcid.org/0000-0001-5882-0069}，“机构”：[{“id”：https://openalex.org/I98677209“，”display_name“：”爱丁堡大学“，”ror“：”https://ror.org/01nrxwf90“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I98677209“]}]，”国家“：[”GB“]，”is_corresponding“：false，”raw_author_name“：”Biao Zhang“，”raw _affiliation_strings“：[“爱丁堡大学信息学院”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A503369780“，”display_name“：”Ivan P.Titov“，”orcid“：null}，”institutions“：[{”id“：”https://openalex.org/I98677209“，”display_name“：”爱丁堡大学“，”ror“：”https://ror.org/01nrxwf90“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I98677209“]}，{”id“：”https://openalex.org/I887064364“，”display_name“：”阿姆斯特丹大学“，”ror“：”https://ror.org/04dkp9463“，”country_code“：”NL“，”type“：“教育”，”世系“：[”https://openalex.org/I887064364“]}]，”国家“：[”GB“，”NL“]，”is_corresponding“：false，”raw_author_name“：”Ivan Titov“，”raw _affiliation_strings“：[“阿姆斯特丹大学ILLC”，“爱丁堡大学信息学院”]}，{“author_position”：“last”，“author”：{“id”：“https://openalex.org/A5005771535“，”display_name“：”Rico Sennrich“，”orcid“：null}，”institutions“：[{”id“：”https://openalex.org/I98677209“，”display_name“：”爱丁堡大学“，”ror“：”https://ror.org/01nrxwf90“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I98677209“]}，{”id“：”https://openalex.org/I202697423“，”display_name“：”苏黎世大学“，”ror“：”https://ror.org/02crff812“，”country_code“：”CH“，”type“：“教育”，”世系“：[”https://openalex.org/I202697423“]}]，”countries“：[”CH“，”GB“]，”is_corresponding“：false，”raw_author_name“：”Rico Sennrich“，”raw _affiliation_strings“：【”苏黎世大学计算语言学系“，”爱丁堡大学信息学院“】}]，“countries_distict_count”：3，”institutions_disticent_count“：3，“corresponding_author_ids”：[]，“corresponding_institution_ids“：[]，”apc_list“：null，”apc _ paid“：null，”has_fulltext“：false，”cited_by_count“：10，”cited_by_percentile_year“：{”min“：90，”max“：91}，”biblio“：{”volume“：null，”issue“：nul，”first_page“：null}，“is_retracted”：false、“is_paratext”：false，“primary_topic”：{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9987，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9987，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9952，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T12026“，”display_name“：”可解释人工智能“，”score“：0.9777，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”Language Modeling“，”score“：0.488145}]，”concepts“：[{”id“：”https://openalex.org/C188441871，“wikidata”：https://www.wikidata.org/wiki/Q7554146“，”display_name“：”Softmax函数“，”level“：3，”score“：0.87102234}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198（网址：https://www.wikidata.org/wiki/Q21198）“，”display_name“：”计算机科学“，”level“：0，”score“：0.76338005}，{”id“：”https://openalex.org/C203005215，“wikidata”：https://www.wikidata.org/wiki/Q79798“，”display_name“：”机器翻译“，”level“：2，”score“：0.5237515}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.49419144}，{”id“：”https://openalex.org/C114466953，“wikidata”：https://www.wikidata.org/wiki/Q6034165“，”display_name“：”初始化“，”级别“：2，”分数“：0.44727167}，{”id“：”https://openalex.org/C57273362，“wikidata”：https://www.wikidata.org/wiki/Q576722“，”display_name“：”解码方法“，”level“：2，”score“：0.44312146}，{”id“：”https://openalex.org/C11413529，“wikidata”：https://www.wikidata.org/wiki/Q8366“，”display_name“：”Algorithm“，”level“：1，”score“：0.3301339｝，｛”id“：”https://openalex.org/C153180895，“wikidata”：https://www.wikidata.org/wiki/Q7148389“，”display_name“：”模式识别（心理学）“，”level“：2，”score“：0.32985473}，{”id“：”https://openalex.org/C108583219，“wikidata”：https://www.wikidata.org/wiki/Q197536“，”display_name“：”深度学习“，”level“：2，”score“：0.081536114}，{”id“：”https://openalex.org/C199360897，“wikidata”：https://www.wikidata.org/wiki/Q9143“，”display_name“：”编程语言“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：4，”location“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2021.emnlp-main.523，“pdf_url”：https://aclantology.org/2021.emnlp-main.523.pdf，“源”：{“id”：https://openalex.org/S4363608991“，”display_name“：”2021年自然语言处理实证方法会议记录“，”issn_l“：null，”issn“：nul，”is_oa“：false，”is_ in_doaj“：false，”host_organization“：nuld，”hose_organization_name“:null，“host_orgganization_lineage”：[]，“hosd_organisation_lineage_names”：[[]，”type“：”Conference“}，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，{”is_oa“：true，”landing_page_url“：”https://www.zora.uzh.ch/id/eprint/208886/1/2021.emnlp-main.523.pdf，“pdf_url”：https://www.zora.uzh.ch/id/eprint/20886/1/2021.emnlp-main.523.pdf“，”源“：｛”id“：”https://openalex.org/S4306401281“，”display_name“：”苏黎世开放存储库和档案馆（苏黎世大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”host_organization“：”https://openalex.org/I202697423“，”“host_organization_name”：“苏黎世大学”，“host_ordanization_lineage”：[“https://openalex.org/I202697423“]，”host_organization_lineage_names“：[”苏黎世大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，{”is_oa“：true，”landing_page_url“：”http://hdl.handle.net/20.500.11820/3ae237aa-f0ab-4a27-97e0-a0ca6bdc7385，“pdf_url”：https://www.pure.ed.ac.uk/ws/files/240160428/Sparse_Antertation_ZHANG_DOA26082021_VOR_CC_BY.pdf，“源”：{“id”：https://openalex.org/S4306400320“，”“display_name”“：”爱丁堡研究探索者（爱丁堡大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I98677209“，”“host_organization_name”：“爱丁堡大学”，“host_organization_lineage”：[“https://openalex.org/I98677209“]，”host_organization_lineage_names“：[”爱丁堡大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/1204.07012，“pdf_url”：https://arxiv.org/pdf/1204.07012，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://doi.org/10.18653/v1/2021.emnlp-main.523，“pdf_url”：https://aclantology.org/2021.emnlp-main.523.pdf，“源”：{“id”：https://openalex.org/S4363608991“，”display_name“：”2021年自然语言处理实证方法会议记录“，”issn_l“：null，”issn“：nul，”is_oa“：false，”is_ in_doaj“：false，”host_organization“：nuld，”hose_organization_name“:null，“host_orgganization_lineage”：[]，“hosd_organisation_lineage_names”：[[]，”type“：”Conference“}，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[]，”grants“：[]，”datasets“：〔]，”versions“：[〕，”referenced_works_count“：13，”reforenced_works“：[”https://openalex.org/W1973923101","https://openalex.org/W2101105183","https://openalex.org/W2512924740","https://openalex.org/W2799051177","https://openalex.org/W2903193068","https://openalex.org/W2946794439","https://openalex.org/W2950858167","https://openalex.org/W2962784628","https://openalex.org/W2962824709","https://openalex.org/W2963062480","https://openalex.org/W2963341956","https://openalex.org/W2970726176","https://openalex.org/W2970777192“]，”related_works“：[”https://openalex.org/W4287591324","https://openalex.org/W4226420367","https://openalex.org/W3108503355","https://openalex.org/W3107204728","https://openalex.org/W3090555870","https://openalex.org/W2980176872","https://openalex.org/W2962876041","https://openalex.org/W2912971006","https://openalex.org/W2801655600","https://openalex.org/W2249953602“]，”ngrams_url“：”https://api.openalex.org/works/W4206662200/ngrams网站“，”“abstract_inverted_index”：{“最近，”：[0]，“it”：[1]，“has”：[2]，“been”：[3]，“argumed”：[4]，“that”：[5,48121128]，“encodercoder”：[6]，“models”：[7]，“can”：[8]，“be”：[9]，“made”：[10]，“more”：[11,85]，“internatable”：[12]，“by”：[13]，“replacement”：[14]，”：[15,19],40,96123138]，“softmax”：[16,41175]，“函数”：[17]，“in”：[18,36]，“注意”：[20,91141]，“带有“：[21,43,59,62114145173]，”its“：[22]，”sparse“：[23,90]，”变体。在“：[24]，“this”：[25]，“work”，“we”：[27,38,74]，“introduce”：[28]，“a”：[29,44,54,64]，“novel，”：[30]，“simple”：[31]，“method”：[32]，“for”：[33166]，“reacing”：[34]，“sparsity”：[35,49132]，“attention:”：[37]，“replace”：[39]，“activation”：[42]，“ReLU，“：[45]，”和“：[46,84,98116134137]，”show“：[47]，”natural“：[50]，”emerges“：[51]，”from“：[52]，”such“：[53]，”配方。训练”：[55]，“稳定性”：[56]，“是”：[57,80170]，“实现”：[58]，“层”：[60]，“规范化”：[61]，“要么”：[63]，“专门化”：【65】，“初始化”：【66】，“或”：【67】，“an”：【68】，“附加”：【69】，“选通”：【70】，“功能。我们的“：[71]，”模型“：[72]，”其中“：[73169]，”调用“：[75]，”纠正“：[76]，”线性“：[77]，”注意“：[78]，”（ReLA）“：[79]，”容易“：[81]，”到“：[82,95110120147160162]，”实现“：[83]，”高效“：[86]，”比“：[87151]，”以前的“：88]，”建议的“：+89]，”机制。我们“：[92]，“应用”：[93]，“ReLA”：[94129156]，“变形金刚”：[97]，“行为”：[99]，“实验”：[100]，“on”：[101]，“五”：[102]，“机器”：[103]，“翻译”：[104107]，“任务”。ReLA“：[105]，“实现”：[106142]，“性能”：[108]，“可比”：[109]，“多个”：[111]，“强”：[112]，“基线”：[113]，“训练”：[115]，“解码”：[117]，“速度”：[118]，“相似”：[119]，“of”：[122]，“vanilla”：[124]，“注意”。我们的“：[125]，“分析”：[126]，“显示”：[127]，“交付”：[130]，“高”：[131]，“速率”：[133]，“头部”：[135]，“多样性”：[136]，“诱导”：[139]，“交叉”：[140]，“更好”：[143]，“准确性”：[144]，“尊重”：[146]，“源目标”：[148]，“单词”：[149]，“对齐”：[150]，“最近”：[152]，“稀疏”：[153174]，“基于softmax”：[154]，“模型。有趣的是，“：[155]，“heads”：[157]，“also”：[158]，“learn”：[159]，“attent”：[161]，“nothing”：[163]，“（即“switch”：[164]，“off”）”：[165]，“some”：[167]，“queries”：[168]，“no”：[171]，“possible”：[172]，“alternatives”。“：[176]，”1“：[177]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4206662200“，”counts_by_year“：[{”年份“：2023，”cited_by_count“：8}，{”年“：2022，”cited_by_count”：2}]，”更新日期“：“2024-05-11T20:34:338.798821”，”创建日期“：”2022-01-25“}