{“id”：“https://openalex.org/W3207607259“，”doi“：”https://doi.org/10.1007/978-3-030-88480-2_18“，”title“：“使用加权集成自蒸馏加速预训练语言模型推断”，”display_name“：”使用加权集成自动蒸馏加速预培训语言模型推断“，”publication_year“：2021，”publiation_date“：”2021-01-01“，”ids“：{”openalex“：”https://openalex.org/W3207607259“，”doi“：”https://doi.org/10.1007/978-3-030-88480-2_18“，”mag“：”3207607259“}，”language“：”en“，”primary_location“：{”is_oa“：false，”landing_page_url“：”https://doi.org/10.1007/978-3-030-88480-2_18“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S106296714“，”“display_name”“：”“计算机科学课堂讲稿”“，”issn_l“：”0302-9743“，”isn“：[”0302-7743“、”1611-3349“]，”is_oa“：false，”is_in_doaj“：false，”host_organization“：”https://openalex.org/P4310318900“，”“host_organization_name”：“Springer Science+Business Media”，“host_organization_lineage”：[“https://openalex.org/P431031965","https://openalex.org/P4310318900“]，”host_organization_lineage_names“：[”Springer Nature“，”Springer-Science+Business Media“]，“type”：“book-series”}，“license”：null，“licence_id”：nul，“version”：null，“is_accepted”：false，“is_published”：false}，”type“：”book-chapter“，”type_crossref“：“book-chapter”，”indexed_in“：[“crossref”]，”open_access“：{”is_oa“：false”“，”oa_url“：空，”any_repository_has_fulltext“：false｝，”authorships“：[｛”author_position“：”first“，”author“：｛”id“：”https://openalex.org/A5020690590“，”display_name“：”Jun Kong“，”orcid“：null}，”institutions“：[{”id“：”https://openalex.org/I189210763“，”display_name“：”云南大学“，”ror“：”https://ror.org/0040axw97“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I189210763“]｝]，”国家“：[”CN“]，”is_corresponding“：true，”raw_author_name“：”Jun Kong“，”raw_affiation_strings“：[”云南大学“]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5046216110“，”display_name“：”Jin Wang“，”orcid“：”https://orcid.org/0000-0001-5437-3150}，“机构”：[{“id”：https://openalex.org/I189210763“，”display_name“：”云南大学“，”ror“：”https://ror.org/0040axw97“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I189210763“]}]，”国家“：[”CN“]，”is_corresponding“：true，”raw_author_name“：”Jin Wang“，”raw关联字符串“：[“云南大学”]}，{“author_position”：“last”，“author”：{“id”：“https://openalex.org/A5052937683“，”display_name“：”张学杰“，”兽人“：”https://orcid.org/0000-0002-6591-0916}，“机构”：[{“id”：https://openalex.org/I189210763“，”display_name“：”云南大学“，”ror“：”https://ror.org/0040axw97“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I189210763“]}]，”国家“：[”CN“]，”is_corresponding“：true，”raw_author_name“：”Xuejie Zhang“，”raw关联字符串“：[“云南大学”]}]，”countries_distiction_count“：1，”institutions_disticent_count”：1，“corresponding_author_ids”：[“https://openalex.org/A5020690590","https://openalex.org/A5046216110","https://openalex.org/A5052937683“]，”对应的机构ID“：[”https://openalex.org/I189210763","https://openalex.org/I189210763","https://openalex.org/I189210763“]，”apc_list“：{”value“：5000，”currency“：”EUR“，”value_usd“：5392，”provenance“：”doaj“}，”apc _payed“：{“value”：5000，“currench”：“EUR”，”value_ usd“:5392，“provenance”：“doaj”}，“has_fulltext”：false，“cited_by_count”：3，“cited_by_percentile_year”：{“min”：77，“max”：80}，“issue”：null，“first_page”：“224”，“last_page”：“235”}，“is_retracted”：falseis_paratext“：false，”primary_topic“：{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10036“，”display_name“：”计算机视觉和图像识别深度学习“，”score“：0.996，”subfield“：{”id“：”https://openalex.org/subfields/1707“，”display_name“：”计算机视觉和模式识别“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9946，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/preained-models“，”display_name“：”预训练模型“，”score“：0.619825}，{”id“：”https://openalex.org/关键词/语言建模“，”display_name“：”语言建模“，”score“：0.596255}，{”id“：”https://openalex.org/keywords/model-compression（https://openalex.org/keywords/model-compression）“，”display_name“：”模型压缩“，”score“：0.589739}，{”id“：”https://openalex.org/keywords/syntax-based-translation-models网站“，”display_name“：”基于句法的翻译模型“，”score“：0.534564}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”Topic Modeling“，”score“：0.532873}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.88493085}，{”id“：”https://openalex.org/C2776214188，“wikidata”：https://www.wikidata.org/wiki/Q408386“，”display_name“：”推断“，”级别“：2，”分数“：0.8066446}，{”id“：”https://openalex.org/C95623464，“wikidata”：https://www.wikidata.org/wiki/Q1096149“，”display_name“：”分类器（UML）“，”level“：2，”score“：0.63114464}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.6094145}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.56138694}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.5260268｝，｛”id“：”https://openalex.org/C45942800，“wikidata”：https://www.wikidata.org/wiki/Q245652“，”“display_name”“：”合奏学习“，”级别“：2，”分数“：0.5070813}，{”id“：”https://openalex.org/C204030448，“wikidata”：https://www.wikidata.org/wiki/Q101017“，”“display_name”“：”蒸馏“，”级别“：2，”分数“：0.4841886}，{”id“：”https://openalex.org/C178790620，“wikidata”：https://www.wikidata.org/wiki/Q11351“，”display_name“：”有机化学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C185592680，“wikidata”：https://www.wikidata.org/wiki/Q2329“，”display_name“：”Chemistry“，”level“：0，”score“：0.0}]，”mesh“：[]，”locations_count“：1，”location“：[{”is_oa“：false，”landing_page_url“：”https://doi.org/10.1007/978-3-030-88480-2_18“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S106296714“，”“display_name”“：”“计算机科学课堂讲稿”“，”issn_l“：”0302-9743“，”isn“：[”0302-7743“、”1611-3349“]，”is_oa“：false，”is_in_doaj“：false，”host_organization“：”https://openalex.org/P4310318900“，”“host_organization_name”：“Springer Science+Business Media”，“host_organization_lineage”：[“https://openalex.org/P431031965","https://openalex.org/P4310318900“]，”host_organization_lineage_names“：[”Springer Nature“，”Springer-Science+Business Media“]，“type”：“book-series”}，“license”：null，“licence_id”：nul，“version”：null，“is_accepted”：false，“is_published”：false}]，“best_oa_location”：nuld，“sustainable_development_goals”：[{“score”：0.66，“id”：“https://metadata.un.org/sdg/4“，”display_name“：”素质教育“}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：9，”referrenced_works“：【”https://openalex.org/W2948947170","https://openalex.org/W2962677625","https://openalex.org/W2970454332","https://openalex.org/W3034292689","https://openalex.org/W3035038672","https://openalex.org/W3035451444","https://openalex.org/W3161925192","https://openalex.org/W3165050301","https://openalex.org/W3177265267“]，”related_works“：[”https://openalex.org/W4382468411","https://openalex.org/W4321636575","https://openalex.org/W4318751837","https://openalex.org/W3026162553","https://openalex.org/W2953684491","https://openalex.org/W2768175398","https://openalex.org/W2412887479","https://openalex.org/W2344382886","https://openalex.org/W2055243143","https://openalex.org/W19111321“]，”ngrams_url“：”https://api.openalex.org/works/W3207607259/ngrams“，”“abstract_inverted_index”：{“预训练”：[0]，“语言”：[1,11]，“模型”：[2]，“（PLM）”：[3]，“有”：[4,50]，“实现”：[5]，“显著”：[6]，“结果”：[7203]，“in”：[8,37,77108185]，“各种”：[9]，“自然”：[10]，“处理”：[12]，“任务。”：[13]，71,81,85126132135156162175180186190195206209215223]，“性能“：[16133196219]，“of”：[17,70111158174189208218]，“model”：[19,54,64,78211]，“increases”，“：[20]，“it”：[21166]，“is”：[22229]，“also”：[23100]，“assessed”：[24]，“by”：[25]，“more”：[26]，时间，“：[32]，”which“：[33129]，”makes“：[34]，”部署“：[35]，”PLM“：[36,82176181]，”边缘“：[38]，”设备“：[39]，”用于“：[40]，”低延迟“：[41]，”应用程序“：[42]，”具有挑战性。“：[43]，“收件人”：[44]，“地址”：[45]，“此”：[46115]，“问题”：[47]，“最近”：[48]，“研究”：[49]，“建议”：[51]，“应用”：[52]，“任意”：[53]，“压缩”：[55,65]，“或”：[56]，“提前退出”：[57,86,901127140191225]，“技术”：[58]，“到”：[59,74124142155161193]，“加速”：[60]，”推断。“：[62]，”“然而，”：[63]，“永久”：[66]，“丢弃”：[67]，“模块”：[69]，“模型”：[72]，“领先”：[73]，“a”：[75117]，“下降”：[76]，“性能。“：[79]，”训练“：[80]，”主干“：[83177]，”分类器“：[87192]，”分别“：[88]，”与“：[89150]，”策略。“：[91]，“It”：[92138]，“not”：[93]，“only”：[94]，“brings”：[95]，“extra”：[96]，“training”：[97187]，“cost”：[98217]，“but”：[99]，“loss”：[101]，“semantic”：[102145]，“information”：[103146]，“from”：[104147]，“higher”：[105]，“layers”：[106]，“resulted”：[107]，“unreliable”：[109]，“decisions”：[110]，“分类器。“：[113]，”In“：[114]，”研究“：[116]，”加权“：[118169]，”集合“：[119170]，”自蒸馏“：[12171]，”方法“：[121]，”过去“：[122121]，”提议“：[123210]，”改进“：[125]，”策略“：[128]，”好“：[130]，”平衡“：[131]，”时间“。“：[137]，”启用“：[139]，”分类器“：[141]，”获得“：[143]，”丰富“：[144]，”不同“：[148]，”层“：[149]，”an“：[151]，”注意力“：[152]，”机制“：[153]，”根据“：[154]，”贡献“：[157]，”每个“：[159]，”层“：[160]，”最终“：[163]，”预测。“：[164]，”“此外，”“：[165]，”同时“：[167]，”执行“：[168]，”微调“：[173]，”so“：[178]，”that“：[179205]，”can“：[182]，”be“：[183]，”fine-tune“：[184]，”process“：[188]，”preserve“：[194]，”as“：[197199]，”much“：[198]，”possible。“：[200]，”The“：[201227]，”experimental“：[202]，”show“：[204]，”accelerated“：[213]，”at“：[214]，”minimum“：[216]，”loss，“：[220]，”thus“：[221]，”excellending“：[222]，”previous“：[224]，”models。“：[226]，”代码“：[228]，”可用“：[230]，”地址：“：[231]，”https://github.com/JunKong5/WestBERT。“：[232]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W3207607259“，”counts_by_year“：[{”year“:2024，”cited_by_count“：1}，{”year“：2023，”cited_by_count”：1}，{“year”：2022，”citecd_by_count“:1}]，”updated_date“：”2024-05-22T20:32:52.869842“，”created_dates“：”2020年10月25日“}