{“id”：“https://openalex.org/W4380994432“，”doi“：”https://doi.org/10.48550/arxiv.2306.09212“，”title“：“CMMLU:测量汉语大规模多任务语言理解”，“display_name”：“CMMU:测量汉语大量多任务语言了解”，“publication_year”：2023，“publiation_date”：“2023-01-01”，“ids”：{“openalex”：“https://openalex.org/W4380994432“，”doi“：”https://doi.org/10.48550/arxiv.2306.09212“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2306.09212“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by-nc-sa”，“licence_id”：“https://openalex.org/licenses/cc-by-nc-sa“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”type“：”preprint“，”type_crossref“：“posted-content”，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：{”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2306.09212“，”any_repository_has_fulltext“：true｝，”authorships“：[｛”author_position“：”first“，”author“：｛”id“：”https://openalex.org/A5070100940“，”display_name“：”Haonan Li“，”orcid“：”https://orcid.org/0000-0003-3403-9950“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”李，浩南“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5049290197“，”display_name“：”Yixuan Zhang“，”orcid“：”https://orcid.org/0000-0001-7317-7235“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”张一轩“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5065822589“，”display_name“：”Fajri Koto“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Koto，Fajri“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5052863980“，”display_name“：”永扬“，”兽人“：”https://orcid.org/0000-0002-9928-7165“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：Yang，Yifei”，“raw_affiliation_strings”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5087565242“，”display_name“：”Hai Zhang“，”orcid“：”https://orcid.org/0000-0001-7069-9249“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”赵，海“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5041448669“，”display_name“：”Yeyun Gong“，”orcid“：”https://orcid.org/0000-0001-9954-9674“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”龚，叶云“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5042018181“，”display_name“：”Nan Duan“，”orcid“：”https://orcid.org/0000-0002-3387-4674“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”段，南“，”raw关联字符串“：[]}，{“author_position”：“last”，“author”：{“id”：“https://openalex.org/A5060332228“，”display_name“：”蒂莫西·鲍德温“，”兽人“：”https://orcid.org/0000-0003-4525-6950“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”鲍德温，蒂莫西“，”raw_affiliation_strings“：[]}]，”countries_distiction_count“：0，”机构区分计数“：0：3，“cited_by_percentile_year“：{“min”：92，“max”：94}，“biblio”：{”volume“：null，”issue“：nul，”first_page“：null，”last_page“：null}，”is_retracted“：false，”is_paratext“：false，”primary_topic“：”{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9988，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9988，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9916，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T13910“，”“display_name”：“社会科学中的计算文本分析”，“score”：0.9114，“subfield”：{“id”：“https://openalex.org/subfields/3300“，”display_name“：”普通社会科学“}，”字段“：{”id“：”https://openalex.org/fields/33“，”display_name“：”社会科学“}，”域“：{”id“：”https://openalex.org/domains/2“，”display_name“：”社会科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.528201}，{”id“：”https://openalex.org/keywords/多语言-神经-机器翻译“，”display_name“：”多语言神经机器翻译“，”score“：0.504502}，{”id“：”https://openalex.org/keywords/quantitative-analysis网站“，”display_name“：”定量分析“，”score“：0.500365}]，”concepts“：[{”id“：”https://openalex.org/C2779343474，“wikidata”：https://www.wikidata.org/wiki/Q3109175“，”display_name“：”Context（考古学）“，”level“：2，”score“：0.66259414}，{”id“：”https://openalex.org/C185798385，“wikidata”：https://www.wikidata.org/wiki/Q1161707“，”display_name“：”基准（测量）“，”level“：2，”score“：0.6087467}，{”id“：”https://openalex.org/C100776233，“wikidata”：https://www.wikidata.org/wiki/Q2532492网址“，”display_name“：”Bridge（图论）“，”level“：2，”score“：0.5602493}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.39769536}，{”id“：”https://openalex.org/C205649164，“wikidata”：https://www.wikidata.org/wiki/Q1071“，”display_name“：”地理“，”级别“：0，”分数“：0.13221511}，{”id“：”https://openalex.org/C71924100，“wikidata”：https://www.wikidata.org/wiki/Q11190“，”display_name“：”Medicine“，”level“：0，”score“：0.12745711}，{”id“：”https://openalex.org/C166957645，“wikidata”：https://www.wikidata.org/wiki/Q23498“，”display_name“：”考古学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C13280743，“wikidata”：https://www.wikidata.org/wiki/Q131089“，”display_name“：”大地测量学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C12632202，“wikidata”：https://www.wikidata.org/wiki/Q11180网址“，”display_name“：”内科“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：3，”location“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2306.09212“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by-nc-sa”，“licence_id”：“https://openalex.org/licenses/cc-by-nc-sa“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：true，”landing_page_url“：”http://arxiv.org/abs/2306.09212，“pdf_url”：http://arxiv.org/pdf/2306.09212，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”Cornell University“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}，{“is_oa”：false，“landing_page_url”：“https://api.datacite.org/dois/10.48550/arxiv.2306.09212“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I4210145204“，”“host_organization_name”：“DataCite”，“host_organization_lineage”：[“https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2306.09212“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by-nc-sa”，“licence_id”：“https://openalex.org/licenses/cc-by-nc-sa“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[{”id“：”https://metadata.un.org/sdg/4“，”display_name“：”素质教育“，”score“：0.87}]，”grants“：[]，”datasets“：【】，”versions“：【]，”referenced_works_count“：0，”referrenced_works“：[]，”related_work斯“：[”https://openalex.org/W972276598","https://openalex.org/W4391375266","https://openalex.org/W4321353415","https://openalex.org/W2748952813","https://openalex.org/W2745001401","https://openalex.org/W2378211422","https://openalex.org/W2130974462","https://openalex.org/W2087343574","https://openalex.org/W2086519370","https://openalex.org/W2028665553“]，”ngrams_url“：”https://api.openalex.org/works/W4380994432/ngrams网站“，”“abstract_inverted_index”：{“As”：[0]，“the”：[1,90113124128138]，“capabilities”：[2132]，“of”：[3,50,78133]，“large”：[4134]，“language”：[5135]，“models”：[6136]，“（LLM）”：[7]，“continue”：[8]，“to”：[9,22,73109]，“advance”：[10]，“evaluating”：[11127]，”“their”：[12,58]，“performance”：[13,59115]，“变得”：[14]，“越来越”：[15]，“至关重要”：[16]，“和“：[17,43,54,63,86116130]”，具有挑战性。“：[18]，”This“：[19,96]，”paper“：[20]，”aims“：[21]，”bridge“：[23]，”This“：[24]，”gap“：[25125]，”by“：[26]，”introduction“：[27]，”CMMLU“：[28]，“a”：[29,47]，“comprehensive”：[30]，“Chinese”：[31139]，“benchmark”：[32]，“that”：[33,68]，“covers”：[34]，“variable”：[35]，“subjects”：[36]，“包括”：[37]，“自然”：[38]，“科学”：[39]，“社会”：[40]，“科技”：[41]，“工程学，“：[42]，”人文科学。“：[44]，“我们”：[45]，“行为”：[46106]，“彻底”：[48]，“评估”：[49]，“18”：[51]，“高级”：[52]，“多语言-”：[53]，“面向中国”：[55]，“LLM”：[56]，“评价”：[57]，“跨越”：[60]，“不同”：[61]，“主题”：[62]，“设置”。“：[64]，“The”：[65]，“results”：[66]，“review”：[67]，“most”：[69]，“existing”：[70]，“LLM”：[71]，“strught”：[72]，“reactive”：%74]，“an”：[75]，“average”：[76]，“accuration”：[77]，“50%”：[79]，“even”：[80]，“when”：[81]，“provided”：[82]，“with”：+83]，“in-context”：[84]，“示例”：[85]，“思想链”：[87]，“提示”，“：[88]，”wherew“：[89]，”random“：[91]，”baseline“：[92]，”代表“：[93]，”代表“：[94]，”25%。“：[95]，”highlights“：[97]，”significant“：[98]，”room“：[99]，”for“：[100119]，”improvement“：[101]，”in“：[102126]，”LLMs。“：[103121]，”“此外，”：[104]，“我们”：[105]，“广泛”：[107]，“实验”：[108]，“识别”：[110]，“因素”：[111]，“影响”：[112]，“模型”：[114]，“提议”：[117]，“方向”：[118]，“增强”：[120]，“CMMLU”：[122]，“填充”：[123]，“知识”：[129]，“推理”：[131]，“内部”：[137]，“上下文。“：[140]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=引用：W4380994432“，”counts_by_year“：[{”年份“：2024，”cited_by_count“：2}，{”年“：2023，”cited_by_count”：1}]，”更新日期“：“2024-05-11T02:20:02.201513”，”创建日期“：”2023-06-17“}