{“id”：“https://openalex.org/W4396833346“，”doi“：”https://doi.org/10.1145/3613905.3650755“，”title“：”LLM Comparator:“大型语言模型并行评估的可视化分析”，“display_name”：“LLM Compalator:大型语言模型的并行评估的可视分析”，”publication_year“：2024，”publiation_date“：”2024-05-02“，”ids“：{”openalex“：”https://openalex.org/W4396833346“，”doi“：”https://doi.org/10.1145/3613905.3650755“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.1145/3613905.3650755，“pdf_url”：https://dl.acm.org/doi/pdf/10.1145/3613905.3650755“，”source“：null，”license“：null，”licence_id“：nul，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“proceedings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”青铜色“，”oa_url“：”https://dl.acm.org/doi/pdf/10.1145/3613905.3650755“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5042350842“，”display_name“：”Minsuk Kahn“，”orcid“：”https://orcid.org/0000-0002-0291-6026}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”Minsuk Kahng“，”raw _ afiliation_strings“：[“人民+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5082431329“，”display_name“：”Ian Tenney“，”orcid“：”https://orcid.org/0000-0002-6225-9283}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”Ian Tenney“，”raw _ afiliation_strings“：[“人+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5007386215“，”display_name“：”Mahima Pushkarna“，”orcid“：”https://orcid.org/0000-0002-5903-5510}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”Mahima Pushkarna“，”raw _ afiliation_strings“：[“人民+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5072682773“，”display_name“：”Michael Xieyang Liu“，”orcid“：”https://orcid.org/0000-0002-8246-8736}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”Michael Xieyang Liu“，”raw关联字符串“：[“人民+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5081809692“，”display_name“：”James Wexler“，”orcid“：”https://orcid.org/0009-0006-8105-6998}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”James Wexler“，”raw关联字符串“：[“人民+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5019880413“，”display_name“：”Emily Reif“，”orcid“：”https://orcid.org/0000-0003-3572-6234}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”Emily Reif“，”raw_affiliation_strings“：[“人+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5044714148“，”display_name“：”Krystal Kallarackal“，”orcid“：”https://orcid.org/0000-0002-2337-0114}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”Krystal Kallarackal“，”raw _ afiliation_strings“：[“谷歌，美国”]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5028296294“，”display_name“：”Minsuk Chang“，”orcid“：”https://orcid.org/0000-0002-9441-3337}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]｝]，”国家“：[”美国“]，”is_correresponsing“：false，”raw_author_name“：”Minsuk Chang“，”raw_affiation_strings“：[”人民+人工智能研究（PAIR），谷歌，美国“]｝，｛”author_position“：”中间“，”作者“：｛”id“：”https://openalex.org/A5015483503“，”display_name“：”Michael Terry“，”orcid“：”https://orcid.org/0000-0003-1941-939X}，“机构”：[{“id”：https://openalex.org/I1291425158“，”display_name“：”谷歌（美国）“，”错误“：”https://ror.org/00njsd438“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1291425158","https://openalex.org/I4210128969“]}]，”国家“：[”美国“]，”is_corresponding“：false，”raw_author_name“：”迈克尔·特里“，”raw _ afiliation_strings“：[“人民+人工智能研究（PAIR），谷歌，美国”]}，{“author_position”：“last”，“author”：{“id”：“https://openalex.org/A5071940284“，”display_name“：”Lucas Dixon“，”orcid“：”https://orcid.org/0000-0003-1094-1675“}，”机构“：[]，”国家“：[”FR“]，”is_corresponding“：false，”raw_author_name“：”卢卡斯·迪克森“，”raw _ afiliation_strings“：[“人民+人工智能研究（PAIR），谷歌，法国”]}]，”countries _ distinct_count“：2，”institutions _ disting_counthas_fulltext“：false，”cited_by_count“：0，”cited_by_percentile_year“：{”min“：0”，“max”：91}，“biblio”：{“volume”：null，“issue”：null，“first_page”：null}，”last_page“：null{，”is_retracted“：false，”is_paratext“：false，”primary_topic“：”{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9992，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”Physical Sciences“｝｝，”topics“：[｛”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9992，”subfield“：｛”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T12026“，”display_name“：”可解释人工智能“，”score“：0.997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10260“，”“display_name”：“软件工程实证研究”，“score”：0.9964，“subfield”：{“id”：“https://openalex.org/subfields/1710“，”display_name“：”Information Systems“}，”field“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/cinterpretable-models“，”display_name“：”可解释模型“，”score“：0.51244}，{”id“：”https://openalex.org/keywords/visual-explanations网站“，”display_name“：”可视化解释“，”score“：0.510269}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”主题建模“，”score“：0.504864}，{”id“：”https://openalex.org/keywords/source-code-analysis网站“，”display_name“：”源代码分析“，”score“：0.504465}]，”concepts“：[{”id“：”https://openalex.org/C2781067378，“wikidata”：https://www.wikidata.org/wiki/Q17027399“，”display_name“：”可解释性“，”level“：2，”score“：0.90013343}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.8275733}，{”id“：”https://openalex.org/C177212765，“wikidata”：https://www.wikidata.org/wiki/Q627335“，”“display_name”“：”工作流“，”级别“：2，”分数“：0.7581894}，{”id“：”https://openalex.org/C79158427，“wikidata”：https://www.wikidata.org/wiki/Q485396“，”display_name“：”Analytics“，”level“：2，”score“：0.64827216}，{”id“：”https://openalex.org/C59732488，“wikidata”：https://www.wikidata.org/wiki/Q2528440“，”display_name“：”Visual analytics“，”level“：3，”score“：0.63702947｝，｛”id“：”https://openalex.org/C48044578，“wikidata”：https://www.wikidata.org/wiki/Q727490“，”display_name“：”可伸缩性“，”level“：2，”score“：0.5767904}，{”id“：”https://openalex.org/C23131810，“wikidata”：https://www.wikidata.org/wiki/Q818574“，”display_name“：”观察性研究“，”level“：2，”score“：0.57188636｝，｛”id“：”https://openalex.org/C2522767166，“wikidata”：https://www.wikidata.org/wiki/Q2374463“，”display_name“：”数据科学“，”level“：1，”score“：0.49041674}，{”id“：”https://openalex.org/C36464697，“wikidata”：https://www.wikidata.org/wiki/Q451553“，”display_name“：”可视化“，”级别“：2，”分数“：0.46609202}，{”id“：”https://openalex.org/C107457646，“wikidata”：https://www.wikidata.org/wiki/Q207434“，”display_name“：”Human\u2013计算机交互“，”level“：1，”score“：0.4549179}，{”id“：”https://openalex.org/C3454156网址，“wikidata”：https://www.wikidata.org/wiki/Q1144241网址“，”display_name“：”副作用（计算机科学）“，”level“：2，”score“：0.44844326}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.43651766}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.36982328}，{”id“：”https://openalex.org/C199360897，“wikidata”：https://www.wikidata.org/wiki/Q9143“，”display_name“：”编程语言“，”level“：1，”score“：0.09506118}，{”id“：”https://openalex.org/C77088390，“wikidata”：https://www.wikidata.org/wiki/Q8513“，”display_name“：”数据库“，”级别“：1，”分数“：0.07395592}，{”id“：”https://openalex.org/C71924100，“wikidata”：https://www.wikidata.org/wiki/Q11190“，”display_name“：”Medicine“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C142724271，“wikidata”：https://www.wikidata.org/wiki/Q7208“，”display_name“：”病理“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：1.”locations“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.1145/3613905.3650755，“pdf_url”：https://dl.acm.org/doi/pdf/10.1145/3613905.3650755“，”source“：null，”license“：null，”licence_id“：nul，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}]，”best_oa_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.1145/3613905.3650755，“pdf_url”：https://dl.acm.org/doi/pdf/10.1145/3613905.3650755“，”source“：null，”license“：null，”licence_id“：nul，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[{”score“：0.74，”display_name“：”素质教育“，”id“：”https://metadata.un.org/sdg/4“}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：11，”referrenced_works“：【”https://openalex.org/W2137406659","https://openalex.org/W2607223307","https://openalex.org/W2883424428","https://openalex.org/W2995755016","https://openalex.org/W3007157104","https://openalex.org/W3101662419","https://openalex.org/W4205741728网址","https://openalex.org/W4285048228","https://openalex.org/W4292213411","https://openalex.org/W4389519061","https://openalex.org/W4390204410“]，”related_works“：[”https://openalex.org/W4390569940","https://openalex.org/W4388422664","https://openalex.org/W4367333290","https://openalex.org/W4361193272","https://openalex.org/W4310278675","https://openalex.org/W2905433371","https://openalex.org/W2888392564","https://openalex.org/W2186032312","https://openalex.org/W2062940763","https://openalex.org/W2019038080“]，”ngrams_url“：”https://api.openalex.org/works/W4396833346/ngrams（英文）“，”abstract_inverted_index“：{”Automatic“：[0]，”side-by-side“：[1,51]，”evaluation“：[2,26]，”has“：[3]，”emerged“：[4]，”as“：[5]，”a“：[6,40,65,72]，”有希望“：[7]，”approach“：[8,27]，”to“：[9,60]，”evaluating“：[10]，”the“：[11,22,77,90104109114]，”quality“：[12]，”of“：[13113]，”responses“：[14,78]，“来自”：[15,24,49,79]，“大”：[16]，“语言”：[17]，“模型”：[18,81]，“（LLM）。“：[19]，”“然而，”：[20]，“分析”：[21,47]，“结果”：[23,48]，“这”：[25,34]，“提高”：[28]，“可扩展性”：[29]，“和”：[30,63,75,88,97111116]，“解释性”：[31]，“挑战。“：[32]，“In”：[33]，“paper”：[35]，“we”：[3]107]，“present”：[37]，“LLM”：[38]，“Comparator”：[39]，“novely”：[41]，“visual”：[42]，“analytics”：[43]，“tool”：[44,54,91]，“for”：[45,58]，“interactivelly”：[46]，“automatic”：[50]，“evaluation”。“：[52]，”The“：[53]，”supports“：[55]，”interactive“：[56]，”workflows“：[57]，”users“：59]，”understand“：[61]，”when“：[62]，”why“：[64]，”model“：[66]，”performes“：[67]，”better“：[68]，”or“：[69]，”words“：[70]，”than“：[71]，”baseline“：[73]，”模型，“：[74]，”how“：[76]，”two“：[80]，“are”：[82]，“quality”：[83]，“different”。“：[84]，”我们“：[85]，”迭代“：[86]，”设计“：[87]，”开发“：[89]，”由“：[92]，”紧密“：[93]，”工作“：[94]，”与“：[95120]，”研究人员“：[96]，”工程师“：[98]，”在“：[99]，”谷歌。“：[100]，“This”：[101]，“paper”：[102]，“details”：[103]，“user”：[105]，“challenges”：/106]，“identified”：[108]，“design”：[110]，“development”：[112]，“tool”：[115]，“an”：[117]，“observation”：[118]，“study”：[119]，“participants”：121]，“who”：[122]，“regular”：[123]，“evaluate”：[124]，“their”：[125]，“models”。“：[126]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4396833346“，”counts_by_year“：[]，”updated_date“：”2024-06-04T16:51:12.394692“，”created_date:“2024-05-12”}“