{“id”：“https://openalex.org/W4387294080“，”doi“：”https://doi.org/10.48550/arxiv.2309.17012“，”title“：”将大型语言模型中的认知偏差作为评估者进行基准测试“，”display_name“：”作为评估者对大型语言模型的认知偏差进行基准测试”，“publication_year”：2023，“publiation_date”：“2023-01-01”，“ids”：{“openalex”：“https://openalex.org/W4387294080“，”doi“：”https://doi.org/10.48550/arxiv.2309.17012“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2309.17012“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”type“：”preprint“，”type_crossref“：“posted-content”，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：{”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2309.17012“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5066804511“，”display_name“：”Ryan Koo“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Koo，Ryan“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5091017131“，”display_name“：”Minhwa Lee“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Lee，Minhwa.“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5051484319“，”display_name“：”Vipul Raheja“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Raheja，Vipul“，”raw _affiliation_strings“：]，”affiliations“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5058564158“，”display_name“：”Jung Hyun Park“，”orcid“：”https://orcid.org/0009-00003-4641-5324“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Park，Jong Inn“，”raw_affiliation_strings“：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5042157425“，”display_name“：”Zae Myung Kim“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Kim，Zae Myung“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5040821714“，”display_name“：”Dongyoop Kang“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“：”Kang，Dongyoop“，”raw_affiation_strings“：[]，”affiliations“：[]｝]，”countries_distict_count“：0，”institutions_disict_count“：0，”corresponding_author_ids“：[]，”corresponding_institution_ids“：[]，”apc_list“：null，”apc_payed“：null，”fwci“：null，”has_fulltext“：false，”cited_by_count“：0，”cited_by_percentile_year“：{”min“：0”max“：77}，”biblio“：{”volume“：null，”issue“：nul，”first_page“：null，”last_page“：null}，“is_retracted”：false、“is_paratext”：false，“primary_topic”：{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9986，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9986，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9951，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T13629“，”display_name“：”自动文本简化和可读性评估“，”score“：0.9783，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.584213｝，｛”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”主题建模“，”score“：0.535343}，{”id“：”https://openalex.org/keywords/统计语言模型“，”display_name“：”统计语言模型“，”score“：0.535287}，{”id“：”https://openalex.org/keywords/natural-language-processing“，”display_name“：”自然语言处理“，”score“：0.527644}]，”concepts“：[{”id“：”https://openalex.org/C86251818，“wikidata”：https://www.wikidata.org/wiki/Q816754“，”display_name“：”基准“，”level“：2，”score“：0.64492595}，{”id“：”https://openalex.org/C185798385，“wikidata”：https://www.wikidata.org/wiki/Q1161707“，”display_name“：”基准（测量）“，”level“：2，”score“：0.55198956}，{”id“：”https://openalex.org/C189430467，“wikidata”：https://www.wikidata.org/wiki/Q7293293“，”display_name“：”排名（信息检索）“，”级别“：2，”分数“：0.55075836}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198（网址：https://www.wikidata.org/wiki/Q21198）“，”display_name“：”计算机科学“，”level“：0，”score“：0.5321089}，{”id“：”https://openalex.org/C189216375，“wikidata”：https://www.wikidata.org/wiki/Q1127759“，”display_name“：”认知偏差“，”level“：3，”score“：0.48871756}，{”id“：”https://openalex.org/C169900460，“wikidata”：https://www.wikidata.org/wiki/Q2200417“，”display_name“：”认知“，”等级“：2，”分数“：0.4885941}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.43248537}，{”id“：”https://openalex.org/C164226766，“wikidata”：https://www.wikidata.org/wiki/Q7293202（网址：https://www.wikidata.org/wiki/Q7293202）“，”display_name“：”Rank（图论）“，”level“：2，”score“：0.4305345}，{”id“：”https://openalex.org/C63479239，“wikidata”：https://www.wikidata.org/wiki/Q7353546“，”display_name“：”健壮性（进化）“，”level“：3，”score“：0.42981872}，{”id“：”https://openalex.org/C2779343474，“wikidata”：https://www.wikidata.org/wiki/Q3109175“，”display_name“：”Context（考古学）“，”level“：2，”score“：0.42915133}，{”id“：”https://openalex.org/C180747234，“wikidata”：https://www.wikidata.org/wiki/Q23373“，”display_name“：”认知心理学“，”level“：1，”score“：0.42552155}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.4071117}，{”id“：”https://openalex.org/C149782125，“wikidata”：https://www.wikidata.org/wiki/Q160039“，”display_name“：”计量经济学“，”level“：1，”score“：0.38860035}，{”id“：”https://openalex.org/C15744967，“wikidata”：https://www.wikidata.org/wiki/Q9418“，”display_name“：”心理学“，”等级“：0，”分数“：0.37375396}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.32590365}，{”id“：”https://openalex.org/C162853370，“wikidata”：https://www.wikidata.org/wiki/Q39809“，”display_name“：”Marketing“，”level“：1，”score“：0.13199884}，{”id“：”https://openalex.org/C162324750，“wikidata”：https://www.wikidata.org/wiki/Q8134“，”display_name“：”经济学“，”level“：0，”score“：0.1168035}，{”id“：”https://openalex.org/C33923547，“wikidata”：https://www.wikidata.org/wiki/Q395“，”display_name“：”数学“，”等级“：0，”分数“：0.093090415}，{”id“：”https://openalex.org/C151730666，“wikidata”：https://www.wikidata.org/wiki/Q7205“，”display_name“：”古生物学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C55493867，“wikidata”：https://www.wikidata.org/wiki/Q7094“，”display_name“：”生物化学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C86803240，“wikidata”：https://www.wikidata.org/wiki/Q420“，”display_name“：”生物学“，”等级“：0，”分数“：0.0}，{”id“：”https://openalex.org/C169760540，“wikidata”：https://www.wikidata.org/wiki/Q207011“，”display_name“：”Neuroscience“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C104317684，“wikidata”：https://www.wikidata.org/wiki/Q7187“，”display_name“：”Gene“，”level“：2，”score“：0.0}，{”id“：”https://openalex.org/C185592680，“wikidata”：https://www.wikidata.org/wiki/Q2329“，”display_name“：”Chemistry“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C13280743，“wikidata”：https://www.wikidata.org/wiki/Q131089“，”display_name“：”大地测量学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C114614502，“wikidata”：https://www.wikidata.org/wiki/Q76592“，”display_name“：”组合数学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C144133560，“wikidata”：https://www.wikidata.org/wiki/Q4830453“，”display_name“：”Business“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C205649164，“wikidata”：https://www.wikidata.org/wiki/Q1071“，”display_name“：”Geography“，”level“：0，”score“：0.0}]，”mesh“：[]，”locations_count“：2，”location“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2309.17012“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：false，”landing_page_url“：”https://api.datacite.org/dois/10.48550/arxiv.2309.17012“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I4210145204“，”“host_organization_name”：“DataCite”，“host_organization_lineage”：[“https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2309.17012“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[{”display_name“：”素质教育“，”score“：0.84，”id“：”https://metadata.un.org/sdg/4“}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：0，”referrenced_works“：]，”related_work斯“：[”https://openalex.org/W435179959","https://openalex.org/W4238897586","https://openalex.org/W3160516639","https://openalex.org/W2619091065","https://openalex.org/W2291782699","https://openalex.org/W2284465472","https://openalex.org/W2059640416","https://openalex.org/W2000169967","https://openalex.org/W1993948687","https://openalex.org/W1490753184“]，”ngrams_url“：”https://api.openalex.org/works/W4387294080/ngrams网站“，”“abstract_inverted_index”：{“Large”：[0]，“Language”：[1]，“Models”：[2]，“（LLM）”：[3]，“have”：[4]，“recently”：[5]，“been”：[6]，“show”：[7]，“to”：[8,75,94155167175]，“be”：[9156173176]，“effectived”：[10]，“as”：[11,44,47,70,86135]，“automatic”：[12179]，“evaluators”：[13]，“with”：[14164182]，“简单”：[15]，“提示”：[16]，“和”：[17,32144147]，“上下文“：[18]，”学习。“：[19]，”In“：[20]，”this“：[21]，”work“，”we“：[23138]，”assembly“：[24]，”15“：[25]，”LLM“：[26,43,69105170]，”of“：[27,60119121128]，”four“：[2]，”different“：/29,78]，”size“：[30]，”ranges“：[31]，”evaluate“：[33,57]，”their“：[34129133]，”output“：[35]，”responses“：[36]，“by”：[37]，“preference”：[38]，“ranking”：[39,61]，“from”：[40]，“the”：[41,58,64,87140149]，“其他“：[42]，”评估者“：[45110]，”这样“：[46,85]，”系统“：[48,53]，”星“：[49]，”是“：[50188]，”更好“：[51]，”比“：[52]，”平方。“：[54]，“We”：[55102]，“then”：[56]，“quality”：[59109]，“outputs”：[62,98]，“introduction”：[63]，“Cognitive”：[65]，“Bias”：[66]，“Benchmark”：[67]，“for”：[68178]，“Evaluators”：[71]，“（CoBBLEr），”：[72]，“a”：[73,91]，“Benchmark”:[74117]，“measure”：[76]，“six”：[77]，“conceptiver”：[79]，“偏差”：[80]，“in”：[81100]，“LLM”：[82]，“评估”：[83]，“输出”：[84]，“自我中心“：[88]，“偏见”：[89116]，“其中”：[90]，“模型”：[92]，“偏好”：[93]，“等级”：[95]，“其”：[96]，“自己的”：[97]，“高度”：[99]，“评估”。“：[101]，”find“：[103]，”that“：[104131159]，”are“：[106162]，”bisted“：/107]，”text“：/108]，”exhibing“：[111]，”strong“：[112]，”indications“：[113]，”on“：[114]，”our“：115168]，”（average“：[118]，”40%“：[120]，”compariations“：/122]，”across“：[123]，”all“：[124]，”models）“：[125]，”within“：[126]，“每个”：[127]，“评估”：[130]，“问题”：[132]，“稳健性”：[134]，“评估人员。“：[136]，”“此外，”：[137]，“检查”：[139]，“相关性”：[141]，“介于”：[142]，“人类”：[143183]，“机器”：[145160]，“偏好”：[146161]，“计算”：[148]，“平均”：[150]，“排名偏误”：[151]，“重叠”：[152]，“（RBO）”：[153]，“分数”：[154]，“49.6%”：[157]，“表示”：[158]，“错位”：[163]，“人类。“：[165]，”根据“：[166]，”发现，“：[169]，”可能“：[171]，”仍然“：[172]，”无法“：[174]，”使用“：[177]，”注释“：[180]，”对齐“：[181]，”首选项。“：[184]，”我们的“：[185]，”项目“：[186]，”页面“：[187]，”地址：“：[189]，”https://minnesotanlp.github.io/cobbler。“：[190]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4387294080“，”counts_by_year“：[]，”updated_date“：”2024-06-21T18:54:14.537525“，”created_date:“2023-10-03”}“