{“id”：“https://openalex.org/W4389518788“，”doi“：”https://doi.org/10.18653/v1/2023.emnlp-main.360“，”title“：”保持知识不变性：重新思考开放信息提取的稳健性评估“，”display_name“：”保持知识不变性：重新思考开放信息提取的稳健性评估“，”publication_year“：2023，”publication_date“：”2023-01-01“，”ids“：｛”openalex“：”https://openalex.org/W4389518788“，”doi“：”https://doi.org/10.18653/v1/2023.emnlp-main.360“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.emnlp-main.360，“pdf_url”：https://aclantology.org/2023.emnlp-main.360.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”hybrid“，”oa_url“：”https://aclantology.org/2023.emnlp-main.360.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5100612749“，”display_name“：”纪琦“，”兽人“：”https://orcid.org/0000-0003-4585-6534}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”季奇“，”raw _ afiliation_strings“：[“清华大学计算机科学与技术系”]，”affiliations“：[{”raw_ afiliation _string“：”清华大学计算机科技系，“institution_ids”：[“https://openalex.org/I99065089“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5002166945“，”display_name“：”Chuchun Zhang“，”orcid“：”https://orcid.org/0009-0000-4336-2288}，“机构”：[{“id”：https://openalex.org/I146563203“，”display_name“：”对外经济贸易大学“，”ror“：”https://ror.org/05khqpb71“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I146563203“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”张楚春“，”raw_affiliation_strings“：[“对外经济贸易大学”]，”隶属关系“：[{”raw_affiliation_string“：”对外经贸大学“，”institution_ids“：[https://openalex.org/I146563203“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5100775958“，”display_name“：”王晓之“，”兽人“：”https://orcid.org/0000-0002-5727-143X}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Xiaozhi Wang“，”raw _ afiliation_strings“：【”清华大学计算机科学与技术系“】，”affiliations“：[{”raw_ afiliation _string“：”清华大学计算科学与技术学院“，”institution_ids“：[“https://openalex.org/I99065089“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5102840184“，”display_name“：”Kaisheng Zeng“，”orcid“：”https://orcid.org/0000-0002-8104-9652}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Kaisheng Zeng“，”raw _ afiliation_strings“：【”清华大学计算机科学与技术系“】，”affiliations“：[{”raw_ afiliation _string“：”清华大学计算科学与技术学院“，”institution_ids“：[“https://openalex.org/I99065089“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5038246814“，”display_name“：”Jifan Yu“，”orcid“：”https://orcid.org/0000-0003-3430-4048}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Jifan Yu“，”raw _affiliation_strings“：【”清华大学计算机科学与技术系“】，”affiliations“：[{”raw _affiliation_string“：”清华大学计算科学与技术学院“，”institution_ids“：[“https://openalex.org/I99065089“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5100386981“，”display_name“：”Jinxin Liu“，”orcid“：”https://orcid.org/0000-0002-8905-5803}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Jinxin Liu“，”raw _ afiliation_strings“：[“清华大学计算机科学与技术系”]，”affiliations“：[{”raw_ afiliation _string“：”清华大学计算机科技系，“institution_ids”：[“https://openalex.org/I99065089“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5010929778“，”display_name“：”雷侯“，”兽人“：”https://orcid.org/0000-0002-802-0729}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Lei Hou“，”raw _ afiliation_strings“：【”清华大学BNRist计算机科学与技术系“】，”affiliations“：[{”raw_ afiliation _string“：”清华大学BFRist计算机科技系“，”institution_ids“：[“https://openalex.org/I99065089“]}]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5003324011“，”display_name“：”娟子里“，”兽人“：”https://orcid.org/0000-0002-6244-0664}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Juanzi Li“，”raw _ afiliation_strings“：[“清华大学BNRist计算机科学与技术系”]，”affiliations“：[{”raw _affiliation_strong“：”清华大学BNRist计算机科学与科技系”，“institution_ids”：[“https://openalex.org/I99065089“]}]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5100331415“，”display_name“：”Bin Xu“，”orcid“：”https://orcid.org/0009-0000-4713-4127}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Xu Bin“，”raw _affiliation_strings“：[“清华大学BNRist计算机科学与技术系”]，”affiliations“：[{”raw _affiliation_string“：”清华大学BNRist计算机科学技术系”，“institution_ids”：[“https://openalex.org/I99065089“]}]}]，”institution_assertions“：[]，”countries_distiction_count“：1，”institutions_disticent_count”：2，”corresponding_author_ids“：[[]，”corresponding_institution_ids”：[]“apc_list”：null，”apc_payed“：null”，“fwci”：0.0，”has_fulltext“：true，”fulltext_origin“：”pdf“，”cited_by_count：0，”citation_normalized_percentile“：{”value“：0.0”is_in_top_1_percent“：false，”is_in_top_10_percent“：false}，”cited_by_percentile_year“：{”min“：0，”max“：71}，“biblio”：{“volume”：null，“issue”：nul，“first_page”：null，“last_page”：null}，《is_retracted》：false，“is_paratext”：false、“primary_topic”：{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9997，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9988，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10260“，”“display_name”：“软件工程实证研究”，“score”：0.9899，“subfield”：{“id”：“https://openalex.org/subfields/1710“，”display_name“：”Information Systems“}，”field“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/robustivity网站“，”display_name“：”健壮性（进化）“，”score“：0.7560055}，{”id“：”https://openalex.org/keywords/information检索“，”display_name“：”信息检索“，”score“：0.523495}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”主题建模“，”score“：0.51888}，{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.518486}，{”id“：”https://openalex.org/keywords/semantic-similarity网站“，”display_name“：”语义相似度“，”score“：0.508942}，{”id“：”https://openalex.org/keywords/named-entity-recognition网站“，”display_name“：”命名实体识别“，”score“：0.506154｝]，”concepts“：[｛”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.8001517}，{”id“：”https://openalex.org/C63479239，“wikidata”：https://www.wikidata.org/wiki/Q7353546“，”display_name“：”健壮性（进化）“，”level“：3，”score“：0.7560055}，{”id“：”https://openalex.org/C55439883，“wikidata”：https://www.wikidata.org/wiki/Q360812“，”display_name“：”正确性“，”级别“：2，”分数“：0.7223002}，{”id“：”https://openalex.org/C184898388，“wikidata”：https://www.wikidata.org/wiki/Q1435712“，”display_name“：”成对比较“，”level“：2，”score“：0.4660289}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.4388439}，{”id“：”https://openalex.org/C124101348，“wikidata”：https://www.wikidata.org/wiki/Q172491“，”display_name“：”数据挖掘“，”level“：1，”score“：0.39129102}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.366617}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.3356683｝，｛”id“：”https://openalex.org/C11413529，“wikidata”：https://www.wikidata.org/wiki/Q8366“，”display_name“：”Algorithm“，”level“：1，”score“：0.16420183}，{”id“：”https://openalex.org/C55493867，“wikidata”：https://www.wikidata.org/wiki/Q7094“，”display_name“：”生物化学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C185592680，“wikidata”：https://www.wikidata.org/wiki/Q2329“，”display_name“：”Chemistry“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C104317684，“wikidata”：https://www.wikidata.org/wiki/Q7187“，”display_name“：”Gene“，”level“：2，”score“：0.0}]，”mesh“：[]，”locations_count“：2.”locations“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.emnlp-main.360，“pdf_url”：https://aclantology.org/2023.emnlp-main.360.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2305.13981，“pdf_url”：https://arxiv.org/pdf/2305.13981，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://doi.org/10.18653/v1/2023.emnlp-main.360，“pdf_url”：https://aclantology.org/2023.emnlp-main.360.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[]，”grants“：[]，”datasets“：]，”versions“：[https://openalex.org/W2015707701","https://openalex.org/W2127713198","https://openalex.org/W2127978399","https://openalex.org/W2129842875","https://openalex.org/W2251199578","https://openalex.org/W2251913848","https://openalex.org/W2509043545","https://openalex.org/W2563163303网址","https://openalex.org/W2740554209","https://openalex.org/W2804778516","https://openalex.org/W2838122361","https://openalex.org/W2897509371","https://openalex.org/W2951383997","https://openalex.org/W2963341956","https://openalex.org/W2963647696","https://openalex.org/W2964212550","https://openalex.org/W2966867036","https://openalex.org/W2970151005","https://openalex.org/W2971204996","https://openalex.org/W2997827534","https://openalex.org/W3034302623","https://openalex.org/W3034694091","https://openalex.org/W3099004917","https://openalex.org/W3103433205","https://openalex.org/W3153140595","https://openalex.org/W3160260982","https://openalex.org/W3175796166","https://openalex.org/W3211466672","https://openalex.org/W4206732210","https://openalex.org/W4226099451","https://openalex.org/W4285275452","https://openalex.org/W4385567211","https://openalex.org/W4385571433","https://openalex.org/W4389519883“]，”related_works“：[”https://openalex.org/W4283160672","https://openalex.org/W4247536566","https://openalex.org/W4241418540网址","https://openalex.org/W3119814709","https://openalex.org/W3008339103","https://openalex.org/W2725786787","https://openalex.org/W2404647514","https://openalex.org/W2018477250","https://openalex.org/W1667647204","https://openalex.org/W1508895727“]，”abstract_inverted_index“：{”The“：[0]，”robusiness“：[1113]，”to“：[2,30119]，”distribution“：[3]，”changes“：[4]，”assurates“：[5]，”that“：[6,49,91155]，”NLP“：[7]，”models“：[8,57137159]，”can“：[9]，”be“：[10120177]，”successfully“：[11]，”applied“：[12]，”in“：[13,58,83139]，”The“：[14,36,46,51,59,63,69,99112129140152156]，“现实”：[15]，“世界”：[16,61]，“特别是“：[17]，”for“：[18]，”information“：[19,55]，”extraction“：[20,56]，”tasks。“：[21]，”“然而，”：[22]，“大多数”：[23]，“之前”：[24]，“评估”：[25,52]，“基准”：[26]，“已经”：[27]，“被”：[28]，“投入”：[29]，“验证”：[31]，“成对”：[32]，“匹配”：[33]，“正确性”：[34]，“忽略”：[35]，“关键”：[37]，“确认”：[38]，“的”：[39,53,93,98168]，“鲁棒性”。“：[40]，”In“：[41]，”this“：[42]，”paper“：[43]，”we“：44]，”present“：[45]，”first“：[47]，”benchmark“：[48]，”simulations“：[50]，”open“：[P4]，”real“：[60]，”where“：/62]，”syntaxic“：[64105]，”and“：[65,78106151174]，”expressiver“：[66107]，”distributions“：/67]，”under“：[68]，”same“：[70100]，“知识”：[71,97]，“含义”：[72101]，“可能”：[73]，“漂移”：[74]，“各种各样。“：[75]，“我们”：[76132]，“设计”：[77]，“注释”：[79]，“a”：[80,88115146161165]，“大规模”：[81]，“测试床”：[82]，“其中”：[84]，“每个”：[85]，“示例”：[86]，“是”：[87117125]，“知识变体”：[89]，“集团”：[90]，“由”：[92]，“句子”：[94]，“with”：[95103164]，“结构化”：[96]，“但是”：[102]，“不同”：[104]，“形式。“：[108]，”By“：[109]，”further“：[110]，”experiating“：[111]，”metric“，：[114]，”model“：[116]，”judged“：[118]，”robust“：[121]，”if“：/122]，”its“：[123]，”performance“：[124]，”consistent“：[126]，”accurate“：[127]，”on“：[128135]，”overall“：[130]，”cliques“。“：[131]，“执行”：[133]，“实验”：[134]，“典型”：[136]，“发布”：[138]，“最后”：[141]，“十年”：[142]，“作为”：[143145]，“好”：[144]，“代表”：[147]，“大”：[148]，“语言”：[149]，“模型”：[150]，“结果”：[153]，“显示”：[154]，“现有”：[157]，“成功”：[158]，“展览”：[160]，“令人沮丧”：[162]，“降级”：[163]，“最大”：[166]，“drop“：[167]，”23.43“：[169]，”F1“：[170]，”分数。“：[171]，”我们的“：[172]，”资源“：[173]，”代码“：[175]，”将“：[176]，”公开“：[178]，”可用。“：[179]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4389518788“，”counts_by_year“：[]，”updated_date“：”2024-09-15T09:37:19.679622“，”created_date:“2023-12-10”}“