｛“id”：“https://openalex.org/W4378508475“，”doi“：”https://doi.org/10.48550/arxiv.2305.13981“，”title“：“保持知识不变性：反思开放式信息抽取的稳健性评估”，”display_name“：”保持知识不变量：反思开放性信息抽取的稳健性评估“，”publication_year“：2023，”publiation_date“：”2023-01-01“，”ids“：{”openalex“：”https://openalex.org/W4378508475“，”doi“：”https://doi.org/10.48550/arxiv.2305.13981“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2305.13981“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“other-oa”，“licence_id”：“https://openalex.org/licenses/other-oa网站“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”type“：”preprint“，”type_crossref“：“posted-content”，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：{”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2305.13981“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5006621039“，”display_name“：”纪琦“，”兽人“：”https://orcid.org/0000-0003-4585-6534“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”齐，吉“，”raw_affiliation_strings“：[]，“隶属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5002166945“，”display_name“：”张楚春“，”兽人“：”https://orcid.org/0009-0000-4336-2288“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”张楚春“，”raw _ afiliation_strings“：[]，“隶属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5086657866“，”display_name“：”王晓之“，”兽人“：”https://orcid.org/0000-0002-9829-9332“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”王，小志“，”raw _ afiliation_strings“：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5021425216“，”display_name“：”Kai Zeng“，”orcid“：”https://orcid.org/0000-0002-2745-1253“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”曾，凯生“，”raw关联字符串“：[]，“关联关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5038246814“，”display_name“：”纪梵玉“，”兽人“：”https://orcid.org/0000-0003-3430-4048“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”余，纪梵“，”raw _ afiliation_strings“：[]，“附属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5043584847“，”display_name“：”Jinxin Liu“，”orcid“：”https://orcid.org/0000-0001-7217-3611“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”刘，金鑫“，”raw_affiliation_strings“：[]，“隶属关系”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5084258772“，”display_name“：”九鼎Sun“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Sun，九鼎“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5011291997“，”display_name“：”陈玉祥“，”orcid“：”https://orcid.org/0000-0002-9963-9554“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”陈玉祥“，”raw _ afiliation_strings“：[]，“affiliations”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5092031759“，”display_name“：”Lei How“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”How，Lei“，”raw _affiliation_strings“：]，”affiliations“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5003324011“，”display_name“：”Juanzi Li“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Li，Juanzi“https://openalex.org/A5009423801“，”display_name“：”Bin Xu“，”orcid“：”https://orcid.org/0000-0002-0715-9722“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：Xu，Bin”，“raw_affiliation_strings”：[]，“affiliations”：[]}]，“countries_distiction_count”：0，“institutions_distic”：0、“corresponding_author_ids”：[]、“correcponding_institution_ids“：[】，”apc_list“：null，”apc_payed“：nul，”fwci“：null，”has_ffid ulltext“：false，”cited_by_count“：0，”cited_by_percentile_year“：{“min”：0，“max”：77}，“biblio”：{卷：null，“问题”：nullhttps://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9998，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9998，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9986，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10260“，”“display_name”：“软件工程实证研究”，“score”：0.9853，“subfield”：{“id”：“https://openalex.org/subfields/1710“，”display_name“：”Information Systems“}，”field“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.524925}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”主题建模“，”score“：0.521667}，{”id“：”https://openalex.org/keywords/information检索“，”display_name“：”信息检索“，”score“：0.514954}，{”id“：”https://openalex.org/keywords/semantic-similarity网站“，”display_name“：”语义相似度“，”score“：0.507213}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.798681}，{”id“：”https://openalex.org/C63479239，“wikidata”：https://www.wikidata.org/wiki/Q7353546“，”display_name“：”健壮性（进化）“，”level“：3，”score“：0.773241}，{”id“：”https://openalex.org/C55439883，“wikidata”：https://www.wikidata.org/wiki/Q360812“，”display_name“：”正确性“，”级别“：2，”分数“：0.74224675}，{”id“：”https://openalex.org/C184898388，“wikidata”：https://www.wikidata.org/wiki/Q1435712“，”display_name“：”成对比较“，”level“：2，”score“：0.4649324｝，｛”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.45314866}，{”id“：”https://openalex.org/C124101348，“wikidata”：https://www.wikidata.org/wiki/Q172491“，”display_name“：”数据挖掘“，”level“：1，”score“：0.3688565}，{”id“：”https://openalex.org/C119857082，“wikidata”：https://www.wikidata.org/wiki/Q2539“，”display_name“：”机器学习“，”level“：1，”score“：0.35429782}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.34551728}，{”id“：”https://openalex.org/C11413529，“wikidata”：https://www.wikidata.org/wiki/Q8366“，”display_name“：”Algorithm“，”level“：1，”score“：0.152372}，{”id“：”https://openalex.org/C55493867，“wikidata”：https://www.wikidata.org/wiki/Q7094“，”display_name“：”生物化学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C185592680，“wikidata”：https://www.wikidata.org/wiki/Q2329“，”display_name“：”Chemistry“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C104317684，“wikidata”：https://www.wikidata.org/wiki/Q7187“，”display_name“：”Gene“，”level“：2，”score“：0.0}]，”mesh“：[]，”locations_count“：2.”locations“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2305.13981“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“other-oa”，“licence_id”：“https://openalex.org/licenses/other-oa网站“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：false，”landing_page_url“：”https://api.datacite.org/dois/10.48550/arxiv.2305.13981“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”is_core“：false，”host_organization“：”https://openalex.org/I4210145204“，”“host_organization_name”：“DataCite”，“host_organization_lineage”：[“https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2305.13981“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is.in_doaj“：false，”is_core“：fase，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“other-oa”，“licence_id”：“https://openalex.org/licenses/other-oa网站“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[]，”grants“：[]，”datasets“：]，”versions“：[https://openalex.org/W4283160672","https://openalex.org/W4247536566","https://openalex.org/W4241418540","https://openalex.org/W3119814709","https://openalex.org/W2725786787","https://openalex.org/W2404647514","https://openalex.org/W2018477250","https://openalex.org/W1875930651","https://openalex.org/W1667647204","https://openalex.org/W1508895727“]，”ngrams_url“：”https://api.openalex.org/works/W4378508475/ngrams网站“，”“abstract_inverted_index”：{“The”：[0]，“robusiness”：[1113]，“to”：[2,30119]，“distribution”：[3]，“changes”：[4]，“assurates”：[5]，“that”：[6,49,91154]，“NLP”：[7]，“models”：[8,57137158]，“can”：[9]，“be”：[10120]，“successfully”：[11]，“applied”：[12]，“in”：[13,58,83139]，“The”6,46,51,59,63,69,99112129140151155]，“现实”：[15]，“世界”：[16,61]，“特别是“：[17]，”for“：[18]，”information“：[19,55]，”extraction“：[20,56]，”tasks。“：[21]，”“然而，”：[22]，“大多数”：[23]，“之前”：[24]，“评估”：[25,52]，“基准”：[26]，“已经”：[27]，“被”：[28]，“投入”：[29]，“验证”：[31]，“成对”：[32]，“匹配”：[33]，“正确性”：[34]，“忽略”：[35]，“关键”：[37]，“度量”：[38]，“的”：[39,53,93,98167]，“鲁棒性”。“：[40]，”In“：[41]，”this“：[42]，”paper“：[43]，”we“：44]，”present“：[45]，”first“：[47]，”benchmark“：[48]，”simulations“：[50]，”open“：[P4]，”real“：[60]，”where“：62]，”syntaxic“：[64105]，”and“：[65,78106173]，”expressivent“：[66107]，”distributions“：/67]，”under“：[68]，”same“：[70100]，“知识”：[71,97]，“含义”：[72101]，“可能”：[73]，“漂移”：[74]，“各种各样。“：[75]，“我们”：[76132]，“设计”：[77]，“注释”：[79]，“a”：[80,88115146160164]，“大规模”：[81]，“测试床”：[82]，“其中”：[84]，“每个”：[85]，“示例”：[86]，“是”：[87117125]，“知识变体”：[89]，“集团”：[90]，“组成”：[92]，“句子”：[94]，“with”：[95103163]，“结构化”：[96]，“但是”：[102]，“不同”：[104]，“形式。“：[108]，”By“：[109]，”further“：[110]，”experiating“：[111]，”metric“，：[114]，”model“：[116]，”judged“：[118]，”robust“：[121]，”if“：/122]，”its“：[123]，”performance“：[124]，”consistent“：[126]，”accurate“：[127]，”on“：[128135]，”overall“：[130]，”cliques“。“：[131]，“执行”：[133]，“实验”：[134]，“典型”：[136]，“发布”：[138]，“最后”：[141]，“十年”：[142]，“作为”：[143145]，“好”：[144]，“流行”：[147]，“大”：[148]，“语言”：[149]，“模型”：[150]，“结果”：[152]，“显示”：[153]，“现有”：[156]，“成功”：[157]，“展览”：[159]，“令人沮丧”：[161]，“降级”，：[162]，“最大值”：[165]，“下降”：[166]，“23.43“：[168]，”F1“：[169]，”得分。“：[170]，”我们的“：[171]，”资源“：[172]，”代码“：[174]，”是“：[175]，”可用“：[176]，”位于“：[177]，”https://github.com/qijimrc/ROBUST。“：[178]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4378508475“，”counts_by_year“：[]，”updated_date“：”2024-06-26T05:28:00.939448“，”created_date:“2023-05-27”}“