{“id”：“https://openalex.org/W2739805025“，”doi“：”https://doi.org/10.18653/v1/e17-257“，”title“：”改进文档级机器翻译质量评估的评估“，”display_name“：”改善文档级机器译质量评估的评价“，”publication_year“：2017，”publiation_date“：”2017-01-01“，”ids“：{”openalex“：”https://openalex.org/W2739805025“，”doi“：”https://doi.org/10.18653/v1/e17-257“，”mag“：”2739805025“｝，”language“：”en“，”primary_location“：｛”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/e17-257，“pdf_url”：https://www.aclweb.org/antology/E17-257.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”hybrid“，”oa_url“：”https://www.aclweb.org/antology/E17-257.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5020500064“，”display_name“：”Yvette Graham“，”orcid“：”https://orcid.org/0000-0001-6741-4855}，“机构”：[{“id”：https://openalex.org/I42934936“，”display_name“：”都柏林城市大学“，”ror“：”https://ror.org/04a1a1e81“，”country_code“：”IE“，”type“：“教育”，”世系“：[”https://openalex.org/I42934936“]}，{”id“：”https://openalex.org/I19820366“，”display_name“：”中国科学院“，”ror“：”https://ror.org/034t30j35“，”country_code“：”CN“，”type“：“政府”，”世系“：[”https://openalex.org/I19820366“]}，{”id“：”https://openalex.org/I165779595“，”display_name“：”墨尔本大学“，”ror“：”https://ror.org/01ej9dk98“，”country_code“：”AU“，”type“：“教育”，”世系“：[”https://openalex.org/I165779595“]}，{”id“：”https://openalex.org/I91136226“，”display_name“：”谢菲尔德大学“，”ror“：”https://ror.org/05krs5044“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I91136226“]}]，”国家“：[”非洲“，”中国“，”英国“，”IE“]，”is_corresponding“：false，”raw_author_name“：”伊维特·格雷厄姆“，”raw _affiliation_strings“：[“谢菲尔德卡罗来纳斯卡顿大学”，“中国科学院”，”都柏林城市大学“，”墨尔本大学“]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5002930547“，”display_name“：”青松马“，”orcid“：null}，”机构“：[{”id“：”https://openalex.org/I42934936“，”display_name“：”都柏林城市大学“，”ror“：”https://ror.org/04a1a1e81“，”country_code“：”IE“，”type“：“教育”，”世系“：[”https://openalex.org/I42934936“]｝，｛”id“：”https://openalex.org/I19820366“，”display_name“：”中国科学院“，”ror“：”https://ror.org/034t30j35“，”country_code“：”CN“，”type“：“政府”，”世系“：[”https://openalex.org/I19820366“]}，{”id“：”https://openalex.org/I165779595“，”display_name“：”墨尔本大学“，”ror“：”https://ror.org/01ej9dk98“，”country_code“：”AU“，”type“：“教育”，”世系“：[”https://openalex.org/I165779595“]}，{”id“：”https://openalex.org/I91136226“，”display_name“：”谢菲尔德大学“，”ror“：”https://ror.org/05krs5044“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I91136226“]}]，”国家“：[”非洲“，”中国“，”英国“，”IE“]，”is_corresponding“：false，”raw_author_name“：”马庆松“，”raw _affiliation_strings“：[“谢菲尔德卡罗来纳斯卡顿大学”，“中国科学院”，“都柏林城市大学”，”墨尔本大学“]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5060332228“，”display_name“：”蒂莫西·鲍德温“，”兽人“：”https://orcid.org/0000-0003-4525-6950}，“机构”：[{“id”：https://openalex.org/I42934936“，”display_name“：”都柏林城市大学“，”ror“：”https://ror.org/04a1a1e81“，”country_code“：”IE“，”type“：“教育”，”世系“：[”https://openalex.org/I42934936“]}，{”id“：”https://openalex.org/I19820366“，”display_name“：”中国科学院“，”ror“：”https://ror.org/034t30j35“，”country_code“：”CN“，”type“：“政府”，”世系“：[”https://openalex.org/I19820366“]}，{”id“：”https://openalex.org/I165779595“，”display_name“：”墨尔本大学“，”ror“：”https://ror.org/01ej9dk98“，”country_code“：”AU“，”type“：“教育”，”世系“：[”https://openalex.org/I165779595“]}，{”id“：”https://openalex.org/I91136226“，”display_name“：”谢菲尔德大学“，”ror“：”https://ror.org/05krs5044“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I91136226“]}]，”国家“：[”非洲“，”中国“，”英国“，”IE“]，”is_corresponding“：false，”raw_author_name“：”蒂莫西·鲍德温“，”raw _affiliation_strings“：[“谢菲尔德卡罗来纳州立大学”，“中国科学院”，”都柏林城市大学“，”墨尔本大学“]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5066887020“，”display_name“：”群力“，”orcid“：”https://orcid.org/0000-0003-0548-203X}，“机构”：[{“id”：https://openalex.org/I42934936“，”display_name“：”都柏林城市大学“，”ror“：”https://ror.org/04a1a1e81“，”country_code“：”IE“，”type“：“教育”，”世系“：[”https://openalex.org/I42934936“]}，{”id“：”https://openalex.org/I19820366“，”display_name“：”中国科学院“，”ror“：”https://ror.org/034t30j35“，”country_code“：”CN“，”type“：“政府”，”世系“：[”https://openalex.org/I19820366“]}，{”id“：”https://openalex.org/I165779595“，”display_name“：”墨尔本大学“，”ror“：”https://ror.org/01ej9dk98“，”country_code“：”AU“，”type“：“教育”，”世系“：[”https://openalex.org/I165779595“]}，{”id“：”https://openalex.org/I91136226“，”display_name“：”谢菲尔德大学“，”ror“：”https://ror.org/05krs5044“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I91136226“]}]，”国家“：[”非洲“，”中国“，”英国“，”IE“]，”is_corresponding“：false，”raw_author_name“：”群刘“，”raw _affiliation_strings“：[“谢菲尔德卡罗来纳州立大学”，“中国科学院”，“都柏林城市大学”，”墨尔本大学“]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5074622722“，”display_name“：”卡拉·帕拉“，”兽人“：”https://orcid.org/0000-0002-7974-471X}，“机构”：[{“id”：https://openalex.org/I42934936“，”display_name“：”都柏林城市大学“，”ror“：”https://ror.org/04a1a1e81“，”country_code“：”IE“，”type“：“教育”，”世系“：[”https://openalex.org/I42934936“]}，{”id“：”https://openalex.org/I19820366“，”display_name“：”中国科学院“，”ror“：”https://ror.org/034t30j35“，”country_code“：”CN“，”type“：“政府”，”世系“：[”https://openalex.org/I19820366“]}，{”id“：”https://openalex.org/I165779595“，”display_name“：”墨尔本大学“，”ror“：”https://ror.org/01ej9dk98“，”country_code“：”AU“，”type“：“教育”，”世系“：[”https://openalex.org/I165779595“]}，{”id“：”https://openalex.org/I91136226“，”display_name“：”谢菲尔德大学“，”ror“：”https://ror.org/05krs5044“，”country_code“：”GB“，”type“：“教育”，”世系“：[”https://openalex.org/I91136226“]}]，“国家”：[“AU”，“CN”，“GB”，“IE”]，“is_corresponding”：false，“raw_author_name”：“Carla Parra”，“raw_affiation_strings”：[“Carolina Scarton University of Sheffield”，“中国科学院”，“都柏林城市大学”，“墨尔本大学”]}，{“author_position”：“last”，“author”：{“id”：https://openalex.org/A5065368839“，”display_name“：”Carolina Scarton“，”orcid“：”https://orcid.org/0000-0002-0103-4072“｝，”机构“：[]，”国家“：[]，”is_corresponding“：false，”raw_author_name“：”Carolina Scarton“，”raw_affiation_strings“：[]｝]，”国家_地区_计数“：4，”机构_地区_计数“：4，”相应的授权ID“：[]，”相应的机构ID“：[]，”apc_list“：null，”apc_payed“：null，”has_fulltext“：true，”fulltext_origin“：”pdf“，”cited_by_count“：7，”cited_by_percentile_year“：{“min”：85，“max”：86}，“biblio”：{”volume“：null，“issue”：null、“first_page”：null，“last_page”：null}，”is_retracted“：false，”is_paratext“：false，”primary_topic“:{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：1.0，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：1.0，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9999，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10215“，”display_name“：”语义Web和本体开发“，”score“：0.9944，”subfield“：｛”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/machine翻译“，”display_name“：”机器翻译“，”score“：0.583287}，{”id“：”https://openalex.org/keywords/statistical-machine-translation网站“，”display_name“：”统计机器翻译“，”score“：0.552756}，{”id“：”https://openalex.org/keywords/neural-machine-translation网站“，”display_name“：”神经机器翻译“，”score“：0.551654}，{”id“：”https://openalex.org/keywords/多语言-神经-机器翻译“，”display_name“：”多语言神经机器翻译“，”score“：0.543025}，{”id“：”https://openalex.org/keywords/syntax-based-translation-moodels（https://openalex.org/keywords/syntax-based-translation-moodels）“，”display_name“：”基于语法的翻译模型“，”score“：0.530872｝]，”concepts“：[｛”id“：”https://openalex.org/C203005215，“wikidata”：https://www.wikidata.org/wiki/Q79798“，”display_name“：”机器翻译“，”level“：2，”score“：0.70268047}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198（网址：https://www.wikidata.org/wiki/Q21198）“，”display_name“：”计算机科学“，”level“：0，”score“：0.6082535}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.5293121}，{”id“：”https://openalex.org/C96250715，“wikidata”：https://www.wikidata.org/wiki/Q965330“，”display_name“：”Estimation“，”level“：2，”score“：0.51748204}，{”id“：”https://openalex.org/C149364088，“wikidata”：https://www.wikidata.org/wiki/Q185917“，”display_name“：”Translation（biology）“，”level“：4，”score“：0.47971338}，{”id“：”https://openalex.org/C2779530757，“wikidata”：https://www.wikidata.org/wiki/Q1207505“，”display_name“：”质量（理念）“，”级别“：2，”分数“：0.47188106}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.4698122}，{”id“：”https://openalex.org/C3020001037，“wikidata”：https://www.wikidata.org/wiki/Q836575“，”display_name“：”质量评估“，”level“：3，”score“：0.4598021}，{”id“：”https://openalex.org/C155092808，“wikidata”：https://www.wikidata.org/wiki/Q182557“，”display_name“：”计算语言学“，”level“：2，”score“：0.43539298}，{”id“：”https://openalex.org/C20556612，“wikidata”：https://www.wikidata.org/wiki/Q4469374“，”display_name“：”体积（热力学）“，”级别“：2，”分数“：0.4146477}，{”id“：”https://openalex.org/C142853389，“wikidata”：https://www.wikidata.org/wiki/Q744778“，”display_name“：”联想（心理学）“，”level“：2，”score“：0.4105038}，{”id“：”https://openalex.org/C23123220，“wikidata”：https://www.wikidata.org/wiki/Q816826“，”display_name“：”信息检索“，”level“：1，”score“：0.40352625}，{”id“：”https://openalex.org/C138885662，“wikidata”：https://www.wikidata.org/wiki/Q5891“，”display_name“：”哲学“，”等级“：0，”分数“：0.13212559}，{”id“：”https://openalex.org/C127413603，“wikidata”：https://www.wikidata.org/wiki/Q11023“，”display_name“：”Engineering“，”level“：0，”score“：0.12264618}，{”id“：”https://openalex.org/C121332964，“wikidata”：https://www.wikidata.org/wiki/Q413“，”display_name“：”物理“，”等级“：0，”分数“：0.08610794}，{”id“：”https://openalex.org/C3018395757，“wikidata”：https://www.wikidata.org/wiki/Q1379672“，”display_name“：”评估方法“，”level“：2，”score“：0.08462465｝，｛”id“：”https://openalex.org/C200601418，“wikidata”：https://www.wikidata.org/wiki/Q2193887“，”display_name“：”可靠性工程“，”level“：1，”score“：0.08421153}，{”id“：”https://openalex.org/C111472728，“wikidata”：https://www.wikidata.org/wiki/Q9471“，”display_name“：”认识论“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C55493867，“wikidata”：https://www.wikidata.org/wiki/Q7094“，”display_name“：”Biochemistry“，”level“：1，”score“：0.0｝，｛”id“：”https://openalex.org/C185592680，“wikidata”：https://www.wikidata.org/wiki/Q2329“，”display_name“：”Chemistry“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C201995342，“wikidata”：https://www.wikidata.org/wiki/Q682496“，”display_name“：”系统工程“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C62520636，“wikidata”：https://www.wikidata.org/wiki/Q944“，”display_name“：”量子力学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C105580179，“wikidata”：https://www.wikidata.org/wiki/Q188928“，”display_name“：”Messenger RNA“，”level“：3，”score“：0.0}，{”id“：”https://openalex.org/C104317684，“wikidata”：https://www.wikidata.org/wiki/Q7187“，”display_name“：”Gene“，”level“：2，”score“：0.0}]，”mesh“：[]，”locations_count“：1，”location“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/e17-2057，“pdf_url”：https://www.aclweb.org/antology/E17-257.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”版本“：”已发布版本“，”is_accepted“：true，”is_published“：true｝]，”best_oa_location“：｛”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/e17-257，“pdf_url”：https://www.aclweb.org/antology/E17-257.pdf“，”source“：null，”license“：”cc-by“，”licence_id“：”https://openalex.org/licenses/cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[{”display_name“：”素质教育“，”id“：”https://metadata.un.org/sdg/4“，”score“：0.67}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：12，”referrenced_works“：【”https://openalex.org/W1489525520","https://openalex.org/W2103288873","https://openalex.org/W2116492146","https://openalex.org/W2147192413","https://openalex.org/W2149327368","https://openalex.org/W2250234233","https://openalex.org/W2251557434","https://openalex.org/W2251926178","https://openalex.org/W2252166243","https://openalex.org/W2260677151","https://openalex.org/W2294699749","https://openalex.org/W2512924740“]，”related_works“：[”https://openalex.org/W4387896177","https://openalex.org/W4362495644","https://openalex.org/W4287236333","https://openalex.org/W3151736118","https://openalex.org/W3011059803","https://openalex.org/W2990482163","https://openalex.org/W2962780935","https://openalex.org/W2883671469","https://openalex.org/W2807006873","https://openalex.org/W2728761353“]，”ngrams_url“：”https://api.openalex.org/works/W2739805025/ngrams网站“，”“abstract_inverted_index”：{“有意义”：[0]，“结论”：[1]，“关于”：[2]，“the”：[3,13,30,38,49,62,65]，“relative”：[4]，“performance”：[5]，“of”：[6,32,40,64,91]，“NLP”：[7]，“systems”：[8]，“are”：[9,56]，“only”：[10]，“possible”：[11]，“if”：[12]，“gold”：[14,66111]，“standard”：[15112]，“雇佣”：[16,36,60]，“in”：[17,37,61,94,98]，“a”：[18,74,89,95101117]，“给定“：[19]，”评估“：[20,39]，”是“：[21]，”两者“：[22]，”有效“：[23,75]，”和“：[24]，”可靠。在“：[25]，”this“：[26]，”paper“：[27]，”we“：[28]，”explore“：[29]，”validity“：[31]，”human“：[33,71]，”annotations“：[34]，”currently“：[35]，”documentlevel“：[41]，”quality“：[42107]，”estimation“：[43]，”for“：[44,82]，”machine“：[45]，”translation“：[46]，”（MT）中。我们“：[47]，”演示“：[48]，”程度“：[50]，”到“：[51,84100]，”其中“：[52]，”MT“：[53]，”系统“：[54]，”排名“：[55]，”依赖“：[57]，”on“：[58114]，”权重“：[59]，”构造“：[63]，”标准“：[67]，”之前“：[68]，”提议“：[69]，”直接“：[70,78]，”评估“：[72,79]，”as“73]，“备选方案。实验”：[76]，“显示”：[77]，“（DA）”：[80]，“分数”：[81]，“文件”：[83]，“be”：[85]，“高度”：[86]，“可靠”：[87]，“实现”：[88]，“相关性”：[90]，“以上”：[92]，“0.9”：[93]，“自我复制”：[96]，“实验”：[97]，“附加”：[99]，“实质性”：[102]，“估计”：[103]，“成本”：[104121]，“减少”：[105]，“通过”：[106]，“受控”：[108]，“众包。“：[109]，”原始“：[110]，”基于“：[113]，”编辑后“：[115]，”发生“：[116]，”10-20“：[118]，”次数“：[119]，”大于“：[120]，”比“：[122]，”DA。“：[123]}，”引用_by_api_url“：”https://api.openalex.org/works？filter=cites:W2739805025“，”counts_by_year“：[{”年“：2021，”cited_by_count“：2}，{”年份“：2020，”cited_by_count”：1}，“年份”：2019