{“id”：“https://openalex.org/W4298181573“，”doi“：”https://doi.org/10.48550/arxiv.2209.14375“，”title“：“通过有针对性的人类判断改进对话代理的对齐”，“display_name”：“通过目标人类判断改善对话代理的对准”，“publication_year”：2022，“publiation_date”：“2022-01-01”，“ids”：{“openalex”：“https://openalex.org/W4298181573“，”doi“：”https://doi.org/10.48550/arxiv.2209.14375“｝，”language“：”en“，”primary_location“：｛”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2209.14375“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”type“：”preprint“，”type_crossref“：“posted-content”，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：{”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2209.14375“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5005117726“，”display_name“：”Amelia Glaese“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Glaese，Amelia“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5063178601“，”display_name“：”Nat McAleese“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5033339425“，”display_name“：”Maja Tr\u0119bacz“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Tr\u0119bacz，Maja“，”raw _affiliation_strings“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5029807267“，”display_name“：”John Aslanides“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Aslanide，John“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5046302720“，”display_name“：”Vlad Firoiu“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”raw _authoriation_strings“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5027028182“，”display_name“：”Timo Ewalds“，”orcid“：”https://orcid.org/0000-0002-9693-7986“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Ewalds，Timo“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5065282019“，”display_name“：”Maribeth Rauh“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Rauh，Maribetth“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5056575786“，”display_name“：”Laura Weidinger“，”orcid“：”https://orcid.org/0000-0002-5189-760X“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Weidinger，Laura“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5071223804“，”display_name“：”Martin J.Chadwick“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Chadwick，Martin“，“raw_affiliation_strings”：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5035380300“，”display_name“：”Phoebe Thacker“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_correresponsing“：false，”raw_author_name“：”Thacker，Phoebe“，”raw_affiation_strings“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5000926540“，”display_name“：”Lucy Campbell-Gillingham“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Campbellingham，Lucy“，“raw_affiliation_strings”：[]}，{“author_position”：“middle”，”author“：{”id“：”https://openalex.org/A5059226057“，”display_name“：”Jonathan Uesato“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Uesato-，Jonathans“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5076474156“，”display_name“：”Po-Sen Huang“，”orcid“：”https://orcid.org/0000-0003-1470-0991“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Huang，Po-Sen“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5065212897“，”display_name“：”Ramona Comanescu“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_correresponsing“：false，”raw_author_name“：”Comanescu，Ramona“，”raw_affiation_strings“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5018748194“，”display_name“：”范扬“，”兽人“：”https://orcid.org/0000-0002-0717-894X“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：Yang，Fan”，“raw_affiliation_strings”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5076818344“，”“display_name”“：”Abigail See“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“：”See，Abigail“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A50499998479“，”display_name“：”Sumanth Dathathri“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Dathathr，Sumanth“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5080010257“，”display_name“：”Rory Greig“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Greig，Rory“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5033866959“，”display_name“：”Charlie Chen“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Chen，Charlie“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5032389053“，”display_name“：”Doug Fritz“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Fritz，Doug“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5030932493“，”display_name“：”Jaume Sanchez Elias“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Elias，Jaume Sanchez“，”raw _affiliation_strings“：【】}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5063928901“，”display_name“：”Richard Green“，”orcid“：”https://orcid.org/0000-0002-6810-7758“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：Green，Richard”，“raw_affiliation_strings”：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5035099870“，”“display_name”“：”So\u0148a Mokr\u00e1“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“：”Mokr\u 00e1，So\u 0148a“，”raw _affiliation_strings“：[/]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5032718022“，”display_name“：”Nicholas Fernando“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5063588445“，”display_name“：”Boxi Wu“，”orcid“：”https://orcid.org/0009-0007-0641-6065“｝，”机构“：[]，”国家“：[]，”is_correresponsing“：false，”raw_author_name“：”Wu，Boxi“，”raw_affiation_strings“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5076170778“，”display_name“：”Rachel Foley“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Foley，Rachel“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5029669552“，”display_name“：”Susannah Young“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Young，Susannah“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5032814084“，”display_name“：”Iason Gabriel“，”orcid“：”https://orcid.org/0000-0002-7552-4576“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Gabriel，Iason“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5001202717“，”display_name“：”William M.Isaac“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_correresponsing“：false，”raw_author_name“：”Isaac，William“，”raw_affiation_strings“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5056518229“，”display_name“：”John W.Mellor“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Mellor，John“，”raw _affiliation_string“：[]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5005349213“，”display_name“：”Demis Hassabis“，”orcid“：”https://orcid.org/0000-0003-2812-9917“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”哈萨比斯，黛米斯“，”raw_affiliation_strings“：[]}，{”作者位置“：”中间“，”作者“：{”id“：”https://openalex.org/A5090341705“，”display_name“：”Koray Kavukcuoglu“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Kavukcooglu，Koray“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5020758501“，”display_name“：”丽莎·安妮·亨德里克斯“，”兽人“：”https://orcid.org/0000-0001-9340-5143“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Hendricks，Lisa Anne“，”raw_affiliation_strings“：[]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5029611587“，”display_name“：”Geoffrey Irving“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Irving，Geoffrey'，“raw_affiliation_strings”：[]}]，“countries_distiction_count”：0，“institutions_distinction_count“：0，”corresponding_author_ids“：[】，”correconding_institution_ids支付“：null，”has_fulltext“：false，”cited_by_count“：36，”cited_by_percentile_year“：{”min“：98，”max“：99}，”biblio“：{”volume“：null，”issue“：nul，”first_page“：null，”last_page“：null}，“is_retracted”：false、“is_paratext”：false，“primary_topic”：{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.999，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”Physical Sciences“｝｝，”topics“：[｛”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.999，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.9891，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T12031“，”display_name“：”口语系统的对话行为建模“，”score“：0.9769，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/spoken-dialogue-systems网站“，”display_name“：”口语对话系统“，”score“：0.578773}，{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.569589}，{”id“：”https://openalex.org/keywords/topic-modeling网站“，”display_name“：”主题建模“，”score“：0.544732}，{”id“：”https://openalex.org/keywords/part-of-speech-tagging“，”“display_name”“：”部分讲话标记“，”score“：0.514233}，{”id“：”https://openalex.org/keywords/machine翻译“，”display_name“：”机器翻译“，”score“：0.513229}]，”概念“：[{”id“：”https://openalex.org/C2778825724，“wikidata”：https://www.wikidata.org/wiki/Q243984网址“，”display_name“：”Sparrow“，”level“：2，”score“：0.85130906}，{”id“：”https://openalex.org/C2781249084，“wikidata”：https://www.wikidata.org/wiki/Q908656“，”display_name“：”Preference“，”level“：2，”score“：0.66120625}，{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.655272}，{”id“：”https://openalex.org/C97541855，“wikidata”：https://www.wikidata.org/wiki/Q830687“，”display_name“：”强化学习“，”level“：2，”score“：0.56386817}，{”id“：”https://openalex.org/C37736160，“wikidata”：https://www.wikidata.org/wiki/Q1801315“，”display_name“：”对抗体系“，”level“：2，”score“：0.55036545}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.515134}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.38224977}，{”id“：”https://openalex.org/C15744967，“wikidata”：https://www.wikidata.org/wiki/Q9418“，”display_name“：”心理学“，”等级“：0，”分数“：0.35591042}，{”id“：”https://openalex.org/C18903297，“wikidata”：https://www.wikidata.org/wiki/Q7150“，”display_name“：”生态学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C86803240，“wikidata”：https://www.wikidata.org/wiki/Q420“，”display_name“：”生物学“，”等级“：0，”分数“：0.0}，{”id“：”https://openalex.org/C162324750，“wikidata”：https://www.wikidata.org/wiki/Q8134“，”display_name“：”经济学“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C175444787，“wikidata”：https://www.wikidata.org/wiki/Q39072“，”display_name“：”微观经济学“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：3，”location“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2209.14375“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：true，”landing_page_url“：”http://arxiv.org/abs/2209.14375，“pdf_url”：http://arxiv.org/pdf/2209.14375，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”Cornell University“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}，{“is_oa”：false，“landing_page_url”：“https://api.datacite.org/dois/10.48550/arxiv.2209.14375“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I4210145204“，”“host_organization_name”：“DataCite”，“host_organization_lineage”：[“https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2209.14375“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[{”score“：0.7，”id“：”https://metadata.un.org/sdg/16“，”display_name“：”和平、正义和强大的机构“}]，”grants“：[]，”datasets“：[]，”versions“：[】，”referenced_works_count“：0，”referrenced_works“：]，”related_work斯“：[”https://openalex.org/W885477667","https://openalex.org/W4386959565","https://openalex.org/W4243618332","https://openalex.org/W2614754264","https://openalex.org/W2271485399","https://openalex.org/W2172631637","https://openalex.org/W2094695244","https://openalex.org/W2090667432","https://openalex.org/W2038118937","https://openalex.org/W2013017998“]，”ngrams_url“：”https://api.openalex.org/works/W4298181573/ngrams“，”abstract_inverted_index“：{”We“：[0,21,75]，”present“：[1]，”Sparrow“：[2]，”an“：[3]，”information seeking“：[4]，”dialogue“：[5,59]，”agent“：[6,41,47,65,89101]，”trained“：[7]，”to“：[8,16,28,36,44,82142168]，”be“：[9]，”more“：[10,48,84,94134140]，”help“，”：[11]，”correct“：[12]，“和”：[13,50,68,91]，“无害”：[14]，“比较”：[15]，“提示”：[17]，“语言“：[18,62]，”模型“：[19114166]，”基线。“：[20]，”使用“：[22]，”强化“：[23]，”学习“：[24]，”来自“：[25104]，”人类“：[26，38，86]，”反馈“：[27]，”训练“：[29]，”我们的“：[30，461001481165170]，”模型“：[31]，”带“：[32]，”两个“：[33]，”新“：[34]，”添加“：[35]，”帮助“：[37]，”评分者“：[39，70]，”判断“：[40]，”行为。“：[42]，”第一，“：[43]，”制造“：[45]，”有用“：[49]，”无害“：[51]，”我们“：[52158]，”中断“：[53]，”向下“：[54]，”该“：[55,64129153]，”要求“：[56]，”for“：[57,93]，”good“：[58]，”into“：[60]，”自然“：[61]，”规则“：[63149171]，”should“：[66]，”follow“，”：[67]，”分别询问“：[69]，”关于“：[71]，”每个“：[72]，”规则“：[73]，”。“：[74]，”证明“：[76]，”那“：[77163]，”这“：[78]，”分解“：[79]，”启用“：[80]，”我们“：[81]，”收集“：[83]，”目标“：[85]，”判断“：[87112]，”的“：[88128152]，”行为“：[90]，”允许“：[92]，”高效“：[95]，”规则条件“：[96]，”奖励“：[97]，”模型。“：[98]，”第二，“：[99]，”提供“：[102]，”证据“：[103119]，”来源“：[105]，”支持“：[106]，”事实“：[107117]，”权利要求“：[108]，”当“：[109155]，”收集“：[110]，”偏好“：[111]，”超过“：[113]，”陈述。“：[115]，”对于“：[116]，”问题，“：[118]，”提供“：[120]，”由“：[121145]，”麻雀“：[122131]，”支持“：[123]，”取样“：[125]，”响应“：[126]，”78%“：[127]，”时间。“：[130]，”是“：[132]，”首选“：[133]，”经常“：[135]，”比“：[136]，”基线“：[137]，”while“：[138]，”存在“：[139]，”弹性“：[141]，”对抗“：[143]，”探测“：[144]，”人类“：[146]，”违反“：[147]，”仅“：[150]，”8%“：[151]，”时间“：[154]，”探查。“：[156]，”最后，“：[157]，”行为“：[159]，”广泛“：[160]，”分析“：[161]，”显示“：[162]，”虽然“：[164]，”学习“：[167]，”跟随“：[169]，”it“：[172]，”can“：[173]，”展示“：[174]，”分配“：[175]，”偏见。“：[176]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4298181573“，”counts_by_year“：[{”年份“：2024，”cited_by_count“：7}，{”年“：2023，”cited_by_count”：29}]，”更新日期“：”2024-06-07T20:31:19.996273“，”创建日期“：“2022-10-01”}