{“id”：“https://openalex.org/W4385572256“，”doi“：”https://doi.org/10.18653/v1/2023.findings-acl.734“，”title“：”结构化感知语言模型预训练改进结构化数据的密集检索“，”display_name“：”结构感知语言模型预先训练改善结构化数据的紧密检索“，“publication_year”：2023，“publiction_date”：“2023-01-01”，“ids”：{“openalex”：“https://openalex.org/W4385572256“，”doi“：”https://doi.org/10.18653/v1/2023.findings-acl.734“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.findings-acl.734，“pdf_url”：https://aclantology.org/2023.findings-acl.734.pdf“，”source“：null，”license“：”cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”type“：”article“，”type_crossref“：“procesdings-article”，”indexed_in“：[”crossref“]，”open_access“：{”is_oa“：true，”oa_status“：”bronen“，”oa_url“：”https://aclantology.org/2023.findings-acl.734.pdf“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5062039431“，”display_name“：”Xinze Li“，”orcid“：”https://orcid.org/0000-0003-3513-209X}，“机构”：[{“id”：https://openalex.org/I9224756“，”display_name“：”东北大学“，”ror“：”https://ror.org/03awzbc87“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I9224756“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Xinze Li“，”raw关联字符串“：[“中国东北大学计算机科学与技术系”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5070196864“，”display_name“：”刘正浩“，”兽人“：”https://orcid.org/0000-0001-8067-1477}，“机构”：[{“id”：https://openalex.org/I9224756“，”display_name“：”东北大学“，”ror“：”https://ror.org/03awzbc87“，”country_code“：”CN“，”type“：”教育“，”血统“：[”https://openalex.org/I9224756“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Zhenghao Liu“，”raw关联字符串“：[“中国东北大学计算机科学与技术系”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5069354508“，”display_name“：”陈燕熊“，”兽人“：”https://orcid.org/0000-0002-5920-6658}，“机构”：[{“id”：https://openalex.org/I1290206253“，”display_name“：”Microsoft（美国）“，”ror“：”https://ror.org/00d0nc645“，”country_code“：”US“，”type“：“company”，”lineage“：[”https://openalex.org/I1290206253“]}]，”countries“：[”US“]，”is_corresponding“：false，”raw_author_name“：”Chenyan Xiong“，”raw_affiliation_strings“：【”Microsoft Research，United States“]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5036920345“，”display_name“：”英耀石“，”兽人“：”https://orcid.org/0000-0002-0633-6475}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}，{”id“：”https://openalex.org/I4210156423“，”display_name“：”国家农业信息技术工程研究中心“，”ror“：”https://ror.org/04c3j3t84“，”“country_code”“：”CN“，”type“：”facility“，”lineage“：[”https://openalex.org/I4210156423“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Shi Yu“，”rau_affiliation_strings“：[“中国北京国家信息科学技术研究中心”，“中国清华大学人工智能研究所计算机科学与技术系”]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5021961966“，”display_name“：”Yu Gu“，”orcid“：”https://orcid.org/0000-0001-6939-0850}，“机构”：[{“id”：https://openalex.org/I9224756“，”display_name“：”东北大学“，”ror“：”https://ror.org/03awzbc87“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I9224756“]｝]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Yu Gu“，”raw_affiation_strings“：[”中国东北大学计算机科学与技术系“]｝，{”author_position“：”middle“，”author“：”https://openalex.org/A5002250184“，”display_name“：”刘志远“，”兽人“：”https://orcid.org/0000-0002-4943-6572}，“机构”：[{“id”：https://openalex.org/I99065089“，”display_name“：”清华大学“，”ror“：”https://ror.org/03cve4549“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I99065089“]}，{”id“：”https://openalex.org/I4210156423“，”display_name“：”国家农业信息技术工程研究中心“，”ror“：”https://ror.org/04c3j3t84“，”“country_code”“：”CN“，”type“：”facility“，”lineage“：[”https://openalex.org/I4210156423“]}]，”countries“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Zhiyuan Liu“，”rau_affiliation_strings“：【”北京国家信息科学技术研究中心“，”清华大学人工智能研究所计算机科学与技术系“]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A508966651“，”display_name“：”Gui Yu“，”orcid“：”https://orcid.org/0000-0001-8324-397X}，“机构”：[{“id”：https://openalex.org/I9224756“，”display_name“：”东北大学“，”ror“：”https://ror.org/03awzbc87“，”country_code“：”CN“，”type“：“教育”，”世系“：[”https://openalex.org/I9224756“]}]，”国家“：[”CN“]，”is_corresponding“：false，”raw_author_name“：”Ge Yu“，”raw _affiliation_strings“：[“中国东北大学计算机科学与技术系”]}]“countries_distict_count”：2，“institutions_disticent_count”：4，“corresponding_author_ids”：[]，“correcponding_institution_ids“：[]”，“apc_list”：null，“apc _payed”：nul，“has_fulltext“：true，”fulltext_origin“：”pdf“，”cited_by_count“：0，”cited_by_percentile_year“：{“min”：0，“max”：79}，“biblio”：{”volume“：null，”issue“：null，”first_page“：null'，”last_page“：null}，”is_retracted“：false，”is_paratext“：false，”primary_topic“：”{“id”：“https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.999，”subfield“：｛”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.999，”subfield“：{”id“：”https://openalex.org/subfields/s702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译和自然语言处理“，”score“：0.9957，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T11273“，”display_name“：”Graph Neural Network Models and Applications“，”score“：0.9758，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/language-modeling“，”display_name“：”语言建模“，”score“：0.563227}，{”id“：”https://openalex.org/keywords/relational-data-modeling“，”display_name“：”关系数据建模“，”score“：0.546695}，{”id“：”https://openalex.org/keywords/syntax-based-translation-models网站“，”display_name“：”基于句法的翻译模型“，”score“：0.535699}，{”id“：”https://openalex.org/keywords/representation-learning网站“，”display_name“：”表示学习“，”score“：0.53412｝，｛”id“：”https://openalex.org/keywords/preained-models“，”display_name“：”预训练模型“，”score“：0.526137}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.8605081}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.57293046}，{”id“：”https://openalex.org/C2781252014“，”wikidata“：”https://www.wikidata.org/wiki/Q1141900“，”display_name“：”非结构化数据“，”level“：3，”score“：0.5640347}，{”id“：”https://openalex.org/C40077939，“wikidata”：https://www.wikidata.org/wiki/Q2336004“，”display_name“：”半结构化数据“，”level“：3，”score“：0.55793726}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.5561371}，{”id“：”https://openalex.org/C23123220，“wikidata”：https://www.wikidata.org/wiki/Q816826“，”display_name“：”信息检索“，”level“：1，”score“：0.5005746}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.49204752}，{”id“：”https://openalex.org/C2776760102，“wikidata”：https://www.wikidata.org/wiki/Q5139900“，”“display_name”“：”代码（集合论）“，”级别“：3，”分数“：0.46977276}，{”id“：”https://openalex.org/C162319229，“wikidata”：https://www.wikidata.org/wiki/Q175263“，”display_name“：”数据结构“，”级别“：2，”分数“：0.4639207｝，｛”id“：”https://openalex.org/C195324797，“wikidata”：https://www.wikidata.org/wiki/Q33742“，”display_name“：”自然语言“，”level“：2，”score“：0.4635505}，{”id“：”https://openalex.org/C41608201，“wikidata”：https://www.wikidata.org/wiki/Q980509“，”display_name“：”Embedding“，”level“：2，”score“：0.46271676}，{”id“：”https://openalex.org/C184337299，“wikidata”：https://www.wikidata.org/wiki/Q1437428“，”display_name“：”Semantics（计算机科学）“，”level“：2，”score“：0.443591｝，｛”id“：”https://openalex.org/C71139939，“wikidata”：https://www.wikidata.org/wiki/Q910194“，”display_name“：”Modal“，”level“：2，”score“：0.41917259}，{”id“：”https://openalex.org/C67186912，“wikidata”：https://www.wikidata.org/wiki/Q367664“，”display_name“：”数据建模“，”level“：2，”score“：0.41493958}，{”id“：”https://openalex.org/C199360897，“wikidata”：https://www.wikidata.org/wiki/Q9143“，”display_name“：”编程语言“，”level“：1，”score“：0.24277535}，{”id“：”https://openalex.org/C5655090，“wikidata”：https://www.wikidata.org/wiki/Q192588“，”display_name“：”关系数据库“，”level“：2，”score“：0.23212978}，{”id“：”https://openalex.org/C124101348，“wikidata”：https://www.wikidata.org/wiki/Q172491“，”display_name“：”数据挖掘“，”level“：1，”score“：0.22938126}，{”id“：”https://openalex.org/C75684735，“wikidata”：https://www.wikidata.org/wiki/Q858810“，”display_name“：”大数据“，”level“：2，”score“：0.14841476}，{”id“：”https://openalex.org/C77088390“，”wikidata“：”https://www.wikidata.org/wiki/Q8513“，”display_name“：”数据库“，”级别“：1，”分数“：0.12304163}，{”id“：”https://openalex.org/C185592680，“wikidata”：https://www.wikidata.org/wiki/Q2329“，”display_name“：”Chemistry“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C177264268，“wikidata”：https://www.wikidata.org/wiki/Q1514741“，”display_name“：”Set（abstract data type）“，”level“：2，”score“：0.0}，{”id“：”https://openalex.org/C188027245“，”wikidata“：”https://www.wikidata.org/wiki/Q750446“，”display_name“：”聚合物化学“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：1.”locations“：[{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.findings-acl.734，“pdf_url”：https://aclantology.org/2023.findings-acl.734.pdf“，”source“：null，”license“：”cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}]，”best_oa_location“：{”is_oa“：true，”landing_page_url“：”https://doi.org/10.18653/v1/2023.findings-acl.734，“pdf_url”：https://aclantology.org/2023.findings-acl.734.pdf“，”source“：null，”license“：”cc-by“，”version“：”publishedVersion“，”is_accepted“：true，”is_published“：true}，”sustainable_development_goals“：[{”display_name“：”素质教育“，”id“：”https://metadata.un.org/sdg/4“，”score“：0.71}]，”grants“：[]，”referenced_works_count“：5，”referrenced_works“：[”https://openalex.org/W3099944244","https://openalex.org/W3160883893","https://openalex.org/W3197057826","https://openalex.org/W4229032688","https://openalex.org/W4282961889“]，”related_works“：[”https://openalex.org/W2142354878","https://openalex.org/W2034595671","https://openalex.org/W2281126075","https://openalex.org/W2942479669","https://openalex.org/W2405464607","https://openalex.org/W3034384113","https://openalex.org/W2044775339","https://openalex.org/W1622528090","https://openalex.org/W4327649155","https://openalex.org/W2742990282“]，”ngrams_url“：”https://api.openalex.org/works/W4385572256/ngrams“，”“abstract_inverted_index”：{“This”：[0]，“paper”：[1]，“presents”：[2]，“Structure”：[3]，“Aware”：[4]，“DeNse”：[5]，“ReTrievAl”：[6]，“（SANTA）”：[7]，“model”：[8]，“which”：[9,45,83]，“encodes”：[10]，“user”：[11]，“queries”：%12]，“and”：[13,34,54,69,89108111129133139]，“结构化”：[14,23,39,52,75128144]，“数据”：[15,53,56,68,76125131]，“in”：[16,95115142]，“一个“：[17]，”通用“：[18]，”嵌入“：[19]，”空格“：[20]，”用于“：[21,38,57,77122]，”检索“：[22]，”数据。SANTA“：[24]，”proposes“：[25]，”two“：[26]，”pretraining“：[27]，”methods“：[28]，”to“：[29,64,72,93]，”make“：[30]，”language“：[31,62,91]，”models“：[32,63,71,92]，”structureware“：[33]，”learn“：[35]，”effectived“：[36]，”representations“：[37121]，”data:“：[40]，”1）“：[41]，”Structured“[42]，”数据“：[43]，”对齐“：[44]，”利用“：[46]，”该“：[47,96116143]，”自然“：[48]，”对齐“：[49]，”关系“：[50]，”介于“：[51]，”非结构化“：[55,78130]，”结构化软件“：[58]，”预训练。它”：[59]，“对比”：[60]，“训练”：[61]，“表示”：[65]，“多模态”：[66123]，“文本”：[67124]，“教学”：[70]，“区分”：[73]，“匹配”：[74]，“文本。2）”：[79]，“掩蔽”：[80]，“实体”：[81]，“预测”：[82]，“设计”：[84]，“an”：[85]，“面向实体”：[86]，“掩蔽”：[87]，“策略”：[88]，“询问”：[90]，“填充”：[94]，“掩蔽”：[97]，“实体”。我们的“：[98]，“实验”：[99]，“显示”：[100]，“那”：[101]，“SANTA”：[102]，“实现”：[103]，“最先进”：[104]，“on”：[105]，“代码”：[106]，“搜索”：[107110]，“产品”：[109]，“行为”：[112]，“令人信服”：[113]，“结果”：[114]，“零热点”：[117]，“设置”。SANTA“：[118]，“学习”：[119]，“定制”：[120]，“通过”：[126137]，“对齐”：[127]，“对”：[132]，“捕获”：[134]，“结构”：[135]，“语义”：[136]，“屏蔽”：[138]，“预测”：[140]，“实体”：[141]，“数据”。“：[145]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4385572256“，”counts_by_year“：[]，”updated_date“：”2024-05-02T22:18:07.469278“，”created_date:“2023-08-05”}“