{“id”：“https://openalex.org/W4386907014“，”doi“：”https://doi.org/10.48550/arxiv.2309.10567“，”title“：”口语识别的多模态建模“，”display_name“：”口头语言识别的多模型“，”publication_year“：2023，”publiation_date“：”2023-01-01“，”ids“：{”openalex“：”https://openalex.org/W4386907014“，”doi“：”https://doi.org/10.48550/arxiv.2309.10567“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2309.10567“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”type“：”preprint“，”type_crossref“：“posted-content”，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：{”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2309.10567“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5067162151“，”display_name“：”Shikhar Bharadwaj“，”orcid“：”https://orcid.org/0009-0003-7202-0502“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”巴拉德瓦吉，希哈尔“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5089759590“，”display_name“：”Min Ma“，”orcid“：”https://orcid.org/0009-0002-3586-4872“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Ma，Min“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5001421193“，”display_name“：”Shikhar Vashishth“，”orcid“：”https://orcid.org/0000-0002-6258-2494“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”瓦希什，什哈“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5024316712“，”display_name“：”Ankur Bapna“，”orcid“：null｝，”institutions“：[]，”countries“：[]，”is_correresponsing“：false，”raw_author_name“：”Bapna，Ankur“，”raw_affiation_strings“：[]｝，｛”author_position“：”middle“，”author“：｛”id“：”https://openalex.org/A5002536077“，”display_name“：”Sriram Ganapathy“，”orcid“：”https://orcid.org/0000-0002-5779-9066“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Ganapathy，Sriram“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5090245882“，”“display_name”“：”Vera Axelrod“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“：”Axel罗德，Vera“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5068873086“，”display_name“：”Siddharth Dalmia“，”orcid“：”https://orcid.org/0000-0003-0437-5988“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Dalmia，Siddharth“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5084854649“，”display_name“：”Han Wang“，”orcid“：”https://orcid.org/0000-0001-6038-7911“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”韩，魏“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5009762301“，”display_name“：”张宇“，”orcid“：”https://orcid.org/0000-0003-4087-6544“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Zhang，Yu“，”raw关联字符串“：[]}，{“author_position”：“middle”，“author”：{“id”：“https://openalex.org/A5011831155“，”display_name“：”Daan van Esch“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”van Esh，Daan“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5022400856“，”display_name“：”Sandy Ritchie“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Ritchie，Sandy“，”raw _affiliation_strings“：]}，{”author_position“：”middle“，”author“：{”id“：”https://openalex.org/A5033696194“，”display_name“：”Partha Talukdar“，”orcid“：”https://orcid.org/0000-0001-8825-589X“}，”机构“：[]，”国家“：[[]，”is_corresponding“：false，”raw_author_name“：”Talukdar，Partha“，”raw关联字符串“：[]}，{“author_position”：“last”，“author”：{“id”：“https://openalex.org/A5015547427“，”display_name“：”Jason Riesa“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Riesa，Jason“，”raw _affiliation_strings“：]}]，”countries_distict_count“：0，”instistictions_disticenc_count“：零，”corresponding_author_ids“：[】，”correcponding_institution_ids”：[]“apc_list”：null，”apc_payed“：nul，“has_fulltext”：假，“cited_by_count“：0，”cited_by_percentile_year“：{”min“：0”，“max”：78}，“biblio”：{“volume”：null，“issue”：nul，“first_page”：null，“last_page”：null}，”is_retracted“：false，”is_paratext“：false，”primary_topic“：”{“id”：“https://openalex.org/T10201“，”display_name“：”语音识别技术“，”score“：0.9944，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T10201“，”display_name“：”语音识别技术“，”score“：0.9944，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T10860“，”display_name“：”语音增强技术“，”score“：0.9865，”subfield“：{”id“：”https://openalex.org/subfields/1711“，”display_name“：”信号处理“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“｝｝，｛”id“：”https://openalex.org/T11309“，”display_name“：”音频信号分类与分析“，”score“：0.9697，”subfield“：｛”id“：”https://openalex.org/subfields/1711“，”display_name“：”信号处理“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“}，”domain“：{”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/audi-visual-speech-re认知“，”display_name“：”视听语音识别“，”score“：0.586338}，{”id“：”https://openalex.org/keywords/统计语言建模“，”display_name“：”统计语言建模“，”score“：0.571066}，{”id“：”https://openalex.org/keywords/speaker验证“，”display_name“：”说话人验证“，”score“：0.549217}，{”id“：”https://openalex.org/keywords/end-to-end-speech-recognition（https://openalex.org/关键词/端到端语音识别）“，”display_name“：”端到端语音识别“，”score“：0.532944}，{”id“：”https://openalex.org/keywords/lipreading“，”display_name“：”唇读“，”score“：0.523547}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.85153496}，{”id“：”https://openalex.org/C93518851，“wikidata”：https://www.wikidata.org/wiki/Q180160“，”display_name“：”元数据“，”级别“：2，”分数“：0.81995064}，{”id“：”https://openalex.org/C116834253，“wikidata”：https://www.wikidata.org/wiki/Q2039217“，”display_name“：”Identification（biology）“，”level“：2，”score“：0.7363926}，{”id“：”https://openalex.org/C2776230583，“wikidata”：https://www.wikidata.org/wiki/Q1322198“，”display_name“：”口语“，”level“：2，”score“：0.7152626}，{”id“：”https://openalex.org/C2775852435，“wikidata”：https://www.wikidata.org/wiki/Q258403“，”display_name“：”Utterance“，”level“：2，”score“：0.6797669}，{”id“：”https://openalex.org/C2780451532，“wikidata”：https://www.wikidata.org/wiki/Q759676“，”display_name“：”Task（project management）“，”level“：2，”score“：0.67693573}，{”id“：”https://openalex.org/C2780226545，“wikidata”：https://www.wikidata.org/wiki/Q6888030（网址：https://www.wikidata.org/wiki/Q6888030）“，”display_name“：”Modality（human\u2013 computer interaction）“，”level“：2，”score“：0.65898585}，{”id“：”https://openalex.org/C129792486，“wikidata”：https://www.wikidata.org/wiki/Q1050419“，”display_name“：”语言识别“，”level“：3，”score“：0.6424053}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.6309501}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.5064758}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.43013147}，{”id“：”https://openalex.org/C195324797，“wikidata”：https://www.wikidata.org/wiki/Q33742“，”display_name“：”自然语言“，”level“：2，”score“：0.36103445}，{”id“：”https://openalex.org/C136764020，“wikidata”：https://www.wikidata.org/wiki/Q466“，”display_name“：”万维网“，”级别“：1，”分数“：0.14226261}，{”id“：”https://openalex.org/C59822182，“wikidata”：https://www.wikidata.org/wiki/Q441“，”display_name“：”植物学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C187736073，“wikidata”：https://www.wikidata.org/wiki/Q2920921“，”display_name“：”管理“，”级别“：1，”分数“：0.0}，{”id“：”https://openalex.org/C162324750，“wikidata”：https://www.wikidata.org/wiki/Q8134“，”display_name“：”经济学“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C86803240，“wikidata”：https://www.wikidata.org/wiki/Q420“，”display_name“：”Biology“，”level“：0，”score“：0.0}]，”mesh“：[]，”locations_count“：2，”location“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2309.10567“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：false，”landing_page_url“：”https://api.datacite.org/dois/10.448550/arxiv.239.10567网址“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I4210145204“，”host_organization_name“：”DataCite“，”host_organization_lineage“：[”https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2309.10567“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”“host_organization_name”：“康奈尔大学”，“host_organization_lineage”：[“https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[{”display_name“：”素质教育“，”id“：”https://metadata.un.org/sdg/4“，”score“：0.82}]，”grants“：[]，”datasets“：【】，”versions“：【]，”referenced_works_count“：0，”referrenced_works“：[]，”related_work“：[”https://openalex.org/W2962716343“，”https://openalex.org/W2765804957“，”https://openalex.org/W2284708545“，”https://openalex.org/W226586525“，”https://openalex.org/W2262900283“，”https://openalex.org/W2064542902“，”https://openalex.org/W2060410964“，”https://openalex.org/W1998541766“，”https://openalex.org/W1985349217“，”https://openalex.org/W178568469“]，”ngrams_url“：”https://api.openalex.org/works/W4386907014/ngrams网站“，”“abstract_inverted_index”：{“口语”：[0,65]，“语言”：[1,12,24,80102124142]，“标识”：[2,25125]，“指”：[3]，“to”：[4,32,78,98]，“the”：[5,10,38,72100104123135]，“task”：[6]，“of”：[7,40,47,74103115138]，“automatically”：[8]，“predicating”：[9]，“口语”:[11101]，“in”：[13,37]，“a”：[14]22,33,45,63]，“给定”：[15]，“话语”：[16]，“按照惯例，“：[17]，”it“：[18]，”is“：[19，44]，”modeled“：[20]，”as“：[21，88]，”speed-based“：[23]，”task。“：[26,56126]，”先前“：[27]，”技术“：[28]，”有“：[29]，”被“：[30]，”受约束“：[31]，”单一“：[34]，”情态；“：[35]，”然而“：[36]，”案例“：[39]，”视频“：[41,89]，”数据“：[42]，”那里“：[43]，”财富“：[46]，”其他“：[48]，”元数据“：[49,76,86]，”that“：[50,85133]，”may“：[51]，”be“：[52]，”有益“：[53]，”for“：[54141]，”this“：[55,58]，”In“：[57]，”work，“：[59]，”we“：[60]，”提议“：[61]，”MuSeLI，“：[62]，”多模“：[64]，”语言“：[66]，”标识“：[67]，”方法“：[68]，”其中“：[69]，”深入“：[70]，”进入“：[71]，”使用“：[73]，”各种“：[75]，”来源“：[77]，”增强“：[79]，”识别。“：[81]，“我们的”：[82]，“研究”：[83132]，“揭示”：[84]，“此类”：[87]，“标题”：[90]，“描述”：[91]，“和”：[92118]，“地理”：[93]，“位置”：[94]，“提供”：[95]，“实质性”：[96]，“信息”：[97]，“标识”：[99]，“多媒体”：[105]，“记录”。“：[106]，“我们”：[107127]，“进行”：[108129]，“实验”：[109]，“使用”：[110]，“两个”：[111]，“多样性”：[112]，“公共”：[113]，“数据集”：[114]，“YouTube”：[116]，“视频”：[117]，“获得”：[119]，“最先进的”：[120]，“结果”：[121]，“关于”：[122]，“另外”：[128]，“一个”：[130]，“消融”：[131]，“描述”：[134]，“独特”：[136]，“贡献”：[137]，“每个“：[139]，”模态“：[140]，”识别。“：[143]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4386907014“，”counts_by_year“：[]，”updated_date“：”2024-05-28T08:45:27.687362“，”created_date:“2023-09-21”}“