{“id”：“https://openalex.org/W4320559155“，”doi“：”https://doi.org/10.48550/arxiv.2302.05016“title”：“多模态视觉监控对语言有益吗？”？“，”display_name“：“多模态视觉监控对语言有益吗？“，”“publication_year”：2023，“publication_date”：“2023-01-01”，“ids”：{“openalex”：“https://openalex.org/W4320559155“，”doi“：”https://doi.org/10.48550/arxiv.2302.05016“}，”language“：”en“，”primary_location“：{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2302.05016“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”host_organization_name“：”康奈尔大学“，”host_organization_lineage“：[”https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”type“：”preprint“，”type_crossref“：“posted-content”，”indexed_in“：[”arxiv“，”datacite“]，”open_access“：{”is_oa“：true，”oa_status“：”green“，”oa_url“：”https://arxiv.org/abs/2302.05016“，”any_repository_has_fulltext“：true}，”authorships“：[{”author_position“：”第一“，”作者“：{”id“：”https://openalex.org/A5070457314“，”display_name“：”Avinash Madasu“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“，”Madasu，Avinash“，”raw _affiliation_string“：[]}，{”author_position“：”last“，”author“：{”id“：”https://openalex.org/A5087898808“，”display_name“：”Vasudev Lal“，”orcid“：null}，”institutions“：[]，”countries“：[]，”is_corresponding“：false，”raw_author_name“:”Lal，Vasudev”，“raw_affiliation_strings”：[]}]，“countries_distict_count”：0，“institutions_disticenc_count”：“0，”corresponding_author_ids“：[”，“correspounding_institution_ids”：[】，“apc_list”：null，“apc _列表”paid“：null，”has_fulltext“：false，”cited_by_count“：0，”cited_by_percentile_year“：{”min“：0”，“max”：78}，“biblio”：{“volume”：null，“issue”：nul，“first_page”：null，“last_page”：null}，”is_retracted“：false，”is_paratext“：false，”primary_topic“：”{“id”：“https://openalex.org/T11714“，”“display_name”：“图像和视频中的可视问答”，“score”：0.9998，“subfield”：{“id”：“https://openalex.org/subfields/1707“，”display_name“：”计算机视觉和模式识别“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，”主题“：[{”id“：”https://openalex.org/T11714“，”“display_name”：“图像和视频中的可视问答”，“score”：0.9998，“subfield”：{“id”：“https://openalex.org/subfields/1707“，”display_name“：”计算机视觉和模式识别“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10028“，”display_name“：”自然语言处理“，”score“：0.9932，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}，{”id“：”https://openalex.org/T10181“，”display_name“：”统计机器翻译与自然语言处理“，”score“：0.988，”subfield“：{”id“：”https://openalex.org/subfields/1702“，”display_name“：”人工智能“}，”字段“：{”id“：”https://openalex.org/fields/17“，”display_name“：”Computer Science“｝，”domain“：｛”id“：”https://openalex.org/domains/3“，”display_name“：”物理科学“}}]，”关键词“：[{”id“：”https://openalex.org/keywords/visual-question-answering“，”“display_name”“：”可视化问答“，”分数“：0.588707}，{”id“：”https://openalex.org/keywords/language-understanding（https://openalex.org/keywords/language-understanding）“，”display_name“：”语言理解“，”score“：0.585886}，{”id“：”https://openalex.org/关键词/语言建模“，”display_name“：”语言建模“，”score“：0.562073}，{”id“：”https://openalex.org/keywords/image-captioning网站“，”display_name“：”图像字幕“，”score“：0.546088}，{”id“：”https://openalex.org/keywords/word-representation网站“，”display_name“：”Word Representation“，”score“：0.545517}]，”concepts“：[{”id“：”https://openalex.org/C41008148，“wikidata”：https://www.wikidata.org/wiki/Q21198“，”display_name“：”计算机科学“，”level“：0，”score“：0.78929526}，{”id“：”https://openalex.org/C204321447，“wikidata”：https://www.wikidata.org/wiki/Q30642“，”display_name“：”自然语言处理“，”level“：1，”score“：0.5936502}，{”id“：”https://openalex.org/C195324797，“wikidata”：https://www.wikidata.org/wiki/Q33742“，”display_name“：”自然语言“，”level“：2，”score“：0.58901656}，{”id“：”https://openalex.org/C154945302，“wikidata”：https://www.wikidata.org/wiki/Q11660“，”display_name“：”人工智能“，”level“：1，”score“：0.5829882｝，｛”id“：”https://openalex.org/C44291984，“wikidata”：https://www.wikidata.org/wiki/Q1074173“，”display_name“：”问答“，”等级“：2，”分数“：0.5658836}，{”id“：”https://openalex.org/C177264268，“wikidata”：https://www.wikidata.org/wiki/Q1514741“，”display_name“：”Set（abstract data type）“，”level“：2，”score“：0.56087613}，{”id“：”https://openalex.org/C2780226545，“wikidata”：https://www.wikidata.org/wiki/Q6888030“，”display_name“：”Modality（human\u2013 computer interaction）“，”level“：2，”score“：0.5394983}，{”id“：”https://openalex.org/C137293760，“wikidata”：https://www.wikidata.org/wiki/Q3621696“，”display_name“：”语言模型“，”level“：2，”score“：0.5344281}，{”id“：”https://openalex.org/C118505674，“wikidata”：https://www.wikidata.org/wiki/Q42586063“，”display_name“：”编码器“，”level“：2，”score“：0.516343}，{”id“：”https://openalex.org/C193221554，“wikidata”：https://www.wikidata.org/wiki/Q5153664“，”display_name“：”常识推理“，”level“：2，”score“：0.42889762}，{”id“：”https://openalex.org/C2983448237，“wikidata”：https://www.wikidata.org/wiki/Q1078276“，”display_name“：”语言理解“，”level“：2，”score“：0.4210517}，{”id“：”https://openalex.org/C2779903281，“wikidata”：https://www.wikidata.org/wiki/Q6888026“，”display_name“：”Modalities“，”level“：2，”score“：0.4166988}，{”id“：”https://openalex.org/C199360897，“wikidata”：https://www.wikidata.org/wiki/Q9143“，”display_name“：”编程语言“，”level“：1，”score“：0.08173767}，{”id“：”https://openalex.org/C36289849，“wikidata”：https://www.wikidata.org/wiki/Q34749网址“，”display_name“：”社会科学“，”level“：1，”score“：0.0}，{”id“：”https://openalex.org/C144024400，“wikidata”：https://www.wikidata.org/wiki/Q21201“，”display_name“：”社会学“，”level“：0，”score“：0.0}，{”id“：”https://openalex.org/C111919701，“wikidata”：https://www.wikidata.org/wiki/Q9135“，”display_name“：”操作系统“，”level“：1，”score“：0.0}]，”mesh“：[]，”locations_count“：3，”location“：[{”is_oa“：true，”landing_page_url“：”https://arxiv.org/abs/2302.05016“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”host_organization_name“：”康奈尔大学“，”host_organization_lineage“：[”https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，{”is_oa“：true，”landing_page_url“：”http://arxiv.org/abs/2302.05016，“pdf_url”：http://arxiv.org/pdf/2302.05016，“源”：{“id”：https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”host_organization_name“：”康奈尔大学“，”host_organization_lineage“：[”https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”Cornell University“]，“type”：“repository”}，“license”：null，“licence_id”：null，“version”：“submittedVersion”，“is_accepted”：false，“is_published”：false}，{“is_oa”：false，“landing_page_url”：“https://api.datacite.org/dois/10.48550/arxiv.2302.05016“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4393179698“，”display_name“：”DataCite API“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I4210145204“，”“host_organization_name”：“DataCite”，“host_organization_lineage”：[“https://openalex.org/I4210145204“]，”host_organization_lineage_names“：[”DataCite“]，“type”：“metadata”}，“license”：null，“licence_id”：null，“version”：null}]，“best_oa_location”：{“is_oa”：true，“landing_page_url”：“https://arxiv.org/abs/2302.05016“，”pdf_url“：空，”源“：{”id“：”https://openalex.org/S4306400194“，”display_name“：”arXiv（康奈尔大学）“，”issn_l“：null，”issn“：null，”is_oa“：true，”is_ in_doaj“：false，”host_organization“：”https://openalex.org/I205783295“，”host_organization_name“：”康奈尔大学“，”host_organization_lineage“：[”https://openalex.org/I205783295“]，”host_organization_lineage_names“：[”康奈尔大学“]，“type”：“repository”}，“license”：“cc-by”，“licence_id”：“https://openalex.org/licenses/cc-by“，”version“：”submittedVersion“，”is_accepted“：false，”is_published“：false}，”sustainable_development_goals“：[{”id“：”https://metadata.un.org/sdg/4“，”score“：0.85，”display_name“：”Quality education“}]，”grants“：[]，”datasets“：【】，”versions“：【]，”referenced_works_count“：0，”referrenced_works“：[]，”related_work斯“：[”https://openalex.org/W4388937922","https://openalex.org/W4383337770","https://openalex.org/W4313191056","https://openalex.org/W4288267738","https://openalex.org/W4225546813","https://openalex.org/W3157284875","https://openalex.org/W3113264705","https://openalex.org/W2964413124","https://openalex.org/W2259406085","https://openalex.org/W2099715052“]，”ngrams_url“：”https://api.openalex.org/works/W4320559155/ngrams网站“，”“abstract_inverted_index”：{“Vision”：[0]，“（image”：[1]，“and”：[2,35,66,84]，“video）”：[3]，“-”：[4]，“Language”：[5,64]，“VL）”：[6]，“prepretinging”：[7]，“is”：[8]，“the”：[9,39,94107130137141]，“recent”：[10]，“popular”：[11]，“paradigm”：[12]，“that”：[13120]，“reactived”：[14]，“最先进”：[15]，“结果”：[16133]，“on”：[17,62127136]，“多模”：[18]，“tasks“：[19]，”like“：[20,87]，”image-retrieval“，：[21]，”video-retrieval，“：[22]，”visual“：[23]，”question“：[24]，”answering“：[25]，”etc.“：[26]，”These“：[27132]，”models“：[28,78,86105]，”are“：[2]，”trained“：[30,52]，”in“：[31]，”an“：[32]，“unpervisived”：[33]，”way“：[34]，”极大”：[36]，“利益”：[37]，“来自”：[38]，“互补”：[40]，“形式”：[41]，“监督。“：[42116]，”In“：[43]，”this“：[44]，”paper“：[45]，”we“：%46]，”explore“：[47]，”if“：48]，”language“：[50,60,97108122]，”representation“：[51,61,98109123]，”using“：[53]，”vision“：[54115]，”supervision“:[55]，”performance“：[56]，”better“：[57]，”than“：[58]，”vanilla“：[59121]，”Natural“理解“：[65]，”常识“：[67]，”推理“：[68]，”基准。“：[69]，“我们”：[70,92]，“实验”：[71]，“with”：[72]，“a”：[73]，“diversity”：[74]，“set”：[75]，“of”：[76,96,99103110129140]，“image-text”：[77]，“such”：[79]，“as”：[80]，“ALBEF”：[81]，“BLIP”：[82]，“METER”：[83]，“video-text”：【85】，“ALPRO”，“：【88】，“时间冻结”：[89]，“（FiT），”：[90]，“暴力。“：[91]，”比较“：[93]，”性能“：[95126]，”独立“：[100]，”文本“：[10111]，”编码器“：[102112]，”这些“：[104]，”到“：[106]，”学习“：[113]，”通过“：[114]，”我们的“：[117]，”实验“：[118]，”建议“：[119]，”显示“：[124]，”高级“：[125]，”大多数“：[128]，”任务。“：[131]，”棚“：[134]，”光“：[135]，”当前“：[138]，”缺点“：[139]，”视觉语言“：[142]，”模型。“：[143]}，”cited_by_api_url“：”https://api.openalex.org/works？filter=cites:W4320559155“，”counts_by_year“：[]，”updated_date“：”2024-05-25T19:28:25.802554“，”created_date:“2023-02-14”}“