{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期-部件”：[[2024,5,23]]，“日期-时间”：“2024-05-23T06:34:52Z”，“时间戳”：1716446092303}，“参考-计数”：57，“出版商”：“计算机协会（ACM）”，“问题”：“2”，“许可证”：[{“开始”:{“日期-零件”：[2019,6,5]]，”日期-时间我”：“2019-06-05T00:00:00Z”，“时间戳”：1559692800000｝，“内容版本”：“vor”，“延迟天数”：5，“URL”：“http:\/\/accm.org/publications\/policies\/copyright_policy#Background”｝]，“资助者”：[｛“DOI”：“10.13039/501100011002”，“name”：“国家自然科学基金会”，“DOI断言者”：“出版商”，“奖项”：[“61622115161472281”]｝，｛“DOI”：“10.13039/501100013285”，“name”：“上海高等学校特聘教授（东方学者）计划”，“doi-asserted-by”：“crossref”，“adward”：[“GZ2015005”]}，{“name”：“上海工业视觉感知与智能计算工程研究中心”，“award”：[”17DZ2251600“]}、{“name”：“IBM共享大学研究奖计划”}]，“内容域”：{“域”：[“dl.acm.org”]，“crossmark-restriction”：true}，“short-container-title”：[”acm Trans.Multimedia Compute.Comun.Appl.“]，”published-print“：{”date-parts“：[[2019,5,31]]}，”abstract“：”基于视频内容将视频翻译成自然描述句子是一件有趣且具有挑战性的事情。在这项工作中，建立了一个先进的框架来生成连贯的句子和丰富的语义表达，用于视频字幕。首先开发了一种改进的因子化方法的长短期记忆\u00a0（LSTM）网络，该网络利用LSTM的灵感，采用传统的因子化方式和常见的做法，在第一时间步将多模态特征输入LSTM中进行可视化描述。然后，将LSTM网络与改进的因子法和非因子法相结合，并使用投票策略预测候选词。此外，对于鲁棒和抽象的视觉和语言表示，残差被用来增强从残差网络\u00a0（ResNet）中学习的梯度信号，并构建了更深层次的LSTM网络。此外，将从GoogLeNet、ResNet101和ResNet152中提取的三个基于卷积神经网络的特征进行融合，以获取更全面和互补的视觉信息。在两个基准数据集（包括MSVD和MSR-VTT2016）上进行了实验，与其他最先进的方法相比，通过所提出的技术获得了竞争性能<\/jats:p>“，”DOI“：”10.1145\/3303083“，”type“：”journal-article“，”created“：{”date-parts“：[[2019,6,6]]，”date-time“：”2019-06-06T12:28:42Z“，”timestamp“：155982412200}，”page“：，“标题”：[“视频字幕的丰富视觉和语言表示及互补语义“]，”前缀“：”10.1145“，”卷“：”15“，”作者“：[{”给定“：”彭杰“，”家族“：”唐“，”序列“：”第一“，”从属“：[}”名称“：”同济大学，井冈山大学，上海“}]}，{”ORCID“：”http:\/\/orcid.org/0000-0002-9999-4871”，“authenticated orcid”：false，“given”：“Hanli”，“family”：“Wang”，“sequence”：“additional”，“affiliation”：[{“name”：“同济大学，中国上海”}]}，{“given”：“Qinyu”，“family”：“Li”，“sequence”：“additional”，“affiliation”：[{“name”：“同济大学，中国兰州城市大学”}]}]，“member”：“320”，“published-online”：{“date-parts”：[[2019,6,5]]}，“reference”：[{“key”：“e_1_1_1”，“volume-title”：“Proceedings of the International Conference on Learning Representations.”，“author”：“Ballas Nicolas”，“year”：“2015”}，{“key”：：“计算语言学学会会议记录.65\u201372”，“作者”：“Banerjee Satanjeev”，“年份”：“2005”}，{“key”：“e_1_1_3_1”，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/CVPR.2017.339“}，”key“：”e_1_i_1_4_1“，“：”e_1_2_1_5_1“，“doi-asserted-by”：“publisher”，“doi”：“10.1109\/CVPR.2017.502”}，{“key”：“e_1_1_6_1”，”volume-title“：“计算语言学协会会议记录.190\u2013200”，“author”：“David”}、{“key”：”e_1_i_1_7_1“，”doi-assert-by“：”publisher“，，“doi-asserted-by”：“publisher”，“DOI”：“10.1109\/TMM.2015.2477044”}，{“key”：“e_1_1_9_1”，“DOI-asserted-by”：“publisher”，”DOI“：”10.1109\/CVPR.2015.7298878“}，”{“密钥”：“e_1_2_1_10_1”、“DOI-sserted-by“：”publisher“、”DOI：“10.1145\/2964284.2984064”}、{“key”：”e_2_11_1“，”DOI-assert-by“”：“publisher”、“DOI I“：”10.1109\/CIME.2018.8486437“}，{“key”：“e_1_2_1_12_1”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1109\/CVPR.2017.127”}，{“key”：“e_1_1_13_1”，“DOI-asserted-by”：“publisher”，”DOI“：”10.1109\/TMM.2017.2729019“}，”{“密钥”：“e_1_2_1_14_1”、“DOI-sserted-by“：”publisher“，”DOI:“10.1109 \/ICCV.2013.337”}、{“key”：“10.1109\/CVPR.2016.90”}，{“key”：“e_1_2_1_16_1”，“DOI-asserted-by”：“publisher”，”DOI“：“10.1145 \/2647868.2654889”}，{“key”：“e_1_2_1_17_1”，“doi-asserted-by”：“publisher”，”doi“：”10.1145 \/2964284.2984065“}，”{“key”：“e_1_2_1_18_1”、”doi-assert-by“：”publisher“，”doi:“10.1109 \/CVPR.2015.7298932”}、{“key”：”e_2_1/19_1“，“volume-title”：“国际机器学习会议论文集。595\u 2013603“，“作者”：“Kiros Ryan”，“年份”：“2014”}，{“key”：“e_1_2_1_20_1”，“volume-title”：“AAAI人工智能会议论文集.541\u2013547”，“author”：“Krishnamoorthy Niveda”，“year”：“2013”}，“doi-asserted-by”：“publisher”，“doi”：“10.3115\/1218955.1219032”}，{“key”：“e_1_1_23_1”，《volume-title》：“欧洲计算机视觉会议论文集.740\u2013755”，“author”：“Lin Tung-Yi”}“doi-asserted-by”：“publisher”，“doi”：“10.1109\/CVPR.2015.7299101”}，{“key”：“e_1_2_1_26_1”，“doi-asserted-by”：“publisher”，”doi“：”10.1109\/CVPR.2016.117“}，”key“：”e_1_i_1_27_1“，”doi-assert-by“：”publisher“，PR.2017.111“}，{”key“：”e_1_2_1_29_1“，”doi-asserted-by“：”publisher“，“doi”：“10.3115\/1073083.1073135”}，{“key”：“e_1_2_1_30_1”，“volume-title”：“Zhe Gan，and Lawrence Carin.”，“author”：“Pu Yunchen”，“year”：“2016”}“10.1109\/CVPR.2017.548”}，{“key”：“e_1_2_1_33_1”，“doi-asserted-by”：“publisher”，“DOI”：“10.1145\/2964284.2984062”}，{“key”：“e_1_2_1_34_1”，《volume-title》：“学习表征国际会议论文集”，“author”：“Simonyan Karen”，年：“2014”}、{“key”：”e_1_i_1_35_1“，非结构化”：“Jingkuan Song Yuyu Guo Lianli Gao Xuelong Li Alan Hanjalic and Heng Tao Shen.2017。从确定性到生成性：视频字幕的多模态随机RNN。arXiv预打印arXiv:1708.02478。宋敬宽、郭玉玉、郭连立、高雪龙、李亚伦、韩佳丽、沈恒涛。2017.从确定性到生成性：用于视频字幕的多模式随机RNN。arXiv预印本arXiv:1708.02478.“}，{”key“：”e_1_1_36_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/CVPR.2015.7298594”}，“key”：“e_1_2_1_37_1”，“doi-assert-by”：“publisher”，”doi“：”10.1145\/312366.3127895“}”，{\u20131227“，”作者“：”Thomason Jesse“}，{”key“：”e_1_1_39_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/ICCV.2015.510”}，“key”：“e_2_1_40_1”，“doi-assert-by”：“publisher”，”doi“：”10.1109\/CVPR.2015.7299087“}”，{}，{“键”：“e_1_2_1_42_1”，“doi-asserted-by”：“出版商”，“doi”：“10.3115\/v1\/N15-1173“}，{“key”：“e_1_1_43_1”，“doi-asserted-by”：“publisher”，”doi“：“10.1109\/CVPR.2015.7298935”}，“key“：”e_2_1_44_1“，”doi-assert-by“：”publisher“，/CVPR.2018.00521“}，{”key“：”e_1_2_1_46_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/CVPR.2018.00784“}，{“key”：“e_1_2_1_47_1”，“doi-asserted-by”：“publisher”，”doi“：“10.1109\/TKDE.2009.145”}，“key“：”e_1_i_1_48_1“，”doi-assert-by“：”publisher“，“doi”：“10.109\/CVPR.2016.29”}、{“key”：”e_ 1_1_49_1“、”doi-asertd-by“：”publisher“，”doi:“10.1109\/CVPR。2016.571“}，{“key”：“e_1_2_1_50_1”，“volume-title”：“机器学习国际会议论文集。2048\u20132057“，”author“：”Xu Kelvin“，”year“：”2015“}，{”key“：”e_1_1_51_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/CIME.2017.8019408”}，}“key”：“e_1_i_1_52_1”，“doi-assert-by”：“publisher”，”doi“：”10.1109\/TIP.2018.2855422：“publisher”，“doi”：“10.1109\/ICCV.2015.512”}，{“key”：“e_1_2_1_54_1”doi-asserted-by“：”publisher“，”doi“：”10.1109\/ICCV.2017.524“}，{“key”：“e_1_1_55_1”，“doi-assert-by”：“publisher”，”doi:“10.1109\/CVPR.2016.496”}，“{”key“：”e_1_i_1_56_1“，“：”publisher“，”doi“：”10.1007\/978-3-030-01216-8_43“}]，”container-title“：[”ACM多媒体计算、通信和应用事务处理“]，”original-title“：[]，”language“：”en“，”link“：[{”URL“：”https:\/\/dl.ACM.org\/doi\/pdf\/10.1145\/3303083“，”content-type“：”unspecified“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2023,1]]，”date-time“2023-01-01T10:02:16Z“，”timestamp“：1672567336000}，”score“：1，”resource“：{”primary”：{“URL”：“https:\/\/dl.acm.org\/doi\/10.1145\/3303083”}}，“subtitle”：[]，“shorttitle”：[]，“issued”：}“date-parts”：[2019,5,31]]}，《references-count》：57，“journal-issue”：{“issue”：“2”，“published-print”：{parts“：[[2019,5,31]]}}，”alternative-id“：[”10.1145\/3303083“]，”URL“：”http:\/\/dx.doi.org\/10.1145\/3303083“，”关系“：{}，”ISSN“：[”1551-6857“，”1551-68“]，”ISSN-type“：[{”value“：”1551-6557“，“type”：“print”}，{”value“：“1551-6865”，”type“:”electronic“}]，”主题“：[]，”发布“：{”date-parts“：[2019,5,31]}，“assertion”：“{”value“：”2018-066-01“，”订单“：0，”名称“：”已接收“，”标签“：”接收“，“组”：{“名称”：“publication_history”，“label”：“出版历史”｝｝，｛“value”：“2018-12-01”，“order”：1，“name”：“accepted”，“label”：“accepted”，“group”：｛“name”：“publication_history”，“label”：“出版历史”｝｝，｛“value”：“2019-06-05”，“order”：2，“name”：“published”，“label”：“published”，“group”：｛“name”：“publication_history”，“label”：“出版历史”｝｝｝｝