{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期-部分”：[[2024,8,5]]，“日期-时间”：“2024-08-05T13:53:14Z”，“时间戳”：1722865994007}，“参考计数”：67，“出版商”：“计算机协会”，“问题”：“3”，“资助者”：[{“名称”：“北京自然科学基金会”，“奖项”：[“4202057，4202058，and 4202060”]}，{“DOI”：“10.13039\/501100001809”，“name”：“国家自然科学基金”，“DOI-asserted-by”：“crossref”，“adward”：[“62072027，61872032，and 62076021”]，“id”：[{“id”:“10.13039 \/5011000001809”，”id-type“：”DOI“，”asserted-by“：”crossref]，“content-domain”：{“domain”[“dl.acm.org”]，“交叉标记限制”：true}，“short-container-title”：[“ACM Trans.Intell.Syst.Technol.”]，“published-print”：{“date-parts”：[[2022,6,30]]}，“abstract”：“近年来，针对采集大规模明确标注视频的挑战，使用视频标签的弱监督视频对象分割（WSVOS）受到了广泛关注。现有的WSVOS方法遵循一条通用的管道，包括两个阶段，即伪掩码生成阶段和细化阶段。为了探索视频帧中隐藏的内在属性和相关性，大多数人将注意力集中在后期，通过引入光流作为时间信息来提供更多的监督。然而，这些基于光流的研究受到光照和畸变的影响很大，并且缺乏考虑多层深度特征的识别能力。在本文中，为了获取更有效的时间信息并研究相应的时间信息融合策略，我们提出了一种统一的WSVOS模型，该模型采用具有多级交叉分支融合策略的两分支结构，称为双关注交叉分支融合网络（DACF-Net）。具体来说，DACF-Net的两个分支，即时间预测子网（TPN）和空间分割子网（SSN），分别用于提取时间信息和生成预测分割掩码。为了实现TPN和SSN之间的交叉融合，我们提出了一种可以灵活插入SSN的双关注融合模块。我们还提出了跨帧相干损失（CFCL），通过利用TPN和SSN产生的掩模的相干来实现平滑分割结果。在两个具有挑战性的数据集（即Davis-2016和YouTube-Objects）上，大量实验证明了该方法与现有技术相比的有效性<\/jats:p>“，”DOI“：”10.1145\/3506716“，”type“：”journal-article“，”created“：{”date-parts“：[2022,3,3]]，”date-time“：”2022-03-03T09:07:01Z“，”timestamp“：1646298421000}，”page“：“：[”基于双注意交叉分支融合的弱监督视频对象分割“]，”前缀“：”10.1145“，”卷“：”13“，”作者“：[{”给定“：”莉莉“，”家庭“：”卫“，”序列“：”第一“，”从属“：[}”名称“：”北京交通大学计算机与信息技术学院北京市交通数据分析与挖掘重点实验室，中国北京“}]}，{“ORCID”：“http://\/ORCID.org\/0000-0002-3905-8651”，“authenticated-ORCID”：false，“give”：“Congyan”，“family”：“Lang”，“sequence”：“additional”，“affiliation”：[{“name”：“北京交通大学计算机与信息技术学院北京交通数据分析与挖掘重点实验室，中国北京“}]}，{“给定”：“李谦”，“家庭”：“梁”，“序列”：“附加”，“隶属关系”：[{“名称”：“北京交通大学计算机与信息技术学院北京交通数据分析与挖掘重点实验室，中国北京北京交通大学计算机与信息技术学院北京交通数据分析与挖掘重点实验室，中国北京“}]}，{“给定”：“道”，“家庭”：“王”，“序列”：“附加”，“隶属关系”：[{“名称”：“北京交通大学计算机与信息技术学院北京市交通数据分析与挖掘重点实验室，中国北京“}]}，{“given”：“Shidi”，“family”：“Chen”，“sequence”：“additional”，“affiliation”：[{“name”：“北京交通大学计算机与信息技术学院北京交通数据分析与挖掘重点实验室“}]}]，“成员”：“320”，“在线发布”：{“日期-部件”：[[2022,3,3]]}，“参考”：[{“密钥”：“e_1_3_1_2_2”，“doi-asserted-by”：“publisher”，“doi”：“10.1109\/TPAMI.2016.2644615”}，{“Key”：“e_1_3_2”doi-asserted-by“：”publisher“，”doi“：”10.1007\/978-3-540-24673-2_3“}，{“key”：“e_1_3_1_4_2”，“doi-assert-by”：“publisher”，“doi”：“10.1109\/TPAMI.2010.143”}，“key“：”e_1_ 3_1_5_2“，”doi-asserted-by““doi-asserted-by”：“publisher”，“doi”：“10.1007\/978-3-030-58601-0_18”}，{“key”：“e_1_3_1_7_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/ICCV.2017.81“}，{“key”：“e_1_ 3_1_8_2”，“doi-assert-by”：“publisher”，“doi”：“10.1007\/s11263-009-0275-4”}，”{“密钥”：“e_1_3_1_9_2”，”首页“arXiv:1608.0597”，“article-title”：“STFCN:语义视频分段的时空FCN”，“author“：”Fayyaz Mohsen“，”year“：”2016“，”unstructured“：”Mohsen Fayyaz、Mohammad Hajizadeh Saffar、Mohamamad Sabokrou、Mahmood Fathy、Reinhard Klette和Fay Huang。2016.STFCN：语义视频分割的时空FCN。arXiv e-prints（2016），arXiv:1608.05971.“，”journal-title“：”arXiv e-prints“}，{“key”：“e_1_3_1_10_2”，“doi-asserted-by”：“publisher”，“doi”：“10.1109”\/CVPR.2005.191“}”，{”key“：”e_1_ 3_11_2“，”doi-assert-by“：”publisher“，”doi“：”10.1109 \/CVPR.2019.00326“}第一页“：”2672“，”volume-title“：”神经信息处理系统进展会议”，“作者”：“Goodfellow Ian J.”，“年份”：“2014”，“非结构化”：“Ian J.Goodfellow、Jean Pouget Abadie、Mehdi Mirza、Bing Xu、David Warde Farley、Sherjil Ozair、Aaron Courville和Yoshua Bengio。2014.生成性对抗网络。在神经信息处理系统进展会议上。2672\u20132680.“}，{”key“：”e_1_3_13_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/TIP.2017.2781424“}“，{“key”：“e_1_ 3_1_14_2”，“doi-assert-by”：“publisher”，“doi”：“10.1145\/2824286 7.239“}，{”key“：”e_1_3_1_16_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/CVPR.2018.00745“}，{“key”：“e_1_3_1_17_2”，“doi-asserted-by”：“publisher”，“doi”：“10.1007\/978-3-319-10593-2_43”}，“key“：”e_1_ 3_1_18_2“，”doi-assert-by“：”publisher“，”doi“：”10.1109\/ICCV.2017.595“}007\/978-3-030-01264-9_32“}，{“键”：“e_1_3_1_20_2”，“首页”：“109”，“article-title“：“具有高斯边势的全连通CRF中的有效推理”，“volume”：“24”，“author”：“Kr\u00e4henb\u00fchl-Philipp”，“year”：“2012”，“unstructured”：“Philipp Kr\u00e4 henb\u 00fchl和Vladlen Koltun。2012.具有高斯边缘势的全连通CRF中的有效推断。高级神经信息处理。系统。24（2012），109\u2013117.”，“新闻标题”：“高级神经信息处理。系统。“}，{”key“：”e_1_3_1_21_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109“\/ICCV.2011.6126471”}，“key”：“e_1_ 3_1_22_2”，“doi-assert-by”：“publisher”，“doi”：“10.1109”\/ICCV.2017.94“}”，{“作者”：“林宗毅”，“年份”：“2016年”，“非结构化”：“Tung-Yi Lin、Piotr Doll\u00e4r、Ross Girshick、Kaiming He、Bharath Hariharan和Serge Belongie。2016.目标检测的特征金字塔网络。在IEEE计算机视觉和模式识别会议（CVPR）上。936\u2013944.“}，{”key“：”e_1_3_1_24_2“，”首页“：”750“，”卷标“：”国际通信、电路与系统会议（ICCCAS）“，”作者“：”毛玲“，”年份“：”2007“，”非结构化“：”毛玲和谢梅。2007。基于时空信息的视频序列中运动对象的自动分割。在国际通信、电路和系统会议（ICCCAS）上。750\u2013754.“}，{“issue”：“99”，“key”：“e_1_3_1_25_2”，“首页”：“1”，“article-title”：“使用共同关注的暹罗网络进行零镜头视频对象分割”，“author”：“Lu Xiankai”，“year”：“2020”，“unstructured”：“Xiankai-Lu，Wenguan Wang，Shen，David Crandall，and Jiebo Luo。2020。基于共同关注暹罗网络的零镜头视频对象分割。IEEE传输。模式分析。机器。智力。PP，99（2020），1\u20131.“，“期刊标题”：“IEEE Trans。模式分析。机器。智力。“}，{”key“：”e_1_3_1_26_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/CVPR42600.2020.00898“}”，{“key”：“e_1_ 3_1_27_2”，“首页”：“arXiv:1611.0840”，“article-title”：“使用对抗网络的语义分段”，“author”：“Luc Pauline”，“year”：“2016”，“unstructured”：“Pauline Luc，Camille Couprie，Soumith Chintala，and Jakob Verb 2016年12月。使用对抗网络进行语义分割。在NIPS对抗训练研讨会上。arXiv:1611.08408.“，”journal-title“：“NIPS对抗训练研讨会”}，{“key”：“e_1_3_1_28_2”，“doi-asserted-by”：“crossref”，“unstructured”：“Ming-Ming Cheng Guo-Xin Zhang Niloy J.Mitra Xiaolei Huang和Shi-Min Hu.2011。基于全局对比度的显著区域检测。在IEEE计算机视觉和模式识别会议（CVPR\u201911）上。409\u2013416.”，“DOI”：“10.1109\/CVPR.2011.5995344”}，{“key”：“e_1_3_1_29_2”，“DOI断言者”：“publisher”，“DOI”：“10.1109\/CVPR.2018.00713”}，{“key”：“e_1_3_1_30_2”，“DOI断言者”：“publisher”，“DOI”：“10.1109\/CVPR.2019.00539”}，{“key”：“e_1_3_1_31_2”，“DOI断言者”：“publisher”，“DOI”：“10.1109\/ICCV.2019.00932”｝，｛“key”：“e_1_3_1_32_2”，DOI断言为“：”publisher“，”DOI“：”10.1109\/ICCV.2013.223“}，{“key”：“e_1_3_1_33_2”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1109\/TMM.2016.2535357”}，“key“：”e_1_ 3_1_34_2“，”DOI-assert-by“：”publisher“DOI”：“10.1109\/ICCV.2015.369”}，{“key”：“e_1_3_1_36_2”，“DOI-asserted-by”：“publisher”，“DOI“：”10.1109 \/CVPR.2012.6248065“}，{“key”：“e_1_3_1_37_2”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1145 \/1015706.101570720”}，“{”key“：”e_1_ 3_1_38_2“，”DOI-assert-by“：”publisher“，DOI“：”10.1007\/s11263-015-0816-y“}，{“key”：“e_1_3_1_40_2”，“DOI-asserted-by”：“publisher“，”DOI“：”10.1109\/ICCV.2017.232“}，{”key“：”e_1_3_1_41_2“，”DOI-asserted-by“：”publisher“，”DOI“：”10.1145\/2438653.2438670“}，{”key“：”e_1_3_1_44_2“，”DOI-asserted-by“：”publisher“，”DOI“：”10.1109\/CVPR.2016.308“}，{“key”：“e_1_3_1_45_2”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1109\/CVPR.2017.64”}，“key“：”e_1_ 3_1_46_2“，”DOI-assert-by“：”publisher I“：”10.1007\/978-3-319-46493-0_46“}，{”key“：”e_1_3_1_48_2“，”DOI-asserted-by“：”publisher“，”DOI“：”10.1007\/s12559-016-9387-7“}，{“key”：“e_1_3_1_49_2”，“DOI-asserted-by”：“publisher”，“DOI”：“10.1109\/CVPR.2019.00971”}，“key“：”e_1_ 3_1_50_2“，”首页“：”163“，“volume-title”：“亚洲计算机视觉会议（ACCVV）”，“author”：“Wang Huiling”，“year”：“2016”，“unstructured”：“王慧玲、塔帕尼·莱科、拉塞·伦苏、王廷怀和朱哈·卡胡宁。2016.弱标记语义视频对象分割的半监督域适配。在亚洲计算机视觉会议（ACCV）上。163\u2013179.“}，{”key“：”e_1_3_1_51_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/ICCV.2017.185“}、{”密钥“：”e_1_3_1_52_2“，“doi-assert-by”：“publisher”，“doi”：“10.1109\/TPAMI.2017.2662005”}，“key”：“e_1_ 3_1_53_2”，“doi-asserted-by”：”publiver“，”doi“：“10.109\/CVPR”.2018.0813“}，{”key“：”e_1_3_1_54_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1007\/978-3-030-01234-2_1“}，{“key”：“e_1_3_1_55_2”，“doi-asserted-by”：“publisher”，“doi”：“10.1109\/CVPR.2019.00147”}，}“key”：”e_1_ 3_1_56_2“，”doi-assert-by“：”publisher“，”doi“：”10.1109\/TIP.2.2018.2834221“}”，{10.1007\/978-3-030-58558-7_20“}，{“key”：“e_1_3_1_58_2”，“doi-asserted-by”：“crossref”，“首页“：”1“，”DOI“：”10.1109\/TPAMI.2021.3081597“，”文章标题“：”多尺度前景背景集成的协同视频对象分割“，”作者“：”杨宗新“，”年份“：”2021“，“非结构化”：”杨宗新、魏云超、杨毅。2021.通过多尺度前景背景集成进行协作视频对象分割。IEEE传输。模式分析。机器。智力。（2021），1\u20131.”，“期刊标题”：“IEEE Trans。模式分析。机器。智力。“}，{”key“：”e_1_3_1_59_2“，”doi-asserted-by“：”publisher“，”doi“：”10.1109\/TPAMI.2018.2881114“}”，{“key”：“e_1_ 3_1_60_2”，“doi-assert-by”：“publisher”，“doi”：“10.1109\/CVPR.2017.567”}，}_2“}，{“key”：“e_1_3_1_62_2”，“doi-asserted-by”：“publisher”，“doi”：“10.1109\/CVPR.2016.618”}，｛“key”：“e_1_3_1_63_2”，“doi由”断言：“publisher”，“doi”：“10.1109\/TIP.2018.2806995”｝，｛“key”：“e_1_3_64_2”，“doi由”断言：“publisher”，“doi”：“10.1109\/CVPR.2015.729987”｝，｛“key”：“e_1_3_65_2”，“doi由”断言：“publisher”，“doi”：“10.1145\/3240508.3240638”｝，｛“key”：“e_1_66_2”，“doi由“：”publisher“断言，“doi”：“10.1109\/CVPR.2017.660”}，{“key”：“e_1_3_1_67_2”，“doi-asserted-by”：“publisher”，“doi”：“10.1109\/CVPR.2016.319”}，{“密钥”：“e_1_3_1_68_2”，”doi-assert-by“：”publisher“，”doi“：”10.1145\/2629483“}]，“容器标签”：[“ACM智能系统和技术事务”]，“原始标题”：[]，“language”：“en”，“链接”：[{“URL”：“https:\/\/dl.ACM.org\/doi\/pdf\/10.1145\/3506716“，“content-type”：“unspecified”，“content-version”：“vor”，“intended-application”：“similarity-checking”}]，“deposed”：{“date-parts”：[[2024,10]]，“date-time”：”2024-01-10T14:03:09Z“，“timestamp”：1704895389000}，“score”：1，“resource”：{primary“：{”URL“https:\/\/dl.acm.org\/doi\/10.1145\/3506716“}}”，“subtittle”：[]，“短标题”：[]，“已发布”：{“日期-部分”用法：[[2022,3,3]]}，“引用计数”：67，“日志发布”：{“发布”：“3”，“发布发布”：}“日期部分”：[[202022,6,30]]}}，”alternative-id“：[”10.1145\/3506716“]，”URL“：”http://\/dx.doi.org\/10.1145\/3506.716“，”relationship“：{}，‘ISSN’：[”2157-6904“，”2157-6 912“]，“ISSN-type”：[{“数值”：“2157-6904”，“类型”：“打印”}，{“值”：“21.57-6912”，“种类”：“电子”}]，“主题”：[]，“published”：{“date-parts”：[[2022,3,3]]}，“assertion”：[{“value”：“2021-06-01”，“order”：0，“name”：“received”，“label”：“received”，”group“：{”name“：”publication_history“，”label“：”publication history“}}，{“value”：”2021-12-01“，”order“：1，”name“accepted”，”lable“：”accepted“，}}，{“值”：“2022-03-03”，“order”：2，“name”：“published”，“label”：“published”，“group”：{“name”:“publication_history”，“标签”：“publication history”}}]}}