研究论文

语义人体铺垫

作者:

铁正 Ge公司,

鑫鑫杨、和

坤盖作者信息和声明

18岁MM：第26届ACM多媒体国际会议记录

2018年10月

页618-626

https://doi.org/10.1145/3240508.3240610

出版:2018年10月15日出版历史

获取访问权限

摘要

人体铺垫是从自然图像中提取人体的高质量图像，对于广泛的应用至关重要。由于铺垫问题严重不足，因此以前的大多数方法都要求用户交互以用户指定的修剪或涂鸦作为约束。这种用户参与的特性使得它们很难应用于大规模数据或时间敏感的场景。本文不使用显式用户输入约束，而是使用从数据中学习到的隐式语义约束，并提出了一种自动人体匹配算法——语义人体匹配（SHM）。SHM是第一个学习将语义信息和高质量细节与深度网络相结合的算法。实际上，同时学习粗糙语义和精细细节是一项挑战。我们提出了一种新的融合策略，该策略可以自然地对阿尔法冰铜进行概率估计。我们还构建了一个包含35513个独特前景的高质量注释的超大数据集，以便于学习和评估人体铺垫。对该数据集和大量真实图像的大量实验表明，SHM与最先进的交互式消光方法取得了类似的结果。

补充材料

ZIP文件（fp0506.zip）

在这个补充材料中，我们提供了一些关于语义人体模型数据集和真实图像的视觉结果。我们还提供了一些智能创意设计应用的示例。权晨2018年9月9日

下载
8.28 MB

工具书类

[1]

亚吉兹·阿克索伊、Tuncc Ozan Aydin、Marc Pollefeys和ETH Zürich。2017.为自然图像铺垫设计有效的像素间信息流。计算机视觉和模式识别（CVPR）。

[2]

Liang-Chieh Chen、George Papandreou、Iasonas Kokkinos、Kevin Murphy和Alan L Yuille。2016年，Deeplab：使用深度卷积网络、atrous卷积和完全连接的crf进行语义图像分割。arXiv预印arXiv:1606.00915（2016）。

[3]

陈奇峰（Qifeng Chen）、李定泽（Dingzeyu Li）和唐奇强（Chi-Keung Tang）。2013年KNN床垫。IEEE模式分析和机器智能事务，第35卷，第9卷（2013年），第2175-2188页。

数字图书馆

[4]

Dongyyeon Cho、Yu Wing Tai和Inso Kweon。2016年，使用深度卷积神经网络进行自然图像拼接。在欧洲计算机视觉会议上。施普林格，626-643。

[5]

Yung-Yu Chuang、Brian Curless、David H Salesin和Richard Szeliski。2001年，数字铺垫的贝叶斯方法。《计算机视觉和模式识别》，2001年。CVPR 2001。2001年IEEE计算机学会会议记录，第2卷。IEEE，II--II。

[6]

M.Everingham、L.Van Gool、C.K.I.Williams、J.Winn和A.Zisserman。{n.d.}。2012年PASCAL可视化对象类挑战赛（VOC2012）结果。http://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html。

[7]

Eduardo SL Gastal和Manuel M Oliveira。2010.实时Alpha Matting共享采样。计算机图形论坛，第29卷。威利在线图书馆，575--584。

[8]

利奥·格雷迪（Leo Grady）、托马斯·斯基维茨（Thomas Schiwietz）、谢缪尔·阿哈龙（Shmuel Aharon）和吕迪格·韦斯特曼（Rüdiger Westermann）。2005.交互式字母表制作的随机漫步。《VIIP会议录》，第2005卷。423--429.

[9]

何开明（Kaiming He）、克里斯托夫·莱曼（Christoph Rhemann）、卡斯滕·罗瑟（Carsten Rother）、汤晓鸥（Xiaou Tang）和孙健（Jian Sun）。2011年，阿尔法消光的全球采样方法。计算机视觉和模式识别（CVPR），2011年IEEE会议，IEEE，2049-2056。

数字图书馆

[10]

何开明、孙健、汤晓鸥。2010年，引导式图像过滤。在欧洲计算机视觉会议上。斯普林格，1-14。

数字图书馆

[11]

何开明、张湘玉、任少清、孙建军。2016.图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议记录中。770--778.

[12]

杰弗里·欣顿（Geoffrey E Hinton）、西蒙·奥斯宾多（Simon Osindero）和叶惠德（Yee-Whye Teh）。2006.深度信念网的快速学习算法。神经计算，第18卷，第7卷（2006年），1527-1554。

数字图书馆

[13]

阿纳特·莱文（Anat Levin）、达尼·利辛斯基（Dani Lischinski）和耶尔·韦斯（Yair Weiss）。2008.自然图像遮片的封闭式解决方案。IEEE模式分析和机器智能汇刊，第30卷，第2卷（2008年），第228-242页。

数字图书馆

[14]

Tsung Yi Lin、Michael Maire、Serge Belongie、James Hays、Pietro Perona、Deva Ramanan、Piotr Dollár和C Lawrence Zitnick。2014.微软coco：上下文中的通用对象。在欧洲计算机视觉会议上。施普林格，740年至755年。

[15]

乔纳森·朗（Jonathan Long）、埃文·谢尔哈默（Evan Shelhamer）和特雷弗·达雷尔（Trevor Darrell）。2015.语义分割的完全卷积网络。在IEEE计算机视觉和模式识别会议记录中。3431--3440.

[16]

Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。2017.PyTorch中的自动区分。(2017).

[17]

赵鹏、张湘玉、余刚、罗桂明、孙健。2017.大型核心问题——通过全球卷积网络改进语义分割。arXiv预印本arXiv:1703.02719（2017）。

[18]

Christoph Rhemann、Carsten Rother、Jue Wang、Margrit Gelautz、Pushmeet Kohli和Pamela Rott。2009年，这是一个具有感知动机的图像消光在线基准。《计算机视觉和模式识别》，2009年。CVPR 2009。IEEE会议。IEEE，1826-1833年。

[19]

Ehsan Shahrian、Deepu Rajan、Brian Price和Scott Cohen。2013年，使用综合采样集改进图像消光。计算机视觉和模式识别（CVPR），2013年IEEE会议，IEEE，636-643。

数字图书馆

[20]

沈晓勇、陶鑫、高洪云、周超、贾佳雅。2016.深度自动人像消光。在欧洲计算机视觉会议上。施普林格，92-107。

[21]

孙健（Jian Sun）、贾佳雅（Jiaya Jia）、汤志强（Chi-Keung Tang）和熊杨（Heung Yeung Shum）。2004年，泊松消光。在ACM图形事务（ToG），第23卷。美国医学会，315--321。

数字图书馆

[22]

王珏（Jue Wang）和迈克尔·科恩（Michael F Cohen）。2007年，优化了色彩采样，实现了强健的哑光效果。计算机视觉和模式识别，2007年。2007年CVPR。IEEE会议。IEEE，1-8。

[23]

徐宁（Ning Xu）、布莱恩·普莱斯（Brian Price）、斯科特·科恩（Scott Cohen）和托马斯·黄（Thomas Huang）。2017年，深度图像消光。在计算机视觉和模式识别（CVPR）中。

[24]

Fisher Yu和Vladlen Koltun。2015。通过扩张卷积进行多尺度上下文聚合。arXiv预印本arXiv:1511.07122（2015）。

[25]

赵恒双、石建平、齐晓娟、王晓刚和贾佳娅。2017.金字塔场景解析网络。在IEEE计算机视觉和模式识别会议（CVPR）上。2881--2890.

[26]

朱炳科、陈莹莹、王金桥、刘思、张波和唐明。2017.手机人像动画快速深度铺垫。2017年ACM多媒体会议记录。美国医学会，297--305。

数字图书馆

引用人

冯G唐C(2024)基于双模信息互补性的人像语义分割方法应用科学10.3390/app1404143914:4(1439)在线发布日期：2024年2月9日
https://doi.org/10.3390/app14041439
刘Q孟QX级李Z于伟张S(2024)人类选择性哑光ACM多媒体计算、通信和应用汇刊10.1145/3640017在线发布日期：2024年1月15日
https://doi.org/10.1145/3640017
李杰戈尔五世Ohanyan M公司纳瓦萨德扬S魏Y施H(2024)VMFormer：带变压器的端到端视频拼接2024年IEEE/CVF计算机视觉应用冬季会议（WACV）10.1109/WACV57701.2024.00654(6664-6673)在线发布日期：2024年1月3日
https://doi.org/10.109/WACV57701.2024.00654
显示更多引用人

索引术语

语义人体铺垫
1. 计算方法
  1. 人工智能
    1. 计算机视觉
      1. 计算机视觉问题
        图像分割

建议

泊松消光
SIGGRAPH’04:ACM SIGGRAP 2004论文

在本文中，我们将自然图像的消光问题表述为用消光梯度场求解泊松方程的问题。我们的方法，我们称之为泊松消光具有以下优点。首先，直接重建冰铜。。。
阅读更多信息
人类选择性哑光
现有的人体消光方法无法准确估计群体照片中任意选择的人的阿尔法消光。另一种解决方案是将它们应用于相应的裁剪图像补丁。然而，此选项获得。。。
阅读更多信息
光谱消光中消光成分聚类的贝叶斯方法
2013年第七届国际图像与图形会议记录

本文提出将贝叶斯原理应用于光谱消光中的消光分量聚类。光谱消光是一种有效的数字图像消光技术。光谱消光的一个关键问题是如何对计算出的光谱进行聚类。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

18岁MM：第26届ACM多媒体国际会议记录

2018年10月

2167页

国际标准图书编号：9781450356657

内政部：10.1145/3240508

总主席：
苏珊娜-波尔
德国奥尔登堡大学
,
李京木
韩国首尔国立大学
,
罗杰波博士
美国罗切斯特大学
,
朱文武
中国清华大学
,
课程主席：
海伦·拜恩
韩国延世大学
,
陈昌文
美国纽约州立大学布法罗分校
,
雷纳·连哈特
德国奥格斯堡大学
,
陶美
京东AI，中国

版权所有©2018 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

赞助商

SIGMM:ACM多媒体特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2018年10月15日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

会议

2018年MM

赞助商：

SIGMM公司

18岁MM：ACM多媒体会议

2018年10月22日至26日

韩国首尔

接受率

18岁MM的论文接受率为209，共提交757份，占28%；

4171份提交文件的总体接受率为995份，24%

即将召开的会议

24年月日

赞助商：
西格姆

第32届ACM国际多媒体会议

2024年10月28日至11月1日

墨尔本，维多利亚州，澳大利亚

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

116
引文总数
查看引文
561
总下载次数

下载次数（过去12个月）61
下载次数（最近6周）7

其他指标

查看作者指标

引文

引用人

冯G唐C(2024)基于双模信息互补性的人像语义分割方法应用科学10.3390/app1404143914:4(1439)在线发布日期：2024年2月9日
https://doi.org/10.3390/app14041439
刘Q孟QX级李Z于伟张S(2024)人类选择性哑光ACM多媒体计算、通信和应用汇刊10.1145/3640017在线发布日期：2024年1月15日
https://doi.org/10.1145/3640017
李杰戈尔五世Ohanyan M公司纳瓦萨德扬S魏Y施H(2024)VMFormer：带变压器的端到端视频拼接2024年IEEE/CVF计算机视觉应用冬季会议（WACV）10.1109/WACV57701.2024.00654(6664-6673)在线发布日期：2024年1月3日
https://doi.org/10.1109/WACV57701.2024.00654
李杰亨舍尔R戈尔五世Ohanyan M公司纳瓦萨德扬S施H(2024)视频实例铺垫2024年IEEE/CVF计算机视觉应用冬季会议（WACV）10.1109/WACV57701.2024.00653(6654-6663)在线发布日期：2024年1月3日
https://doi.org/10.109/WACV57701.2024.00653
李Z徐B谢杰唐Y鲁C(2024)SDNet：一种基于自蒸馏的极为有效的肖像铺垫模型2024年IEEE/CVF计算机视觉应用冬季会议（WACV）10.1109/WACV57701.2024.00553(5613-5622)在线发布日期：2024年1月3日
https://doi.org/10.109/WACV57701.2024.00553
钟Y扎尔科夫一世(2024)通过区域关注和改进实现轻质人像铺垫2024年IEEE/CVF计算机视觉应用冬季会议（WACV）10.1109/WACV57701.2024.00411(4146-4155)在线发布日期：2024年1月3日
https://doi.org/10.109/WACV57701.2024.00411
魏特（Wei T）陈D周伟廖J赵H张伟华G于恩(2024)稀疏用户交互的深度图像MattingIEEE模式分析和机器智能汇刊10.1109/TPAMI.2023.332669346:2(881-895)在线发布日期：2024年2月
https://doi.org/10.1109/TPAMI.2023.3326693
刘Q张S孟Q钟B刘鹏姚H(2024)端到端人工实例铺垫IEEE视频技术电路和系统汇刊10.1109/TCSVT.2023.3306400(1-1)在线发布日期：2024年
https://doi.org/10.109/TCSVT.2023.3306400
王毅唐·L钟Y李B(2024)从合成到现实：基于变换的自然图像蒙版IEEE视频技术电路和系统汇刊10.1109/TCSVT.2023.3300731(1-1)在线发布日期：2024年
https://doi.org/10.1109/TCSVT.2023.3300731
姚G太阳A(2024)基于边界检测的多导图像消光计算机视觉与图像理解2016年10月10日/j.cviu.2024.103998243(103998)网上发布日期：2024年6月
https://doi.org/10.1016/j.cviu.2024.103998
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

视图选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子