×
赵娇娇；韩俊功；邵玲；塞斯·斯诺克（Cees G.M.Snoek）。

像素化的语义着色。 （英语） Zbl 1477.68527号

国际期刊计算。视觉。 128，第4期，818-834（2020）.
摘要：虽然许多图像彩色化算法最近已经显示出从灰度照片中生成合理颜色版本的能力，但它们仍然受到语义理解的限制。为了解决这个缺点，我们建议利用像素化对象语义来指导图像着色。其基本原理是人类根据物体的语义类别来感知和区分颜色。从自回归模型开始，我们生成图像颜色分布，从中对不同颜色的结果进行采样。我们提出了两种将对象语义合并到颜色化模型中的方法：通过像素化语义嵌入和像素化语义生成器。具体而言，拟议网络包括两个分支。一个分支学习对象是什么，而另一个分支则学习对象的颜色。该网络以端到端的方式联合优化颜色嵌入损失、语义分割损失和颜色生成损失。在Pascal VOC2012和COCO-stuff上的实验表明，与彩色化技术相比，我们的网络在使用语义分割标签进行训练时产生了更真实、更精细的结果。

MSC公司：

68单位10 图像处理的计算方法

关键词：

图像彩色化；语义分割；像素化语义

软件：

深度实验室；DeconvNet公司；亚当；PixelCNN（像素有线电视新闻网）++；像素x像素；CycleGAN公司；MS-COCO公司；PASCAL挥发性有机化合物；FiLM公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Zhao}等人，国际计算机杂志。视觉。128，第4号，818--834（2020；Zbl 1477.68527）
全文： 内政部 arXiv公司

参考文献：

[1] Bugeau，A。；Ta、VT；Papadakis，N.，基于变分样本的图像彩色化，IEEE图像处理汇刊，23，1，298-307（2014）·Zbl 1374.94049号 ·doi:10.1109/TIP.2013.2288929
[2] Caesar，H.、Uijlings，J.和Ferrari，V.（2018）。COCO-stuff：上下文中的Thing和stuff类。在CVPR中。
[3] 曹毅、周毅、张伟和于毅（2017）。通过生成性对抗网络实现无监督的多样色彩化。在关于数据库中的机器学习和知识发现的联合欧洲会议上。
[4] Charpiat，G.、Hofmann，M.和Schölkopf，B.（2008年）。通过多模式预测实现图像自动着色。在ECCV中。
[5] Cheng，Z.、Yang，Q.和Sheng，B.（2015）。深度着色。在ICCV中。
[6] 陈，LC；帕潘德里欧，G。；科基诺斯，I。；墨菲，K。；Yuille，AL，Deeplab:《使用深度卷积网、atrous卷积和全连接CRF的语义图像分割》，IEEE模式分析和机器智能汇刊，40，4834-848（2018）·doi:10.1109/TPAMI.2017.2699184
[7] 恰，AYS；卓，S。；古普塔，RK；泰，YW；Cho，SY；Tan，P。；Lin，S.，互联网图像的语义色彩化，ACM图形交易，30，6，156（2011）·doi:10.1145/2070781.2024190
[8] Comaniciu，D.和Meer，P.（1997年）。特征空间的稳健分析：彩色图像分割。在CVPR中。
[9] Dai，J.，Li，Y.，He，K.，&Sun，J.（2016）。R-FCN：通过基于区域的完全卷积网络进行目标检测。在NIPS中。
[10] Danelljan，M.、Shahbaz Khan，F.、Felsberg，M.和Van de Weijer，J.（2014）。实时视觉跟踪的自适应颜色属性。在CVPR中。
[11] Deshpande，A.、Lu，J.、Yeh，M.C.、Chong，M.J.和Forsyth，D.（2017年）。学习不同的图像色彩。在CVPR中。
[12] Deshpande，A.、Rock，J.和Forsyth，D.（2015）。学习大规模自动图像着色。在ICCV中。
[13] Everingham，M。；南非埃斯拉米；Van Gool，L。；威廉姆斯，CK；温，J。；Zisserman，A.，《Pascal视觉对象类挑战：回顾》，《国际计算机视觉杂志》，111,198-136（2015）·doi:10.1007/s11263-014-0733-5
[14] Frans，K.（2017）。通过串联对抗网络概述彩色化。arXiv:1704.08834。
[15] Gijsenij，A。；Gevers，T。；van de Weijer，J.，使用图像导数结构实现颜色恒定性的广义色域映射，国际计算机视觉杂志，86，2-3，127-139（2010）·Zbl 1477.68506号 ·文件编号：10.1007/s11263-008-0171-3
[16] Guadarrama，S.、Dahl，R.、Bieber，D.、Norouzi，M.、Shlens，J.和Murphy，K.（2017年）。像素颜色：像素递归着色。在BMVC中。
[17] Gupta，R.K.、Chia，A.Y.S.、Rajan，D.、Ng，E.S.和Zhiyong，H.（2012）。使用相似图像进行图像着色。在多媒体中。
[18] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016）。用于图像识别的深度残差学习。在CVPR中。
[19] 他，M。；陈，D。；廖，J。；砂光机，PV；Yuan，L.，基于深度样本的彩色化，ACM图形交易，37，4，47（2018）
[20] Huang，Y.C.、Tung，Y.S.、Chen，J.C.、Wang，S.W.和Wu，J.L.（2005）。一种基于自适应边缘检测的彩色化算法及其应用。在多媒体中。
[21] Iizuka，S。；Simo-Serra，E。；石川，H.，让颜色存在！：全球和本地图像先验的联合端到端学习，用于自动图像着色和同步分类，ACM图形交易，35，4，110（2016）·doi:10.145/28978242.952974
[22] Ironi，R.、Cohen-Or，D.和Lischinski，D.（2005）。示例着色。在渲染技术中。
[23] Isola，P.、Zhu，J.Y.、Zhou，T.和Efros，A.A.（2017）。使用条件对抗网络进行图像到图像的转换。在CVPR中。
[24] Khan，F.S.、Anwer，R.M.、Van de Weijer，J.、Bagdanov，A.D.、Vanrell，M.和Lopez，A.M.（2012）。用于对象检测的颜色属性。在CVPR中。
[25] Khan，F.S.、Van De Weijer，J.和Vanrell，M.（2009）。对象识别的自上而下的颜色注意。在ICCV中。
[26] Kingma，D.P.和Ba，J.（2015年）。亚当：一种随机优化方法。在ICLR中。
[27] Kingma，D.P.和Welling，M.（2014）。自动编码变分贝叶斯。在ICLR中。
[28] Larsson，G.、Maire，M.和Shakhnarovich，G.（2016）。学习自动着色的表示法。在ECCV中。
[29] 莱文，A。；Lischinski，D。；Weiss，Y.，使用优化着色，ACM图形汇刊，23，3，689-694（2004）·doi:10.1145/1015706.1015780
[30] Lin，T.Y.，Maire，M.，Belongie，S.，Hays，J.，Perona，P.，Ramanan，D.等人（2014）。Microsoft COCO:上下文中的通用对象。在ECCV中。
[31] 刘，X。；Wan，L。；曲，Y。；Wong，TT；Lin，S。；梁，CS；Heng，PA，内在着色，ACM图形汇刊，27，5152（2008）·doi:10.1145/1409060.1409105
[32] Long，J.、Shelhamer，E.和Darrell，T.（2015）。语义分割的完全卷积网络。在CVPR中。
[33] Lou，Z.、Gevers，T.、Hu，N.、Lucassen，M.P.等人（2015）。通过深度学习保持色彩恒定。在BMVC中。
[34] Luan，Q.、Wen，F.、Cohen-Or，D.、Liang，L.、Xu，Y.Q.和Shum，H.Y.（2007）。自然图像着色。在第18届欧洲制图会议关于渲染技术的会议记录中。
[35] Noh，H.、Hong，S.和Han，B.（2015）。用于语义分割的学习反卷积网络。在ICCV中。
[36] Pérez，P.、Hue，C.、Vermaak，J.和Gannet，M.（2002）。基于颜色的概率跟踪。在ECCV中·Zbl 1034.68652号
[37] Perez，E.、Strub，F.、De Vries，H.、Dumoulin，V.和Courville，A.（2018年）。电影：带有一般调节层的视觉推理。在AAAI。
[38] Polyak，英国电信；Juditsky，AB，通过平均加速随机近似，SIAM控制与优化杂志，30,4838-855（1992）·Zbl 0762.62022号 ·数字对象标识代码：10.1137/0330046
[39] 曲，Y。；Wong，TT；Heng，PA，Manga colorization，ACM图形汇刊，25，3，1214-1220（2006）·文件编号：10.1145/1141911.1142017
[40] Radford，A.、Metz，L.和Chintala，S.（2016年）。深度卷积生成对抗性网络的无监督表示学习。在ICLR中。
[41] Royer，A.、Kolesnikov，A.和Lampert，C.H.（2017年）。概率图像着色。在BMVC中。
[42] Salimans，T.、Karpathy，A.、Chen，X.、Kingma，D.P.和Bulatov，Y.（2017）。PixelCNN++：具有离散逻辑混合似然和其他修改的Pixel有线电视新闻网实现。在ICLR中。
[43] Sanchez，J.M.和Binefa，X.（2000）。在数字视频应用中使用颜色规范化改进视觉识别。在ICME中。
[44] Sangkloy，P.、Lu，J.、Fang，C.、Yu，F.和Hays，J.（2017）。Scribbler：通过草图和颜色控制深度图像合成。在CVPR中。
[45] 斯温，MJ；巴拉德，DH，颜色索引，国际计算机视觉杂志，7，1，11-32（1991）·doi:10.1007/BF00130487
[46] Tai，Y.W.，Jia，J.Y.，&Tang，C.K.（2005）。通过期望最大化概率分割实现局部颜色传递。在CVPR中。
[47] van de Sande，肯尼亚能源局；Gevers，T。；斯诺克，CGM，评估物体和场景识别的颜色描述符，IEEE模式分析和机器智能汇刊，32，9，1582-1596（2010）·doi:10.1109/TPAMI.2009.154
[48] 范德霍斯特，GJ；马萨诸塞州鲍曼，时空色度鉴别，美国光学学会杂志，59，11，1482-1488（1969）·doi:10.1364/JOSA.59.001482
[49] van den Oord，A.、Kalchbrenner，N.、Espeholt，L.、Vinyals，O.、Graves，A.等人（2016）。使用PixelCNN解码器生成条件图像。在NIPS中。
[50] Vondrick，C.、Shrivastava，A.、Fathi，A.，Guadarrama，S.和Murphy，K.（2018年）。跟踪是通过给视频上色来实现的。在ECCV中。
[51] Wang，Z.、Simoncelli，E.P.和Bovik，A.C.（2003）。用于图像质量评估的多尺度结构相似性。在第37届Asilomar信号、系统和计算机会议上。
[52] Wang，X.、Yu，K.、Dong，C.和Loy，C.（2018）。利用深度空间特征变换恢复图像超分辨率中的真实感纹理。在CVPR中。
[53] 威尔士，T。；Ashikhmin先生。；Mueller，K.，《将颜色转换为灰度图像》，《ACM图形汇刊》，21，3，277-280（2002）·doi:10.1145/566654.566576
[54] Yatziv，L。；Sapiro，G.，使用色度混合实现快速图像和视频彩色化，IEEE图像处理汇刊，15，5，1120-1129（2006）·doi:10.1109/TIP.2005.864231
[55] Zhang，R.，Isola，P.，&Efros，A.A.（2016）。彩色图像着色。在ECCV中。
[56] Zhang，R.，Zhu，J.Y.，Isola，P.，Geng，X.，Lin，A.S.，Yu，T.等人（2017）。实时用户引导的图像彩色化与学习的深度先验。在SIGGRAPH中。
[57] Zhao，J.、Liu，L.、Snoek，C.G.M.、Han，J.和Shao，L.（2018）。像素级语义指导图像彩色化。在BMVC中。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。