计算机科学››2024,第51卷››问题(5): 92-99.数字对象标识:10.11896/jsjkx.231100067

•计算机图形和多媒体• 以前的文章   下一篇文章

黑白电影的多阶段智能色彩恢复算法

宋建峰、张文英、韩璐、胡国正、迈克奇光  

  1. 西安710071西电大学计算机科学与技术学院
  • 收到:2023-11-10 修订过的:2024-03-25 在线:2024-05-15 出版:2024-05-08
  • 关于作者:宋建峰,1978年生,副教授。他的主要研究兴趣包括计算机视觉和深度学习。
  • 支持单位:
    西电大学继续教育教学改革研究计划(JA2301)和国家自然科学基金(62272364)。

摘要:在黑白电影的彩色化过程中,现有的自动彩色化模型往往会产生奇异的结果,而基于参考的彩色化方法要求用户指定参考图像,这对满足参考图像的高要求和耗费大量人力提出了重大挑战。为了解决这个问题,本文提出了一种多阶段的黑白电影智能色彩恢复算法(MSICRA)。首先,通过VGG19网络将电影分割成多个场景片段。其次,逐帧切割每个场景片段,并以每个帧图像的边缘强度和灰度差作为评估图像清晰度的标准,在每个场景中选择清晰度在0.95到1之间的图像。随后,我们从过滤后的图像中选择符合清晰度标准的第一帧,并应用不同的渲染因子值对所选图像进行着色。我们使用饱和度评估着色效果,并为着色选择合适的渲染因子。最后,我们使用预彩色图像和后彩色图像之间的均方误差来选择质量最佳的彩色图像作为场景分割的参考。实验结果表明,该算法对黑白电影《雷锋》和《永恒之波》分别提高了1.32%和2.15%的峰值信噪比,对SSIM分别提高了1.84%和1.04%。该算法不仅可以实现全自动着色,还可以生成符合人类感知的逼真颜色。

关键词: 深度学习, 自动着色, 场景分割, 清晰

CLC编号:

  • 第315页
[1] LEI C Y,CHEN Q F.具有自正则化和多样性的全自动视频着色[C]//IEEE/CFF计算机视觉和模式识别会议论文集。美国长滩,2019:3753-3761。
[2] 刘毅,赵赫,陈克钦,等.基于深度特征传播和自调节学习的时间一致性视频彩色化[J].arXiv:2110.045622021。
[3] 赵勇,PO L M,YU W Y,等.基于混合生成对抗网络的视频彩色化[J]。IEEE多媒体汇刊,2022,25:3017-3032。
[4] 赵毅,波乐美,张国伟,等.基于生成对抗网络的显著图引导着色[J]。IEEE视频技术电路和系统汇刊,2020,31(8):3062-3077。
[5] AKIMOTO N,HAYAKAWA A,SHIN A,等.基于参考的时空对应视频彩色化[J].arXiv:2011.125282020。
[6] 张斌,何明明,廖杰,等。基于深度示例的视频彩色化[C]//IEEE/CVF计算机视觉与模式识别会议论文集。美国长滩,2019:8052-8061。
[7] 史敏,张建清,陈世勇,等.基于参考的深线艺术视频彩色化[J]。IEEE可视化与计算机制图汇刊,2023,29(6):2965-2979。
[8] 何明明,陈德德,廖杰,等.基于深度样本的聚类分析[J]。ACM图形事务(TOG),2018,37(4):1-16。
[9] WAN Z Y,ZHANG B,CHEN D D,等.让老电影重获生机[C]//IEEE/CVF计算机视觉与模式识别会议论文集。美国新奥尔良,2022:17694-17703。
[10] JI X,JIANG B,LUO D,et al.颜色形成器:通过颜色记忆辅助的混合注意变压器进行图像彩色化[C]//欧洲计算机视觉会议。以色列Tel-Avv,2022:20-36。
[11] ANTIC J.DeOldify[EB/OL]。(2018-10-31) [2021-12-10].https://github.com/jantic/DeOld通知。
[12] SIMONYAN K,ZISSERMAN A.用于大规模图像识别的超深卷积网络[J].arXiv:1409.15562014。
[13] 王晓明,张素英,张杰,等.基于深度剩余学习的含噪图像轮廓重建方法[J]。西电大学学报,2020,47(3):66-71。
[14] VASWANI A,SHAZEER N,PARMAR N,et al.Attention Is All You Need[C]//第三十一届神经信息处理系统会议论文集。美国长滩,2017:1-11。
[15] RONNEBERGER O,FISCHER P,BROX T.U-net:生物医学图像分割的卷积网络[C]//医学图像计算和计算机辅助干预(MICCAI 2015)。德国慕尼黑,2015:234-241。
[16] HE K M,ZHANG X Y,REN S Q,et al.用于图像识别的深度残差学习[C]//IEEE计算机视觉与模式识别会议论文集。美国拉斯维加斯,2016:770-778。
[17] 姜国勇,黄德杰,王霞,等.图像质量评价方法综述[J]。电子与信息技术杂志,2010,32(1):219-226。
[1] 鲍开南、张俊波、宋丽、李天瑞。ST-WaveMLP:用于交通流预测的时空全球软件网络[J] ●●●●。计算机科学,2024,51(5):27-34。
[2] 张建良、李阳、朱青山、薛红玲、马俊伟、张丽霞、毕生。基于双域稀疏变压器的变电站设备故障报警算法[J] ●●●●。计算机科学,2024,51(5):62-69。
[3] 何世阳、王朝辉、龚盛荣、钟山。基于交叉模式信息过滤的可视问答网络[J] ●●●●。计算机科学,2024,51(5):85-91。
[4] 何晓辉、周涛、李潘乐、常静、李家棉。基于多尺度注意的遥感图像建筑物提取研究[J] ●●●●。计算机科学,2024,51(5):134-142。
[5] 徐学杰、王宝辉。基于文本和历史数据的多标签专利分类[J] ●●●●。计算机科学,2024,51(5):172-178。
[6] 李自晨、易修文、陈顺、张俊波、李天瑞。基于深度多视网络的政府事件调度方法[J] ●●●●。计算机科学,2024,51(5):216-222。
[7] 洪体静、刘登峰、刘毅。基于多尺度全卷积神经网络和GRU的雷达有源干扰识别[J] ●●●●。计算机科学,2024,51(5):306-312。
[8] 孙静、王晓霞。基于云边缘协同子类提取的卷积神经网络模型压缩方法[J] ●●●●。计算机科学,2024,51(5):313-320。
[9] 陈润环、戴华、郑贵能、李辉、杨庚。基于差异补偿和短时采样对比损耗的城市电力负荷预测方法[J] ●●●●。计算机科学,2024,51(4):158-164。
[10] 林斌伟、余志勇、黄芳婉、郭显伟。基于Transformer的街道停车位数据完善与预测[J] ●●●●。计算机科学,2024,51(4):165-173。
[11] 宋浩、毛冠民、朱舟。基于GAANET的立体匹配算法[J] ●●●●。计算机科学,2024,51(4):229-235。
[12] 薛金强、吴琴。卷积神经网络和小波变换相结合的渐进多级图像去噪算法
多层感知器
[J] ●●●●。计算机科学,2024,51(4):243-253。
[13] 黄坤、孙伟伟。基于缺失数据的交通速度预测算法[J] ●●●●。计算机科学,2024,51(3):72-80。
[14] 郑成、史景伟、魏素华、程嘉明。基于依赖型剪枝的双特征自适应融合网络用于基于方面的情感分析[J] ●●●●。计算机科学,2024,51(3):205-213。
[15] 陈金银、李晓、金海波、陈若曦、郑海滨、李虎。CheatKD:基于中毒神经元同化的知识提取后门攻击方法[J] ●●●●。计算机科学,2024,51(3):351-359。
已查看
全文


摘要

引用

  共享   
  讨论   
找不到建议阅读的文章!