研究论文

ReLLIE：定制微光图像增强的深度强化学习

作者:

兰青 Guo（郭）,

比昂文作者信息和声明

MM’21：第29届ACM国际多媒体会议记录

页2429-2437

https://doi.org/10.1145/3474085.3475410

出版:2021年10月17日出版历史

获取访问权限

摘要

微光图像增强（LLIE）是一个普遍但具有挑战性的问题，因为：1）实际中，由于成像条件不同，微光测量可能会有所不同；2）图像可以根据每个人的不同偏好进行主观启迪。为了解决这两个挑战，本文提出了一种新的基于深度强化学习的方法，称为ReLLIE，用于定制的微光增强。ReLLIE将LLIE建模为一个马尔可夫决策过程，即按顺序和递归估计像素级图像特定曲线。根据一组精心设计的非参考损失函数计算出的奖励，提出了一个轻量级网络来估计用于启蒙低光图像输入的曲线。由于ReLLIE学习了一个策略，而不是一个一个的图像转换，它可以处理各种低光测量，并通过灵活地在不同的时间应用策略来提供定制的增强输出。此外，ReLLIE可以通过使用即插即用的去噪器轻松增强具有混合破坏（即噪声）的真实世界图像。在各种基准上进行的大量实验表明，与最先进的方法相比，ReLLIE具有优势。（代码可用：https://github.com/郭兰青/ReLLIE。)

工具书类

[1]

穆罕默德·阿卜杜拉·阿尔瓦杜德（Mohammad Abdullah-Al-Wadud）、哈萨努尔·卡比尔（Hasanul Kabir）、阿里·阿克伯·德万（M Ali Akber Dewan）和奥萨姆·蔡（Oksam Chae）。2007.用于图像对比度增强的动态直方图均衡化。IEEE消费电子汇刊，第53卷，第2期（2007年），593-600。

数字图书馆

[2]

傅学阳、曾德鲁、黄岳、廖英浩、丁兴浩和约翰·佩斯利。2016.一种基于融合的弱光图像增强方法。《信号处理》，第129卷（2016），82-96。

数字图书馆

[3]

Furuta Ryosuke、Inoue Naoto和Yamasaki Toshihiko。2019.用于图像处理的具有多步强化学习的全卷积网络。在AAAI人工智能会议记录中。3598--3605.

[4]

米夏埃尔·加尔比、陈佳文、乔纳森·巴伦、塞缪尔·哈西诺夫和弗雷多·杜兰德。2017.实时图像增强的深度双边学习。ACM图形交易（TOG），第36卷，第4卷（2017年），第118页。

数字图书馆

[5]

顾书航、张磊、左伟、冯向初。2014.加权核范数最小化及其在图像去噪中的应用。2014年IEEE计算机视觉和模式识别会议（2014），2862-2869。

数字图书馆

[6]

郭春乐（Chunle Guo）、李崇义（Chongyi Li）、郭继昌（Jichang Guo），陈昌乐（Chen Change Loy）、侯俊辉（Junhui Hou）、关山明（Sam Kwong）和聪润敏（Runmin Cong.2020）。用于微光图像增强的零参考深曲线估计。IEEE/CVF计算机视觉和模式识别会议论文集。1780--1789.

[7]

郭兰青（Lanqing Guo）、翟志远（Zha Zhiyuan）、赛普拉萨德·拉维桑卡（Saiprasad Ravishankar）和温碧涵（Bihan Wen）。2021.自卷积：一种高效的非局部图像恢复算子。在ICASSP 2021--2021 IEEE声学、语音和信号处理国际会议（ICASSP）上。IEEE，1860-1864年。

[8]

郭晓杰、李煜和凌海滨。2016年，LIME：通过光照图估计实现微光图像增强。IEEE图像处理汇刊，第26卷，第2卷（2016年），982-993。

数字图书馆

[9]

胡远明、何浩、徐晨曦、王宝源和林志浩，2018年。曝光：一个白盒照片后处理框架。ACM图形交易（TOG），第37卷，第2期（2018年），第1-17页。

数字图书馆

[10]

蒋一凡、龚新余、刘丁、程瑜、陈芳、沈晓辉、杨建超、潘舟和王章扬。2019.启蒙者：无配对监督的深光增强。arXiv预印本arXiv:1906.06972（2019）。

[11]

Aupendu Kar、Sobhan Kanti Dhara、Debashis Sen和Prabir Kumar Biswas。2021.通过Koschmieder模型的受控扰动进行零拍单图像恢复。在IEEE/CVF计算机视觉和模式识别（CVPR）会议上。

[12]

埃德温·H·兰德。1977年，色觉视网膜理论。《科学美国人》，第237卷，第6卷（1977年），第108-129页。

[13]

Chulwoo Lee、Chul Lee和Chang-Su Kim。2012.基于分层差异表示的对比度增强。2012年第19届IEEE图像处理国际会议。IEEE，965-968。

[14]

Chulwoo Lee、Chul Lee和Chang-Su Kim。2013年。基于2D直方图分层差异表示的对比度增强。IEEE图像处理事务，第22卷，第12卷（2013年），5372--5384。

数字图书馆

[15]

Liu Ding、Wen Bihan、Fan Yuchen、Chen Change Loy和Thomas S Huang。2018.图像恢复非本地递归网络。神经信息处理系统进展，第31卷。

数字图书馆

[16]

Kin Gwn Lore、Adedotun Akintayo和Soumik Sarkar。2017年，LLNet：一种用于自然低光图像增强的深度自动编码器方法。模式识别，第61卷（2017），650-662。

数字图书馆

[17]

汤姆·默滕斯（Tom Mertens）、简·考茨（Jan Kautz）和弗兰克·范·里思（Frank Van Reeth）。2009.曝光融合：高动态范围摄影的简单实用替代方案。在计算机图形学论坛，第28卷。威利在线图书馆，161--171。

[18]

沃洛德米尔·姆尼、阿德里亚·普格多梅内奇·巴迪亚、梅迪·米尔扎、亚历克斯·格雷夫斯、蒂莫西·利利克拉普、蒂姆·哈雷、大卫·西尔弗和科雷·卡武科格鲁。2016.深度强化学习的异步方法。在机器学习国际会议上。1928--1937.

数字图书馆

[19]

崇尚公园、李俊英、董根佑和尹素奎。2018.变形与恢复：使用深度强化学习进行色彩增强。在IEEE计算机视觉和模式识别会议记录中。5928--5936.

[20]

Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。2017.pytorch中的自动区分。(2017).

[21]

理查德·萨顿和安德鲁·巴托。2018年，强化学习：简介。麻省理工学院出版社。

数字图书馆

[22]

理查德·萨顿（Richard S Sutton）、大卫·麦卡利斯特（David McAllester）、萨丁德·辛格（Satinder Singh）和伊莎·曼苏尔（Yishay Mansour）。【未注明日期】。基于函数逼近的强化学习策略梯度方法。神经信息处理系统进展。1057--1063.

数字图书馆

[23]

王书航，金正，胡海淼，李波.2013。非均匀照明图像的自然度保持增强算法。IEEE图像处理汇刊，第22卷，第9卷（2013年），3538-3548。

数字图书馆

[24]

陈伟、王文静、杨文翰和刘嘉英。2018年，深层视网膜分解用于弱光增强。arXiv预印arXiv:1808.04560（2018）。

[25]

杨文翰、王世奇、方玉明、王岳和刘嘉英。2020年。从保真度到感知质量：一种半监督的微光图像增强方法。在IEEE/CVF计算机视觉和模式识别（CVPR）会议上。

[26]

柯瑜、赵东、梁林和陈昌乐。2018年。通过深度强化学习构建图像恢复工具链。在IEEE计算机视觉和模式识别会议记录中。2443--2452.

[27]

张凯、左望猛和张磊。2018年b月。FFDNet：基于CNN的图像去噪的快速灵活解决方案。IEEE图像处理汇刊，第27卷，第9卷（2018年），4608-4622。

[28]

Richard Zhang、Phillip Isola、Alexei A Efros、Eli Shechtman和Oliver Wang。2018年a。深层特征作为感知度量的不合理有效性。在CVPR中。

[29]

张荣凯、朱江、翟志远、贾斯汀·道威尔斯和温碧翰。R3L：将深度强化学习与递归神经网络相结合，通过残差恢复进行图像去噪。arxiv公司：2107.05318

[30]

张永华、张嘉婉和郭晓杰。2019.点燃黑暗：一款实用的微光图像增强器。第27届ACM国际多媒体会议记录。1632--1640.

数字图书馆

[31]

郑自强、杨武、韩欣然和石建波。2020年。福克根：看雨夜。在IEEE欧洲计算机视觉会议（ECCV）上。

数字图书馆

[32]

朱安琪（Anqi Zhu）、张林（Lin Zhang）、沈颖（Ying Shen）、马勇（Yong Ma）、赵圣杰（Shengjie Zhao）和周一聪（Yicong Zhou）。2020年。通过稳健的retinex分解对曝光不足图像进行零拍恢复。2020年IEEE多媒体与博览会国际会议（ICME）。IEEE，1--6。

引用人

舒Y朱峰（音）张Z张M杨杰（Yang J）王毅王杰(2024)隧道环境下基于联合学习的车联网图形嵌入式微光图像增强变换器计算智能10.1111/硬币1264840:2在线发布日期：2024年4月11日
https://doi.org/10.1111/coin.12648
吴浩曹X高Y郑K黄J胡J田Z(2024)半监督GAN眼底图像增强与解剖结构保存IEEE计算智能新兴主题汇刊10.1109/等2023.33013378:1(313-326)网上发布日期：2024年2月
https://doi.org/10.109/TETCI.2023.3301337
唐G镍J陈毅曹伟（Cao W）杨S(2024)一种改进的基于CycleGAN的微光图像增强模型IEEE传感器杂志10.1109/JSEN.2023.329616724:14(21879-21892)在线发布日期：2024年7月15日
https://doi.org/10.109/JSEN.2023.3296167
显示更多引用者

索引术语

ReLLIE：定制微光图像增强的深度强化学习
1. 计算方法
  1. 计算机图形
    1. 图像处理
      1. 图像处理
2. 计算理论
  1. 应用领域的理论和算法
    1. 机器学习理论
      1. 强化学习
        顺序决策

建议

微光图像增强的感知质量评估
微光图像增强算法（LIEA）可以照亮在黑暗或背光条件下拍摄的图像。然而，LIEA可能会在增强图像中引入各种失真，如结构损坏、颜色偏移和噪声。尽管各种各样。。。
加亮加色：一种用于定制微光图像增强的解耦网络
23岁MM：第31届ACM国际多媒体会议记录

微光图像增强（LLIE）旨在改善在微光条件下拍摄的图像的感知质量。一般来说，微光图像可以分为亮度分量和色度分量。这一领域的最新进展主要集中在。。。
一种兼顾亮度提升和噪声平滑的微光图像增强方法
CSAI’22：2022年第6届计算机科学和人工智能国际会议记录

在低光或不均匀光照环境中拍摄的图像需要使用低光图像增强技术来提高亮度和对比度，以获得高质量的改进结果。现有的一些微光图像增强方法对图像进行了过度增强。。。

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

MM’21：第29届ACM国际多媒体会议记录

2021年10月

5796页

国际标准图书编号：9781450386517

内政部：10.1145/3474085

总主席：
恒涛申
中国电子科技大学
,
岳廷庄
中国浙江大学
,
约翰·史密斯
IBM，美国
,
项目主席：
杨扬
中国电子科技大学
,
巴布罗·塞萨尔
CWI和TU代尔夫特，荷兰
,
弗洛里安·梅茨
美国FACEBOOK公司
,
巴拉克里什南·普拉巴卡兰
美国德克萨斯大学达拉斯分校

版权所有©2021 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

赞助商

SIGMM:ACM多媒体特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2021年10月17日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

会议

21年月日

赞助商：

SIGMM公司

21岁MM：ACM多媒体会议

2021年10月20日至24日

虚拟活动，中国

接受率

4171份提交文件的总体接受率为995份，24%

即将召开的会议

24年月日

赞助商：
西格玛

第32届ACM国际多媒体会议

2024年10月28日至11月1日

墨尔本，维多利亚州，澳大利亚

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

31
引文总数
查看引文
504
总下载次数

下载量（最近12个月）112
下载次数（最近6周）11

反映截至2024年9月22日的下载量

其他指标

查看作者指标

引文

引用人

舒Y朱峰（音）张Z张M杨杰（Yang J）王毅王杰(2024)隧道环境下基于联合学习的车联网图形嵌入式微光图像增强变换器计算智能10.1111/硬币1264840:2在线发布日期：2024年4月11日
https://doi.org/10.1111/coin.12648
吴浩曹X高Y郑K黄J胡J田Z(2024)半监督GAN眼底图像增强与解剖结构保存IEEE计算智能新兴主题汇刊10.1109/TETCI.2023.33013378:1(313-326)网上发布日期：2024年2月
https://doi.org/10.109/TETCI.2023.3301337
唐G镍J陈毅曹伟（Cao W）杨斯（Yang S）(2024)一种改进的基于CycleGAN的微光图像增强模型IEEE传感器杂志2010年10月10日/JSEN.2023.329616724:14(21879-21892)在线发布日期：2024年7月15日
https://doi.org/10.1109/JSEN.2023.3296167
金·HJeon Y（Jeon Y）Koh Y公司(2024)基于嵌入空间的灰度变换图像增强CAAI智能技术汇刊10.1049/cit2.122799:1(101-115)在线发布日期：2024年1月18日
https://dl.acm.org/doi/10.1049/cit2.12279
江H任Y汉族S(2024)基于深度分解引导训练的微光图像粗到精增强策略计算机视觉与图像理解2016年10月10日/j.cviu.2024.103952241：C在线发布日期：2024年7月2日
https://dl.acm.org/doi/10.1016/j.cviu.2024.103952
梁D徐Z李LWei M公司陈S(2024)PIE：物理启发的微光增强国际计算机视觉杂志2007年10月/11263-024-01995年在线发布日期：2024年4月25日
https://doi.org/10.1007/s11263-024-01995-y
桑潘吉拉马·雷迪·B.R。萨克森纳A潘迪B古普塔SGurpur S公司达里·S达布利娅D(2023)机器学习在证据图像增强中的应用推力技术对图像处理影响研究手册10.4018/978-1-6684-8618-4.ch003(25-38)在线发布日期：2023年6月30日
https://doi.org/10.4018/978-1-6684-8618-4.ch003
郭Y高Y胡B钱X梁D(2023)CMID：基于像素级深度强化学习的跨模态图像去噪传感器10.3390米/24010042米24:1(42)在线发布日期：2023年12月20日
https://doi.org/10.3390/s24010042
高X赵凯（Zhao K）韩语L罗J(2023)贝塞尔曲线：基于零参考贝塞尔曲线估计的微光图像增强传感器10.3390/2323959323:23(9593)在线发布日期：2023年12月3日
https://doi.org/10.3390/s23239593
加利奇一世哈比扬·M勒文蒂奇H罗米奇K(2023)机器学习支持个性化医学：医学图像分析方法综述数码产品10.3390/电子1221441112:21(4411)在线发布日期：2023年10月25日
https://doi.org/10.3390/electronics12214411
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子