1.简介
单色图像广泛应用于低级计算机视觉场景，其中最重要的信息是接收信号的强度。实际应用中最常见的例子可能是磁共振成像（MRI）、计算机断层扫描（CT）或天文观测，其中生成的图像包含通常以灰度显示的信息。不幸的是，在许多情况下，这些图像是在附加噪声的情况下获得的，这大大降低了它们的最终质量。这会使数据分析更加复杂，甚至导致错误的结论。一个很好的例子是医疗诊断，如果诊断不正确，可能会导致许多并发症，甚至对患者构成威胁。
为了解决这一问题，多年来提出了许多降噪解决方案。最大的一组去噪方法是在单个噪声图像上运行的确定性算法。该组可以进一步分为两种不同的类型：局部算法和非局部算法。第一种方法只对图像的一小块进行操作，而不是对整个图像进行操作，因此称为“局部”。它包括使用平均值和方差值信息的简单过滤器[1]，加权中值滤波器[2]、维纳滤波器[三]和双边筛选器[4]. 不幸的是，这些技术在噪声水平较高时表现不佳，因为相邻像素的相关性受到严重干扰。 为此，开发了第二种算法，即非局部方法，它从整个处理过的图像中获取信息。这一领域的开创性工作是非局部平均滤波器（NLM）[5]，这证明优于基于本地的方法。该算法在工作中得到了进一步改进[6,7,8]引入了最先进的方法BM3D（块匹配和3D过滤）[9]这是目前最先进的确定性降噪算法。 当然，确定性算法并不是图像去噪的唯一方法。在其他技术中，我们可以提到K-SVD（奇异值分解）[10]，自适应主成分[11]，小波域高斯尺度混合[12]，概率高斯混合模型[13]和贝叶斯方法[14,15]. 然而，在这一点上，应该注意的是，其中一些在真实图像处理方面比BM3D更差[16]. 因此，BM3D可以作为进一步分析降噪算法性能的参考点。此外，如果发布任何其他确定性算法，则始终会将其与BM3D进行比较。强烈建议在任何图像去噪工作中使用这种滤波技术作为比较。 除了上述技术外，还尝试使用神经网络开发去噪工具，其中包括[17,18,19,20]应该提到。近年来，机器学习方法在许多领域已经超过了其他算法的降噪能力。然而，由于这些解决方案在工作准备方面的不足，许多解决方案的应用受到了限制。神经网络是复杂的数学模型，通过称为训练的过程为操作做好准备。它包括处理含噪图像，然后将其与无噪图像进行比较。问题是，在许多应用程序中，对无噪声图像的访问受到严重限制，在某些情况下，我们甚至可能无法访问这些图像。 为了解决这个问题，已经采取了一些步骤来绕过这一要求，从而产生了一些新的网络培训技术：Noisy-As-Clean[21]，噪音2噪音[22]，噪音2无效[23]概率增强[24]，自我2自我[25]，噪音2自身[26]和Noise2Noise[27]. 这些方法的名称描述了它们如何处理缺少干净输入图像的情况以及训练方案的外观。 我们研究的主要目标是确定神经网络去噪图像的能力，这些图像只能获得大量的噪声图像，而没有任何清晰的图像。如果这些方法被证明是有效的，它将允许在我们只处理噪声数据的情况下在更大范围内使用它们（例如，在天文观测中，永远无法获得参考）。为此，我们验证了噪声对噪声的训练方法，并将结果与在部分受噪声甚至无噪声影响的图像上训练时获得的结果进行了比较。
为了进行测试，我们选择了一种简单的卷积式自动编码器结构，其特点是具有额外的压缩能力。我们决定这样做有两个原因。首先，我们得出结论，应该选择一个简单的网络，这样结果将主要取决于学习方法，而不是网络的复杂性。其次，我们对控制压缩质量的能力感兴趣，我们打算将其作为降噪的一部分进行测试。此外，我们还检查了这种网络的复杂性如何影响各种学习方法的最终结果。
测试是在广泛使用的MNIST和CIFAR10图像数据集上进行的（MNIST代表修改后的国家标准与技术研究所数据库，CIFAR代表加拿大高级研究所）。这些扩展的集合在图像处理社区中被广泛接受。这些集合是相关（MNIST）和不相关（CIFAR）数据集合的非常好的例子。我们的研究中使用了三种不同的、任意选择的高斯噪声电平。所有结果都与最先进的确定性算法的结果以及未处理的噪声数据进行了比较。为了进行这种比较，使用了一种广泛使用的峰值信噪比（PSNR）测量方法。
我们的实验也有一些局限性。第一个限制是分析图像的分辨率很低（两个数据集都是32×32像素）。对于大图像，需要更大的自动编码器架构，这需要更强大的GPU单元。另一方面，选定的数据集使这些数据适合使用相对较小的体系结构进行研究，并且对大型计算资源的访问有限。
另一个限制是使用的噪声类型。高斯噪声确实是单色图像中最常见的噪声，但有时也会发现其他类型的噪声（例如脉冲噪声或均匀噪声）。噪声类型的混合也可以在一些实际数据中看到。
最后，所使用的PSNR比较系数虽然是最广泛的质量指标，但也有一些局限性。已经制定了其他质量指标，如SSIM（平均结构相似性指数）[28]. 然而，它们并没有暴露出光度差异，而是集中于通过人眼模拟图像评估。 2.材料和方法
2.1. 学习方法
在实际应用中，网络的工作方式应该是接收带噪图像作为输入，并对其进行处理，以便在输出中显示无噪图像。然而，这并不意味着网络只能根据该方案工作。如果能够访问不同类型的数据，我们可以用不同的方式训练网络。
实验包括三种可用的数据类型。第一个包括包含噪声的图像；我们将这种类型的数据称为嘈杂下一个包含完全无噪图像，这在大多数情况下是不可用的；这种类型称为参考最后一个图像的噪声水平有所降低，变明朗. The变明朗可以通过预处理噪声图像来获得数据，例如通过应用滤波、计算平均图像（如在天文图像堆叠中所做的那样），或者可以简单地表示在改进的条件下获得的图像（噪声较小的图像传感器、光照较多等）。
根据这些数据类型，可以区分六种不同的学习技术，如下所示表1（包括缩写）。重要的是，这些方法的名称并不描述网络将输出什么，而是描述其输出与学习过程中的比较。 这些学习模式可以分为三个基本不同的组，使我们能够检查网络在任何操作条件下的表现。第一组可以被认为是模式1和2。在学习过程中，网络处理完全没有噪声的图像，因此它可以准确地评估其结构的变化，以获得预期的参考无噪图像。以这种方式训练的网络有望显示出最高的过滤质量。由于在大多数实际应用中，不可能获得完全无噪声的图像，因此应将这些模式视为理论模式。
第二组由模式3和模式4组成，其中使用了已在一定程度上去噪的图像。我们希望它们表现得相当好，并且我们希望与理论模式1和2相比检查它们的效率。
最后一组包括模式5和6，它们描述了最常见的情况嘈杂图像可用。这里考虑两种情况：在5中，我们检查网络在必须输出具有相同噪声实现的图像时是如何学习的，而在6中，我们则检查当网络必须再现受不同噪声实现污染的图像时会发生什么。检查过滤功能是否出现在经过训练输出相同或其他内容的网络中似乎很有趣嘈杂图像。
2.2. 神经网络的应用
为了进行实验，必须选择自动编码器（AE）神经网络的结构。它是一种由两个子网络（编码器和解码器）组成的结构，由相对于一维中央阵列的潜在维度对称排列的层构成（参见图1). 网络的工作方式是，它以一定大小的图像（在我们的例子中是32×32像素）作为输入；然后，编码器将其转换为潜在维度，最后解码器将其转换成与输入图像大小相同的输出图像。潜在维度的大小（后文称为)比输入图像的大小小数倍，因此AE在数据压缩中有许多应用。 我们发现AE的这种压缩能力对于降低噪声非常有用。我们的结论是，通过微调参数，我们可以微调压缩程度，使其成为有损压缩。此外，在许多情况下，噪声可以被视为最复杂的信息，因此最容易丢失。为此，我们还评估了潜在维数的长度对输入图像去噪的影响。
上述每个AE层由三个独立的元素组成，即2D卷积层、批处理归一化层和双曲正切激活函数，其中最重要的是各个卷积层中的通道数（特征图）。这个数字以及层的数量及其相互之间的排列是网络的第二个最重要的参数，对获得的结果有很大影响。这就是为什么我们将这些参数分组到不同的集合中，我们称之为单独的体系结构，然后在所进行的实验中检查它们对最终结果的影响。
目前在神经网络训练过程中使用了许多不同的损失函数，但最常用的是平均绝对误差（MAE或)和均方误差（MSE或). 在我们的实验中，我们决定使用这两种损失函数，此外，我们还使用了切分的Wasserstein距离() [29]-然而，一种不太流行的度量方法在神经网络教学中找到了一些应用[30,31]，也适用于自动编码器[32]. 因此，差异（f）网络输出图像之间和预期的图像计算公式如下(1). 2.3. 实验结果评估
为了数值比较处理后图像的质量，我们决定使用PSNR[33]，这可能是最常用的质量指标，用于评估图像过滤、压缩等的效率。其值是根据比较图像之间的均方误差以及图像的最大可能像素值计算的。PSNR值越高（以分贝表示），检测图像之间的相似性越大；对于相同的图像，PSNR等于无穷大。在我们的例子中，测试数据集由8位图像组成。对于此位深度，PSNR值为30 dB及以上的图像可视为高质量图像。 对于测试集中的每个图像，我们计算了PSNR值。通过这种方式，我们获得了一个基准集，可以将所用方法的降噪效果与之进行比较。除了使用神经网络方法外，我们还使用BM3D和NLM针对最先进的去噪方法测试我们的解决方案。这使我们能够评估在哪些情况下使用这种方法是有用的，并提供更好的结果。
2.4. 实验数据和噪声建模
作为一个实验数据集，描述良好且广泛使用的MNIST数据集[34]被选中。它是数千个手写数字图像的集合，为了实现目的，这些图像被缩放到32×32像素的大小，并且它们的值被标准化为[−1；1]。这些图像虽然非常相似，但其特点是具有显著的多样性，可以防止网络过度训练。此外，它们很容易从视觉上进行评估，并且彼此之间具有明显的相似性。因此，使用MNIST可以评估测试方法在我们希望对封闭的专门数据集进行去噪的情况下的性能。 为了进行研究，MNIST数据集被分为三个单独的子集。我们发现数字4、7和8的形状与其他数字不同，并从中提取了一个测试子集，该子集仅用于评估训练网络的性能。对于每种类型的数据（对应的数字），以17:3的比例将剩余的图像划分为训练和验证集。
此外，我们使用了CIFAR-10数据集[35]它还包含数千张32×32像素的图像。最初，它们被保存为彩色图像，但出于实验目的，我们将它们转换为灰度。这个集合更加多样化，这使我们能够确定测试学习方法的应用程度取决于集合的复杂性。这一组的划分方式与MNIST类似。然而，选择是随机的，并不是基于图像标签。两个数据集的划分如所述表2. 在这样一个分割的数据集上，我们研究了噪声对处理数据质量的影响。基于图像退化的视觉评估，我们选择了三个级别的高斯噪声：弱、中等和强。对于选定的噪声级嘈杂使用sigma参数对数据进行建模（分别选择0.1、0.15和0.85作为弱噪声、中位数和强噪声）。这个变明朗图像也被创建为噪声水平降低的图像（值为0.01、0.015和0.085）。这类图像表示噪声较小的示例，可以与它们成对训练嘈杂版本。重要的是，在网络的训练过程中，为了尽可能地增加训练集的大小，在每个学习迭代中都输入了新的噪声。示例嘈杂和变明朗与原始图像相关的图像如所示图2. 2.5. 实验总结
实验流程图如所示图3我们想强调包括的参数和方面（架构、数据集和噪声级）的范围和种类。在方法的比较中，我们强调了关键要素，例如自动编码器的各种训练方法，以及与当前技术水平和未经任何去噪技术处理的图像的比较。流程图应该有助于更好地理解我们实验的连续部分。 3.结果
对五种不同的体系结构进行了网络性能测试，其特征是卷积层中的信道数（特征图）不同，因此所有参数的数量也不同。在微调所用自动编码器的尺寸时，我们决定测试尽可能最小的网络。这使我们能够充分评估问题的复杂性和每种学习方法的降噪能力。因此，我们使架构1和2非常小，架构3和4稍大一些，但仍然相对较小。此外，我们使用它们来测试当添加一个小层时，它们的性能会受到怎样的影响，也就是说，是只有参数的总数才重要，还是单个层的数量也很重要。为了将其效率与更大的网络进行比较，我们实现了比其他网络大得多的体系结构5。
此外，还对4种不同尺寸的潜在暗淡进行了测试：8、16、32和64（对应于近似压缩比：0.78%、1.56%、3.13%、6.25%）。在所有情况下，应用的压缩都是相当大的，这使得可以全面评估其对去噪过程的影响。使用的不良事件如所示表3-每个网络的参数值的范围是由使用不同的潜在暗淡大小所导致的。 由于单个算法对整个数据集的影响进行了检查，因此结果以箱线图的形式呈现。箱线图善于显示特定值周围的数据分散情况。方框的边缘表示第一和第三个四分位数，横杆表示集合的平均值，所有可接受的结果值都在晶须的两端之间。晶须延伸到位于下四分位数和上四分位数1.5 IQR（四分位数范围）内的点。所有超出此范围的结果都是离群值，并从图表中拒绝。在每个图中，Y轴以dB为单位描述PSNR值，X轴将结果划分为不同的潜在维度值，以及由三个分量组成的参考组：BM3D和NLM算法的结果，最重要的是嘈杂测试集。
图4,图5和图6显示MNIST数据集每个测试噪声功率的比较图，以及图7,图8和图9对于CIFAR-10数据集。。除了去噪图像的PSNR结果外，我们还显示了嘈杂图像作为“噪声数据”（参见图例中的最后一个位置）。如果没有应用算法，这表示图像退化的参考水平。 在图10，我们展示了在示例图像上测试的算法应用的可视化。在每一行中，显示了不同噪声功率（弱、中、强）的性能。第一列显示干净(参考)图像，第二列显示添加了噪声的图像，第三列和第四列显示通过所选网络去噪的图像，而第五列显示通过选择的确定性算法去噪的图片。作为一种确定性算法，BM3D被选为优于NLM的算法，因为它可以获得更好的结果。以基于体系结构5的N2C（模型1）和N2DN（模型2）网络以及潜在维度长度128（12.5%压缩比）为例。这对应于最有趣的情况，其中只有嘈杂数据在培训期间可用，并尝试通过具有高度压缩的相对较小的网络进行处理。 4.讨论
应用学习方法的总体性能在很大程度上取决于所用网络的大小和所考虑的数据集。当处理紧密相关的数据（如MNIST中显示的数据）时，我们可以获得与相关性较小的数据集（如CIFAR-10）明显不同的结果。因此，讨论可以分为几个部分。在前两部分中，我们主要关注较小（架构1-4）和较大（架构5）网络的MNIST结果。然后，我们讨论了MNIST和CIFAR-10数据集的结果之间的差异。第四部分包含最后几句话，重点介绍每种学习方法的有用性。最后一部分介绍了实验的局限性。
4.1. 小型网络（MNIST数据集）
正如预期的那样，在大多数情况下，稍大的网络（3和4）比较小的网络（1和2）取得更好的结果。此外，添加额外的网络层会导致一些变化；然而，它们很小，因此很难评估它们是否仅仅是由于存在额外的层或更多的网络参数造成的。另一方面，潜在矢量大小的影响()值得注意的是：随着它的增加，所考虑的网络的降噪能力提高了。后一小节将更详细地介绍此主题。
在强噪声或中等噪声的情况下，小型网络可以获得良好的结果——有时比应用最先进的确定性算法要好。尽管如此，在弱噪声功率的情况下，它们仍然引人注目；这是因为图像只受到轻微的噪声影响，仍然显示出非常高的质量。因此，为了达到较高的PSNR，网络不应过多地更改图像。不幸的是，在接受过修改图像以消除噪声训练的小型架构中，情况并非如此。
4.2. 大型网络（MNIST数据集）
在噪声最小的情况下，复杂网络能够显著改善输入图像，甚至在这方面超过确定性算法。潜在向量大小变化对结果的影响再次清晰可见——这样的网络记住的信息越多，关键数据受到的压缩就越少，并且能够更好地再现它们。
考虑到较高的噪声，情况看起来略有不同，正如在小型网络中已经看到的那样。大多数使用的方法在某一点上与潜在向量大小无关，但N2N和C2C方法的性能逐渐开始下降。这是因为这些方法迫使网络在输出时重复输入，从而只提高了网络的噪声记忆技能。有趣的是，R2R方法基本上是一样的；然而，它显示出效率的下降可以忽略不计。
4.3. CIFAR-10结果
在大多数情况下，不同学习方法之间的差异比MNIST集合的差异小得多。当去噪质量接近确定性算法所代表的质量时，上述差异变得更加明显（即对于强噪声）。由此得出的结论类似于第4.1节和第4.2节. 应该强调的是，与MNIST不同，对于CIFAR，网络很难超越当前最先进的确定性算法。这主要是由于正在研究的数据集具有更大的多样性。在这种情况下，自动编码器无法学习预期图像的特征。这表明，基于自编码器的去噪的最佳用途是显著相互关联的数据集，MNIST数据集也是如此。
4.4. 最后备注
由于在CIFAR-10数据集上的实验清楚地表明，应主要考虑对具有非常相似特征的图像（例如在MNIST数据集中）使用基于自动编码器的去噪，因此我们的最后备注（如下所示）仅限于此应用。
在大多数情况下，N2R和N2C方法实现了最佳性能，它们之间的差异通常很小。效率方面的下一个结果是R2R和N2DN的结果，它们也能够显著提高带噪图像的质量。然而，在实际应用中，我们通常不处理参考所以我们只能大规模使用N2C和N2ND。然而，这不是问题，因为当比较N2C和N2R时，我们得出结论，为了获得最佳网络性能，我们不需要完美的参考图像，但仅一个已清理的图像就足够了。如果没有这一点，我们可以使用N2DN方法，并且仍然期望获得良好的结果，超过最先进的确定性算法的成就。
在处理受噪声强烈影响的图像时，即使是小网络也能产生很好的效果，但在小噪声的情况下，问题不是降噪本身，而是保持图像的原始部分不变，这与网络复杂性的增加有关。这就是为什么最好使用更复杂的网络，然后通过改变数据压缩程度（潜在昏暗的大小）来调整其性能，这被证明是最重要的自动编码器参数之一。然而，在较大网络的情况下在小压缩比范围内不会引起显著变化（N2N和C2C除外）。此外，可以看出，N2R和N2C方法在效率方面绝对占主导地位，尤其是在处理强噪声功率时；噪音越大，它们就越能从其他方法中脱颖而出。换句话说，盲目增加网络规模并不总是能带来更好的结果。
在所有测试的案例中，使用确定性算法进行的噪声降低导致处理数据的显著改善。然而，随着噪声水平的增加，BM3D和NLM的去噪能力降低。就紧密相关的数据集而言，我们甚至能够训练出能够超越它们的小型网络。此外，在许多情况下，无论采用何种训练方法，都可以看出自动编码器的优越性。我们对一个简单的体系结构进行了研究，因此可以假设当使用更复杂的网络时，差异可能会明显更大。
4.5. 实验限制
获得的结果允许我们声明，自动编码器结构可以有效地用于改进仅包含嘈杂并在本课题中超越其他去噪方法。然而，我们的目标不是创建或找到尽可能最好的新型网络，而是针对各种可用数据场景（即噪音、清除、参考），在易于训练的基础架构上评估学习技术。因此，应该记住，如果使用其他网络结构，结果可能仍与我们在实验中获得的结果不同。
此外，我们仅使用单色图像进行研究，并且噪声仅建模为高斯。在许多实际情况下，噪声可能更复杂，并且在图像中分布不均匀。还应注意更大的现实生活图像，其中可能包含更大程度的细节。
5.结论
深度学习技术和神经网络架构的能力每天都在扩展。这些解决方案的一个重要应用是单色图像的去噪。尽管事实上，此类算法的能力往往超过当前最先进的确定性方法，但教授ML解决方案的技术可能会导致显著不同的效率。
在本文中，我们重点讨论了一系列给定不同训练集的图像学习方法。我们研究了使用真实世界数据的方法相对于需要访问理想无噪数据的学习技术的性能。
我们的结果表明，缺乏对基准数据的访问对于教学网络来说并不是一个大问题。例如，为转换一个模型而训练的模型嘈杂图像到另一个嘈杂一个（即嘈杂到嘈杂方法）能够呈现与在最佳数据上学习的模型类似的功能。此外，此类模型通常优于最先进的方法，这表明在构建降噪解决方案时需要考虑它们。然而，我们观察到，拥有理想图像的好处通常是显而易见的，尽管有时很小。在学习过程中，应始终使用降噪数据（即优于输入但不理想且无噪的数据）。
将开展进一步的研究工作，以了解网络学习技术对不仅提高噪声方面的效率，而且提高图像分辨率的影响。
