提出了一种基于小波包树的纹理合成方法。对于分形图像等非线性时间序列应用，它具有使用具有更大基函数多样性的多分辨率表示的优点。将输入图像分解为小波包系数，并对其进行重新排列和组织，形成称为小波包树的层次树。提出了一种基于低频小波包系数的粗匹配和基于中高频小波包系数进行精匹配的两步纹理合成方法。实验结果表明，TSWPT算法是较好的，特别是在计算时间方面。
1.简介
纹理建模可以有效地应用于各种自然表面，例如植物、毛皮、皮肤、矿物、地形和分形材质[1,2]是网络物理系统中的一个重要问题[三–7]. 提出了许多纹理处理技术；有人可能会提到[8]进行完整的调查。
给定一个纹理示例，纹理合成的目标是生成任何大小的视觉相似图像。可以容易地平铺小纹理以合成更大的图像；然而，瓷砖边缘附近有一些阻挡效果[9]. 尽管提出了一些以计算时间为代价的平滑方法来减少阻塞效应，但它的改进似乎有限，尤其是对于结构化纹理[10]. Efros和Leung提出了一种邻域匹配方法[11]其中，合成图像的每个像素是通过基于用户定义的相邻像素搜索源图像中最相似的像素来获得的。Wei和Levoy考虑到像素合成的顺序，提出了一种基于顺序相关搜索的纹理合成算法[12]. 不是一次合成一个像素，而是将像素块作为一个整体，通过匹配相邻块之间的重叠区域来合成[13–15]. 为了提高合成速度，多分辨率方法被广泛应用于纹理分析和合成[16,17]; Fang和Lien采用多分辨率方法开发了一个快速图像合成系统，该系统由分析过程和合成过程组成。在分析过程中，它消耗了大部分的计算时间；然而合成的速度非常快[16]. 在[17]，De Bonet提出了一种在拉普拉斯金字塔框架下通过对纹理的滤波输出进行采样来生成合成图像的方案[18]. 伯特采用了高斯金字塔[19]以多分辨率表示输入纹理和合成图像，并将纹理图像从低分辨率合成到高分辨率[20].
小波变换提供了一种高效的多分辨率表示[21]其中，图像的高频分量被投影到具有较高空间分辨率的较短基函数上，低频分量被投影在具有较高光谱分辨率的较大基函数上。这种紧凑的表示符合人类视觉系统的特点[22]. 小波理论已成功应用于分形信号和图像的参数估计等许多应用[23–29]. Yu等人从输入纹理中随机采样小波系数块，以替代合成图像的小波系数块[30]. Cui等人采用2级小波变换，通过最小化相邻小波系数块之间的平方距离之和来生成合成图像[31].
对于具有纹理的图像，许多小波系数可能在中高频子带中很重要，这必然需要进一步分解以获得更紧凑的表示[32]. 注意，小波变换只分解图像在每个分辨率下的低频分量。然而，小波包变换可以分解低频和高频分量，它提供了比小波变换更多的基函数[33]. 在[34]，我们提出了一种将图像的小波包系数组织成层次树的有效方案，称为小波包树（WP），用于图像压缩。本文提出了一种有效的基于WP树的纹理合成算法。
本文的其余部分进行如下。在节中2简要回顾了小波变换和小波包变换。章节三描述了基于示例纹理的WP树合成纹理图像的方案。实验结果见第节4结论见第节5。
基于小波变换（WT）的多分辨率分析/合成在信号/图像/视频应用中引起了广泛关注。小波包变换（WPT）是小波变换的扩展，它提供了一个更大的基函数家族，具有更紧凑的表示形式。本节简要回顾了WT和WPT。有关更完整的调查，我们建议读者参阅[21].
2.1. 小波变换
小波变换具有多种理想的特性，例如，联合空间-空间频率局部化、相同方向子带之间的自相似性以及每个子带内的能量聚类。对于分辨率下的离散信号,，小波变换定义为哪里是（母）小波，是相应的缩放函数，是下一个较粗分辨率的近似信号,是分辨率之间的详细信息和,和分别是低通滤波器和高通滤波器，以及是一个内积运算符。可以根据和通过使用以下逆小波变换（IWT）：哪里和。
对于图像应用，可以通过使用两个1D WT的张量积来获得2D WT，水平后跟垂直，反之亦然。具体来说，让是最高分辨率为0的图像，其中和分别是垂直方向和水平方向的指数。的2D WT如下所示：哪里是下一个较粗分辨率为1的近似图像，,、和分别是垂直、水平和对角方向的细节图像。图1显示了2级2D WT，其中子带,,;、和由实线分隔。同样，可以通过使用两个一维IWT的张量积来获得二维IWT。
2.2. 小波包变换
二维小波变换只是以迭代的方式分解图像的最低频子带。更具体地说，只有缩放系数会从较高分辨率分解为较低分辨率。然而，对于纹理应用，中高频子带中的小波系数可能很重要，这需要考虑以改进多分辨率表示。
可以看出，信号的低频标度系数和高频小波系数在任何分辨率下都可以分解，从而产生小波包变换（WPT），并且可以产生更大的基函数族[33]. 此外，二维小波包变换可以通过使用两个一维小波包变换的张量积来获得。图1显示了一个2级2D WPT，其中所有小波子带,、和在分辨率1处，进一步分解为由虚线分隔的小波包子带。
3.基于小波包的纹理合成
小波包变换提供了更多的基函数，与小波变换相比，它具有更紧凑的表示形式。对于图像编码应用，我们提出了一种有效的方案，将图像的小波包（WP）系数组织为称为WP树的层次树[32]. 在本节中，我们探讨了WP树的关键特征，并提出了一种基于WP树进行纹理合成的算法。
3.1. 小波包树
小波系数序列的WP系数，分辨率为，由计算得出可以通过以下方式有效地重新排列和连接经过上述重排和级联后，小波系数跨子带的二元关系仍然有效，可以用来构造信号的二元WP树。类似地，图像的（2D）WP树可以通过水平排列WP系数，然后垂直排列，反之亦然。图1显示了一个2级WP树，其中箭头连接了相关的WP系数。
构建WP树的关键思想是基于WP系数的空间关系。它具有与传统小波树相同的结构，即四叉树结构。此外，通过使用小波包变换，可以显著减少高能小波系数的数量。取图中所示的大米图像5作为一个例子。小波系数或WP系数的累积能量分布（CED）由下式给出哪里，是降序排列的小波系数或WP系数的大小，in是系数的数量，以及是系数的总数。图2显示了小波系数和WP系数的CED曲线，其中水平轴和垂直轴分别是系数数和能量百分比。值得注意的是，WP系数的能量聚类比小波系数更紧凑。因此，对于纹理图像，基于WP的表示优于基于小波的表示。
3.2. 建议的算法
如前所述，低频WP系数保留图像的全局信息，而高频WP系数包含局部细节。希望基于低频WP系数粗合成图像，然后基于高频WP系数调整中间合成结果。基于上述事实，我们提出了一种基于WP树的高效纹理合成算法，该算法采用两步过程：先进行粗搜索，然后进行微调。图2描述了所提算法的流程图。其步骤如下。
步骤1（初始化）。利用小波包变换对源图像进行分解，重新排列高频小波包系数，构建小波包树。从源图像中随机选择一个WP树，该树复制在合成图像的左上角。
步骤2（粗匹配）。对于要合成的每个WP树，从合成图像的左上角到右下角，通过使用具有以下容差的粗匹配从源图像中搜索候选WP树：哪里是从源图像中获得的用于匹配合成WP树的候选WP树集，具有公差,是给定的阈值，是之间的距离和基于WP树的低频节点（LFN），以及和是的邻居和分别是。我们的实验中使用了因果关系社区。
步骤3（精细匹配）。步骤中的粗匹配后2根据候选WP树的高频节点（HFN），使用以下精细匹配来找到最佳WP树。哪里在(3.5).
步骤4。重复步骤2然后是步骤三直到所有要合成的WP树都是从源图像的WP树中获得的。
步骤5。最后，对合成WP树进行小波包逆变换，得到合成图像。
为了减少合成时间，可以很容易地修改Steps2和三通过使用WP树的补丁而不是单个WP树。此外，需要注意的是，许多高频WP系数并不重要，只有一小部分中频WP系数足以进行步骤中的精细匹配三因此，提出的基于小波包树（TSWPT）的纹理合成算法简单且计算效率高。TSWPT算法的流程图如图所示三。
4.实验结果
在第一个实验中，源图像的大小为，如图的第1列所示4; 合成图像的大小为为了减少计算时间，将TSWPT算法应用于WP树的补丁。补丁大小为相邻斑块之间重叠区域的宽度为3。WP树的根节点，即最低频率子带中的WP系数，用于粗匹配步骤，以保持输入源图像的全局外观。由于纹理的基本成分主要分布在中频子带中，因此在精细匹配步骤中可以忽略高频WP系数，即WP树的叶节点。采用双正交9/7小波。阈值，，设置为0.1。
两种广泛使用的算法，Efros算法[13]和崔的算法[31]，用于与TSWPT算法进行比较。合成结果如图的第2、3和4列所示4分别是。目视检查表明，TSWPT与Cui算法相当，优于Efros算法。所有算法均由Matlab实现，无需在源代码中进行优化。表1显示了CPU为1.7的PC上运行的计算时间 千兆赫。值得注意的是，TSWPT优于Efros和Cui的算法。
在第二个实验中，源图像和合成图像的大小为和分别是。所有设置与第一个实验相同。使用Efros算法和TSWPT的源图像和合成结果如图所示5结果表明，使用Efros算法合成的图像中存在一些块效应。然而，由于步骤中的小波包逆变换的滤波操作，使用TSWPT算法可能会消除阻塞效应5.图6示出了在图像大小的各种放大率下的计算时间。可以看出，TSWPT算法的性能优于Efros和Cui的算法。
5.结论
就计算时间而言，多分辨率方法适用于纹理合成。小波包变换提供了比小波变换更多的基函数，因此产生了更紧凑的表示。我们采用小波包变换对输入纹理进行分析，并将小波包系数组织成层次树，称为小波包树。小波包树的低频节点包含图像的全局特征；高频节点包含局部细节。因此，我们提出了基于小波包树（TSWPT）的纹理合成方法。它的优点是大大节省了计算时间，而且不需要训练过程。给定一个纹理，实验结果表明，合成图像仅为一秒钟的一小部分。
确认
台湾国家科学委员会（NSC100-2628-E239-002-MY2）支持这项工作。
