杂志的下一篇文章
基于时间序列相似性的阵列脉搏波信号多维合成新方法
下一篇特刊文章
用图表示深层神经网络潜在空间几何
期刊上的上一篇文章
变分多尺度非参数回归:算法与实现
特刊上一篇文章
Spikyball采样:通过非均匀过滤扩散探索大型网络
 
 
订购文章重印
字体类型:
宋体 佐治亚州 宋体,Verdana
字体大小:
澳大利亚 澳大利亚 澳大利亚
行距:
列宽:
背景:
第条

矩阵函数的谱自适应多项式逼近及其在图形信号处理中的应用

1
美国加州斯坦福大学计算与数学工程研究所,邮编:94305
2
美国明尼苏达州圣保罗市Macalester学院数学、统计和计算机科学系,邮编55105
美国纽约州约克敦高地IBM T.J.Watson研究中心,邮编:10598
4
美国明尼阿波利斯明尼苏达大学计算机科学与工程系
*
应向其寄送信件的作者。
算法 2020,13(11), 295;https://doi.org/10.3390/a13110295
收到的提交文件:2020年10月16日/修订日期:2020年10月16日/接受日期:2020年10月29日/发布时间:2020年11月13日
(本文属于特刊机器学习中的高效图算法)

摘要

以下为:
我们提出并研究了两种新的近似方法 (f) ( A类 ) b条 对于大型稀疏厄米矩阵 A类 这种形式的计算在许多信号处理和机器学习任务中发挥着重要作用。这两种方法的主要思想是首先估计 A类 ,然后找到更接近函数的固定阶多项式(f)具有较高特征值密度的谱区域。与Lanczos方法和截断Chebyshev展开等最先进的方法相比,所提出的方法倾向于提供更精确的近似值 (f) ( A类 ) b条 低多项式阶,对于矩阵 A类 具有大量不同的内部特征值和较小的谱宽。我们还探索了这些技术在以下方面的应用:(i)快速估计局部化图谱滤波器字典原子的范数,以及(ii)快速过滤时间顶点信号。

1.简介

高效计算 (f) ( A类 ) b条 ,是大型稀疏埃尔米特矩阵乘以向量的函数,是许多信号处理、机器学习、应用数学和计算机科学任务的重要组成部分。应用示例包括基于图形的半监督学习方法[1,2,]; 图形信号处理中的图形谱滤波[4]; 卷积神经网络/深度学习[5,6]; 群集[7,8]; 大矩阵谱密度的逼近[9]; 矩阵数值秩的估计[10,11]; 近似谱和,例如矩阵的对数行列式[12]或矩阵求逆的轨迹,用于物理、生物学、信息论和其他学科[13]; 求解半定规划[14]; 模拟随机行走[15](第八章);解常微分方程和偏微分方程[16,17,18].
参考文献[19](第13章)[20,21,22]调查解决这个研究得很好的高效计算问题的不同方法
(f) ( A类 ) b条 以下为: = (f) ( Λ ) b条 ,
其中的列 是厄米矩阵的特征向量 A类 R(右) N个 × N个 Λ 是一个对角矩阵,其对角元素是 A类 ,我们用 λ 1 , λ 2 , , λ N个 ; (f) ( Λ ) 是一个对角矩阵,其k个对角线条目为 (f) ( λ k个 ) 对于大型矩阵,显式计算 A类 为了近似(1). 相反,最常见的技术,所有这些都避免了 A类 ,包括(i)截断正交多项式展开式,包括切比雪夫[23,24,25]和雅各比;(ii)合理近似[21](第3.4节);(iii)Krylov子空间方法,如Lanczos方法[23,26,27,28,29]; 和(iv)求积/轮廓积分方法[19](第13.3节)。
我们在这项工作中的重点是多项式近似方法。 第页 K(K) ( λ ) = c(c) 0 + k个 = 1 K(K) c(c) k个 λ k个 成为学位K(K)函数的多项式逼近(f)在已知间隔上 [ λ ̲ , λ ¯ ] 包含的所有特征值 A类 。然后是近似值 第页 K(K) ( A类 ) b条 可以通过特定类型多项式的三项递归进行递归计算(参见第3节更多详细信息),或通过嵌套的乘法迭代[30](第9.2.4节),出租 x个 ( 0 ) = c(c) K(K) b条 ,然后迭代
x个 ( ) = c(c) K(K) b条 + A类 x个 ( 1 ) , = 1 , 2 , , K(K)
这两种方法的计算成本都取决于稀疏矩阵的乘法 A类 通过K(K)不同的矢量。近似误差的范围是
(f) ( A类 ) 第页 K(K) ( A类 ) 2 = 最大值 Ş = 1 , 2 , , N个 | (f) ( λ Ş ) 第页 K(K) ( λ Ş ) |
啜饮 λ [ λ ̲ , λ ¯ ] | (f) ( λ ) 第页 K(K) ( λ ) |
例如,如果, 第页 K(K) 是一个学位K(K)解析函数的截断切比雪夫级数逼近(f),()中的上界在几何上收敛到0,如下所示K(K)增加,速度为 O(运行) ρ K(K) ,其中 ρ 是开放伯恩斯坦椭圆的半径(f)是解析的和有界的(参见例如[31](定理5.16)[32](定理8.2))。
除了计算效率和收敛性保证外,多项式近似方法的第三个优点是可以在分布式环境中实现[33]. 第四个优点是的第个元素 第页 K(K) ( A类 ) b条 只取决于 b条 在内部K(K)啤酒花关于关联图 A类 (例如,如果 A类 是一个图拉普拉斯矩阵,是 ( , j个 ) 的第个元素 A类 ,其中 j个 ,对应于连接顶点的边j个(如图所示)。这种定位特性在许多基于图形的数据分析应用中都很重要,例如图谱滤波[34]和深度学习[5]. 最后,与其他包含有关 b条 选择近似多项式(例如[35]考虑向量 b条 从具有已知协方差矩阵的零米分布),我们提出的方法得到的多项式近似不依赖于 b条 或有关的任何信息 b条 因此,在计算 (f) ( A类 ) b条 对许多不同的矢量重复 b条 用同样的(f) A类 ,多项式系数只需计算一次。
而经典的截断正交多项式展开方法(例如Chebyshev、Legendre、Jacobi)旨在近似函数(f)在整个间隔期间 [ λ ̲ , λ ¯ ] ,它只是特征值处的多项式近似误差 A类 影响中的总体错误(). 有了完整的特征值集的知识,我们可以做得更好,例如,通过拟合一个度K(K)基于离散最小二乘问题的多项式 最小值 第页 P(P) K(K) Ş = 1 N个 (f) ( λ Ş ) 第页 ( λ Ş ) 2 .英寸图1,我们给出了这样一个离散最小二乘拟合的示例。由此产生的近似误差 (f) ( A类 ) 第页 K(K) ( A类 ) 2 对于 K(K) = 5 为0.020,而5阶截断切比雪夫近似为0.347。尽管事实上 啜饮 λ [ λ ̲ , λ ¯ ] | (f) ( λ ) 第页 K(K) ( λ ) | 离散最小二乘近似等于0.650,而切比雪夫近似等于0.347。
虽然在我们的环境中,我们无法获得完整的特征值集,但我们在这项工作中的方法是利用最近的发展来有效估计矩阵的谱密度 A类 ,使多项式适应谱,以便在(未知)特征值处获得更好的近似精度。在下一节回顾了谱密度估计之后,我们在第3节.英寸第4节,我们进行数值实验,近似 (f) ( A类 ) b条 对于不同的矩阵 A类 和功能(f),并讨论建议的方法比最先进的方法工作得更好的情况。第5节第6节,我们分别探讨了该技术在局部图谱滤波器字典原子范数快速估计和时间顶点信号快速滤波中的应用。

2.光谱密度估算

这个累积谱密度函数经验谱累积分布矩阵的 A类 定义为
P(P) λ ( z ) 以下为: = 1 N个 Ş = 1 N个 1 1 λ Ş z ,
哪里 1 1 { C类 } = 1 if语句C类是正确的,并且 1 1 { C类 } = 0 否则。这个谱密度函数[36](第6章)(也称为状态密度经验谱分布[37](第2.4章) A类 概率测度定义为
第页 λ ( z ) 以下为: = 1 N个 Ş = 1 N个 1 1 λ Ş = z ·
Lin等人[9]概述近似这些函数的方法。在这项工作中,我们使用了核多项式方法(KPM)的一种变体[38,39,40]中描述的[9,41]估计累积谱密度函数 P(P) λ ( z ) 属于 A类 即,对于每个S公司线性间隔点 { ξ } = 1 S公司 之间 λ ̲ λ ¯ ,我们估计特征值的数量小于或等于 ξ 通过随机轨迹估计[42,43]. x个 表示具有分布的高斯随机向量 N个 ( 0 , ) , { x个 ( j个 ) } j个 = 1 J型 表示样本大小J型来自该分布,以及 Θ ˜ ξ 表示Jackson–Chebyshev多项式近似值 Θ ξ ( λ ) 以下为: = 1 1 λ ξ [44,45]. 特征值数目小于或等于的随机迹估计 ξ 然后由给出
η = 信托收据 Θ ξ ( A类 ) = E类 [ x个 Θ ξ ( A类 ) x个 ] 1 J型 j个 = 1 J型 x个 ( j个 ) Θ ˜ ξ ( A类 ) x个 ( j个 )
如中所示[46],然后形成近似值 P(P) ˜ λ ( z ) P(P) λ ( z ) 通过执行单调分段三次插值[47]关于点的级数 ξ , η N个 = 1 , 2 , , S公司 .分析差异化 P(P) ˜ λ ( z ) 产生近似值 第页 ˜ λ ( z ) 到光谱密度函数 第页 λ ( z ) .自 P(P) ˜ λ ( z ) 是一个单调三次样条,我们也可以解析计算它的反函数 P(P) ˜ λ 1 ( ) .我们在第3节利用两者 第页 λ ( z ) P(P) ˜ λ 1 ( ) 在生成多项式近似时,聚焦于特征值密度较高的谱区域。图2显示了八个实对称矩阵的估计累积谱密度函数的示例 A类 :Erdös的图Laplacians–Renyi图(gnp)图1明尼苏达州交通网络[48] ( N个 = 2642 )和斯坦福兔子图[49] ( N个 = 2503 ); 随机传感器网络的归一化图Laplacian( N个 = 5000 )来自[50]; 和网络25( N个 = 9520 ),硅2( N个 = 769 ),笼架9( N个 = 3534 )和saylr4( N个 = 3564 )SuiteSparse矩阵集合中的矩阵[51](我们使用 A类 + A类 2 对于cage9,以及net25和saylr4,我们基于以下非对角元素生成图Laplacians A类 对于saylr4,我们将整个拉普拉斯量表的因子 1 2000 ).
形成估计的计算复杂性 P(P) ˜ λ ( z ) O(运行) ( M(M) J型 K(K) Θ ) ,其中M(M)是中非零项的数目 A类 ,J型是中的随机向量数(6)(在我们的实验中, J型 = 10 足够了),以及 K(K) Θ 是Jackson–Chebyshev多项式近似的次数 Θ ˜ ξ [41]. 然而,如果计算 (f) ( A类 ) b条 单人间(f)和一张单人床 b条 ,每个只需计算一次 A类 如果对多个函数重复此计算(f)或多个矢量 b条 ,就像上面提到的应用程序中经常出现的情况一样。

3.光谱自适应方法

在本节中,我们将介绍两个新的学位类别K(K)多项式近似 第页 K(K) ( A类 ) b条 (f) ( A类 ) b条 ,两者都利用了估计的累积光谱密度函数 P(P) ˜ λ ( z )

3.1. 光谱自适应多项式插值

在第一种方法中,我们取 k个 以下为: = 余弦 k个 π K(K) + 1 2 ,用于 k个 = 0 , 1 , , K(K) ,哪些是 K(K) + 1 度的极值K(K)切比雪夫多项式移位到区间 [ 0 , 1 ] 然后,我们通过设置估计的累积光谱密度函数的倒数来扭曲这些点 x个 k个 = P(P) λ 1 ( k个 ) ,在找到唯一度之前K(K)通过点的多项式插值 { ( x个 k个 , (f) ( x个 k个 ) ) } k个 = 0 , 1 , , K(K) 扭曲插值点背后的直觉是(i)在具有更多插值点的谱(域)区域中获得更好的近似,(ii)()仅取决于特征值的误差A类,所以我们希望在具有许多特征值的区域中,近似效果最好,(iii)如所示图3使用估计的累积谱密度函数的逆函数作为翘曲函数,可以获得更高的翘曲点密度 { x个 k个 } 落在光谱的高密度区域 A类 因此,理想情况下,翘曲应能在频谱的高密度区域中产生更多插值点,更好地逼近这些区域中的目标函数,进而减少误差()与由点生成的插值相比,插值在光谱中分布更均匀。
查找(唯一)学位K(K)多项式插值,我们的数值实现使用MATLAB的拟合函数,该函数将数据集中并缩放,然后通过QR分解求解生成的方程组。一旦获得插值多项式系数, 第页 K(K) ( A类 ) b条 可以计算,例如通过(2)或者将插值多项式表示为切比雪夫多项式的线性组合,并在相关的三项递推中使用切比雪夫系数[23,32]. 整个过程在算法1中有详细说明。
算法1光谱自适应多项式插值。
输入厄米矩阵 A类 R(右) N个 × N个 ,矢量 b条 R(右) N个 ,功能(f),多项式次数K(K)
输出K(K)近似 第页 K(K) ( A类 ) b条 (f) ( A类 ) b条 R(右) N个
1:
计算 P(P) ˜ λ ( z ) ,累计光谱密度的估计 A类
2:
对于k个在里面 0 以下为: K(K)
三:
   k个 1 2 [ 余弦 ( k个 π K(K) ) + 1 ]
4:
   x个 k个 P(P) ˜ λ 1 ( k个 )
5:
结束
6:
找到(唯一的)学位K(K)多项式插值 第页 K(K) 通过这些点 { ( x个 k个 , (f) ( x个 k个 ) ) } k个 = 0 , 1 , , K(K)
7:
计算 第页 K(K) ( A类 ) b条 通过(2)
第8页:
返回 第页 K(K) ( A类 ) b条

3.2. 谱自适应多项式回归/正交多项式展开

第二种方法是求解加权最小二乘多项式回归问题
最小值 第页 P(P) K(K) = 1 M(M) w个 (f) ( x个 ) 第页 ( x个 ) 2 ,
横坐标在哪里 { x个 } = 1 , 2 , , M(M) 和重量 { w个 } = 1 , 2 , , M(M) 被选择来捕获估计的光谱密度函数。我们研究了几种设置点的方法(例如,线性间隔点、区间上的切比雪夫点 [ λ ̲ , λ ¯ ] ,每个子区间上的切比雪夫点 [ ξ , ξ + 1 ] ,并通过估计的累积谱密度函数的逆函数扭曲点,如第3.1节)和权重(例如,分析计算的估计值 第页 ˜ λ 在谱密度函数中,基于特征值计数的谱密度函数的离散估计(6),基于截断切比雪夫展开的原始KPM状态密度方法[9](方程式3.11),或翘曲点的同等重量)。在没有深入讨论这些不同选项的详细信息的情况下,我们注意到选择横坐标 { x个 } 在求解加权最小二乘问题时,如果使用由估计密度函数的逆函数扭曲的点,则可能会出现彼此非常接近的情况,从而导致数值不稳定性。在数值实验中,我们使用M(M)间隔上间隔均匀的点 [ λ ̲ , λ ¯ ] (即。, x个 = 1 M(M) 1 ( λ ¯ λ ̲ ) + λ ̲ ),并将权重设置为 w个 = 第页 ˜ λ ( x个 ) .要解决(7),我们使用MATLAB的自定义变体拟合该函数再次通过QR分解求解加权最小二乘问题的法线方程:
Ψ x个 W公司 Ψ x个 c(c) = Ψ x个 W公司 ,
哪里 Ψ x个 是与点关联的Vandermonde矩阵 { x个 } , W公司 是一个对角线矩阵,其对角线元素等于权重 { w个 } , 是一个列向量,其条目等于 { (f) ( x个 ) } 、和 c(c) 是未知多项式系数的向量。一旦系数 c(c) 最优多项式的, 第页 K(K) * 获得, 第页 K(K) * ( A类 ) b条 可以再次计算,例如,通过(2). 算法2中详细介绍了这种方法的总结(正如一位匿名评论员所指出的,因为我们的估计 第页 ˜ λ 谱密度函数是一个分段二次函数,优化问题(7)可以被其连续模拟所取代, 最小值 第页 P(P) K(K) λ ̲ λ ¯ (f) ( x个 ) 第页 ( x个 ) 2 第页 ˜ λ ( x个 ) d日 x个 ,可以对许多函数进行解析求解 (f) ( · ) ).
算法2频谱自适应多项式回归。
输入厄米矩阵 A类 R(右) N个 × N个 ,矢量 b条 R(右) N个 ,函数(f),多项式次数K(K),网格点数M(M)
输出K(K)近似 第页 K(K) ( A类 ) b条 (f) ( A类 ) b条 R(右) N个
1:
计算 第页 ˜ λ ( z ) ,光谱密度的估计 A类
2:
对于在里面 1 以下为: M(M)
三:
   x个 1 M(M) 1 ( λ ¯ λ ̲ ) + λ ̲
4:
   w个 第页 ˜ λ ( x个 )
5:
结束
6:
第页 K(K) argmin(最小值) 第页 P(P) K(K) = 1 M(M) w个 (f) ( x个 ) 第页 ( x个 ) 2
7:
计算 第页 K(K) ( A类 ) b条 通过(2)
第8页:
返回 第页 K(K) ( A类 ) b条
查看此加权最小二乘法的另一种方法[52]是关于离散测度正交多项式的截断展开式 d日 λ M(M) 在点处有有限支撑 { x个 } 和关联的内积[53](第1.1节)
(f) , d日 λ M(M) = R(右) (f) ( x个 ) ( x个 ) d日 λ M(M) = = 1 M(M) w个 (f) ( x个 ) ( x个 )
这个M(M)离散一元正交多项式 { π k个 , M(M) } k个 = 0 , 1 , M(M) 1 满足三项递推关系[53](第1.3节)
π k个 + 1 , M(M) ( x个 ) = ( x个 α k个 , M(M) ) π k个 , M(M) ( x个 ) β k个 , M(M) π k个 1 , M(M) ( x个 ) , k个 = 0 , 1 , , M(M) 1 ,
具有 π 1 , M(M) ( x个 ) = 0 , π 0 , M(M) ( x个 ) = 1 , β 0 , M(M) = = 1 M(M) w个 ,
α k个 , M(M) = x个 π k个 , M(M) , π k个 , M(M) d日 λ M(M) π k个 , M(M) , π k个 , M(M) d日 λ M(M) , k个 = 0 , 1 , , M(M) 1 , β k个 , M(M) = π k个 , M(M) , π k个 , M(M) d日 λ M(M) π k个 1 , M(M) , π k个 1 , M(M) d日 λ M(M) , k个 = 1 , 2 , , M(M) 1
给定横坐标 { x个 } 和重量 { w个 } ,三项递归系数 { α k个 , M(M) } k个 = 0 , 1 , , M(M) 1 { β k个 , M(M) } k个 = 1 , 2 , , M(M) 1 也可以通过稳定的Lanczos类型算法在 ( M(M) + 1 ) × ( M(M) + 1 ) 矩阵[53](第2.2.3节)[54]. 在矩阵-向量表示法中,向量 π k个 , M(M) R(右) M(M) ,它们是在M(M)横坐标,可以通过以下关系迭代计算
π k个 + 1 , M(M) = ( 诊断 ( { x个 } ) α k个 , M(M) M(M) ) π k个 , M(M) β k个 , M(M) π k个 1 , M(M) , k个 = 0 , 1 , , M(M) 1 ,
具有 π 1 , M(M) = 0 M(M) π 0 , M(M) = 1 M(M) 图4显示了这些离散正交多项式的示例。
最后,学位K(K)多项式逼近 (f) ( A类 ) b条 计算为
第页 K(K) ( A类 ) b条 = k个 = 0 K(K) (f) , π k个 , M(M) d日 λ M(M) π k个 , M(M) , π k个 , M(M) d日 λ M(M) π k个 , M(M) ( A类 ) b条 ,
具有 π 1 , M(M) ( A类 ) b条 = 0 N个 , π 0 , M(M) ( A类 ) b条 = b条 、和
π k个 + 1 , M(M) ( A类 ) b条 = ( A类 α k个 , M(M) N个 ) π k个 , M(M) ( A类 ) b条 β k个 , M(M) π k个 1 , M(M) ( A类 ) b条 , k个 = 0 , 1 , , K(K) 1 ( 哪里 K(K) M(M) 1 )
在进行数值实验之前,我们简要评论了本节中提出的谱自适应近似与Lanczos近似之间的关系 (f) ( A类 ) b条 ,由给出[19](第13.2节)[23]
K(K) (f) ( T型 K(K) ) K(K) b条 = | | b条 | | 2 K(K) (f) ( T型 K(K) ) e(电子) 1 ,
哪里 K(K) 是一个 N个 × ( K(K) + 1 ) 其列构成正交基的矩阵 K(K) K(K) ( A类 , b条 ) = 跨度 b条 , 抗体 , , A类 K(K) b条 ,Krylov子空间。在(9), T型 K(K) = K(K) A类 K(K) 是一个 ( K(K) + 1 ) × ( K(K) + 1 ) 三对角雅可比矩阵 K(K) 等于 b条 | | b条 | | .近似值(9)也可以写成 q个 K(K) ( A类 ) b条 ,其中 q个 K(K) 是学位K(K)插值函数的多项式(f) K(K) + 1 的特征值 T型 K(K) [19](定理13.5)[55]. 因此,与经典多项式近似方法(如截断Cheybshev展开)不同,Lanczos方法间接适用于 A类 Lanczos方法与建议方法的不同之处在于 T型 K(K) 和Lanczos逼近多项式 q个 K(K) 取决于初始向量 b条 具体来说,多项式 { π ˜ k个 } 由表单的三项循环生成(8)
γ k个 + 1 π ˜ k个 + 1 ( x个 ) = ( x个 α k个 ) π ˜ k个 ( x个 ) γ k个 π ˜ k个 1 ( x个 ) ,
使用 { α k个 } k个 = 0 , 1 , , K(K) { γ k个 } k个 = 1 , 2 , , K(K) 对角线和超对角线项的系数 T型 K(K) 分别与分段常数测度正交
μ ( x个 ) = 0 , x个 < λ 1 j个 = 1 [ b条 ^ ( j个 ) ] 2 , λ x个 < λ + 1 j个 = 1 N个 [ b条 ^ ( j个 ) ] 2 = 1 , λ N个 x个 ,
哪里 b条 ^ = q个 1 = b条 | | b条 | | 、和 b条 ^ ( j个 ) 是它的吗j个th分量[56](定理4.2)。如果 b条 ^ 恰好是一个常量向量,那么 μ ( x个 ) = P(P) λ ( x个 ) 来自(5). 如果 A类 是图拉普拉斯算子, b条 ^ 是图形傅里叶变换[4]第页,共页 b条 ,归一化为单位能量。

4.数值示例和讨论

图5,用于不同的功能 (f) ( λ ) 和矩阵 A类 ,我们近似 (f) ( A类 ) b条 具有 b条 = 1 和多项式近似阶从 K(K) = 至25。估算累积光谱密度函数 P(P) ˜ λ ( z ) 带参数 S公司 = 10 , J型 = 10 、和 K(K) Θ = 30 ,我们使用KPM,如所示图2基于的解析导数和反函数 P(P) ˜ λ ( z ) ,我们获得了两个建议的谱自适应多项式近似 (f) ( λ ) ,在计算每个 第页 K(K) ( A类 ) b条 通过相应的三项递归。我们将所提出的方法与截断Chebyshev展开和具有相同多项式阶数的Lanczos方法进行了比较。请注意,当 b条 是光谱域中的常数向量 A类 ,相对误差 | | (f) ( A类 ) b条 第页 K(K) ( A类 ) b条 | | 2 2 | | (f) ( A类 ) b条 | | 2 2 等于 Ş = 1 N个 (f) ( λ Ş ) 第页 K(K) ( λ Ş ) 2 Ş = 1 N个 (f) ( λ Ş ) 2 ,其分子是中提到的离散最小二乘目标第1节。的第一列图5显示所有特征值的错误 A类 每阶10次多项式近似 (f) ( λ ) = e(电子) λ 第二列检查近似中相对误差的收敛性 e(电子) A类 b条 对于具有不同谱分布的矩阵,对于四种方法中的每一种。
在图形信号处理领域[4],分析或修改图形信号 b条 R(右) N个 ,其中 b条 ( ) 是图形信号在顶点的值加权连通图的G公司具有N个顶点,通过应用图形光谱过滤器 (f) .过滤的信号正是产品(1)图的拉普拉斯函数(或其他对称矩阵)和向量的函数,图信号 b条 .英寸图6,我们展示了此类函数集合的示例,通常称为图谱滤波器组。在右侧的三列中图5,我们检查了近似值产生的相对误差 (f) ( A类 ) b条 用于低通、带通和高通图频谱滤波器 (f) 1 , (f) 、和 (f) 5 如所示图6a.我们扩展了这种图谱滤波器在第5节
我们根据数值示例进行了两次观察:
  • 谱自适应插值方法通常适用于低阶近似( K(K) 10 ),但由于多项式插值对特定 K(K) + 1 插值点(即插值点高度振荡)。
  • 对于具有大量不同内部特征值的矩阵,如si2和cage9,所提出的谱自适应加权最小二乘法往往优于Lanczos方法。

5.应用一:局部化图谱滤波器字典原子的范数估计

从赋权无向图上的数据中提取信息的一种常见方法是将图信号表示为称为原子的积木图信号的线性组合,其集合称为字典。在本节中,我们考虑具有以下形式的局部频谱图滤波器字典 D类 = { φ , } = 1 , 2 , , N个 = 1 , 2 , , L(左) ,其中每个原子定义为 φ , 以下为: = (f) ( L(左) ) δ 具有 L(左) 拉普拉斯图和 δ 顶点值为1其他地方为0。每个原子都可以解释为由滤波函数表征的光谱模式局部化的结果 (f) 以顶点为中心在图表中。请参见[58]有关局部谱图滤波器字典及其在无数信号处理和机器学习任务中作为变换和正则化器的应用的更多详细信息,请参阅。
对于大型稀疏图,字典原子从不显式计算;相反,它们与图形信号的内积近似为 b条 , φ , = δ (f) ( L(左) ) b条 δ 第页 , K(K) ( L(左) ) b条 ,使用多项式近似方法,如第1节然而,在图形信号处理应用中,如阈值去噪或压缩[58,59,60]或图形信号的非均匀随机采样和插值[41,45,58,61],快速估计字典原子的规范通常很重要, { | | φ , | | 2 } , .自 | | φ , | | 2 2 = φ , , φ , = δ (f) 2 ( L(左) ) δ 是该类型的双线性形式 单位 (f) ( A类 ) 单位 ,单个原子的范数可以通过Lanczos求积等求积方法来估计[53](第3.1.7章)[56](第7章)[62]; 然而,为所有人这样做 N个 L(左) 原子不可计算,因为每个原子都需要不同的函数和起始向量组合。其他替代方法包括[63]用于估计矩阵的对角元素,该矩阵不明确可用,但矩阵向量乘积易于计算,如 | | φ , | | 2 = (f) 2 ( L(左) ) ,
在这个应用示例中,我们通过矩阵函数与随机向量的乘积来估计字典原子的范数,如下所示。 x个 是一个随机向量,每个分量都具有独立且相同的标准正态分布(事实上,我们只是利用随机分量具有单位方差的性质)。那么我们有
无功功率,无功功率 φ , , x个 = 无功功率,无功功率 n个 = 1 N个 x个 ( n个 ) φ , ( n个 ) = n个 = 1 N个 [ φ , ( n个 ) ] 2 无功功率,无功功率 ( x个 ( n个 ) ) = | | φ , | | 2 2
因此,要估计 | | φ , | | 2 ,估计就足够了 标准偏差 φ , , x个 = 标准偏差 δ (f) ( L(左) ) x个 标准偏差   δ 第页 , K(K) ( L(左) ) x个 获得学位K(K)多项式近似 第页 , K(K) (f) 因此,我们将每个原子范数估计定义为样本标准偏差
ν , 以下为: = 标准偏差 δ 第页 , K(K) ( L(左) ) x个 ( j个 ) j个 = 1 , 2 , , J型 | | φ , | | 2 ,
其中每个 x个 ( j个 ) 是随机向量的实现 x个 在数值实验中,我们比较了切比雪夫多项式近似和谱自适应加权最小二乘多项式近似的估计。除计算外,在通过KPM估算光谱密度的过程中(6),我们已经计算了 T型 ¯ k个 ( L(左) ) x个 ( j个 ) 对于每个 k个 = 0 , 1 , , K(K) 和每个j个,其中 T型 ¯ k个 切比雪夫多项式是否移到区间 [ 0 , λ 最大值 ] 根据这些量,我们可以很容易地计算 第页 , K(K) ( L(左) ) x个 ( j个 ) 中的向量(10)对于不同的值(不同的过滤器)。请参见[41](第III.B.1节)。
在的顶行图7,我们演示了通过在图6b到兔子图的每个顶点。图7a显示了 N个 L(左) = 2503 · 4 = 10012 字典原子。图7b、 我们绘制原子的估计范数,通过度生成 K(K) = 8 谱自适应加权最小二乘多项式逼近 J型 = 50 中的随机向量(10)与实际原子规范相反。估计的原子范数与实际范数之比如所示图7c.我们显示了相对误差的平均值 ν , | | φ , | | 2 1 作为一个单一的点跨越所有这些原子图7d、 并用不同的K(K)J型和不同类的逼近多项式,以及图7e–f。在所有三个图上,在J型,用于低度数K(K)与基于切比雪夫多项式近似的估计相比,谱自适应多项式最小二乘法的估计具有更低的平均相对误差。虽然这些示例是在中小型图上进行的,以便与精确的原子规范进行比较,但该方法可以有效地扩展到为大型稀疏图设计的字典。

6.应用二:时间-频率信号的快速滤波

在本节中,我们演示了在第3节加速时域和图谱域中时间-顶点信号的联合滤波[50,64,65].

6.1. Time-Vertex信号

我们考虑一个加权的无向图 G公司 = { , E类 , W公司 G公司 } 具有N个顶点,其中 是顶点集, E类 是一组边,并且 W公司 G公司 是加权邻接矩阵。组合图Laplacian定义为 L(左) G公司 以下为: = D类 G公司 W公司 G公司 ,其中 D类 G公司 与对角线 D类 G公司 ( , ) 等于第个顶点。在每个顶点,我们观察到T型观察。因此,时变图形信号可以表示为矩阵 X(X) R(右) N个 × T型 ,其中 X(X) , j个 是上的值第个顶点位于j个第次。图8显示了时间顶点信号的示例。

6.2. Time-Vertex过滤

确定时间点,每列 X(X) 是在上定义的图形信号G公司.让 x个 t吨 j个 R(右) N个 × 1 表示j个第列,共列 X(X) , j个 = 1 , , T型 .基于的图形结构G公司,我们可以在 x个 t吨 j个 例如滤波、去噪、修复和压缩[4]. 特别是对于过滤器 以下为: σ ( L(左) G公司 ) C类 关于特征值的定义 L(左) G公司 ,图谱滤波 x个 t吨 j个 可以计算为 ( L(左) G公司 ) x个 t吨 j个 = U型 G公司 ( Λ G公司 ) U型 G公司 * x个 t吨 j个 ,其中 U型 G公司 * 是的共轭转置 U型 G公司 、和 L(左) G公司 = U型 G公司 Λ G公司 U型 G公司 * 是的光谱分解 L(左) G公司
相反,聚焦于G公司,的第行,共行 X(X) 是离散时间信号 x个 v(v) R(右) 1 × T型 ,它指示信号值如何随时间变化第个顶点。我们可以计算 x个 v(v) 通过 x个 ˜ v(v) = x个 v(v) U型 ¯ R(右) ,其中 U型 R(右) 是规格化DFT矩阵T型、和 U型 ¯ R(右) 是它的复共轭。DFT将信号从时域转换为频域,并允许信号的不同频率分量的放大或衰减。此过程在经典信号处理中称为频率滤波[4]. 经典一维信号的频率滤波等效于环形图上图形信号的图形谱滤波[66](定理5.1)。 L(左) R(右) 用表示环图的图LaplacianT型顶点。其谱分解给出 L(左) R(右) = U型 R(右) Λ R(右) U型 R(右) * ,其中 U型 R(右) 包括DFT基向量(归一化为长度为1) k个 t吨 小时 特征值由下式给出 Λ R(右) ( k个 , k个 ) = 2 2 余弦 2 π ( k个 1 ) T型 ,用于 k个 = 1 , , T型
时变图形信号的联合时顶傅里叶变换 X(X) 定义为图形傅里叶变换和DFT的组合[50]:
X(X) ^ 以下为: = U型 G公司 * X(X) U型 ¯ R(右)
联合时间-顶点过滤器 小时 以下为: σ ( L(左) G公司 ) × σ ( L(左) R(右) ) C类 为以下所有组合定义 ( λ G公司 , λ R(右) ) 哪里 λ G公司 是的特征值 L(左) G公司 λ R(右) 是的特征值 L(左) R(右) 。联合时间-顶点过滤相应地定义为
小时 ( L(左) G公司 , L(左) R(右) ) X(X) 以下为: = U型 G公司 ( H(H) ( U型 G公司 * X(X) U型 ¯ R(右) ) ) U型 R(右) ,
哪里 H(H) R(右) N个 × T型 有个条目 H(H) , j个 = 小时 ( λ G公司 , λ R(右) j个 ) ,∘表示两个矩阵的入口乘积。图9显示了两个时间-顶点滤波器示例:理想低通滤波器
小时 ( λ G公司 , λ R(右) ) = 1 1 ( λ G公司 < 1 2 λ G公司 最大值 , λ R(右) < 2 ) ,
和滤波器
小时 ( λ G公司 , λ R(右) ) = 5 e(电子) 100 电弧炉 2 λ R(右) 2 电弧炉 1 λ G公司 2 λ G公司 最大值 2 ,
哪里 λ G公司 最大值 是的最大特征值 L(左) G公司 .的特征值 L(左) R(右) 范围从0到4,无论大小T型,所以 1 2 λ R(右) 最大值 = 2
作为谱滤波的二维扩展,时间顶点滤波将输入信号分解为 N个 T型 正交分量,其中每个分量对应于图的拉普拉斯特征向量和DFT基函数的外积。然后,这些分量被相应的标量放大或衰减 小时 ( λ G公司 , λ R(右) ) 最后,将缩放后的分量相加,得到滤波后的信号。

6.3. 时间顶点滤波的频谱自适应逼近

由于计算所需的谱分解的高度复杂性 U型 G公司 ,已经开发了近似方法来加速联合时间-顶点滤波,例如Chebyshev2D[64],ARMA2D[67],以及快速傅立叶-切比雪夫算法[50].
如算法3所述,我们可以使用第3节有效地逼近时间顶点信号的滤波。我们方法的总体复杂性是 O(运行) ( N个 T型 日志 T型 + T型 K(K) M(M) ) ,其中M(M)是中非零项目的数量 L(左) G公司 .的FFTN个离散时间长度信号T型取得 O(运行) ( N个 T型 日志 T型 ) .循环计算T型具有次多项式的矩阵函数的谱自适应逼近K(K),因此具有以下复杂性 O(运行) ( T型 K(K) M(M) ) 用于稀疏 L(左) G公司
算法3光谱自适应近似时间-顶点过滤。
输入无向赋权图G公司具有N个顶点,时间顶点信号 X(X) R(右) N个 × T型 ,过滤器小时
输出时间-顶点滤波信号 Y(Y) = 小时 ( L(左) G公司 , L(左) R(右) ) X(X) R(右) N个 × T型
1:
X(X) ˜ 的FFT X(X) ,其中n个第行,共行 X(X) ˜ 是的1D FFTn个第行,共行 X(X) ,用于 n个 = 1 , , N个
2:
估计G公司
三:
对于t吨在里面 1 以下为: T型
4:
   (f) t吨 ( λ G公司 ) = 小时 ( λ G公司 , λ R(右) t吨 )
5:
  查找最佳订单K(K)多项式近似 第页 k个 ( λ G公司 ) (f) t吨 ( λ G公司 ) 通过在扭曲的切比雪夫点上进行插值(如第3.1节),或使用等距横坐标和估计光谱PDF中的权重进行加权最小二乘回归(如第3.2节)
6:
  计算 第页 k个 ( L(左) G公司 ) x个 ˜ t吨 ,其中 x个 ˜ t吨 t吨 t吨 小时 第列,共列 X(X) ˜
7:
   t吨 t吨 小时 第列,共列 Y(Y) ˜ 第页 k个 ( L(左) G公司 ) x个 ˜ t吨
第8页:
结束
9:
Y(Y) 的逆FFT Y(Y) ˜ ,其中n个第行,共行 Y(Y) 是的1D逆FFTn个第行,共行 Y(Y) ˜
10:
返回 Y(Y)

6.4. 数值实验

我们考虑理想的低通滤波器(12)和滤波器(13). 我们近似 小时 ( L(左) G公司 , L(左) R(右) ) X(X) 对于两个过滤器函数,使用 T型 = 1000 观察值,对于不同的图形G公司:gnp( N个 = 500 ),说4( N个 = 3564 )和随机传感器网络( N个 = 5000 ),其累积光谱密度如所示图2。在每种情况下,我们都会选择 X(X) = 1 N个 T型 = 1 , , N个 j个 = 1 , , T型 G公司 T型 j个 即,联合谱域中的常数向量 L(左) G公司 L(左) R(右) 为了测试不同特征值对组合下近似方法的平均性能。多项式近似阶从 K(K) = 1 到30,我们按照算法3中描述的过程来近似 小时 ( L(左) G公司 , L(左) R(右) ) X(X) .我们估计了累积谱密度函数 P(P) ˜ λ ( z ) 带参数 T型 = 10 , J型 = 10 、和 K(K) Θ = 30 。我们使用 M(M) = 100 在谱自适应多项式回归/正交多项式展开时寻找最佳多项式逼近。我们将所提出的方法与截断Chebyshev展开和具有相同多项式阶数的Lanczos方法进行了比较。对于每种方法,我们检验了Frobenius范数中相对误差的收敛性K(K)对于具有各种结构的图(以及拉普拉斯特征值的各种分布)。结果总结如下图10与我们在图5,我们看到谱自适应插值方法在较低多项式阶数下表现良好 ( K(K) 5 ) ,但在较高的多项式阶数下往往不稳定。

6.5. 动态网格去噪

最后,我们复制了一个动态网格去噪示例,如[50](第VI.B节)。走狗三维网格的原始时变序列特征网格来自 T型 = 59 时间实例,每个实例都具有 N个 = 2502 三维空间中的点(x-y-z坐标)。此序列由 2502 × 59 × 矩阵 X(X) 原始3D网格 t吨 = 5 如所示图11a.添加高斯噪声(平均值0,标准偏差等于 0.2 | | X(X) | | F类 2502 · 59 · )到每个网格点坐标。我们表示噪声三维网格序列,其中一个元素如所示图11b、 由 Y(Y) 。通过减去平均值来创建单个图形x个,、和z该网格中每个噪波网格的坐标,在所有59个时间实例中平均中心噪波网格坐标,然后在平均中心噪波网格坐标上构建5个最近邻图。结果图及其光谱密度函数如所示图11e–f。通过求解Tikhonov正则化问题对动态网格序列进行去噪[50](方程式(30))
X(X) 去噪的 = argmin(最小值) Z轴 | | Z轴 Y(Y) | | F类 2 + τ 1 信托收据 ( Z轴 L(左) G公司 Z轴 ) + τ 2 信托收据 ( Z轴 L(左) R(右) Z轴 )
优化问题(14)有一个封闭的解决方案
X(X) 去噪的 ( 以下为: , 以下为: , ) = 小时 提克 ( L(左) G公司 , L(左) R(右) ) Y(Y) ( 以下为: , 以下为: , ) , = 1 , 2 ,
即,中定义的联合时间顶点过滤操作(11)使用相同的联合不可分离低通滤波器,应用于每个有噪声的x、y和z坐标 小时 提克 ,在联合谱域中定义为[50](方程式(31))
小时 提克 ( λ G公司 , λ R(右) ) = 1 1 + τ 1 λ G公司 + τ 2 λ R(右)
我们执行网格搜索以查找参数值 τ 1 τ 2 使相对误差最小化 | | X(X) 去噪的 X(X) | | F类 | | X(X) | | F类 对噪声的多次实现进行平均。图11g、 我们显示了结果过滤器 小时 提克 ( λ G公司 , λ R(右) ) 具有 τ 1 = 7.20 τ 2 = 0.45 关于图的联合谱图11e.中的黑色虚线图11h表示中精确计算的去噪序列之间的相对误差(15)以及原始动态3D网格序列,平均超过20个加性高斯噪声实现。同一图像中的其他三条曲线显示了计算时的平均相对误差(15)通过快速傅里叶-切比雪夫方法进行近似[50]Chebyshev2D方法[64],以及算法3的频谱自适应近似时间顶点滤波(快速傅里叶加权最小二乘),针对不同的多项式次数值K(K)所有三种近似都收敛到精确解和相应的误差,但程度较低( K(K) 10 ),光谱自适应快速傅里叶加权最小二乘法产生更好的近似值。图11c–d一次显示去噪网格示例( t吨 = 5 )由其中两个近似值得出 K(K) = 6 两者之间的差异很细微,但可以通过扫描狗的顶部看到,网格点形成了稍微光滑的表面。

7.结论

我们提出了两种新的频谱自适应多项式逼近方法 (f) ( A类 ) b条 对于大型稀疏矩阵:谱自适应插值和谱自适应加权最小二乘/正交多项式展开。这些方法利用矩阵的累积谱密度的估计来构建固定阶的多项式K(K)得出更好的近似值(f)在矩阵谱的高密度区域。在逼近精度方面,数值实验表明,相对于最先进的Lanczos和Chebysev多项式逼近技术,所提出的方法通常在较低的多项式阶数下获得更精确的逼近;然而,所提出的频谱自适应插值方法在较高程度上不是很稳定( K(K) > 10 )由于过盈。所提出的谱自适应加权最小二乘法在具有许多不同内部特征值的矩阵的精度方面表现得特别好,而Lanczos方法,例如,在K(K)更高和/或矩阵 A类 具有许多极值特征值。一个潜在的扩展是研究一种结合Lanczos和光谱自适应加权最小二乘法的混合方法。关于函数形状的相对近似精度,我们没有注意到一致的趋势(f)
就计算复杂性而言,我们的方法(如切比雪夫多项式近似)的成本为 O(运行) ( M(M) K(K) ) ,其中 M(M) = n个 n个 z ( A类 ) 。对于非常大的稀疏矩阵,此复杂性降低为 O(运行) ( N个 K(K) ) ,其中 A类 是一个 N个 × N个 另一方面,Lanczos方法需要额外的 O(运行) ( N个 K(K) 2 ) 正交化步骤导致的成本,使得足够大的成本更高K(K)最后,所提出的频谱自适应方法,如切比雪夫近似,能够通过相邻节点之间的通信进行高效的并行和分布式计算[33]. 另一方面,Lanczos方法的内部产品可能会在某些分布式计算环境(例如GPU)中导致额外的通信费用或严重的效率损失。

作者贡献

概念化、T.F.、D.I.S.、S.U.和Y.S。;数据管理、T.F.、D.I.S.和S.U。;形式分析、T.F.、D.I.S.和S.U。;资金收购,D.I.S。;调查、T.F.、D.I.S.和S.U。;方法、T.F.、D.I.S.、S.U.和Y.S。;项目管理,D.I.S。;软件、T.F.、D.I.S.和S.U。;监督,D.I.S。;验证、T.F.、D.I.S.和S.U。;可视化、T.F.、D.I.S.和S.U。;书面原稿、T.F.、D.I.S.和S.U。;写作审查和编辑、T.F.、D.I.S.、S.U.和Y.S。所有作者均已阅读并同意手稿的出版版本。

基金

这项研究没有得到外部资助。

致谢

我们感谢匿名评论员对本文早期版本的建设性评论。

利益冲突

作者声明没有利益冲突。

可重复性研究

本文中所有数值实验的MATLAB代码可在http://www.macalester.edu/~dshuman1/publications.html。它利用了开放存取的GSPBox[57].

工具书类

  1. A.J.斯莫拉。;Kondor,R.Kernels和图上的正则化。学习理论与核机器; 计算机科学课堂讲稿;Schölkopf,B.,Warmuth,M.,Eds。;施普林格:柏林/海德堡,德国,2003年;第144–158页。[谷歌学者]
  2. 贝尔金,M。;马特维娃,I。;Niyogi,P.正则化和大图的半监督学习。学习理论; 计算机科学课堂讲稿;施普林格:柏林/海德堡,德国,2004年;第624-638页。[谷歌学者]
  3. 周,D。;O.布斯克。;Lal,T.N。;韦斯顿,J。;Schölkopf,B。本地和全球一致性学习; 神经信息处理系统的进展;Thrun,S.,Saul,L.,Schölkopf,B.,编辑。;麻省理工学院出版社:剑桥,马萨诸塞州,美国,2004年;第16卷,第321-328页。[谷歌学者]
  4. D.I.舒曼。;Narang,S.K。;弗洛萨德,P。;奥尔特加,A。;Vandergheynst,P.图上信号处理的新兴领域:将高维数据分析扩展到网络和其他不规则域。IEEE信号处理。美格。 2013,30, 83–98. [谷歌学者] [交叉参考] [绿色版本]
  5. Defferrard,M。;布列松,X。;范德盖恩斯特,P。基于图的卷积神经网络及其快速局部化谱滤波; 神经信息处理系统的进展;麻省理工学院出版社:剑桥,马萨诸塞州,美国,2016年;第3844–3852页。[谷歌学者]
  6. Bronstein,医学博士。;布鲁纳,J。;LeCun,Y。;Szlam,A。;Vandergheynst,P.几何深度学习:超越欧几里德数据。IEEE信号处理。美格。 2017,34, 18–42. [谷歌学者] [交叉参考] [绿色版本]
  7. 震颤,北。;Puy,G。;Gribonval,R。;Vandergheynst,P.压缩光谱聚类。程序。内部配置机。学习。 2016,48,1002–1011。[谷歌学者]
  8. 奥瑞奇亚,L。;Sachdeva,S。;Vishnoi,N.K.近似指数、Lanczos方法和Õ()-平衡分离器的时间谱算法。程序。ACM交响乐团。理论计算。 2012, 1141–1160. [谷歌学者] [交叉参考]
  9. 林,L。;萨阿德,Y。;Yang,C.大矩阵的近似谱密度。SIAM版本。 2016,58, 34–65. [谷歌学者] [交叉参考]
  10. 乌巴鲁,S。;Saad,Y.估计大矩阵数值秩的快速方法。程序。内部配置机。学习。 2016,48, 468–477. [谷歌学者]
  11. 乌巴鲁,S。;萨阿德,Y。;Seghouane,A.K.使用谱密度快速估计近似矩阵秩。神经计算。 2017,29, 1317–1351. [谷歌学者] [交叉参考]
  12. 乌巴鲁,S。;陈,J。;Saad,Y.tr的快速估计((f)(A类))通过随机Lanczos求积。SIAM J.矩阵分析。申请。 2017,38, 1075–1099. [谷歌学者] [交叉参考]
  13. 韩,I。;Malioutov,D。;Avron,H。;Shin,J.使用随机切比雪夫近似逼近大尺度矩阵的谱和。SIAM科学杂志。计算。 2017,39,A1558–A1585。[谷歌学者] [交叉参考] [绿色版本]
  14. Arora,S。;半定规划的组合、原对偶方法。程序。ACM交响乐团。理论计算。 2007, 227–236. [谷歌学者] [交叉参考]
  15. Sachdeva,S。;Vishnoi,N.K.通过近似理论实现更快的算法。已找到。趋势理论。计算。科学。 2014,9, 125–210. [谷歌学者] [交叉参考]
  16. Hochbruck先生。;卢比奇,C。;Selhofer,H.大型微分方程组的指数积分器。SIAM科学杂志。计算。 1998,19, 1552–1574. [谷歌学者] [交叉参考] [绿色版本]
  17. 弗里斯纳,R.A。;塔克曼,L。;Dornblaster,B。;Russo,T.V.刚性非线性微分方程大系统的指数传播方法。科学杂志。计算。 1989,4, 327–354. [谷歌学者] [交叉参考]
  18. 加洛普洛斯,E。;Saad,Y.用Krylov逼近方法求解抛物方程的有效解。SIAM科学杂志。统计计算。 1992,13, 1236–1264. [谷歌学者] [交叉参考] [绿色版本]
  19. 新泽西州海姆。矩阵的函数; SIAM:美国宾夕法尼亚州费城,2008年。[谷歌学者]
  20. 戴维斯,P.I。;新泽西州海姆计算f(A)b对于矩阵函数(f).英寸QCD与数值分析III; 施普林格:柏林/海德堡,德国,2005年;第15-24页。[谷歌学者]
  21. Frommer,A。;Simoncini,V.矩阵函数。模型降阶:理论、研究方向和应用; 施普林格:德国柏林/海德堡,2008年;第275-303页。[谷歌学者]
  22. 莫勒,C。;Van Loan,C.《计算矩阵指数的十九种可疑方法》,二十五年后。SIAM版本。 2003,45, 3–49. [谷歌学者] [交叉参考]
  23. Druskin,V.L。;Knizhnerman,L.A.计算对称矩阵函数的两种多项式方法。苏联计算。数学。数学。物理学。 1989,29, 112–121. [谷歌学者] [交叉参考]
  24. Saad,Y.过滤共轭残差型算法及其应用。SIAM J.矩阵分析。申请。 2006,28, 845–870. [谷歌学者] [交叉参考] [绿色版本]
  25. 陈,J。;Anitescu,M。;Saad,Y.计算f(A)b通过最小二乘多项式近似。SIAM科学杂志。公司。 2011,33,195–222。[谷歌学者] [交叉参考] [绿色版本]
  26. 德鲁斯金,V。;Knizhnerman,L.扩展Krylov子空间:矩阵平方根和相关函数的逼近。SIAM J.矩阵分析。申请。 1998,19, 755–771. [谷歌学者] [交叉参考]
  27. 艾尔曼,M。;Ernst,O.G.矩阵函数评估的重新启动的Krylov子空间方法。SIAM J.数字。分析。 2006,44, 2481–2504. [谷歌学者] [交叉参考] [绿色版本]
  28. Afanasjew,M。;艾尔曼,M。;Ernst,O.G。;Güttel,S.矩阵函数计算的重启动Krylov子空间方法的实现。线性代数。申请。 2008,429,2293–2314。[谷歌学者] [交叉参考]
  29. Frommer,A。;Lund,K。;Schweitzer,M。;Szyld,D.B.矩阵函数的Radau-Lanczos方法。SIAM J.矩阵分析。申请。 2017,38, 710–732. [谷歌学者] [交叉参考] [绿色版本]
  30. Golub,G.H。;Van Loan,成本加运费。矩阵计算; 约翰·霍普金斯大学出版社:美国马里兰州巴尔的摩,2013年。[谷歌学者]
  31. 梅森,J.C。;哥伦比亚特区Handscomb。切比雪夫多项式; 查普曼和霍尔:英国伦敦,2003年。[谷歌学者]
  32. Trefethen,法律公告。近似理论与近似实践; SIAM:美国宾夕法尼亚州费城,2013年。[谷歌学者]
  33. D.I.舒曼。;范德盖恩斯特,P。;Kressner,D。;Frossard,P.通过切比雪夫多项式逼近进行分布式信号处理。IEEE传输。信号信息处理。Netw公司。 2018,4, 736–751. [谷歌学者] [交叉参考] [绿色版本]
  34. 哈蒙德,D.K。;范德盖恩斯特,P。;Gribonval,R.Wavelets通过谱图论研究图。申请。计算。哈蒙。分析。 2011,30, 129–150. [谷歌学者] [交叉参考] [绿色版本]
  35. 塞加拉,S。;马奎斯,A.G。;Ribeiro,A.最优图滤波器设计及其在分布式线性网络运营商中的应用。IEEE传输。信号处理。 2017,65, 4117–4131. [谷歌学者] [交叉参考]
  36. Van Mieghem,P。复杂网络的图谱; 剑桥大学出版社:英国剑桥,2011年。[谷歌学者]
  37. 陶,T。随机矩阵理论专题; 美国数学学会:普罗维登斯,RI,美国,2012年。[谷歌学者]
  38. 银,R.N。;Röder,H.高维哈密顿矩阵的状态密度。国际期刊修订版。物理学。C类 1994,5,735–753。[谷歌学者] [交叉参考]
  39. 银,R.N。;罗德,H。;投票者,A.F。;Kress,J.D.状态密度和谱函数的核多项式近似。J.计算。物理学。 1996,124, 115–130. [谷歌学者] [交叉参考]
  40. Wang,L.W.用平面波矩法计算大量子系统的态密度和光学吸收光谱。物理。版本B 1994,49, 10154. [谷歌学者] [交叉参考]
  41. 李,S。;Jin,Y。;Shuman,D.I.可扩展M(M)-图形信号的信道临界采样滤波器组。IEEE传输。信号处理。 2019,67, 3954–3969. [谷歌学者] [交叉参考] [绿色版本]
  42. D.吉拉德。Un Algorithme Simple et Rapide Pour la Validation Croisée Généralisée sur des Problèmes de Grande Taille简单快速验证; 技术报告;格勒诺布尔阿尔卑斯大学:法国圣马丁教堂,1987年。[谷歌学者]
  43. Girard,A.一种快速的“蒙特卡罗交叉验证”程序,用于处理含有噪声数据的大型最小二乘问题。数字。数学。 1989,56, 1–23. [谷歌学者] [交叉参考]
  44. Di Napoli,E。;波利齐,E。;Saad,Y.区间内特征值计数的有效估计。数字。线性代数应用。 2016,23, 674–692. [谷歌学者] [交叉参考] [绿色版本]
  45. Puy,G。;Pérez,P.平滑图形信号的结构化采样和快速重建。Inf.推断A J.IMA 2018,7, 657–688. [谷歌学者] [交叉参考] [绿色版本]
  46. D.I.舒曼。;魏斯迈耶,C。;Holighaus,北卡罗来纳州。;Vandergheynst,P.谱自适应紧图小波和顶点频率框架。IEEE传输。信号处理。 2015,63, 4223–4235. [谷歌学者] [交叉参考] [绿色版本]
  47. Fritsch,F.N。;Carlson,R.E.单调分段三次插值。SIAM J.数字。分析。 1980,17, 238–246. [谷歌学者] [交叉参考]
  48. Gleich,D.MatlabBGL Matlab库。在线可用:http://www.cs.purdue.edu/home/dgleich/packages/matlab_bgl/index.html(2020年11月11日查阅)。
  49. 斯坦福大学计算机图形实验室。斯坦福3D扫描库。在线可用:http://graphics.stanford.edu/data/3Dscanrep/(于2020年11月11日访问)。
  50. 格拉西,F。;Loukas,A。;佩罗丁,N。;时间-频率信号处理框架:图上时间序列的可缩放处理和有意义表示。IEEE传输。信号处理。 2018,66, 817–829. [谷歌学者] [交叉参考] [绿色版本]
  51. T.A.戴维斯。;Hu,Y.佛罗里达大学稀疏矩阵集合。ACM变速器。数学。柔和。 2011,38, 1:1–1:25. [谷歌学者] [交叉参考]
  52. Forsythe,G.E.用数字计算机进行数据拟合的正交多项式的生成和使用。J.SIAM公司 1957,5, 74–88. [谷歌学者] [交叉参考]
  53. 西高茨基。正交多项式:计算与逼近; 牛津大学出版社:英国牛津,2004年。[谷歌学者]
  54. 格拉格,W.B。;Harrod,W.J.从光谱数据重建雅可比矩阵的数值稳定性。数字。数学。 1984,44, 317–335. [谷歌学者] [交叉参考]
  55. Saad,Y.矩阵指数算子的一些Krylov子空间逼近的分析。SIAM J.数字。分析。 1992,29, 209–228. [谷歌学者] [交叉参考]
  56. Golub,G.H。;G·穆兰特。矩阵、矩和求积及其应用; 普林斯顿大学出版社:美国新泽西州普林斯顿,2010年。[谷歌学者]
  57. 佩罗丁,N。;Paratte,J。;D.I.舒曼。;Kalofolias,V.公司。;范德盖恩斯特,P。;哈蒙德,D.K.GSPBOX:图形信号处理工具箱。arXiv公司 2014,arXiv:1408.5781。在线可用:https://epfl-lts2.github.io/gspbox-html网址/(2020年11月11日查阅)。
  58. Shuman,D.I.《局部化谱图滤波器框架:统一框架、设计考虑综述和数值比较》。IEEE信号处理。美格。 2020,37, 43–63. [谷歌学者] [交叉参考]
  59. Göbel,F。;布兰查德,G。;von Luxburg,U。图上紧框架的构造及其在去噪中的应用。大数据分析手册; 施普林格:德国柏林/海德堡,2018年;第503-522页。[谷歌学者]
  60. de Loynes,B。;纳瓦罗,F。;Olivier,B.谱图小波变换去噪中的数据驱动阈值。arXiv公司 2019,arXiv:1906.01882。[谷歌学者]
  61. Puy,G。;Tremblay,N。;Gribonval,R。;Vandergheynst,P.图上带限信号的随机采样。申请。计算。哈蒙。分析。 2018,44, 446–475. [谷歌学者] [交叉参考] [绿色版本]
  62. Benzi,M。;Boito,P.邻接矩阵函数基于求积规则的界。线性代数。申请。 2010,433, 637–652. [谷歌学者] [交叉参考] [绿色版本]
  63. Bekas,C。;Kokiopoulou,E。;Saad,Y.矩阵对角线的估计。申请。数字。数学。 2007,57, 1214–1229. [谷歌学者] [交叉参考] [绿色版本]
  64. Loukas,A。;Foucard,D.时变图形信号的频率分析。2016年IEEE信号和信息处理全球会议(GlobalSIP)会议记录,2016年12月7日至9日,美国华盛顿特区;第346-350页。[谷歌学者]
  65. 佩罗丁,N。;Loukas,A。;格拉西,F。;Vandergheynst,P.走向平稳时间-频率信号处理。2017年3月5日至9日,在美国洛杉矶新奥尔良举行的2017年IEEE声学、语音和信号处理国际会议(ICASSP)上;第3914-3918页。[谷歌学者]
  66. L.J.格雷迪。;J.R.波里曼尼。离散微积分; 施普林格:德国柏林/海德堡,2010年。[谷歌学者]
  67. Isufi,E。;Loukas,A。;Simonetto,A。;Leus,G.可分离自回归移动平均图-时间滤波器。2016年8月29日至9月2日在匈牙利布达佩斯举行的2016年第24届欧洲信号处理会议(EUSIPCO)会议记录;第200-204页。[谷歌学者]
图1。函数的5次多项式近似 (f) ( λ ) = e(电子) λ 具有500个顶点的随机Erdös–Renyi图的拉普拉斯算子,边概率为0.2。离散最小二乘近似在谱的低端引起较大的误差。然而,由于特征值集中在频谱的上端,因此产生了较低的近似误差 | | (f) ( A类 ) 第页 5 ( A类 ) | | 2
图1。函数的5次多项式近似 (f) ( λ ) = e(电子) λ 具有500个顶点的随机Erdös–Renyi图的拉普拉斯算子,边概率为0.2。离散最小二乘近似在谱的低端引起较大的误差。然而,由于特征值集中在频谱的上端,因此产生了较低的近似误差 | | (f) ( A类 ) 第页 5 ( A类 ) | | 2
算法13 00295 g001
图2。八个实对称矩阵的估计和实际累积谱密度函数A类。我们估计了 S公司 = 10 线性间隔点 [ λ ̲ , λ ¯ ] 通过(6),具有学位 K(K) Θ = 30 多项式和 J型 = 10 随机向量 x个 ( j个 )
图2。八个实对称矩阵的估计和实际累积谱密度函数A类。我们估计了 S公司 = 10 线性间隔点 [ λ ̲ , λ ¯ ] 通过(6),具有学位 K(K) Θ = 30 多项式和 J型 = 10 随机向量 x个 ( j个 )
算法13 00295 g002
图3。中描述的同一图拉普拉斯矩阵的六个插值点的构造图1.插值点 { x个 k个 } 通过将估计的累积谱密度函数的倒数应用于初始切比雪夫点来计算水平轴上的 { k个 } 在垂直轴上。
图3。同一图的六个插值点的构造图1.插值点 { x个 k个 } 通过将估计的累积谱密度函数的倒数应用于初始切比雪夫点来计算水平轴上的 { k个 } 在垂直轴上。
算法13 00295 g003
图4。中定义的前六个离散正交多项式的比较(8),适用于随机Erdös–Renyi图的估计累积光谱密度图1,图2图3,到(底部)前六个标准移位切比雪夫多项式 k个 = 0 至5。在右侧放大框中显示的高光谱密度区域,离散正交多项式具有更多振荡,同时保持较小振幅,从而能够更好地逼近该区域中的平滑函数。
图4。中定义的前六个离散正交多项式的比较(8),适用于随机Erdös–Renyi图的估计累积光谱密度图1,图2图3,到(底部)前六个标准移位切比雪夫多项式 k个 = 0 至5。在右侧放大框中显示的高光谱密度区域,离散正交多项式具有更多振荡,同时保持较小振幅,从而能够更好地逼近该区域中的平滑函数。
算法13 00295 g004
图5。近似值 (f) ( A类 ) b条 具有 b条 = 1 (f) ( λ ) 等于 e(电子) λ (前两列)和低通、带通和高通频谱图滤波器(分别为最后三列)。
图5。近似值 (f) ( A类 ) b条 具有 b条 = 1 (f) ( λ ) 等于 e(电子) λ (前两列)和低通、带通和高通频谱图滤波器(分别为最后三列)。
算法13 00295 g005a算法13 00295 g005b
图6。频谱图滤波器组示例。()一个itersine核的五个统一翻译集 π 2 余弦 2 ( π x个 ) [46,57]. (b条)一组四个对数小波变换(也称为八进制或小波滤波器)[46]. 我们用 N个 = 2503 顶点;然而,设计仅取决于光谱范围 [ 0 , λ 最大值 ] ,因此,对于所有考虑的图形,过滤器看起来都是一样的(拉伸的除外),例如图5
图6。频谱图滤波器组示例。()迭代内核的五个统一翻译的集合 π 2 余弦 2 ( π x个 ) [46,57]. (b条)一组四个对数小波变换(也称为八进制或小波滤波器)[46]. 我们用 N个 = 2503 顶点;然而,设计仅取决于光谱范围 [ 0 , λ 最大值 ] ,因此,对于所有考虑的图形,过滤器看起来都是一样的(拉伸的除外),例如图5
算法13 00295 g006
图7。谱图小波字典中原子的范数估计。()精确的原子规范, { | | φ , | | 2 } ,由生成过滤器的索引着色(如所示图6),每个顶点都被定位到兔子图上的每个顶点。(b条)估计标准的比较, { ν , } ,达到相应的精确标准(以黑色显示)。原子按精确范数的降序排序,以帮助进行视觉比较。(c(c))估计范数与精确原子范数的比值。(d日——(f))在三个不同的图上,使用不同的多项式近似方法、多项式次数,由同一组滤波器生成的字典的所有原子的平均相对误差K(K)、和随机向量的数量J型
图7。谱图小波字典中原子的范数估计。()精确的原子规范, { | | φ , | | 2 } ,由生成过滤器的索引着色(如所示图6),每个都被定位到兔子图上的每个顶点。(b条)估计标准的比较, { ν , } ,达到相应的精确标准(以黑色显示)。原子按精确范数的降序排序,以帮助进行视觉比较。(c(c))估计范数与精确原子范数的比值。(d日——(f))在三个不同的图上,使用不同的多项式近似方法、多项式次数,由同一组滤波器生成的字典的所有原子的平均相对误差K(K)、和随机向量的数量J型
算法13 00295 g007
图8。传感器图上定义的时间顶点信号G公司具有 N个 = 64 顶点和 T型 = 4 观察结果,在多层图形结构上可视化。每个层都是G公司在一个时间点观察到。
图8。传感器图上定义的时间顶点信号G公司具有 N个 = 64 顶点和 T型 = 4 观察结果,在多层图形结构上可视化。每一层都是G公司在一个时间点观察到。
算法13 00295 g008
图9。为随机Erdös–Renyi图定义的两个时间-顶点过滤器,具有500个顶点和0.2个边概率。()理想的低通滤波器;(b条)滤波器。蓝点对应于特征值对的位置。
图9。为随机Erdös–Renyi图定义的两个时间-顶点过滤器,具有500个顶点和0.2个边概率。()理想的低通滤波器;(b条)滤波器。蓝点对应于特征值对的位置。
算法13 00295 g009
图10。近似误差 | | 小时 ( L(左) G公司 , L(左) R(右) ) X(X) Y(Y) | | F类 | | 小时 ( L(左) G公司 , L(左) R(右) ) X(X) | | F类 对于 小时 ( L(左) G公司 , L(左) R(右) ) X(X) 什么时候小时是理想的低通滤波器(12)和滤波器(13).
图10。近似误差 | | 小时 ( L(左) G公司 , L(左) R(右) ) X(X) Y(Y) | | F类 | | 小时 ( L(左) G公司 , L(左) R(右) ) X(X) | | F类 对于 小时 ( L(左) G公司 , L(左) R(右) ) X(X) 什么时候小时是理想的低通滤波器(12)和滤波器(13).
算法13 00295 g010
图11。走狗三维网格时变序列的去噪。顶行:每个动态序列一个元素()原件(b条)噪音,以及(c(c),d日)去噪(使用两种不同的近似方法)网格。最下面一行:(e(电子),(f))由整个含噪网格序列构造的5近邻图(及其谱CDF),用于在任何情况下对网格进行去噪;()联合时间-顶点低通滤波器(16); 和(小时)原始网格序列与精确或近似计算得到的去噪版本之间的平均相对误差(15)用不同的多项式逼近方法,对于多项式次数的范围。
图11。走狗三维网格时变序列的去噪。顶行:每个动态序列一个元素()原始的(b条)噪音,以及(c(c),d日)去噪(使用两种不同的近似方法)网格。最下面一行:(e(电子),(f))由噪声网格的整个序列构建的5-最近邻图(及其频谱CDF),用于在所有时刻对网格进行去噪;()联合时间-顶点低通滤波器(16); 和(小时)原始网格序列与精确或近似计算得到的去噪版本之间的平均相对误差(15)用不同的多项式逼近方法,对于多项式次数的范围。
算法13 00295 g011
出版商备注:MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

风扇,T。;D.I.舒曼。;乌巴鲁,S。;萨阿德,Y。矩阵函数的谱自适应多项式逼近及其在图形信号处理中的应用。算法 2020,13, 295.https://doi.org/10.3390/a13110295

AMA风格

Fan T、Shuman DI、Ubaru S、Saad Y。矩阵函数的谱自适应多项式逼近及其在图形信号处理中的应用。算法. 2020; 13(11):295.https://doi.org/10.3390/a13110295

芝加哥/图拉宾风格

Fan、Tiffany、David I.Shuman、Shashanka Ubaru和Yousef Saad。2020年,“矩阵函数的谱自适应多项式逼近及其在图形信号处理中的应用”算法13,编号11:295。https://doi.org/10.3390/a13110295

请注意,从2016年第一期开始,该杂志使用文章编号而不是页码。请参阅更多详细信息在这里

文章指标

返回页首顶部