3.1移位功率迭代和设置动态移位
计算\（\textbf{Q}=\textbf{AA}^{\mathrm{T}}\textbv{Q}\）在幂迭代中算法1与计算最大特征值和对应特征向量的幂方法相同\（\textbf{AA}^{\mathrm{T}}\）由于第二大特征值与最大特征值之比的减小，移位技巧可用于加速幂方法的收敛[17]. 这激发了在随机SVD算法的幂迭代中使用移位的想法。我们首先给出两个引理[17]用移位值导出功率迭代。 引理2。对于对称实值矩阵 \（{{\bf A}}\）,其奇异值是其特征值的绝对值。对于任何特征值 \（\lambda\） 属于 \（{{\bf A}}\）,奇异值对应的左奇异向量 \（|\lambda|\） 是的归一化特征向量 \（\lambda\）.
引理3。假设矩阵 \（{{\bf A}}\in\mathbb{R}^{n\timesn}\）,还有一次换班 \（\alpha\in\mathbb{R}\）.对于任何特征值 \（\lambda\） 属于 \（{{\bf A}}\）,\（\lambda-\alpha\） 是的特征值 \（{{\bf A}}-\alpha{\bf-I}}\）,哪里 \（{{\bf I}}\） 是单位矩阵 \（{{\bf A}}\） 对于 \（\lambda\） 与的特征空间相同 \（{{\bf A}}-\alpha{\bf-I}}\） 对于 \（\lambda-\alpha\）.
对于任何矩阵A类,\（\textbf{AA}^{\mathrm{T}}\）是对称半正定矩阵，因此其奇异值是其特征值，根据引理2.引理3说明了这一点\（\sigma_{i}（\textbf{AA}^{mathrm{T}}）-\alpha\）是的特征值\（\textbf{AA}^{\mathrm{T}}\！-\！\alpha\textbf{I}\）.和\（|\sigma_{i}（\textbf{AA}^{\mathrm{T}}）\！-\！\阿尔法|\）是的奇异值\（\textbf{AA}^{\mathrm{T}}\！-\！\alpha\textbf{I}\）根据引理2.英寸算法1，衰减趋势最大\（l）处理矩阵的奇异值影响SVD结果的准确性。什么时候？\（\sigma_{i}（\textbf{AA}^{\mathrm{T}}）-\alpha\gt 0\）对于任何\（i \leq l），它们是\（l）最大奇异值\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\），它们明显表现出更快的衰变。以下命题说明了满足这些条件的时间。 提案2。假设 \（0\lt\alpha\！\leq\！\sigma_{l}（{{\bf A}}{{\b A}}^{\mathrm{T}}）/2\） 和 \（i \leq l）.然后,\（\sigma_{i}（{{\bf-AA}}^{\mathrm{T}}-\alpha{\bf i}}.此外，如果 \（\sigma{i}（{{\bf-AA}}^{\mathrm{T}}-\alpha{\bf i}}）\neq\sigma{l+1},对应于 \（i）第个最大奇异值 \（{{\bf A}}{{\b A}}^{\mathrm{T}}\！-\！\alpha{\bfI}}\） 是对应于 \（i）第个最大奇异值 \（{{\bf A}}{{\b A}}^{\mathrm{T}}\）,反之亦然。
证明。什么时候？\（0\lt\alpha\！\leq\！\sigma_{l}（\textbf{A}\textbf{A}^{mathrm{T}}）/2\），我们可以推导\（2\alpha\leq\sigma_{l}（\textbf{AA}^{mathrm{T}}）和\（0\lt\alpha\leq\sigma_{l}（\textbf{AA}^{mathrm{T}）-\alpha\）因此，\（\alpha-\sigma_{i}（\textbf{AA}^{mathrm{T}}）\leq\alpha\leq\sigma_{l}（\textbf{AA}^{mathrm{T}）-\alpha\）。对于任何\（i） 请注意\（\sigma_{i}（\textbf{AA}^{\mathrm{T}}）也是的特征值\（\textbf{AA}^{\mathrm{T}}\），以及\（|\sigma_{i}（\textbf{AA}^{\mathrm{T}}）-\alpha|\）是一个奇异值\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\）根据引理2和三因此，结合方程式（10）和(11)我们可以看到\（|\sigma_{i}（\textbf{AA}^{\mathrm{T}}）-\alpha|\）,\（1），是\（l）最大奇异值\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\），以及 引理2表明，对于任何\（i \leq l）对应于的左奇异向量\（\sigma_{i}（\textbf{AA}^{\mathrm{T}}）与特征值的归一化特征向量相同\（\sigma_{i}（\textbf{AA}^{\mathrm{T}}）属于\（\textbf{AA}^{\mathrm{T}}\），以及对应于的左奇异向量\（\sigma_{i}（\textbf{AA}^{mathrm{T}}）-\alpha\）与特征值的归一化特征向量相同\（\sigma_{i}（\textbf{AA}^{mathrm{T}}）-\alpha\）属于\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\）。请注意\（\sigma_{i}（\textbf{AA}^{mathrm{T}}-\alpha\textbf{i}）\neq\sigma{l+1}（\textbf{AA}^{mathrm{T}}-\ alpha\text bf{i}）\）确保\（\sigma_｛i｝（\textbf｛AA｝^｛\mathrm｛T｝｝-\alpha\textbf｛i｝）=\sigma_｛i｝（\textbf｛AA｝^｛\mathrm｛T｝｝）-\alpha\）是仅存在于最大值中的值\（l）奇异值\（\sigma_{1}（\textbf{AA}^{mathrm{T}}-\alpha\textbf{I}），\cdots，\sigma{l}（\textbf{AA}^{mathrm{T}}-\ alpha\text bf{I}）.根据引理3，特征空间\（\textbf{AA}^{\mathrm{T}}\）对于\（\sigma_{i}（\textbf{AA}^{\mathrm{T}}）与的特征空间相同\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\）对于\（\sigma_{i}（\textbf{AA}^{mathrm{T}}）-\alpha\）对于任何\（i \leq l）因此，结合方程式（12）为任何\（i \leq l），对应于\（i）第个最大奇异值\（\sigma_{i}（\textbf{AA}^{\mathrm{T}}）属于\（\textbf{AA}^{\mathrm{T}}\）是对应于\（i）第个最大奇异值\（\sigma_{i}（\textbf{AA}^{mathrm{T}}）-\alpha\）属于\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\）反之亦然。□ 提议2这表明，如果我们选择换班\（0\lt\alpha\！\leq\！\sigma_{l}（\textbf{A}\textbf{A}^{mathrm{T}}）/2\），我们可以更改计算\（\textbf{Q}=\textbf{AA}^{\mathrm{T}}\textbv{Q}\）到\（\textbf{Q}=（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}）\textbf{Q}\）在幂迭代中，使用相同的近似支配子空间。我们称之为移位功率迭代。对于移位功率迭代的每一步，这使得问主子空间的基的近似\（范围（\textbf{A}）\）比执行原始幂迭代步骤的范围更大，因为\（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}\）比\（\textbf{AA}^{\mathrm{T}}\）因此，移位功率迭代可以提高具有相同功率参数的随机SVD算法的精度\（p\）.然后，如何设置班次\（\字母\）剩下的问题是正确的。 算法2带有动态移位的随机SVD输入： \（\mathbf{A}\in\mathbb{R}^{m\次n}\），参数\（k\）,\（\）,\（p\）
输出： \（\mathbf{U}\in\mathbb{R}^{m\次k}\）,\（\mathbf{S}\in\mathbb{R}^{k\次k}\）,\（\mathbf{V}\in\mathbb{R}^{n\times k}\）
1: \（l=k+s）,\（\bf{\Omega}=\mathrm{randn}（{\it{n，\l}}）
2: \（\mathbf{Q}=\mathrm{orth}（\mathbf{A}\bf{\Omega}）\）,\（阿尔法=0）
3: 对于 \（j=1,2，\cdots，p\） 做
4: \（[\mathbf{Q}，\mathbf{hat{S}}，\sim]=\mathrm{svd}{问}-\alpha\mathbf｛Q｝，\mathrm｛'econ｝）\）
5: 如果 \（\mathbf{\hat{S}}（l，l）\gt\alpha\） 然后 \（\alpha=\frac{\mathbf{\hat{S}}（l，l）+\alpha}{2}\）
6: 结束 对于
7: \（\mathbf{B}=\mathbf{Q}^{\mathrm{T}}\mathbf1{A}\）
8: \（[\mathbf{U}，\mathbf{S}，\tathbf{V}]=\mathrm{svd}（\tathbf{B}，\fathrm{'econ'}）\）
9: \（\mathbf{U}=\mathbf1{Q}\mathbf2{U}（：，1\！：\！k），\mathbf{S}\！=\！\mathbf{S}（1\！：\！k，1\！\mathbf{V}（：，1\！：\！k）\）
考虑奇异值比率从\（\frac{\sigma{i}（\textbf{AA}^{\mathrm{T}}）}{\simma{j}（\textbf{AA}^{mathrm}）{\）到\（\frac{\sigma{i}（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{i}）}{\simma_{j}，用于\（j）和\（\西格玛_｛j｝（\textbf｛AA｝^｛\mathrm｛T｝｝）\ gt \西格玛_｛i｝（\textbf｛AA｝^｛\mathrm｛T｝）\）。很容易看到\（\frac{\sigma{i}（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{i}{\mathrm{T}}）}\）如果假设\（\字母\）在里面提议2持有。的较大值\（\字母\），比率越小\（\frac{\sigma{i}（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{i}）}{\simma_{j}，反映了奇异值更快的衰减。因此，为了最大限度地提高移位功率迭代对提高精度的影响，我们应该选择移位\（\字母\）在满足要求的同时尽可能大\（\alpha\leq\sigma_{l}（\textbf{AA}^{mathrm{T}}）/2\）注意，计算\（\sigma_{l}（\textbf{A}\textbf{A}^{mathrm{T}）直接是非常困难的。我们的想法是使用\（\textbf{A}\textbf{A}^{\mathrm{T}}\textbf{Q}\）在幂迭代中逼近\（\sigma_{l}（\textbf{A}\textbf{A}^{mathrm{T}）并设置班次\（\字母\）.假设\（\textbf{Q}\in\mathbb{R}^{m\次l}\）是的幂迭代中的正交矩阵算法1.根据提议1,这意味着我们可以设置\（\alpha=\sigma_{l}（\textbf{A}\textbf{A}^{mathrm{T}}\textbf{Q}）/2\）以保证\（\字母\）在里面提议2用于执行移位功率迭代。进行正交归一化以减小舍入误差并计算\（\sigma_{l}（\textbf{A}\textbf{A}^{mathrm{T}}\textbf{Q}）\），我们使用经济SVD实现“orth（●）”。这与使用QR分解具有相似的计算量，并且得到的左奇异向量矩阵包含相同子空间的正交基。 到目前为止，我们可以计算\（\字母\）在幂迭代的第一步，然后我们执行\（\textbf{Q}\！=\！（\textbf{AA}^{\mathrm{T}}-\alpha\textbf{I}）\textbf{Q}）在以下迭代步骤中。注意计算的奇异值\（（\textbf{AA}^{mathrm{T}}-\alpha\textbf{I}）\textbv{Q}\）很方便。然后，根据提议1和2，我们可以用\（0\lt\alpha\leq\sigma_{l}（\textbf{AA}^{mathrm{T}）/2\）其中说明了如何使用的奇异值\（（\textbf{AA}^{mathrm{T}}\！-\！\alpha\textbf{I}）\textbf{Q}\）到近似值\（\sigma_{i}（\textbf{A}\textbf{A}^{mathrm{T}}）因此，在每个迭代步骤中，我们都可以获得shift和update的有效值\（\字母\）如果我们有更大的\（\字母\），以加快奇异值的衰减。 将移位幂迭代与动态更新方案相结合\（\字母\），我们推导了一种基于动态移位功率迭代的随机SVD算法算法2。在步骤5中，它检查\（\frac{\sigma{l}（（\textbf{A}\textb5{A}^{mathrm{T}}\！-\alpha\textbf{I}）\mathbf{Q}）+\alpha}{2}\）大于\（\字母\）.对于相同的功率参数设置\（p\）,算法2计算时间与算法1（用SVD代替高瘦矩阵的QR），但产生的结果具有更好的准确性。对于矩阵问用计算算法2，我们导出了\（\|\textbf{Q}\textbf{Q}^{\tathrm{T}}\textbf{答}-\文本框{A}\|\），这反映了计算出的截断SVD接近最优值的程度。 定理1。假设 \（｛\bf A｝｝\in\mathbb｛R｝^｛m\times n｝｛｝（m\geq n）\）,和 \（k\）,\（\）,和 \（p\） 中的参数是吗算法2.\（l=k+s \leq n-k）,和 \（{{\bf Q}}\） 大小 \（m\乘以l\） 是获得的正交矩阵算法2.如果是正整数 \（j \lt k）,和实数 \（测试版）,\（伽玛射线1） 令人满意的 \（φ=\） \（压裂{1}{\sqrt{2\pi（l-j+1）}}\左（压裂{e}{（l-j+1）\beta}\右）^{l-j+1}+\frac{1}}{4\伽马（\gamma^{2}-1)}\左（frac{1}{\sqrt{pi（n-k）}}）^{2}-1}}\右）^{n-k}+\frac{1}{\sqrt{\pil}}\左（\frac{2\gamma^{2}}{e^{\gamma^{2}-1}}\右）^{l}\右）\leq 1\）,然后 概率不小于 \（1-\phi\）,哪里 \（\字母{c}\） 表示中的移位值 \（c）中的第个移位功率迭代算法2和 \（σ{j}） 表示 \（j）第个最大奇异值 \（{{\bf A}}\）. 算法2可以与更多技能协作，在处理稀疏矩阵的同时实现进一步的加速。首先，我们可以在步骤2、4和8中使用EVD计算身高和瘦矩阵的经济SVD或正交基。这求助于中的eigSVD算法[16]，如中所述算法3。该算法与[16]但以正确的顺序输出奇异值。“eig（●）”计算EVD。“rot90”(S公司，2）”是旋转的函数S公司180°和“\（\mathrm｛fliplr｝（\cdot）\）“第4步是从左到右翻转数组或矩阵的函数。因此，奇异值按降序排列，而与之对应的奇异向量位于正确的位置。其次，对于\（\textbf{A}\in\mathbb{R}^{m\次n}\）具有\（m\gt n\），计算的SVD更有效\（\textbf{A}^{\mathrm{T}}\）具有算法2因此，对于具有\（m\geq n）和\（n \geq m）分别是。具有的矩阵的版本\（m\geq n）如所述算法4，如果我们替换A类具有\（\textbf{A}^{\mathrm{T}}\）. 算法3 eigSVD输入：稠密矩阵\（\mathbf{C}\in\mathbb{R}^{m\次n}\）(\（m\geq n）)
输出： \（\mathbf{U}\in\mathbb{R}^{m\次n}\）, \（\mathbf{S}\in\mathbb{R}^{n\timesn}\）, \（\mathbf{V}\in\mathbb{R}^{n\timesn}\）
1: \（[\mathbf{V}，\mathbf1{D}]=\mathrm{eig}（\mathbf{C}^{\mathrm{T}}\mathbf2{C}）\）
2: \（\mathbf{S}=\mathrm{sqrt}（\mathbf{D}）\）
3: \（\mathbf{U}=\mathbf{C}\mathbf1{V}\mathbf{S}^{-1}\）
4: \（\mathbf{U}=\mathrm{fliplr}（\mat血红蛋白{U}）\）, \（\mathbf{V}=\mathrm{fliplr}（\mat血红蛋白{V}）\）, \（\mathbf{S}=\mathrm{rot90}（\mat血红蛋白{S}，2）\）
算法4基于动态移位的矩阵随机奇异值分解\（m\geq n）输入： \（\mathbf{A}\in\mathbb{R}^{m\次n}\），参数\（k\）,\（\）,\（p\）
输出： \（\mathbf{U}\in\mathbb{R}^{m\次k}\）,\（\mathbf{S}\in\mathbb{R}^{k\次k}\）,\（\mathbf{V}\in\mathbb{R}^{n\times k}\）
1: \（l=k+s）,\（\bf{\Omega}=\mathrm{randn}（{\it{m，\l}}）
2: \（[\mathbf{Q}，\sim，\sim]=\mathrm{eigSVD}（\mathbf{A}^\mathrm{T}\boldsymbol{\Omega}）\）,\（阿尔法=0）
3: 对于 \（j=1,2，\cdots，p\） 做
4: \（[\mathbf{Q}，\mathbf{\hat{S}}，\sim]=\mathrm{eigSVD}（\mathbf1{A}^\mathrm{T}（\ mathbf}A}\mathbf2{Q}）-\alpha\mathbf2（Q}））
5: 如果 \（\mathbf{\hat{S}}（l，l）\gt\alpha\） 然后 \（\alpha=\frac{\mathbf{\hat{S}}（l，l）+\alpha}{2}\）
6: 结束 对于
7: \（\mathbf{B}=\mathbf{AQ}\）
8: \（[\mathbf｛U｝，\mathbf｛S｝，\mathbf｛V｝]=\mathrm｛eigSVD｝（\mathbf｛B｝）\）
9: \（\mathbf｛U｝=\mathbf｛U｝（：，1\！：\！k），\mathbf｛S｝\！=\！\mathbf{S}（1\！：\！k，1\！\mathbf{Q}\mathbf}（：，1\！：\！k）\）
假设\（p\）执行幂迭代以达到一定的精度，并且\（C_{\mathrm{eig}}\）表示EVD触发器计数中的常数。的失败次数算法4是哪里\（（2p\！+\！2）C_{mathrm{mul}}\textrm{nnz}（\textbf{A}）l\）反映了\（2p\！+\！2\）times matrix–矩阵乘法A类,\（（（p\！+\！1）\） \（（2C{\mathrm{mul}}nl^{2}\！+！C{\mathrm{eig}}l^{3}）\）反映在上执行eigSVD\（n次l次）矩阵\（p\！+\！1\）次，\（2C{\mathrm{mul}}ml^{2}\！+！C{\mathrm{eig}}l^{3}\）在矩阵上反映一次eigSVDB类,\（pC_{\mathrm{mul}}nl\）反映执行操作”\（-\alpha\textbf{Q}\）“用于\（p\）时间，以及\（C_{\mathrm{mul}}nlk\）反映矩阵-要生成的矩阵乘法V（V）从中我们可以看出算法4是\（O（pl\textrm｛nnz｝（\textbf｛A｝）+pnl ^｛2｝）\）对于\（m\次n\）矩阵A类具有\（m\geq n）.的空间复杂性算法4是关于\（O（（2m+n）l+\textrm{nnz}（\textbf{A}）），因为峰值内存使用发生在步骤8。因为\（C_{\mathrm{qr}}\）和\（C_{\mathrm{svd}}\）比\（C_{\mathrm{mul}}\），我们可以清楚地看到\（\mathrm｛FC｝_{4} \lt\mathrm公司｛FC｝_{1}\)什么时候\（m\geq n）和\（n \gg l），这反映了算法4. 3.2基于PVE界限的精度控制
理论研究表明，具有幂迭代的随机奇异值分解产生了秩-\（k\）近似接近最优。在谱范数（或Frobenius范数）下，计算结果(\（\hat{\textbf{U}}\）,\（\hat{\bf{\Sigma}}\），以及\（\hat{\textbf{V}}\）)以高概率满足以下乘法保证哪里\（在（0,1）中为ε）是一个畸变参数。年提出的另一项担保[29]在机器学习问题中更有意义的是哪里\（\textbf{u}_{i} \）是\（i）的第个左奇异向量A类，以及\（\hat{\textbf{u}}_{i}\）是计算的\（i）th左奇异向量。这称为奇异向量的PVE界。在[29]，证明了\（（1+\epsilon）\）错误绑定于方程式（17）可能无法保证计算出的奇异向量的准确性。相反，每矢量保证方程式（18）要求每个计算出的奇异向量捕获与对应的精确奇异向量几乎相同的方差，从而保证主成分在主成分分析中的准确性。请注意，较小的\（\ε\）在里面方程（17）和(18)即，随机SVD算法中需要更多的幂迭代才能满足相应的精度保证。 在现有的随机SVD研究中，功率参数\（p\）（或传递参数）假定在前面已知。为了达到一定的准确性，可以进行多次检查，以找到合适且不太大的\（p\）。这会带来大量计算成本。因此，如何自适应有效地确定应该执行多少次幂迭代以确保计算出的奇异值分解具有一定的准确性是一个值得关注的问题。
有不同的标准来评估SVD的准确性，例如方程式（8）以及从PVE结合中导出的。下面我们发现，如果与PVE准则协作，我们可以开发出一种具有精度控制的高效随机SVD算法。PVE绑定方程式（18）可以近似表示为哪里\（{\sigma}_{i}（\textbf{A}））表示计算的\（i）th奇异值和上标\（（j）\）表示计算值\（p=j）“tol”代表误差容限。这个公式(19)是精度控制的近似PVE标准，“tol”应该由用户指定。适当设置“tol”通常可以确保PVE结合方程式（18）具有\（\ε\）与我们的实验所示的“tol”相当。相反，\（p\）无法深入了解错误，不同情况下差异很大。中的近似标准方程式（19）基于估计的误差\（\hat{\sigma_{i}}^{（j-1）}（\textbf{A}）^{2}\）通过考虑\（{\sigma_{i}}^{（j）}（\textbf{A}）^{2}\）作为准确的结果。此技巧是控制截断EVD计算精度的传统方法[17]并已用于其他具有迭代步骤的数值方法[20]. 请注意，根据方程式（8）或(17)这会导致实现上的困难，因为它需要对大型矩阵进行昂贵的计算。 上述PVE准则的思想导出了一种具有精度控制的随机SVD算法。简单的实现移动了矩阵的生成和SVD\（\textbf{B}=\textbf{Q}^{\mathrm{T}}\textbf-{A}\）然后对终止准则进行检查。下面我们开发了一种更有效的方法来实现PVE准则的精度控制。
提案3。假设矩阵 \（{{\bf A}}\！\in\！\mathbb{R}^{m\次n}\）,正交矩阵 \（{{\bf Q}}\in\mathbb{R}^{{m\次l}}\） 和正值 \（\字母\） 是中执行步骤4之前的数量算法2那么，对于任何 \（i \leq l）, 证明。根据提案3,\（\sqrt{\sigma_{i}（\textbf{AA}^{mathrm{T}}\textbf{问}-\alpha\textbf{Q}）+\alpha}\）更接近\（\sigma_{i}（\textbf{A}）\）比\（\sigma_{i}（\textbf{Q}^{\mathrm{T}}\textbf{A}）这是用少一步的幂迭代计算出的奇异值。因此，\（\sigma_{i}（\textbf{AA}^{mathrm{T}}\textbf{问}-\alpha\textbf{Q}）+\alpha\）可以被视为\（hat｛\sigma\｛i｝｝（\textbf｛A｝）^｛2｝\），因为前者在算法2.将其替换为方程式（19）我们可以导出dashSVD算法，其版本适用于\（m\geq n）描述为算法5这里，精度控制的第5步花费的时间可以忽略不计，\（p_{max}\）是表示幂迭代次数上限的参数（即参数\（p\）)，以及带有“\（\素数\）“是最后一个迭代步骤中的数量。算法4也是dashSVD算法的一个版本；它只是不包括精度控制。最后一小节末尾的计算复杂性分析也适用于dashSVD算法(算法5). 算法5带有PVE精度控制的DashSVD输入： \（\mathbf{A}\in\mathbb{R}^{m\次n}\）(\（m\geq n）)，参数\（k\）,\（\）,\（p_{max}\），误差容限tol
输出： \（\mathbf{U}\in\mathbb{R}^{m\次k}\）,\（\mathbf{S}\in\mathbb{R}^{k\次k}\）,\（\mathbf{V}\in\mathbb{R}^{n\times k}\）
1: \（l=k+s）, \（\bf{\Omega}=\mathrm{randn}（{\it{m，\l}}）
2: \（[\mathbf｛Q｝，\sim，\sim]\！=\！\mathrm｛eigSVD｝（\mathbf｛A｝^\mathrm｛T｝\boldsymbol｛\Omega｝）\）,\（\alpha\！=\！\alpha^{\prime}\！=\！0\）, \（\hat{\mathbf{S}}^{\prime}\！=\！\mathrm{zeros}（l，1）\）
3: 对于 \（j=1,2,3，\cdots，p{max}） 做
4: \（[\mathbf{Q}，\mathbf{\hat{S}}，\sim]=\mathrm{eigSVD}（\mathbf1{A}^\mathrm{T}（\ mathbf}A}\mathbf2{Q}）-\alpha\mathbf2（Q}））
5: 如果 \（对于所有i\lek，~\frac{vert\hat{mathbf{S}}^\prime（i，i）+\alpha^\prime-\hat{mathbf{S}}（i，i）-\alpha\vert}{hat{mathbf{S6}}，（k+1，k+1）+\alpha}\le\mathrm{tol}） 然后休息
6: 如果 \（\mathbf{\hat{S}}（l，l）\gt\alpha\） 然后 \（\alpha=\frac{\mathbf{\hat{S}}（l，l）+\alpha}{2}\）
7: \（\hat{mathbf{S}}^{prime}=\hat}\mathbf}S}}，~\alpha^\prime=\alpha\）
8: 结束 对于
9: \（\mathbf{B}=\mathbf{AQ}\）
10: \（[\mathbf｛U｝，\mathbf｛S｝，\mathbf｛V｝]=\mathrm｛eigSVD｝（\mathbf｛B｝）\）
11: \（\mathbf{U}=\mathbf{U}（：，1:k）\）, \（\mathbf{S}=\mathbf{S}（1:k，1:k）\）, \（\mathbf{V}=\mathbf{Q}\mathbf1{V}（：，1:k）\）
