使用随机化技术加速线性系统解

审核人：杰西·路易斯·巴洛

在对并行科学计算进行了近40年的积极研究之后，研究人员仍在努力实现高斯消去。问题集中在如何实现枢轴，即为了稳定性而进行行和/或列交换。如果并发性和数据移动没有问题，那么备选方案将是1）完全旋转，或使用完全旋转进行高斯消去（GECP），这涉及使用行和列交换将最大元素重新定位到旋转位置，或2）使用部分旋转进行高斯消去（GEPP），这意味着将当前列中最大的元素移动到轴心位置。GECP需要O（n 3）比较，因此大约加倍努力，但是稳定的。GEPP需要O（n2）比较，并且可能不稳定，但前提是你非常不走运。由于没有人完全理解的原因，使用计算科学家的想象力发现了GEPP不稳定的矩阵示例，但在计算经验中绝非偶然。因此，GEPP被认为是“在实践中”稳定的。不幸的是，在分布式内存计算环境中，即使GEPP所需的比较和行交换的数量不多，数据移动也会带来负担。本文绘制了中央处理单元/图形处理单元（CPU/GPU）架构中的中枢开销，范围从小矩阵上40%的因子分解时间到10000大小矩阵上17%的因子分解时间。虽然这是对大型矩阵的一个改进，但它仍然包含比O（n2）枢轴比较和O（n3）因式分解操作所建议的更大的开销。作为替代方案，作者提出了一种启发式方法，称为部分随机蝶形变换（PRBT），该方法来源于Parker[1]和Parker and Pierce[2]的一个想法。构造PRBT的技术基于构造快速傅里叶变换的技术，因此允许使用类似的并行算法和数据结构。作者建议将高斯消去因子矩阵a转换为a r=U TAV，其中U和V是PRBT。然后，在不旋转的情况下，通过高斯消去因子A r。注意确保U和V的条件数由适度常数限定，从而确保A r的条件数与A的条件数相差不大。作者对文献中的一些矩阵进行了详尽的测试，其中包括三个众所周知的GEPP表现不佳的矩阵。当残差不符合要求时，执行迭代细化。在任何情况下都不需要超过一步的迭代精化，在所有情况下，PRBT都会生成残差较小的解。PRBT的操作复杂性略大于GEPP，理论上为O（n 2 log n），但实际上为O（n2），常数更大。使用本文描述的CPU/GPU体系结构，对于1000到3000的矩阵，PRBT要快得多。然而，对于大于9000的基质，相对于GEPP的改善仅为10%左右。作者认为，从渐近角度来看，PRBT和GEPP将非常接近。从本文中，我们可以得出结论，PRBT作为GEPP的拟议替代方案效果良好，但随着矩阵变大，其优势逐渐消失。作为一种保持高斯消去稳定的方法，没有任何理论解释PRBT为什么工作。事实上，没有已知的理论原因说明为什么这种方法在不旋转的情况下比高斯消去法更好或更差。本文提出了一种有趣的替代部分旋转的方法，但要正确理解它还需要大量的理论工作。在线计算评论服务