亚历克·邓顿。;路易斯·乔弗雷;吉安卢卡·伊卡里诺;Alireza Doostan 高维湍流数据压缩的高效方法。 （英语） Zbl 07508396号 J.计算。物理学。 423，文章ID 109704，23 p.（2020）. 概要：未来的高性能计算，特别是未来的Exascale计算机，可能会发现内存容量和带宽无法与生成的数据保持同步，例如大规模并行偏微分方程（PDE）系统。目前为解决这一瓶颈而提出的战略需要省略大部分数据，并纳入就地压缩算法以避免过度使用内存。为了确保后处理操作成功，必须以存储足够准确的解决方案表示的方式进行。此外，如果输入/输出系统成为分析、可视化等的瓶颈，或者PDE解算器的执行成本很高，则必须将数据传递的次数降至最低。为了解决这个问题，这项工作重点关注高效、可并行、低秩矩阵分解方法在从湍流压缩高维模拟数据中的应用。特别强调使用数据的粗略表示（与PDE离散化网格兼容）来加速低阶因子分解的构建。这包括提出一种新的单程矩阵分解算法，用于计算所谓的插值分解。对这些方法进行了广泛的描述，并对两个湍流通道的流动数据进行了数值实验。在第一（空载）通道流量情况下，在保持一阶和二阶流量统计的准确性的同时，实现了超过400的压缩因子。在无粒子的情况下，压缩因子达到100，压缩数据用于恢复粒子速度。这些结果表明，这些压缩方法可以有效计算载流子和分散相中的各种相关量。 引用于三文件 MSC公司： 76倍 流体力学 65-XX岁 数值分析 关键词：大数据压缩;插值分解;低阶近似;颗粒态湍流;随机算法;单程算法 软件：零英尺/平方英尺 PDF格式BibTeX公司 XML格式引用 \textit{A.M.Dunton}等人，J.Compute。物理学。423，文章ID 109704，23 p.（2020；Zbl 07508396） 全文： 内政部 arXiv公司 参考文献： [1] Moore，G.E.，《将更多元件注入集成电路》，《电子学》，第38期，第114-117页（1965年） [2] Walter，C.，Kryder定律，科学。美国，293，32-33（2005） [3] Ang，J。；Evans，K。；盖斯特，A。；Heroux，M。；霍夫兰，P。；马尔克斯，O。；柯夫曼，L。；Ng、E。；Wild，S.，《极限规模求解器研讨会：向未来架构的过渡》（2012），高级科学计算研究办公室，技术报告，美国D.O.E。 [4] Jofre，L。；Geraci，G。；费尔班克斯，H.R。；Doostan，A。；Iacarino，G.，《辐照粒子激光湍流的多精度不确定性量化》，CTR Annul。研究简报，21-34（2017） [5] 费尔班克斯，H.R。；Jofre，L。；Geraci，G。；艾卡里诺，G。；Doostan，A.，辐照颗粒层湍流不确定性量化和灵敏度分析的双精度近似，J.Compute。物理。，402，第108996条pp.（2020）·Zbl 1453.76128号 [6] Jofre，L.公司。；del Rosario，Z.R。；Iacarino，G.，《辐照颗粒态湍流传热的数据驱动量纲分析》，国际期刊Multiph。Flow，125，第103198条pp.（2020） [7] Wu，X.，流入湍流生成方法，Annu。流体力学版次。，49, 23-49 (2017) ·Zbl 1359.76162号 [8] S.Li，N.Marsaglia，C.Garth，J.Woodring，J.Clyne，H.Childs，用于模拟、可视化和数据分析的数据简化技术，在：Comput。图形论坛，威利在线图书馆。 [9] E.Engelson，D.Fritzson，P.Fritzsen，模拟大容量数值数据的无损压缩，摘自：Proc。数据压缩。Conf.，第574-586页。 [10] P.Ratanaworabhan，J.Ke，M.Burtscher，科学浮点数据的快速无损压缩，收录于：Proc。数据压缩。Conf.，第1-10页。 [11] 盖利，J.-L。；Adler，M.，《gzip主页》（2003），（2013年4月4日） [12] Shannon，C.E.，通信数学理论，ACM SIGMOBILE Mob。计算。Commun公司。第5版，第3-55页（2001年） [13] Huffman，D.A.，最小冗余码的构造方法，Proc。爱尔兰共和国，40，1098-1101（1952）·Zbl 0137.13605号 [14] Ziv，J。；Lempel，A.，序列数据压缩的通用算法，IEEE Trans。《信息论》，23，337-343（1977）·Zbl 0379.94010号 [15] Ziv，J。；Lempel，A.，通过可变速率编码压缩单个序列，IEEE Trans。Inf.理论，24，530-536（1978）·Zbl 0392.94004号 [16] Burtscher，M。；Ratanaworabhan，P.，FPC：双精度浮点数据的高速压缩机，IEEE Trans。计算。，58, 18-31 (2009) ·Zbl 1367.65209号 [17] Y.Sazeides，J.E.Smith，《数据值的可预测性》，摘自：Proc。每年30日。ACM/IEEE国际研讨会。微体系结构，IEEE计算机学会，第248-258页。 [18] Lindstrom，P。；Isenburg，M.，浮点数据的快速高效压缩，IEEE Trans。视觉。计算。图表。，12, 1245-1250 (2006) [19] 斯特朗，G。；Nguyen，T.，小波和滤波器组（1996），SIAM·Zbl 1254.94002号 [20] H.Lehmann，B.Jung，《大规模科学模拟可视化探索的In-situ多分辨率和时间数据压缩》，收录于：《大数据分析》。视觉（LDAV），2014年IEEE第四次研讨会。，IEEE，第51-58页。 [21] H.Lehmann，E.Werzner，C.Degenkolb，为大规模科学模拟优化现场数据压缩，摘自：Proc。第24届高性能计算。，交响乐团。，Soc.计算。模拟。国际，第5页。 [22] 汤学友，李政英，沈洪伟，从具有动态时间扭曲的大规模时变数据集中选择显著时间步长，in：《大数据分析》。和视觉（LDAV），2012年IEEE研讨会，IEEE，第49-56页。 [23] W.Austin，G.Ballard，T.G.Kolda，《大规模科学数据的并行张量压缩》，收录于《并行和分布式过程》。交响乐团。，2016年，IEEE Int.，IEEE，第912-922页。 [24] Zhao，K。；Sakamoto，N。；Koyamada，K.，时空域中的时间-空间体压缩，J.Adv.Simul。科学。工程师，171-187（2015） [25] Z.Gong，T.Rogers，J.Jenkins，H.Kolla，S.Ethier，J.Chen，R.Ross，S.Klasky，N.F.Samatova，Mloc：使用异构访问模式进行压缩科学数据探索的多级布局优化框架，in：并行过程。（ICPP），2012年第41届国际会议，IEEE，第239-248页。 [26] J.E.Fowler，R.Yagel，体积数据的无损压缩，in：Proc。1994年交响乐。《视觉卷》，ACM，第43-50页。 [27] S.Di，F.Cappello，使用SZ的快速有界有损HPC数据压缩，第730-739页，收录于：2016年IEEE国际并行和分布式处理研讨会（IPDPS），IEEE。 [28] D.Tao，S.Di，Z.Chen，F.Cappello，《基于多维预测和误差控制量化的科学数据集有损压缩的显著改进》，in：并行和分布式处理。交响乐团。（IPDPS），2017 IEEE Int，IEEE，第1129-1139页。 [29] X.Liang，S.Di，D.Tao，S.Li，S..Li，H.Guo，Z.Chen，F.Cappello，针对科学数据集的高压缩比进行优化的差错控制有损压缩，收录于：2018 IEEE国际大数据会议，IEEE，第438-447页。 [30] L.Ibarria，P.Lindstrom，J.Rossignac，A.Szymczak，大型n维标量场的堆外压缩和解压缩，计算。图形论坛，第22卷，威利在线图书馆，第343-348页。 [31] S.Lakshminarasimhan，N.Shah，S.Ethier，S.Klasky，R.Latham，R.Ross，N.F.Samatova，用ISABELA压缩不可压缩：时空数据的原位还原，单位：欧元。Conf.并行过程，Springer，第366-379页。 [32] Otero，E。；维努萨，R。；O·马林。；Laure，E。；Schlatter，P.，有损数据压缩对壁边界湍流的影响：数据缩减的边界，Flow Turbul。库布斯特。，1-23 (2018) [33] O·马林。；Schanen，M。；Fischer，P.，基于光谱元素代码中先验误差估计器的大尺度有损数据压缩（2016），技术报告，ANL/MCS-P6024-0616 [34] Lindstrom，P.，固定速率压缩浮点数组，IEEE Trans。视觉。计算。图表。，20, 2674-2683 (2014) [35] Loeve，M.，概率论，第二卷，数学研究生教材，第46卷（1978），0-387·Zbl 0385.60001号 [36] Hitchcock，F.L.，《张量或多元数作为乘积之和的表达式》，Stud.Appl。数学。，6, 164-189 (1927) [37] 塔克，L.R.，《关于三模式因子分析的一些数学注释》，《心理测量学》，31279-311（1966） [38] Vannieuwenhoven，N。；Vandebril，R。；Meerbergen，K.，高阶奇异值分解的一种新截断策略，SIAM J.Sci。计算。，34，A1027-A1052（2012）·Zbl 1247.65055号 [39] 德拉特豪沃，L。；De Moor，B。；Vandewalle，J.，《关于高阶张量的最佳秩-1和秩-（r1，r2，…，rn）逼近》，SIAM J.矩阵分析。申请。，21, 1324-1342 (2000) ·Zbl 0958.15026号 [40] Kroonenberg，P.M。；De Leeuw，J.，用交替最小二乘算法对三模数据进行主成分分析，《心理测量学》，45，69-97（1980）·Zbl 0431.62035号 [41] 北哈尔科。；Martinsson，P.-G。；Tropp，J.A.，《寻找具有随机性的结构：构造近似矩阵分解的概率算法》，SIAM Rev.，53217-288（2011）·Zbl 1269.65043号 [42] 于伟（Yu，W.）。；顾，Y。；李，J。；刘，S。；Li，Y.，大型高维数据的单通道PCA（2017），预打印 [43] Cheng，H。；Gimbutas，Z。；Martinsson，P.-G。；Rokhlin，V.，《关于低秩矩阵的压缩》，SIAM J.Sci。计算。，26, 1389-1404 (2005) ·Zbl 1083.65042号 [44] 阿扎伊兹，M。；Lestandi，L。；Rebollo，T.C.，多维数据的低阶近似，（湍流和燃烧大数据的高性能计算（2019），Springer），187-250 [45] Brand，M.，薄奇异值分解的快速低阶修正，线性代数应用。，415, 20-30 (2006) ·Zbl 1088.65037号 [46] 齐默尔曼，R。；佩赫斯托弗，B。；Willcox，K.，《几何子空间更新及其在线自适应非线性模型简化应用》，SIAM J.Matrix Anal。申请。，39234-261（2018）·Zbl 1383.65034号 [47] Tropp，J.A。；Yurtsever，A。；乌代尔，M。；Cevher，V.，《流式低秩矩阵近似及其在科学模拟中的应用》（2019年），预印本·Zbl 1420.65060号 [48] K.Weiss，L.De Floriani，单纯形和菱形层次：模型和应用，计算。图形论坛，第30卷，威利在线图书馆，第2127-2155页。 [49] Bourguignon，J.-L。；Tropp，J.A。；Sharma，A.S。；McKeon，B.J.，《使用压缩采样的壁湍流紧凑表示法》，《物理学》。流体，26，第015109条pp.（2014） [50] Golub，G.H。；Van Loan，C.F.，《矩阵计算》（2012），JHU出版社 [51] 顾，M。；Eisenstat，S.C.，《计算强秩揭示QR因式分解的高效算法》，SIAM J.Sci。计算。，17, 848-869 (1996) ·Zbl 0858.65044号 [52] Hong，Y.P。；Pan，C.-T.，秩释放QR分解和奇异值分解，数学。计算。，58, 213-232 (1992) ·Zbl 0743.65037号 [53] 埃卡特，C。；Young，G.，《一个矩阵与另一个低阶矩阵的近似》，《心理测量学》，1211-218（1936） [54] Kahan，W.，《数值线性代数》，加拿大。数学。公牛。，9, 757-801 (1966) ·兹比尔0236.65025 [55] Martinsson，P.-G。；罗克林，V。；Tygert，M.，矩阵近似的随机算法（2006），耶鲁大学计算机科学系，技术报告 [56] 自由，E。；伍尔夫，F。；Martinsson，P.-G。；Rokhlin，V。；Tygert，M.，矩阵低秩近似的随机算法，Proc。国家。阿卡德。科学。美国，104，20167-20172（2007）·Zbl 1215.65080号 [57] Martinsson，P.-G.，矩阵计算的随机方法，数据数学，第25卷，187-231（2018）·Zbl 1448.68010号 [58] 约翰逊，W.B。；Lindenstrauss，J.，Lipschitz映射到Hilbert空间的扩展，Contemp。数学。，26, 1 (1984) ·兹伯利0539.46017 [59] Martinsson，P.-G。；Voronin，S.，高效计算矩阵秩揭示因子分解的随机分块算法，SIAM J.Sci。计算。，38，S485-S507（2016）·Zbl 1352.65095号 [60] 伍尔夫，F。；自由，E。；Rokhlin，V。；Tygert，M.，矩阵逼近的快速随机算法，应用。计算。哈蒙。分析。，25, 335-366 (2008) ·Zbl 1155.65035号 [61] Rokhlin，V。；Tygert，M.，超定线性最小二乘回归的快速随机算法，Proc。国家。阿卡德。科学。美国，105，13212-13217（2008）·Zbl 1513.62144号 [62] C.Boutsidis，D.P.Woodruff，P.Zhong，分布式和流模型中的最优主成分分析，摘自：第四十八届ACM计算理论研讨会论文集，ACM，第236-249页·Zbl 1381.62140号 [63] K.L.Clarkson，D.P.Woodruff，《流模型中的数值线性代数》，载于《第四十一届ACM计算理论研讨会论文集》，ACM，第205-214页·Zbl 1304.65138号 [64] Tropp，J.A。；Yurtsever，A。；乌代尔，M。；Cevher，V.，低秩矩阵近似的实用草图算法，SIAM J.矩阵分析。申请。，38, 1454-1485 (2017) ·Zbl 1379.65026号 [65] Upadhyay，J.，流媒体模型中的快速和空间最优低秩因子分解及其在差分隐私中的应用（2016），预印本 [66] Woodruff，D.P.，《作为数值线性代数工具的草图绘制，理论计算机科学中的基础和趋势®》，第10卷，1-157（2014）·Zbl 1316.65046号 [67] 马奥尼，M.W。；Drineas，P.，《改进数据分析的Cur矩阵分解》，Proc。国家。阿卡德。科学。美国，106，697-702（2009）·Zbl 1202.68480号 [68] Elhamifar，E。；Vidal，R.，《稀疏子空间聚类：算法、理论和应用》，IEEE Trans。模式分析。机器。智力。，35, 2765-2781 (2013) [69] Dyer，E.L。；Goldstein，T.A。；帕特尔·R。；Kording，K.P。；Baraniuk，R.G.，矩阵近似和聚类的自表达分解（2015），预印本 [70] Martinsson，P.-G。；Rokhlin，V。；Tygert，M.，矩阵分解的随机算法，应用。计算。哈蒙。分析。，30, 47-68 (2011) ·Zbl 1210.65095号 [71] Narayan，A。；Gittelson，C。；Xiu，D.，一种具有多重性模型的随机搭配算法，SIAM J.Sci。计算。，36，A495-A521（2014）·Zbl 1296.65013号 [72] Hackbusch，W.，《多网格方法与应用》，第4卷（2013），Springer Science&；商业媒体 [73] 杜斯坦，A。；Ghanem，R.G。；Red-Horse，J.，混沌表示的随机模型简化，计算。方法应用。机械。工程，196，3951-3966（2007）·Zbl 1173.74411号 [74] A.Doostan，G.Geraci，G.Iaccarino，《矩形带肋通道内传热不确定性量化的双精度方法》，载于：2016年ASME涡轮机械博览会：涡轮机械技术会议和博览会，美国机械工程师学会。 [75] 费尔班克斯，H.R。；Doostan，A。；凯特尔森，C。；Iacarino，G.，高维不确定系统多级蒙特卡罗模拟的低阶控制变量，J.Compute。物理。，341, 121-139 (2017) ·Zbl 1378.65021号 [76] J.汉普顿。；费尔班克斯，H.R。；Narayan，A。；Doostan，A.，参数/随机模型简化的非侵入式双精度方法的实际误差界，J.Compute。物理。，368, 315-332 (2018) ·兹比尔1392.62352 [77] Brenner，S。；Scott，R.，《有限元方法的数学理论》，第15卷（2007），Springer Science&；商业媒体 [78] Esmaily，M。；Jofre，L。；曼尼，A。；Iacarino，G.，非对称椭圆系统的可扩展几何多重网格解算器，应用于变密度流，J.Compute。物理。，357, 142-158 (2018) ·Zbl 1382.65301号 [79] 马克西，M.R。；Riley，J.J.，非均匀流中小刚性球体的运动方程，物理学。流体，26883-889（1983）·Zbl 0538.76031号 [80] 莫瑟，R.D。；Kim，J。；Mansour，N.N.，《高达（R e\tau=590）的紊流河道水流直接数值模拟》，Phys。流体，11943-945（1999）·Zbl 1147.76463号 [81] Pope，S.B.，《湍流》（2000），剑桥大学出版社·兹比尔0966.76002 [82] 纪浩。；于伟（Yu，W.）。；Li，Y.，低秩矩阵近似的秩揭示随机奇异值分解（R3SVD）算法（2016），预印本 [83] Baraniuk，R.G。；Cevher，V。；杜阿尔特，M.F。；Hegde，C.，基于模型的压缩传感，IEEE Trans。Inf.理论，561982-2001（2010）·Zbl 1366.94215号 [84] Jokar，S。；梅赫曼，V。；Pfetsch，M.E。；Yserentint，H.，偏微分方程的稀疏近似解，应用。数字。数学。，60, 452-472 (2010) ·Zbl 1220.65170号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。